גולשי האינטרנט נגישים רק לשליש מהמידע המצוי ברשת

ה"אינטרנט הנסתר" גדול פי 3 מהאינטרנט הרגיל ומרבית הגולשים אינם מודעים לכך. כך אומרים (יום ג', 4.5.04) מומחים בחקר המידע באינטרנט, לקראת כנס אינפומידע 2004 של חברת טלדן.

בכנס, אשר יתקיים במלון הילטון תל-אביב ב-10 במאי, יציגו המומחים פתרונות להתמודדות עם תופעת האינטרנט הנסתר או האינטרנט האלטרנטיבי אשר הולכת וגדלה מיום ליום מבלי שהגולשים מודעים להיקף הבלתי נדלה של המידע.

מנועי החיפוש הרגילים בהם משתמשים הגולשים באינטרנט מכסים רק כ-20% עד 30% מהמידע הדיגיטלי בעולם. עמי סלנט, מאוניברסיטת בר-אילן וחנן כהן מארגון "שתיל", החוקרים בשנתיים האחרונות את תופעת האינטרנט הנסתר או האינטרנט האלטרנטיבי, מוסרים כי מהירות ההתרחבות וההתפשטות של שכבות המידע הבלתי נראות באינטרנט הנסתר, תביא בעתיד הנראה לעין לקיומו של "עולם מקביל" במרחב האינטרנט אשר יהיה מוכר רק למומחים.

הקושי לבצע חיפוש ישיר במידע שנמצא באתרים הנסתרים הופך לבעיה משמעותית לכל מי שמחפש מידע באינטרנט גם אם אינו מודע לכך.
עמי סלנט הוסיף, כי ה"ווב הנסתר או העמוק", הוא כינוי לאתרי האינטרנט הבנויים באמצעות תוכנות בסיסי נתונים. היקף המידע המצוי באתרים נסתרים אלה גדול בהרבה מהמידע המצוי באתרים הבנויים מדפי HTML פשוטים (על-פי סקר שפורסם לאחרונה ההיקף הוא פי 3) וקצב הגידול של המידע בהם גדול אף הוא.

סלנט הדגיש, כי מנועי החיפוש הקיימים אינם מגיעים לאתרים אלה ומכאן שמם - הווב הנסתר או העמוק. חיפוש באתרים אלה מחייב שימוש במנוע החיפוש של האתר עצמו וכמובן דורש בשלב הראשון למצוא את האתר.

מנועי החיפוש אשר מאנדקסים את האתרים הרגילים לא חודרים לאתרים "הבלתי נראים" ולכן חיפוש במנועים כמו גוגל, יהאו, אלטה ויסטה, הוטבוט וכו' לא מביא תוצאות מאתרים אלה.