براساس گفته «تيم برنزلي» سازنده شبكه استاندارد وب، «اينترنت شبكه اي از شبكه ها بوده و اساساً از كامپيوترها و كابل ها ساخته شده است. وب يك فضاي مجازي شامل اطلاعات است. در اينترنت كامپيوترها و در وب اسناد، صداها، تصاوير ويدئويي و اطلاعات را مي يابيد.» در اينترنت اتصالات از طريق كابل هاي بين كامپيوترها و در وب، پيوندهاي فرامتني هستند.
وب به دليل برنامه هايي كه ميان كامپيوترهاي موجود در اينترنت ارتباط برقرار مي كنند، وجود دارد. وب بدون اينترنت معنايي ندارد. از آنجا كه مردم واقعاً به اطلاعات جديد علاقه مند هستند و در عين حال هم نمي خواهند مجبور باشند مطالبي در مورد كابل ها و شبكه ها بدانند، وب موجب شده است كه اينترنت مفيد واقع شود.
به دليل اطلاعاتي كه در كل جهان بين كامپيوترها به اشتراك گذاشته شده، به تدريج لازم بود تا اين اطلاعات نظم پيدا كند. در همين راستا موتورهاي جست وجوگر اينترنت به وجود آمدند.
اولين وسيله جست وجوگر در اينترنت، Archie نام داشت كه در سال 1990 به وسيله آلن امتيج يكي از دانشجويان دانشگاه مك گيل در مونترال كانادا ايجاد شد. اين برنامه با ايجاد يك پايگاه اطلاعاتي قابل جست وجو از اسامي فايل ها، فهرست فايل هاي موجود در سايت هاي FTP عمومي ناشناخته را در خود جاي داده بود. بعد از آن جست وجوگري به نام گوفر در سال 1991 به وسيله «مارك مك كاهيل» در دانشگاه مينه سوتاي ايالات متحده ساخته شد. در حالي كه موتور جست وجوگر آرچي فايل هاي كامپيوتري را فهرست مي كرد، روش كار گوفر اين گونه بود كه اسناد متني را ايندكس گذاري مي كرد. از آنجايي كه اينها (متن هاي ايندكس گذاري شده) فايل هاي متني بودند، اكثر سايت هاي گوفر پس از ايجاد شبكه جهاني وب، به وب سايت تبديل شدند.
دو برنامه ديگر با نام هاي ورونيكا و جاگهيد (Jughead) فايل هاي ذخيره شده در سيستم هاي ايندكس گذاري گوفر را جست وجو مي كردند. برنامه ورونيكا جست وجو براساس كلمات كليدي از اغلب عناوين منوها در تمام ليست هاي گوفر را فراهم كرد و برنامه جاگهيد نيز براي دستيابي به اطلاعات منو از كامپيوترهاي سرويس دهنده شبكه (سرور) نوع گوفر بود.
در سال 1993 يعني دو سال بعد، يكي از دانشجويان دانشگاه MIT آمريكا به نام «ميتوگري» اولين روبات جستجوگر اينترنتي به نام world wide web wanderer را ساخت. اين روبات در ابتدا براي شمارش وب سرورها به منظور اندازه گيري گستردگي وب به كار گرفته مي شد. wanderer از سال 1993 تا 1995 به طور ماهانه ارتقا داده مي شد و بعدها نيز با ايجاد اولين پايگاه اطلاعات وب سايت ها به نام ونديكس براي به دست آوردن آدرس ها استفاده مي شد.
يك روبات جست وجوگر در واقع برنامه اي است كه به طور اتوماتيك ساختار فرامتني وب را با بازيابي يك سند يا تمام اسناد ارجاع داده شده در آن طي مي كند. گاه به روبات هاي وب، سياره هاي وب، وب خز يا عنكبوت گفته مي شد. اين اسامي تا حدي گمراه كننده هستند زيرا اين گمان را به وجود مي آورند كه خود نرم افزار مانند يك ويروس در بين سايت ها حركت مي كند. در حالي كه اصلاً اين گونه نيست، بلكه يك روبات به سادگي سايت ها را با درخواست اسناد از آنها مشاهده مي كند. در ابتدا روبات ها اندكي بحث بر انگيز بودند، چرا كه حجم زيادي از پهناي باند شبكه را اشغال مي كردند و اين موضوع گاهي باعث از كار افتادن كامپيوترهاي شبكه مي شد.
در روبات هاي جديدتر تغييرات مهمي داده شد و در حال حا ضر براي ساخت ايندكس هاي اغلب موتورهاي جست وجوگر به كار مي روند. به طور مثال جست وجو گر گوگل ازبيش از 150 هزار روبات جست وجوگر تشكيل شده است.
در سال 1993 مارتين كاستر برنامه «الي وب» (Archie like indexing of the web=Aliweb) را ساخت. برنامه «الي وب» اين امكان را براي كاربران فراهم مي كرد كه صفحات شخصي خود را براي ايندكس گذاري ارائه دهند. براساس گفته مارتين كاستر «الي وب» يك موتور جست وجوگر بر مبناي مجموعه هاي فوق العاده اطلاعات اتوماتيك براي وب بود. سرانجام هنگامي كه به نظر رسيد وب ممكن است سودآور باشد، سرمايه گذاران دست به كار شدند و موتورهاي جست وجو به تجارت بزرگي تبديل شدند. در همان سال 1993 شش نفر از دانشجويان دانشگاه استنفورد آمريكا موتور جست وجوگر اكسايت (Excite) را عرضه كردند. اين جست وجوگر از تحليل آماري روابط كلمات براي كمك به روند جست وجو استفاده مي كرد.
در طول مدت يك سال جست وجوگر اكسايت ثبت شد و در دسامبر 1995 به صورت آن لاين شروع به كار كرد و در حال حاضر هم بخشي از جست وجوگر ASK محسوب مي شود. در سال 1994 جست وجوگر «Elnet Galaxy» به عنوان بخشي از كنسرسيوم تحقيقات MCC در دانشگاه تگزاس انتشار يافت و سرانجام هم از دانشگاه خريداري شد و پس از انتقال ميان چند شركت، اكنون خود يك شركت كامپيوتري مستقل است. اين موتور جست وجوگر به عنوان يك دايركتوري علاوه بر ويژگي جست وجوي وب، حاوي ويژگي هاي جست وجوگر فروتل نت (موتورهاي جست وجوگر سابق) نيز هست.
جري يانگ و ديويد فلو در سال 1994 جستجوگر ياهو را تأسيس كردند. آنها كار را با ليست كردن وب سايت هاي محبوب خود شروع كردند. آنچه اين موتور جستجو را محبوب و متفاوت كرده بود، اين بود كه براي هر جستجو علاوه بر آدرس آن، توضيح مختصري هم ارائه مي شد. در طول يك سال بعد، مؤسسان «ياهو» توانستند دو برابر سرمايه اوليه خود را دريافت كرده و به يك غول اينترنتي تبديل شوند.
در همان سال 1994 وب كرالر هم ارائه شد كه اولين موتور جستجوي كاملاً متني در اينترنت بود. يعني براي نخستين بار تمام متن هر صفحه از وب را براي جستجو علامتگذاري مي كرد.
ليكوس(Lycos) هم در سال 1994 با ويژگي هاي منحصر به فردي كه از تطبيق پيشوندها ونزديكي كلمات استفاده مي كرد، معرفي و ارائه شد و دو سال بعد به يك موتور جستجوي بزرگ كه بيش از 60ميليون سند را علامت گذاري مي كرد، تبديل شد و بزرگ ترين موتور جستجوگر در زمان خود بود. ميكوس مانند بسياري از موتورهاي جستجوگر، در يك فضاي دانشگاهي به وسيله دكتر مايكل مادلين در دانشگاه ملون ساخته شد. جستجوگر اينفوسيك در سال 1995 آنلاين شد و در واقع قابليت جديدي هم به موتورهاي جستجوگر اينترنتي اضافه نكرد. اين موتور جستجوگر در حال حاضر به گروه اينترنت والت ديسني تعلق دارد.
در همان سال1995 آلتاويستا(Alta Vista) هم آغاز به كار كرد كه اولين موتور جستجو با ويژگي درخواست پرس و جو به زبان طبيعي تكنيك هاي پيشرفته جستجو بود. همچنين اين موتور جستجو امكان جستجوي مالتي مديا براي پيدا كردن تصوير، موسيقي و ويدئو را فراهم مي كند.
در سال 1996 در دانشگاه بركلي كاليفرنيا برنامه inktomi شروع به كار كرد. در ژوئن سال 1999 inktomi يك موتور جستجوي دايركتوري داراي تكنولوژي «استنباط مفهوم» رامعرفي كرد. طبق گفته اين كمپاني فناوري استنباط مفهوم از تجزيه و تحليل انساني استفاده مي كند و عادت هاي يكساني را براي تحليل كامپيوتري پيوندها، كاربردها و سايرالگوهاي تشخيص سايت هاي محبوب تر و پركارتر به كار مي برد.جالب اينكه اين جستجوگر در سال 2003 به وسيله شركت «ياهو» خريداري شد.
گوگل در سال 1997 در دانشگاه استنفورد به عنوان بخشي از يك پروژه تحقيقاتي به وسيله سرگئي برين ولري پيج ساخته شد. اين موتور جستجو با استفاده از پيوندهاي دروني، سايت ها را رتبه بندي مي كند و به جستجوي آنها مي پردازد. درسال 1998 جستجوگرMSN از شركت مايكروسافت شروع به كار كرد كه البته همراه با ويندوز كه سيستم عامل اصلي بود به كاربران معرفي شد. عرصهMSN با سيستم عامل ويندوز يكي از مهمترين دلايل موفقيت و پيشرفت اين موتور جستجوگر بود.
در همان سال 1998 جستجوگر«Open Director« هم شروع به كار كرد كه طبق گفته اين سايت جستجوگر يادشده بزرگ ترين و كامل ترين دايركتوري تنظيم شده به وسيله افراد در وب است كه توسط انجمن جهاني ويرايشگران داوطلب متشكل از افراد علاقه مند به اين تكنيك، ساخته شده و نگهداري مي شود.
جستجوگر فايرفاكس(FireFox) به معناي روباه آتشين هم سرانجام يكي از آخرين و جديدترين جستجوگرهاي اينترنت است كه ايجاد شده وبا روشي ويژه به كمك كاربران آمده است. در مدت زمان كوتاهي كه از عرضه فايرفاكس مي گذرد، چنان جلب توجه كرده و پيشرفتي باورنكردني داشته است كه سال گذشته ميلادي ازطرف مجله معتبر پي سي ورد(PCWorld) به عنوان بهترين نرم افزار دنياي كامپيوتر معرفي شد و توانست مدعيان مطرحي همچون گوگل و ياهو را پشت سر گذارد.
اين درحالي است كه امروزه استفاده از موتورهاي جستجوگر در اينترنت براي اكثر افراد به ويژه در كشور ايالات متحده به يك عادت تبديل شده است زيرا آمريكا بيشترين تعداد كاربران اينترنتي را در جهان دارد واستفاده از اينترنت بدون موتورهاي جستجوگر بي معنا است. اين دستاورد براي تكنولوژي كه عمر آن 15سال بيشتر نيست، بسيار مهم و حائز اهميت بوده و اكنون روز به روز درحال گسترش و پيشرفت است.
ترجمه: عليرضا سزاوار     

 

کد; 4778
گروه: فناوری اطلاعات و ارتباطات