تاریخچه پیدایش موتورهای جستجوگر وب

تاریخچه پیدایش موتورهای جستجوگر وب

تاریخچه پیدایش موتورهای جستجوگر وب: اولین موتورهای جستجوی اینترنتی قبل از ظهور وب در دسامبر ۱۹۹۰ بوجود آمدند.جستجوی کاربر WHOIS به سال ۱۹۸۲ برمی‌گردد و جستجوی کاربر چند شبکه‌ای سرویس اطلاعاتی Knowbot برای اولین بار در سال ۱۹۸۹ پیاده‌سازی شد.

در دوران پیش از دیجیتال، وقتی صحبت از پیدا کردن هتل، تعطیلات یا دوستان قدیمی، جستجوی دستور العمل‌ها و شیوه های جدید آشپزی یا یافتن راه‌حل‌های سریع برای مشکلات کامپیوتری می‌شد، مجبور بودیم به آژانس مسافرتی برویم یا با نیمی از دوستانمان تماس بگیریم.

امروزه، پاسخ‌های سریع به راحتی در اینترنت در دسترس هستند. هر فرد بطور متوسط ​​روزانه سه تا چهار عبارت جستجو را در فیلدهای ورودی گوگل، فایرفاکس، بینگ و موارد مشابه تایپ می‌کند. در تاریخچه کوتاه موتور جستجو، به چگونگی پیدایش سرویس‌های جستجو و مراحل تکاملی آنها می‌پردازیم.

تاریخچه پیدایش موتورهای جستجوگر وب: «دانش قدرت است»: این گفته به فیلسوف انگلیسی، فرانسیس بیکن، نسبت داده شده است. منظور پدر بنیانگذار عصر روشنگری از این گفته این بود که تا زمانی که مردم دانش کافی نداشته باشند، غیرممکن است که واقعاً چیزهای این جهان را درک و معنا کنند.

با این حال، اگر ندانید چگونه و کجا گنجینه‌های عظیم دانش بشری را پیدا کنید، فایده‌ی چندانی برای شما نخواهند داشت. به همین دلیل است که توسعه‌ی روش‌های دسته‌بندی به قدمت جمع‌آوری کتاب در کتابخانه‌ها است. هیچ‌کس ادعا نمی‌کند که سیستم‌های نمایه‌سازی آنالوگ و فهرست‌های فیزیکی حتی می‌توانند تمام متون، کتاب‌ها و سوالات جهان را از بین ببرند. بنابراین جای تعجب نیست که ایده‌ی یک پایگاه داده برای تمام دانش جمع‌آوری‌شده در جهان تقریباً به قدمت خود بشریت است.

تاریخچه پیدایش موتورهای جستجوگر وب: در سال ۱۹۴۵، مهندس آمریکایی، ونیوار بوش، مقاله‌ای منتشر کرد که در آن مفهوم یک ماشین دانش جهانی را تشریح کرد. ایده پشت «Memex»  یا «توسعه‌دهنده حافظه» ذخیره حجم عظیمی از متن در یک قطعه کوچک از مبلمان اداری و مکانیزه کردن و شتاب‌دهی عظیم جستجوی اطلاعات بود. بوش در مقاله خود، مبانی نظری موتورهای جستجوی امروزی را مطرح کرد.

از نظر عملی، ایده او محدود است زیرا به میکروفیلم آنالوگی وابسته است که بیننده باید با زحمت فراوان آن را برای یافتن اصطلاحات و کلمات کلیدی جستجو کند. از A برای Archie تا V برای Veronica در دهه 1980، دانش به طور فزاینده‌ای دیجیتالی شد. تعداد بیشتری از دانشگاه‌های آمریکایی کامپیوترهای خود را به هم متصل می‌کردند، که مقدمه‌ای بر اینترنت امروزی بود.

اما کاربران برای فهمیدن اینکه کدام فایل‌های جالب ممکن است در کدام کامپیوتر پیدا شوند، به تبلیغات دهان به دهان وابسته بودند. این چیزی بود که آلن امتیج، پیتر دویچ و بیل هیلان از دانشگاه مک‌گیل در مونترال مصمم به تغییر آن بودند. ایده آنها ایجاد یک پایگاه داده مرکزی بود که در آن بتوان تمام داده‌های موجود در کامپیوترهای توزیع‌شده را یافت.

در نوامبر 1990، آنها اولین موتور جستجوی جهان را راه‌اندازی کردند. این نام «آرچی» را به خود گرفت، برگرفته از کلمه «بایگانی».

تاریخچه پیدایش موتورهای جستجوگر وب: آرچی قادر به جستجو در فایل‌ها و پوشه‌ها در دایرکتوری‌های FTP بود، اگرچه خواندن متن پیوسته هنوز فراتر از آن بود. جستجو نیز به نام فایل‌ها و پوشه‌ها محدود می‌شد. اگر می‌خواستید با استفاده از آرچی چیزی پیدا کنید، در صورت امکان، باید بخشی از نام فایل را می‌دانستید.

علاوه بر این، عبارت جستجو به هشت کاراکتر محدود می‌شد، شش کاراکتر کوتاه‌تر از عبارت «دستور جستجو». یک سال پس از آرچی، توسعه‌دهندگان دانشگاه مینه‌سوتا «گوفر» را ابداع کردند. یک پروتکل شبکه برای بازیابی اسناد در اینترنت. گوفر از نظر ساختار خود شبیه به اصل وب جهان‌گستر بود که اولین بار توسط فیزیکدان تیم برنرز-لی در سال ۱۹۸۹ رونمایی شد. در سال ۱۹۹۲، اولین موتور جستجو برای گوفر در دانشگاه رنو، نوادا ایجاد شد: «ورونیکا» می‌توانست عناوین فایل‌ها و دایرکتوری‌ها را در تمام سرورهای گوفر فهرست‌بندی کند.

به عبارت دیگر، یک دایرکتوری مجازی ایجاد می‌کرد که در آن تمام اصطلاحات به همراه ارجاعاتی که نام فایل‌ها شامل این اصطلاحات بودند، ذخیره می‌شدند. این واقعیت بود که عناوین می‌توانستند از جملات کامل تشکیل شوند. به عبارت دیگر، آنها دیگر محدود به نام فایل‌ها نبودند. و اکنون می‌توانستند جستجو را با عملگرهای مانند “و”، “یا” و “نه” محدود کنند.

تاریخچه پیدایش موتورهای جستجوگر وب: خزنده‌ها در وب، عنکبوت‌ها، ربات‌های جستجو را در آوریل ۱۹۹۳، مؤسسه CERN فناوری وب جهان‌گستر رسماً در مالکیت عمومی قرار داد، به این معنی که اکنون همه می‌توانند از این سیستم به صورت رایگان استفاده و آن را توسعه دهند.

در ژوئن همان سال، «سرگردان وب جهان‌گستر»، که برای اندازه‌گیری رشد اینترنت در نظر گرفته شده بود، ایجاد شد. «سرگردان» اولین نوآوری برای استقرار یک ربات جستجو بود – یک برنامه خودکار که به زودی اساس تقریباً همه موتورهای جستجو را تشکیل می‌دهد.World Wide Web Wanderer”

ربات‌های جستجو اکنون به عنوان خزنده‌های وب یا عنکبوت‌ها شناخته می‌شوند: این خزنده‌های دیجیتال از لینکی به لینک دیگر و از یک وب‌سایت به وب‌سایت دیگر می‌دوند. آنها محتوا و کد منبع خود را برای عبارات خاص تجزیه و تحلیل می‌کنند و سپس یک فهرست جستجو ایجاد می‌کنند که در صورت درخواست‌های جستجوی بعدی با آنها ارتباط گرفته می‌شود. این جمع‌آوری‌کنندگان خودکار اطلاعات این کار را نه تنها یک بار، بلکه بارها انجام می‌دهند.

فهرست جستجو به طور مداوم نگهداری و به‌روز می‌شود: وب‌سایت‌های جدید اضافه می‌شوند، وب‌سایت‌های از رده خارج حذف می‌شوند و سایت‌های تغییر یافته به‌روزرسانی می‌شوند. این برنامه‌های کارآگاهی یکی از نام‌های خود را مدیون وب‌کرالر، اولین موتور جستجوی عمومی با فهرست کامل متن، هستند.

این موتور جستجو، اسناد کامل را برای عبارات جستجو جستجو می‌کرد و دیگر فعالیت‌های خود را به عناوین محدود نمی‌کرد. وب‌کرالر، با فهرست جستجوی بیش از ۴۰۰۰ سایت اینترنتی، در ۲۰ آوریل ۱۹۹۴ آنلاین شد. 

تاریخچه پیدایش موتورهای جستجوگر وب: همزمان با رشد و گسترش شبکه جهانی وب، موتورهای جستجوی جدید مانند قارچ از زمین بیرون آمدند. یاهو در سال ۱۹۹۴ در دانشگاه استنفورد، کالیفرنیا، توسعه یافت. دیوید فیلو و جری یانگ برای شروع به یک فهرست دستی متکی بودند و وب‌سایت‌های ثبت‌شده در آن را در دسته‌بندی‌هایی مرتب می‌کردند. یاهو بعداً اصل خزنده وب را برای خود ثبت کرد. در آوریل ۱۹۹۵، لیکوس راه‌اندازی شد.

موتور جستجویی که خورشیدگرفتگی در لوگوی آن وجود داشت، از الگوریتمی استفاده می‌کرد که فراوانی عبارات جستجو را در یک سند تعیین می‌کرد و نزدیکی کلمات به یکدیگر را ارزیابی می‌کرد. این امر شانس کاربران را برای یافتن نتایج مرتبط افزایش می‌داد.

در دسامبر ۱۹۹۵، شرکت تولیدکننده کامپیوتر DEC، آلتاویستا را به اینترنت عرضه کرد. این موتور جستجو در ابتدا برای نشان دادن قدرت سرورهای خود به همه مشتریان بالقوه در نظر گرفته شده بود. با این حال، آلتاویستا خیلی زود به یکی از محبوب‌ترین موتورهای جستجو در دنیای وب نوپا تبدیل شد.

این امر به ویژه به دلیل یک خزنده بسیار قدرتمند به نام «اسکوتر» بود که قادر بود وب‌سایت‌های بسیار بیشتری را نسبت به اکثر رقبای خود فهرست‌بندی کند. در سال بعد، ۱۹۹۶، لری پیج و سرگئی برین پروژه «بک‌راب» را در دانشگاه استنفورد راه‌اندازی کردند.

موتور جستجوی آنها قرار بود با استفاده از روشی جدید برای تعیین ارتباط وب‌سایت‌ها، نتایج بهتری نسبت به تمام آنچه قبلاً ارائه شده بود، ارائه دهد. در ۴ سپتامبر ۱۹۹۸، پیج و برین شرکت جدیدی را با نام گوگل ثبت کردند! بازی با کلمات «گوگول»، یک اصطلاح ریاضی برای رقم «۱» و ۱۰۰ صفر به دنبال آن. در ۲۱ سپتامبر ۱۹۹۹، موتور جستجوی آنها رسماً از مرحله بتا خارج شد.

یک نمونه اولیه گوگل با ابعاد مختلف، لوگوی جدید و گزینه مشابه: «جستجو در استنفورد» و «جستجو در وب». گوگل از یک رقیب سرسخت به یک رقیب سرسخت تر تبدیل می‌شود. در این زمان، لایکوس پربازدیدترین و پرکاربردترین وب‌سایت جهان بود. در کنار وب‌سایت‌ها، از آلتاویستا می‌شد برای جستجو و یافتن تصاویر، ویدیوها و صدا استفاده کرد.

تاریخچه پیدایش موتورهای جستجوگر وب: تقریباً هر اپراتور موتور جستجو، ایمیل رایگان ارائه می‌داد. به نظر می‌رسید بازار تا حد زیادی اشباع شده است. با این حال، این موتور جستجو که اخیراً با دو “O” در نام خود ظاهر شده بود، خیلی زود بسیار محبوب شد. دلیل این امر این بود که در حالی که موتورهای جستجوی برتر اغلب صفحات اصلی خود را با اخبار و بنرهای تبلیغاتی رنگارنگ پر می‌کردند، گوگل تأثیر مرتب و واضحی بر بیننده می‌گذاشت.

از همه مهمتر، این موتور جستجو به طور متوسط ​​نتایج بسیار خوبی را سریع‌تر از رقبای خود ارائه می‌داد. دلیل این امر الگوریتم PageRank بود که پیج و برین با هم توسعه دادند. این الگوریتم تضمین می‌کرد که گوگل در کنار محتوای یک وب‌سایت، با تعیین تعداد و کیفیت لینک‌ها به یک سایت، محبوبیت آن را نیز در رتبه‌بندی نتایج جستجوی خود لحاظ کند.

تفکر پشت این امر این بود که هرچه افراد بیشتر به یک سایت لینک بدهند، آن سایت برای آنها و سایر کاربرانی که به محتوای مشابه علاقه‌مند هستند، مرتبط‌تر است. در کنار کمیت لینک‌ها، کیفیت آنها نیز نقش داشت.

اگر سایت‌های مهم دیگر – با لینک‌های باکیفیت – نیز به آن لینک داشته باشند، رتبه بهتری به آن سایت داده می‌شود.