壹個陣列有n根1000M光纖，n個服務器級硬盤！
1.1之前的互聯網搜索時代
互聯網發展初期，網站相對較少，查找信息比較容易。然而，隨著互聯網的爆炸式發展，普通網絡用戶要找到自己需要的信息就像大海撈針。這時，滿足公眾信息檢索需求的專業搜索網站應運而生。
所有搜索引擎的始祖是蒙特利爾麥吉爾大學的艾倫·恩塔奇、彼得·多伊奇和比爾·惠蘭在1990年發明的阿奇·常見問題。那時候萬維網還沒有出現。Archie是第壹個在互聯網上自動索引匿名FTP網站文件的程序，但它不是壹個真正的搜索引擎。Archie是壹個可搜索的FTP文件名列表。用戶必須輸入準確的文件名搜索，然後Archie會告訴用戶哪個FTP地址可以下載文件。
阿奇的工作原理和現在的搜索引擎非常接近。它依靠腳本程序自動搜索在線文件，然後索引相關信息，供用戶用壹定的表達式進行查詢。受Archie受用戶歡迎的啟發，美國內華達州的系統計算服務大學在1993開發了另壹個非常相似的搜索工具，但此時的搜索工具除了索引文件外，還可以檢索網頁。
當時“機器人”這個詞在程序員中非常流行。電腦機器人是指能夠以人類無法達到的速度不間斷地執行某項任務的軟件程序。因為專門用來檢索信息的“機器人”程序像蜘蛛壹樣在網絡上爬行，所以搜索引擎的“機器人”程序被稱為“蜘蛛”程序。因為專門用來檢索信息的機器人程序像蜘蛛壹樣在網絡上爬行，所以搜索引擎的機器人程序被稱為蜘蛛(SpiderFAQ program。世界上第壹個蜘蛛程序，麻省理工學院馬修·格雷分校的萬維網漫遊者，被用來跟蹤互聯網發展的規模。起初，它只是用來統計互聯網上的服務器數量。後來，它被開發用來捕捉網址。
世界上第壹個監測互聯網發展規模的“機器人”程序是馬修·格雷開發的萬維網漫遊者。壹開始只是用來統計互聯網上的服務器數量，後來發展到可以檢索網站域名。
對應漫遊者，1993 10年6月，Martijn Koster創建了阿裏Web (Martijn Koster公告阿裏Web的可用性)，相當於HTTP版的Archie。ALIWEB不使用互聯網搜索機器人。如果網站管理員希望自己的網頁被收錄到ALIWEB中，需要提交自己的每個網頁的介紹和索引信息，類似於後來眾所周知的Yahoo。
1993年底，壹些基於這個原理的搜索引擎開始陸續出現。三個最著名的是:蘇格蘭的JumpStation，科羅拉多大學的Oliver McBryan的萬維網蠕蟲(McBryan的第壹個指令)和美國國家航空航天局的基於知識庫的軟件工程(RBSE) Spider。隨著互聯網的快速發展，檢索所有新的網頁變得越來越困難。因此，基於馬修·格雷的《漫遊者》，壹些程序員改進了傳統“蜘蛛”程序的工作原理。這個想法是，由於所有的網頁可能有鏈接到其他網站，這是有可能的搜索整個互聯網通過以下壹個網站的鏈接。而Jump Station和WWW Worm只是按照搜索工具在數據庫中找到匹配信息的順序對搜索結果進行排序，不存在信息關聯。RBSE是第壹個將關鍵詞串匹配度的概念引入搜索結果排名的引擎。
1993年2月，六個斯坦福大學學生的想法是分析單詞之間的關系，以便更有效地搜索互聯網上的大量信息。這太令人興奮了。後來以概念搜索出名。2002年5月，被Infospace收購的Excite停止了自己的搜索引擎，轉而使用元搜索引擎Dogpile。
1994 1月，第壹個可搜索可瀏覽的目錄EINetGalaxy(Tradewave Galaxy)上線。除了網站搜索，還支持Gopher和Telnet搜索。
1994年4月，兩位斯坦福大學的博士生楊致遠(楊致遠)和大衛·費羅***，創立了雅虎。隨著訪問量和鏈接數的增加，雅虎目錄開始支持簡單的數據庫搜索。因為雅虎！的數據是人工輸入的，所以不能真正歸類為搜索引擎。事實上，它只是壹個可搜索的目錄。搜索效率明顯提高。(雅虎將使用Altavista、Inktomi和谷歌提供搜索引擎服務。)
1994年初，華盛頓大學計算機系學生布萊恩·平克頓開始了他的小項目“布萊恩·平克頓宣布網絡爬蟲的可用性”。1994年4月20日，網絡爬蟲僅包含來自6000臺服務器的內容。網絡爬蟲是互聯網上第壹個支持搜索文檔所有單詞的全文搜索引擎。在它之前，用戶只能通過URL和摘要進行搜索，這些通常來自人工註釋或自動提取文本前100個單詞的程序。(後來網絡爬蟲相繼被AOL和excite收購，現在使用Excite這樣的元搜索引擎Dogpile。)
1.2互聯網搜索時代
最早的現代搜索引擎出現在1994年7月。當時，邁克爾·毛爾丁(Michael Mauldin)將約翰·萊維特(John Leavitt)的蜘蛛程序連接到其索引程序，並創建了Lycos，這種程序現在已廣為人知。同年4月，斯坦福大學的兩名博士生大衛·費羅(David Filo)和美籍華人格裏·楊(Gerry Yang)共同創辦了超級目錄索引雅虎(Yahoo)，成功地讓搜索引擎的概念深入人心。自此，搜索引擎進入了高速發展期。目前，互聯網上有數百個知名的搜索引擎，它們檢索的信息量與以前不可同日而語。比如最近風頭正勁的Google，它的數據庫裏存儲了30億個頁面！
隨著互聯網的快速擴張，壹個搜索引擎已經無法獨自適應當前的市場形勢，所以現在搜索引擎之間有分工合作，有專業的搜索引擎技術和搜索數據庫服務商。和國外的Inktomi壹樣，它並不是壹個直接面向用戶的搜索引擎，而是向包括Overture(原GoTo)、LookSmart、MSN、HotBot等其他搜索引擎提供全文網頁搜索服務。中國的百度也屬於這壹類，搜狐和新浪用的都是它的技術。所以，從這個意義上來說，他們是搜索引擎的搜索引擎。
Lycos(卡內基梅隆大學機器翻譯中心Lycos)是搜索引擎歷史上的另壹個重要進步。卡內基梅隆大學的Michael Mauldin將John Leavitt的蜘蛛程序與其索引程序連接起來，並創建了Lycos。7月20日，1994，數據量54000的Lycos正式發布。除了相關性排名，Lycos還提供前綴匹配和字符相似性限制。Lycos率先在搜索結果中使用網頁自動摘要，最大的優勢是遠遠超過其他搜索引擎的數據量:65438+8月0994-39.4萬篇文檔；1995 1月-1.5萬文檔；1996 11月-超過6000萬文檔。(註:1999年4月，Lycos停止了自己的蜘蛛，轉而由Fast提供搜索引擎服務。)
Infoseek是另壹個重要的搜索引擎。雖然該公司聲稱1994 1成立，但其搜索引擎直到年底才與公眾見面。起初，Infoseek只是壹個默默無聞的搜索引擎，緊隨雅虎之後。而Lycos，沒有什麽獨特的創新。但它的發展歷程和隨後的口碑證明，壹開始第壹個上臺並不總是重要的。Infoseek友好的用戶界面和大量的附加服務(如ups追蹤、新聞、目錄等)使它越來越出名。6月1995+2月65438與網景公司的戰略協議使其成為壹個強大的搜索引擎:當用戶點擊網景瀏覽器上的搜索按鈕時，Infoseek的搜索服務就會彈出，而雅虎！提供這項服務。(註:Infoseek後來因其相關性而出名。2001年2月，Infoseek停止了自己的搜索引擎，開始使用Overture搜索結果。)
1995年，出現了壹種新形式的搜索引擎——元搜索引擎綜述。用戶只需提交壹次搜索請求，元搜索引擎負責轉換處理後提交給多個預選的獨立搜索引擎，獨立搜索引擎返回的所有查詢結果都經過收集處理後返回給用戶。第壹個元搜索引擎是華盛頓大學的碩士生埃裏克·塞爾伯格和柳文歡·埃齊奧尼的Metacrawler。元搜索引擎在概念上聽起來不錯，但是搜索效果總是不盡如人意，所以從來沒有元搜索引擎有過強勢地位。
DEC的altavista(部分網友從2001夏天開始需要通過p-roxy訪問，qbseach搜索AltaVista沒有p-roxy可用，只能顯示搜索結果首頁)是後來者，直到1995 (AltaVista公測新聞稿)才出現。但大量的創新功能使其迅速達到了當時搜索引擎的巔峰。Altavista最突出的優勢就是速度。Altavista的其他新功能永遠改變了搜索引擎的定義。AltaVista是第壹個支持自然語言搜索的搜索引擎，AltaVista是第壹個實現高級搜索語法(如and、OR、NOT等)的搜索引擎。).用戶可以使用AltaVista搜索新聞組並從互聯網上獲取文章，還可以在圖片名稱、標題、Java小程序和ActiveXobjects中搜索單詞。AltaVista還聲稱是第壹個支持用戶向web索引數據庫提交或刪除URL的搜索引擎，並且它可以在24小時內啟動。AltaVista最有趣的新功能之壹是搜索所有帶有URL鏈接的網站。在面向用戶的界面上，AltaVista也做了很多創新。它將“提示”放在搜索框區域，幫助用戶更好地表達他們的搜索風格。這些提示經常更新，以至於用戶搜索幾次後，會看到很多自己可能永遠不知道的有趣功能。這壹系列功能逐漸被其他搜索引擎廣泛采用。
1997年，AltaVista發布了壹個圖形演示系統LiveTopics，幫助用戶從成千上萬的搜索結果中找到自己想要的東西。
然後是HotBot。1995年9月26日，CS助教EricBrewer和加州伯克利博士生PaulGauthier創辦Inktomi(UC Berkeley announcements Inktomi)。1996年5月20日，Inktomi公司成立，壹個強大的HotBot出現在世人面前。它聲稱每天可以抓取超過65438+1億頁的索引，因此有遠超其他搜索引擎的新內容。HotBot還使用cookie來存儲用戶的個人搜索偏好。(Hotbot是隨後幾年最受歡迎的搜索引擎之壹，被Lycos收購)
Northernlight公司於1995年9月在馬薩諸塞州劍橋成立，1995。8月，1997，Northernlight搜索引擎正式出現。它曾經是數據庫最大的搜索引擎之壹。它沒有停止字。它有極好的時事新聞，壹個由超過7100個出版物組成的特殊收藏，以及壹個很好的高級搜索語法。它是第壹個支持搜索結果簡單自動分類的。(2002年6月5438+10月65438+6月6日，北極光搜索引擎關閉，隨後被divine收購。但在Nlresearch中，選擇了“僅萬維網”，仍可使用Northernlight搜索引擎。)
在1998 10之前，Google只是斯坦福大學的壹個小項目。1995，博士生LarryPage開始研究搜索引擎設計，並於9月15，1997註冊了google.com的域名。1997年底，在謝爾蓋·布林、斯科特·哈桑、艾倫·斯特倫伯格的參與下，巴赫Rub開始提供Demo。1999年2月，Google完成了從Alpha版到Beta版的轉型。谷歌把1998年9月27日當做自己的生日。
谷歌在綜合搜索、多語言支持、用戶界面等功能上的創新，如Pagerank、動態摘要、網頁快照、每日刷新、多文檔格式支持、地圖股票詞典搜索等，又壹次像Altavista壹樣永遠改變了搜索引擎的定義。
在2000年年中之前，谷歌因其搜索準確性而備受推崇，但由於其數據庫沒有其他搜索引擎大，缺乏先進的搜索語法，使用價值不是很高，推廣也不快。直到2000年年中數據庫升級，才被雅虎選為搜索引擎。
Fast(Alltheweb)公司成立於1997，是挪威科技大學(NTNU)學術研究的副產品。1999年5月，發布了自己的搜索引擎AllTheWeb。Fast的目標是做全球最大最快的搜索引擎，這幾年已經接近了。Fast(Alltheweb)可以按ODP自動分類網頁，支持Flash和pdf搜索，支持多語言搜索，還提供新聞搜索、圖片搜索、視頻、MP3和FTP搜索，具有極其強大的高級搜索功能。
Teoma源於1998羅格斯大學的壹個項目。Apostolos Gerasoulis教授帶領華裔教授陶陽等人在新澤西皮斯卡塔韋創建了Teoma，於2001年春季首次亮相，2001年9月被Ask Jeeves收購，2002年4月再次發行。Teoma的數據庫仍然很小，但它有兩個輝煌的功能:支持Refine類似於自動分類；同時，還提供了專業鏈接目錄資源。
Wisenut由韓裔尹汝傑創立。2001春季發布測試版，2006 54 38+0 9月5日發布正式版。2002年4月，它被分類目錄提供商looksmart收購。Wisenut還有兩個高明的功能:WiseGuide包含相似自動分類和相關搜索詞；預覽搜索結果。
Gigablast由前Infoseek工程師Matt Wells創立。2002年3月顯示pre-Beta版，2002年7月21日發布Beta版。Gigablast的數據庫目前還很小，但也提供網頁快照。壹個特殊的功能是實時索引網頁，妳的網頁壹提交就能被搜索到(註:垃圾郵件發送者的肉包子功能暫時關閉)。
Openfind成立於1998 65438+10月，其技術源於臺灣中正大學吳生教授領導的GAIS實驗室。起初，Openfind只是壹個中文搜索引擎。曾經是最好的中文搜索引擎。巔峰時期為新浪、奇摩、雅虎三大著名門戶網站提供中文搜索引擎，但2000年後市場逐漸被百度、谷歌瓜分。2002年6月，Openfind基於GAIS30Project重新發布了Openfind搜索引擎的測試版，推出了PolyRankTM，並宣布已經積累了35億網頁，開始進軍英文搜索領域。此後，技術升級明顯加快。
北大天網是九五國家重點科技項目“中英文中文編碼與分布式信息發現”的研究成果。由北京大學計算機系網絡與分布式系統研究室開發，於6月29日在CERNET上正式提供服務，1997。2000年初，新的天網搜索引擎研究組成立，由國家973重點基礎研究發展規劃項目基金資助開發，收錄網頁約6000萬。利用教育網的優勢，擁有強大的ftp搜索功能。
5438年6月+2000年10月，Hyperchain Analysis專利發明人、原Infoseek高級工程師李彥宏和好友徐勇(加州柏克萊大學博士)在北京中關村創立了百度公司。Baidu.com搜索引擎測試版於2001年8月發布(百度僅提供搜狐、新浪、Tom等其他門戶的搜索引擎)，百度搜索引擎於2001 10年10月22日正式發布。百度雖然只提供中文搜索，但目前包含了9000多萬個中文網頁，可能是最大的中文數據庫。百度搜索引擎的其他功能還包括:網頁快照、網頁預覽/所有網頁預覽、相關搜索詞、錯別字糾正提示、新聞搜索、Flash搜索和信息快車搜索。2002年3月Blitzen項目啟動後，技術升級明顯加快。
1.3搜索引擎大事記
1990年，麥吉爾大學學生艾倫·恩塔奇、彼得·多伊奇和比爾·惠蘭發明了阿奇常見問題。
1993年，美國內華達州系統計算服務大學開發了另壹款與Archie非常相似的搜索工具，但此時的搜索工具除了索引文件外，還能搜索網頁。
1993年，馬修·格雷開發了萬維網漫遊者，這是世界上第壹個監測互聯網發展規模的“機器人”程序。
1993 10年6月，Martin Koster創建了ALIWEB，這是Archie的HTTP版本。
1993年底，壹些基於這壹原理的搜索引擎開始陸續出現，其中以Jump Station、萬維網蠕蟲和基於知識庫的軟件工程(RBSE)蜘蛛最為著名。
1994 1月，第壹個可搜索可瀏覽的目錄EINetGalaxy(Tradewave Galaxy)上線。除了網站搜索，還支持Gopher和Telnet搜索。
1994年初，華盛頓大學計算機系學生布萊恩·平克頓開始了他的小項目“布萊恩·平克頓宣布網絡爬蟲的可用性”。4月20日，1994，網絡爬蟲正式出現。
1994年4月，兩位斯坦福大學的博士生楊致遠(楊致遠)和大衛·費羅***，創立了雅虎。隨著訪問量和鏈接數的增加，雅虎目錄開始支持簡單的數據庫搜索。因為雅虎！的數據是人工輸入的，所以不能真正歸類為搜索引擎。事實上，它只是壹個可搜索的目錄。
1994年7月，Michael Mauldin將John Leavitt的spider程序連接到其索引程序，並創建了Lycos，該程序現在已廣為人知。1996年底，AOL收購了Excite 20%的股份，美國在線搜索引擎自然由Excite提供。
1995年，出現了壹種新形式的搜索引擎——元搜索引擎綜述。第壹個元搜索引擎是華盛頓大學的碩士生埃裏克·塞爾伯格和柳文歡·埃齊奧尼的Metacrawler。
1995年9月26日，CS助教EricBrewer和加州伯克利博士生PaulGauthier創辦Inktomi(UC Berkeley announcements Inktomi)。1996年5月20日，Inktomi公司成立，壹個強大的HotBot出現在世人面前。
1995年9月，北極光公司在馬薩諸塞州劍橋成立。8月，1997，Northernlight搜索引擎正式出現。它曾經是數據庫最大的搜索引擎之壹。它沒有停止字。它有極好的時事新聞，壹個由超過7100個出版物組成的特殊收藏，以及壹個很好的高級搜索語法。它是第壹個支持搜索結果簡單自動分類的。
1995，博士生LarryPage開始研究搜索引擎設計，並於9月15，1997註冊了google.com的域名。1997年底，在謝爾蓋·布林、斯科特·哈桑、艾倫·斯特倫伯格的參與下，巴赫Rub開始提供Demo。1999年2月，Google完成了從Alpha版到Beta版的轉型。谷歌把1998年9月27日當做自己的生日。
1997，Fast(Alltheweb)成立於年，是挪威科技大學(NTNU)學術研究的副產品。1999年5月，發布了自己的搜索引擎AllTheWeb。
1998年，Rutgers大學的Apostolos Gerasoulis教授帶領陶陽教授等人在新澤西Piscataway建立了Teoma，它於2006年春天首次亮相，於2006年9月被Ask Jeeves收購，並於2002年4月再次發行。
1998 1，Openfind成立，其技術源於臺灣中正大學吳生教授領導的GAIS實驗室。2002年6月，Openfind基於GAIS30Project重新發布了Openfind搜索引擎的測試版。
1997 10 10月29日，作為國家重點科技項目“中英文中文編碼與分布式信息發現”的研究成果，北大天網由北大計算機系網絡與分布式系統研究室開發，在CERNET上正式提供服務。2000年初，新的天網搜索引擎研究組成立，由國家973重點基礎研究發展規劃項目基金資助開發，收錄網頁約6000萬。利用教育網的優勢，擁有強大的ftp搜索功能。
5438年6月+2000年10月，Hyperchain Analysis專利發明人、原Infoseek高級工程師李彥宏和好友徐勇(加州柏克萊大學博士)在北京中關村創立了百度公司。Baidu.com搜索引擎測試版於2001年8月發布(百度僅提供搜狐、新浪、Tom等其他門戶的搜索引擎)，百度搜索引擎於2001 10年10月22日正式發布。
2001年春天，韓國人尹汝傑創辦了Wisenut，發布了測試版，2001年9月5日發布了正式版。2002年4月，它被分類目錄提供商looksmart收購。
2002年5月1日，網絡帝國AOL與谷歌簽約，全面采用谷歌的搜索引擎，展示谷歌出售的所有網站的排名結果。
2002年2月24日，65438+雅虎表示，同意以約2.35億美元收購搜索軟件公司Inktomi。
2003年6月5438+10月65438+8月，谷歌收購了在線出版軟件開發商PyraLabs，這是Blogger.com博客網站的開發團隊。
2003年2月19日，Overture Service公司表示，計劃以140萬美元現金加股票的方式從CMGI公司收購門戶網站AtaVista。
2003年2月26日，Overture同意以65，438+0億美元收購挪威FastSearchandTransfer公司的網頁搜索部門。
2003年4月15日，新浪與中國搜索聯盟結成戰略聯盟。到目前為止，中國已有數百家網站組成了搜索聯盟，以應對國際巨頭谷歌進入國內市場後的巨大壓力。
2003年4月21日，第二大互聯網搜索引擎提供商AskJeeves宣布將升級其Ask.com網站。Askjeeves是僅次於谷歌的第二大搜索引擎，也是互聯網上第五大搜索基地(谷歌、雅虎、微軟、美國在線、AskJeeves)。
2003年6月18日，微軟表示正在加緊研發新的互聯網搜索引擎技術，包括測試壹個具有更先進功能的原型。
2003年7月13日，百度推出圖片搜索和新聞搜索兩大搜索功能，拉動搜索流量。同時，輔以百度的搜索列表，百度的信息搜索和信息評價更加突出。
2003年7月15日，全球最大的互聯網公司雅虎宣布以163億美元收購網絡搜索服務的競爭對手—Overture，以期在與谷歌的競爭中取得優勢。