首頁 > 現代都市 > 超級U盤 > 第十九章 圖解

第十九章 圖解(2/2)

目錄

相對於已經獲得數十萬用戶的蜜蜂輸入法,蜜蜂安全就比較慘了,現在才三千多的下載,更加來源分析,很多人都是從蜜蜂輸入法網站頁面下方的友情連結找到的蜜蜂安全網站,然後其中一小部分下載了蜜蜂安全0。9公測版。

對此情況馬競倒是完全理解,既然蜜蜂輸入法發展的好,優先發展輸入法也是不錯的。儘管蜜蜂輸入法並沒有在三十萬用戶那裡找到那個人,馬競苦苦追尋的那個肇事司機。

伺服器版的蜜蜂發布器改進了整站下載機制,對於有價值文本文件的搜尋效率大大提高,不再需要一股腦兒下載所有文本文件了。其行為也更加像是搜尋引擎的網絡蜘蛛程序。

搜尋引擎藉助網絡蜘蛛程序自動下載網絡上的各種網頁內容,並為其建立索引和排序。用戶輸入關鍵字進行檢索時,搜尋引擎就從自己伺服器的索引中搜索結果。所以沒有任何一家搜尋引擎可以真正搜索全網,它們實際上只是搜索自家網絡蜘蛛「爬」過的內容,天然具有一定的滯後和不完整。所以越是大公司的搜尋引擎越是好用,因為它們的索引資料庫更加全面。

所以作為全球搜尋引擎巨頭,谷歌也擁有全世界最多的伺服器,超過45萬台,為全球超過80億網頁建立了索引(2005年),早在2004年,谷歌保存的索引數據就已經超過了5pb(1pb=1024tb,1tb=1024gb)。

有意思的是,谷歌45萬台伺服器中的大多數都是使用diy配件組裝起來的pc(個人電腦)級別的廉價伺服器。沒有使用性能更穩定,價格更高昂的伺服器專用主板和硬碟,而是大量使用個人電腦配件,因此被人戲稱是全球diy電腦最大消費者,也是民間用電大戶。

當然普通個人電腦配件的穩定性自然沒有更加昂貴的伺服器配件效果好,因此谷歌使用大量備份鏡像,系統會根據各台伺服器的負載情況自動分配任務,保證每台可用伺服器的負載都在安全範圍內,並且及時排除死機出錯設備的影響。

谷歌自己設計了gfs/mapreduce/bigtable/這三個架構在linux之上的平台,將其45萬台廉價伺服器巧妙的組織起來,構成了這個星球上最強力的超級計算機集群之一。

gfs谷歌文件系統將數十上百億網頁的索引文件集中存放,形成一個個64mb的文件塊,通過分級管理,大大簡化了海量文件的搜索管理難度。

mapreduce是google開發的c編程工具,用於大規模數據集的並行運算。它會安排多個計算機同時計算一個任務,一旦一台計算機有了結果,其它計算機就停止該任務,而進入下一任務。因為同時用多台計算機進行一個工作,個別計算機偶爾的宕機出錯也就不會影響整體任務的執行了。

至於bigtable,這是一個用來處理大數據量的系統,適合處理半結構化的數據。

不過谷歌的伺服器集群雖然強力,卻沒有報名參加全球超級計算機top500排名。

每年6月和11月,top500排行榜就會更新一次,目前最新的數據還是去年11月的排名。馬競也曾經去這家國外網站上去瞻仰過這些全世界最快的電腦。

目錄
返回頂部