第三百零三章 雲計算競爭(1/2)
「去IOE」這個說法,
是在王堅博士加盟百度研究院、原「大中台」事業群改組為易趣雲。
隋波提出了公司系統平台的「自主研發」道路和「雲計算」戰略之後。
在去年初的長城會議上,正式確定的。
星河系旗下的電商、搜索、社交業務,都是平台級的應用。
隨著業務發展,
無論是海量暴增的數據,還是大規模高並發的網際網路行為、對計算能力的巨大需求……
現有的傳統伺服器架構和集中式Oracle資料庫架構,已經越來越不適應業務擴展的需要。
不僅成本高,維護費用高。
甚至可能會導致,系統被主機和硬體廠商所「綁架」,不得不持續增加投入成本。
而隨著星河系的盤子越來越大。
所需要付出的升級硬體和維護的代價,也會越來越驚人……
在這兩年易趣618大促、淘寶雙11促銷活動,電商業務量暴增;百度全球化擴張步伐導致的數據存儲和檢索量激增;易迅在社交和遊戲業務上的快速增長等情況下……
「去IOE」,就更加變得勢在必行了!
所謂「去IOE」。
其核心是低成本、線性可控、去中心化(分布式):
「PC Sever替代IBM小型機;MySQL+自研資料庫替代Oracle;去EMC,用中低端存儲」。
簡單來說,
傳統的IOE代表的是集中式架構,而「去IOE」,就是推動分布式架構代替集中式架構。
其實質,與「雲計算」戰略是緊密相連的。
在今天的合伙人會議上,
王堅博士第一次向所有合伙人,詳細闡述了目前「去IOE」和雲計算的進度。
「像我們星河集團這樣大規模的網際網路應用,採用開源、開放的系統架構,這其實並不是什麼新的發明。
國外的Google、亞馬遜這些公司,都是採用的類似系統架構。
只不過,它們幾乎一開始就沒有採用IT商業公司的架構,所以他們不用「去IOE」。
而我們在前期,由於沒有足夠的技術實力來開發自有系統。
為了系統的穩定性和高性能的運算存儲,採用了高端的IT商業公司架構。
現在基於集團業務發展的需要,同時也積聚了一定的技術實力。
是時機可以開展自主研發了。」
王堅顯得頗有感觸:
「當然,在這個過程中,困難是非常大的……
多虧了波總、龐總的支持,和所有團隊的認同和協作。
如果沒有技術、產品和業務等各團隊的相互協同,這是一件不可能的事!」
根據他的介紹,去IOE的困難,主要是技術層面的……
比如,「去I」,技術架構是關鍵:
小型機作為IT系統的主要計算設備承載了大部分的業務,但從擴展性、性價比、核心能力掌控等角度而言,不適宜集團目前業務發展。
而X86單個CPU處理能力一直在提升,應用了分布架構和雲計算技術,可以用一個數據中心去替代某一台大機。
不過,應用採用分布式架構,提升處理能力,必須對應用代碼進行改造。
所以,應用層可以直接替換成廉價的X86伺服器,難點在涉及到部分代碼重構;
數據層(易趣)也可以採用X86伺服器或者是資料庫雲平台,分析型業務(百度)則主要遷移到大數據平台。
「去E」的主要難點,僅限於技術架構,對應用基本無影響。
但同時,「去E」也需要在存儲性能、可靠性和容災方面考慮對策。
實際上,「去I」和「去E」,在技術上難度和複雜程度都不算太大……
「去IOE」真正的難點和重點,
是「去O」!
因為資料庫非常難被替換。
它處在整個產品或者產業鏈最底層的位置,替換風險很大,但收益相比起來卻小得多。
這也是為什麼像IBM、微軟這樣的後來者,也無法取代Oracle。
而對於星河集團而言,「去O」的主要難點在於:
傳統關係數據庫都是通過外部硬體來保證可用性,在用便宜的PC機替換高端伺服器之後,硬體更容易出故障了,如何保證資料庫高可用?
高可用和數據一致性如何同時保證?
分布式系統怎麼同時實現CAP的要求?(CAP指:一致性(Consistency, C)、可用性(Availability, A)、分區容錯性(Partition Tolerance, P))
幾十年來,這麼多做資料庫的廠商,國內國外基本沒有人成功過……
而且從公司的業務發展的角度,也不可能等你幾年把資料庫做出來,再去發展業務。
更可行的做法,是先基於開源做出一些東西,讓業務先往前走。
所以,目前王堅為首的技術團隊,採用的是數據切分(sharding)的策略。
將部分海量數據應用,先從集中式Oracle切換到分布式MySQL集群,從縱向擴展到水平擴展,解決了資料庫擴展性的問題。
同時,目前百度研究院正在研發自有的分布式關係數據庫——OceanBase。
這裡不得不提到一個人,陽振坤博士。
這也是一位「超級大牛」:
84級帝大數學系,碩士師從本系的張恭慶院士,後又轉向計算機領域,博士師從計算機系的王選院士。
大學只用了3年,碩士1年多,24歲成為王選院士博士……
95 年其所在團隊研究成果獲國家科技進步一等獎(排名第四),1997 年, 32 歲被破格晉升為教授、99年成為帝大首批「長江學者獎勵計劃」特聘教授。
他是跟隨王堅博士,從微軟亞洲研究院「跳槽」,來到百度研究院的十幾名科學家之一。
目前擔任百度研究院系統資料庫項目組組長、高級技術專家(P9)。
陽振坤博士一直都是研究分布式技術和分布式系統的。
他十分看好雲計算系統的發展機會,在加入百度研究院後,就主動請纓,開始擔綱主持分布式關係數據庫OceanBase的研發。
而王堅對於他的研發項目,也非常支持。
認為OceanBase資料庫,將會是未來星河雲計算戰略中,最重要的一環!
本章未完,點選下一頁繼續閱讀。