本期《百度云說》邀請到的嘉賓是百度云主任架構師、百度云技術委員會主席呂毅。現(xiàn)負責百度云整體的技術把握，曾作為創(chuàng)始人，構建和應用百度集群操作系統(tǒng)Matrix。Matrix是國內(nèi)領先的成功構建、并大規(guī)模應用的基于輕量虛擬化技術支持的超大規(guī)模資源調(diào)度和管理的集群操作系統(tǒng)，是百度云架構、百度業(yè)務平臺的基石。訪談全文如下。
Q：百度Matrix集群操作系統(tǒng)是在什么背景下誕生的？
呂毅：云計算相比于傳統(tǒng)IT最大的優(yōu)勢就是在成本和效率層面實現(xiàn)了質(zhì)的飛躍。Matrix正是百度自身在追求成本和效率更加高效的大背景下誕生的，是內(nèi)部孵化且在業(yè)界具有領先地位的云計算產(chǎn)品。百度是在2010年開始對內(nèi)部云的虛擬化技術進行嘗試，2012年正式開始立項做Matrix集群操作系統(tǒng)，以此來解決數(shù)據(jù)中心資源利用率不均衡、故障處理效率低以及配置管理復雜等挑戰(zhàn)。目前，Matrix已經(jīng)全面覆蓋百度內(nèi)部業(yè)務，并成為百度云的關鍵組件。
Q：百度Matrix從立項到現(xiàn)在經(jīng)歷了哪幾個發(fā)展階段？
呂毅：2012年-2015年是Matrix發(fā)展的第一階段，這期間百度數(shù)據(jù)中心效率提升明顯，資源利用率得到大幅提升，獲得了很好的收益。
2015年-2017年是Matrix發(fā)展的第二階段。由于大數(shù)據(jù)的大量生成以及AI的快速發(fā)展，大數(shù)據(jù)處理和模型訓練增長迅猛，從而對資源的需求大幅增加。為了結合業(yè)務發(fā)展需要和成本控制，從2015年開始啟動大規(guī)模的混合部署，對資源管理、調(diào)度以及對上層業(yè)務的支持提出了更高的要求。Matrix在這個階段很好地滿足了業(yè)務需求，并得以實現(xiàn)大規(guī)模混布。目前，Matrix支撐了所有內(nèi)部業(yè)務的交付，混合部署也成為百度默認的資源交付方式。同時，從業(yè)務角度看，混合資源和非混合資源的影響感知非常小，極大地節(jié)省了成本。
Q：百度Matrix最為核心的功能有哪些？
呂毅：Matrix架構是可以與Google Borg/Omega架構來對標的，通過分層調(diào)度器來滿足業(yè)務多樣性調(diào)度需求，通過共享狀態(tài)的方式達到資源的最大化利用。據(jù)悉，目前Matrix管理著國內(nèi)最大的容器集群系統(tǒng)。
此外，Matrix還具備完善的調(diào)度生態(tài)，提供面向批量作業(yè)和服務的不同調(diào)度系統(tǒng)，能夠滿足業(yè)務高效吞吐和低延遲穩(wěn)定性的需求。在此基礎上，在百度內(nèi)部提供了完整的服務托管體系，面向業(yè)務提供多樣的服務管理功能，結合研發(fā)和測試過程的優(yōu)化，極大的提升業(yè)務的研發(fā)效率。
簡單來講，對客戶來說，只需要提供物理機，初始安裝Matrix集群操作系統(tǒng)后，剩下的就是通過Matrix實現(xiàn)對上層應用服務的發(fā)布、部署、資源管理，以及整體資源優(yōu)化。
Q：從功能的角度，Matrix未來會朝著什么方向演進？
呂毅：從開源來看，DockerImage已經(jīng)成為容器部署的標準。因此，在容器角度上，Matrix在內(nèi)核基礎上繼續(xù)定制優(yōu)化容器技術，并繼續(xù)完善配套的管理機制。
從技術棧來看，最底層是虛擬機和物理機，Matrix會優(yōu)化管理整個集群的物理資源，包括物理資源的故障恢復以及分區(qū)域管理；往上是包括容器的編排和調(diào)度如何更加高效；最上層是服務管理層，涉及到服務的分級發(fā)布、服務管理等，如何更通用和易用，以及如何更好的優(yōu)化CI/CD，持續(xù)提升業(yè)務的迭代效率。
最后，單獨提到容器技術，如何持續(xù)提高容器的安全性（隔離），實現(xiàn)真正多租戶的混合部署，逐步和虛機技術實現(xiàn)更好的融合。Matrix將繼續(xù)借鑒和回饋K8s/Docker社區(qū)，并結合百度自身對容器技術改進和理解，進一步完善自身功能，持續(xù)對內(nèi)部和外部客戶輸出。
Q：Matrix在當前階段的發(fā)展目標是什么？
呂毅：Matrix當前階段的目標優(yōu)化內(nèi)部，同時對外賦能，百度公有云以及基于Matrix對外提供各種云服務，而一些企業(yè)級客戶其實在內(nèi)部的私有云同樣有著類似的需求。尤其是現(xiàn)在越來越多企業(yè)都有著大數(shù)據(jù)處理以及提升企業(yè)AI能力的需求，這其實和百度早期非常接近，希望能夠利用我們在集群操作系統(tǒng)的經(jīng)驗，包括服務管理、容器技術以及其他開源技術的實現(xiàn)，結合百度云的大數(shù)據(jù)和AI能力，整體打包做成客戶解決方案，滿足企業(yè)客戶的發(fā)展需求。
Q：Matrix這種非常強大的集群管理系統(tǒng)比較適合什么類型的客戶？
呂毅：服務器數(shù)量只要達到上百臺的企業(yè)級客戶就可以采用Matrix。業(yè)務規(guī)模較小時，其實資源管理和調(diào)度相對較為簡單；當業(yè)務規(guī)模較大時，不引入容器技術就會導致上層管理系統(tǒng)的設計和實現(xiàn)復雜度增大，尤其是在混合部署下差異更高。引入容器技術，隨著規(guī)模增長，客戶就會感受到容器本身效率會對業(yè)務產(chǎn)生的影響，這就需要集群操作系統(tǒng)來管理復雜的環(huán)境，規(guī)范和優(yōu)化業(yè)務。
Q：企業(yè)級客戶如果想采用Matrix的話，切入點會在哪里？
呂毅：從我們現(xiàn)階段接觸的客戶需求來看，我們會首先輔助企業(yè)內(nèi)部構建一套基于容器技術的系統(tǒng)，來優(yōu)化企業(yè)內(nèi)部原有的業(yè)務。現(xiàn)在很多企業(yè)對于大數(shù)據(jù)和AI的訴求是非常強勁的，這對于Cloud的能力提出了更高的要求，因此百度首先會在Cloud部分提出相應的解決方案，滿足企業(yè)內(nèi)部應用容器技術上遷移。
其次，百度可以為企業(yè)提供大數(shù)據(jù)和AI的定制化解決方案，最后整體面向企業(yè)進行ABC的交付，很好地滿足企業(yè)的大數(shù)據(jù)和AI業(yè)務需求。
Q：Matrix對外賦能是否隨著業(yè)務和客戶的發(fā)展而變化？
呂毅：企業(yè)級市場的核心就是以客戶業(yè)務需求為導向，Matrix也一致秉持這個發(fā)展理念。Matrix會沿著通用化的發(fā)展路線對外輸出，保持基礎核心功能層不變，在深度分析客戶需求之后結合百度的經(jīng)驗，抽象出相對通用化的系統(tǒng)和解決方案，再結合客戶的業(yè)務需求進行定制。此外，百度會繼續(xù)在內(nèi)部堅持技術創(chuàng)新，包括加大對Kubernetes、Docker等社區(qū)的貢獻，持續(xù)優(yōu)化Matrix的核心功能。
Q：目前采用Matrix產(chǎn)品的經(jīng)典客戶案例是？
呂毅：我們對外不單獨交付Matrix，Matrix是作為百度對外交付解決方案的一部分。目前國內(nèi)已經(jīng)有很多客戶在百度交付的解決方案中用到了Matrix技術。比如，百信銀行，作為國內(nèi)第一家互聯(lián)網(wǎng)銀行，是一家建立在云上面的銀行，并且集ABC能力于大成的新時代銀行，百信銀行采用了來自百度的云架構技術，在分布式集群架構上構建起了銀行的核心業(yè)務系統(tǒng)，非常具有前瞻性和領先性。
