中國移動陶濤：構建大數(shù)據(jù)湖倉一體生態(tài)，促進數(shù)據(jù)要素價值發(fā)揮 天天熱資訊

（CWW）2023年7月4日至5日，由中國通信標準化協(xié)會大數(shù)據(jù)技術標準推進委員會（CCSA TC601）主辦的2023可信數(shù)據(jù)庫發(fā)展大會在北京國際會議中心召開。中國移動信息技術中心副總經(jīng)理陶濤受邀參加大會主論壇，發(fā)表了題為《構建大數(shù)據(jù)湖倉一體生態(tài)，促進數(shù)據(jù)要素價值發(fā)揮》的演講，圍繞數(shù)據(jù)要素流通新形態(tài)、數(shù)據(jù)處理面臨的新問題、數(shù)據(jù)處理平臺的新愿景等議題深入交流探討。

(相關資料圖)

擁抱新變化，構建新平臺

陶濤表示，隨著數(shù)字經(jīng)濟的發(fā)展，全球數(shù)據(jù)量已經(jīng)進入YB時代（1YB，即1千萬億GB，約為4萬億臺256GB手機的存儲容量）。在數(shù)據(jù)規(guī)模的爆發(fā)式增長下，中國移動的數(shù)據(jù)形態(tài)呈現(xiàn)出“多模態(tài)”特點，即各類數(shù)據(jù)廣泛應用于政府、企業(yè)，并逐步發(fā)展為全局、跨域、規(guī)?；瘧?。

同時，隨著數(shù)據(jù)量的發(fā)展和數(shù)據(jù)融合的逐步加深，傳統(tǒng)的數(shù)據(jù)庫、數(shù)據(jù)倉庫、大數(shù)據(jù)平臺技術逐漸顯露出“瓶頸”。在數(shù)據(jù)分散、重復存儲、難于管理等多重困難挑戰(zhàn)下，中國移動緊緊圍繞YB時代生態(tài)、高效處理海量非結構化數(shù)據(jù)、全面提升數(shù)據(jù)韌性等數(shù)據(jù)治理演進方向，打造湖倉一體新型開放式架構。這既是中國移動直面數(shù)據(jù)孤島挑戰(zhàn)的態(tài)度，也可以看作是協(xié)同各界力量對建設未來新型大數(shù)據(jù)平臺的嘗試。

湖倉一體架構充分結合了數(shù)據(jù)湖和數(shù)據(jù)倉庫的優(yōu)勢，在低成本的數(shù)據(jù)湖存儲架構之上，繼承了數(shù)據(jù)倉庫的數(shù)據(jù)處理和管理功能，形成了一個完整且高效的數(shù)據(jù)處理體系，實現(xiàn)一份數(shù)據(jù)和一套任務在湖、倉之上的無縫調(diào)度和管理。

YB時代，從“存”到“倉”的蝶變

陶濤詳細介紹了湖倉一體技術架構的兩個關鍵，即存算分離與湖倉融合。

存算分離，即存儲和計算使用單獨的集群，按需分別擴展存儲或計算資源，保證整體系統(tǒng)能夠支持更多用戶并發(fā)和更大數(shù)據(jù)量。

湖倉融合，形成了邏輯統(tǒng)一的一體化數(shù)據(jù)服務，開發(fā)者只需要提交標準SQL（數(shù)據(jù)庫語言），即可計算出想要的結果。

湖倉一體作為一種新型開放式架構，能夠充分結合數(shù)據(jù)湖和數(shù)據(jù)倉庫的優(yōu)勢，在數(shù)據(jù)湖低成本的存儲架構之上，繼承數(shù)據(jù)倉庫的數(shù)據(jù)處理和管理功能，存儲、轉換、集成結構化和非結構化數(shù)據(jù)，將不同種類數(shù)據(jù)融合在一起，并從中提取出有用價值。

陶濤認為，“綠色、集約、智能”是湖倉一體技術架構上的核心優(yōu)勢。面對新的應用需求，一方面湖倉一體產(chǎn)品可從用戶的核心訴求出發(fā)更好地支撐數(shù)據(jù)存儲與分析；另一方面，湖倉一體架構可支持企業(yè)優(yōu)化自身底層數(shù)據(jù)治理架構，從而幫助企業(yè)提升“人效”和“能效”，更精準地抓住商業(yè)機會，創(chuàng)造發(fā)展優(yōu)勢。湖倉一體技術所具備的高效的數(shù)據(jù)處理優(yōu)勢以及經(jīng)濟、節(jié)能優(yōu)勢，使之在實時數(shù)倉、支撐云原生的融合數(shù)據(jù)底座、降本增效等場景中具有廣泛的應用前景。

基于湖倉一體的架構規(guī)劃，中國移動打造了分布式協(xié)同計算平臺。集群分布在全國九大區(qū)域中心，有機融合了數(shù)據(jù)湖（Hadoop）和數(shù)據(jù)倉庫（OLAP）能力，實現(xiàn)物理分散、邏輯統(tǒng)一的一體化數(shù)據(jù)服務。

湖倉一體技術架構為大數(shù)據(jù)產(chǎn)業(yè)提供了未來路徑和方法。陶濤強調(diào)，對于不同的企業(yè)來說，數(shù)據(jù)情況、業(yè)務需求各不相同，但對于統(tǒng)一數(shù)據(jù)存儲、統(tǒng)一數(shù)據(jù)計算、統(tǒng)一數(shù)據(jù)管理，實現(xiàn)企業(yè)數(shù)據(jù)資產(chǎn)應用效能最大化的訴求是一致的。在聯(lián)合產(chǎn)業(yè)合作伙伴發(fā)布技術標準、技術白皮書之后，陶濤代表中國移動呼吁產(chǎn)業(yè)合作伙伴共迎變革，共同構建湖倉一體創(chuàng)新生態(tài)，推進大數(shù)據(jù)下一代技術架構廣泛應用。

關鍵詞：