中國聯(lián)通智網(wǎng)創(chuàng)新中心大數(shù)據(jù)解決方案全棧自主創(chuàng)新,做活數(shù)據(jù),賦智行業(yè)

發(fā)布時(shí)間:2023-06-01 15:42:06  |  來源:通信世界網(wǎng)  

(CWW)2022年我國數(shù)字經(jīng)濟(jì)規(guī)模首次突破至50.2萬億元,占GDP比重達(dá)到41.5%,當(dāng)下,推進(jìn)數(shù)字經(jīng)濟(jì)和實(shí)體經(jīng)濟(jì)深度融合,已成為我國產(chǎn)業(yè)基礎(chǔ)高級化與產(chǎn)業(yè)鏈現(xiàn)代化的重要途徑。通過做活大數(shù)據(jù),激活數(shù)據(jù)要素價(jià)值,加快業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)業(yè)務(wù)化,深化大數(shù)據(jù)應(yīng)用創(chuàng)新勢在必行。

以運(yùn)營商行業(yè)網(wǎng)絡(luò)數(shù)據(jù)處理技術(shù)應(yīng)用為例,通過智能分析和挖掘用戶使用業(yè)務(wù)感知、設(shè)備信息、網(wǎng)絡(luò)質(zhì)量等海量數(shù)據(jù),提煉價(jià)值信息和規(guī)律性模式,不僅有助提升運(yùn)營商的服務(wù)質(zhì)量、商業(yè)決策、安全防護(hù)效果,也可以為政務(wù)、金融、新零售等多個(gè)行業(yè)提供高價(jià)值大數(shù)據(jù)產(chǎn)品,為行業(yè)數(shù)字化轉(zhuǎn)型賦能。

攜手鯤鵬,夯實(shí)數(shù)字基座


(資料圖)

中國聯(lián)通智網(wǎng)創(chuàng)新中心緊密圍繞集團(tuán)全面數(shù)字化轉(zhuǎn)型要求,以“強(qiáng)基固本、守正創(chuàng)新、融合開放”的新戰(zhàn)略為指導(dǎo),持續(xù)探索大數(shù)據(jù)技術(shù)創(chuàng)新和應(yīng)用。

在海量數(shù)據(jù)加工領(lǐng)域,為避免核心技術(shù)“卡脖子”成為制約創(chuàng)新發(fā)展的阻力,智網(wǎng)創(chuàng)新中心大數(shù)據(jù)團(tuán)隊(duì)堅(jiān)持沉淀創(chuàng)新研發(fā)技術(shù),近日,成功開發(fā)了國內(nèi)首個(gè)全棧自主創(chuàng)新大數(shù)據(jù)解決方案,該方案基于鯤鵬構(gòu)建算力平臺,提供10萬個(gè)計(jì)算核心,軟件層基于開源Flink+Hadoop自研,具備獨(dú)立自主、開源開放、存算分離、批流一體的優(yōu)勢。方案通過將領(lǐng)先的大數(shù)據(jù)技術(shù)和豐富的最佳實(shí)踐相結(jié)合,提供了多項(xiàng)核心功能:

? 構(gòu)建模塊化、分層化、工程化DPI數(shù)據(jù)加工軟件框架,支持?jǐn)?shù)據(jù)實(shí)時(shí)計(jì)算和入庫(上億QPS);

?構(gòu)建DPI數(shù)據(jù)的分層公共數(shù)據(jù)模型,通過數(shù)據(jù)服務(wù)化的方式支撐前端數(shù)據(jù)應(yīng)用,支持?jǐn)?shù)據(jù)的復(fù)用和共享;

?提供全鏈路的數(shù)據(jù)質(zhì)量稽核監(jiān)控,支持?jǐn)?shù)據(jù)一致性、完整性、正確性和及時(shí)性的監(jiān)控,第一時(shí)間問題“早發(fā)現(xiàn),早恢復(fù)”;

?提供多樣化數(shù)據(jù)應(yīng)用產(chǎn)品,支持用戶級感知詳單實(shí)時(shí)輸出和全國重點(diǎn)區(qū)域網(wǎng)絡(luò)質(zhì)量和感知質(zhì)量準(zhǔn)實(shí)時(shí)流式輸出。

方案實(shí)現(xiàn)了對網(wǎng)絡(luò)全域數(shù)據(jù)的集中采集、存儲、加工、分析,面向全國一點(diǎn)提供網(wǎng)絡(luò)數(shù)據(jù)服務(wù),構(gòu)筑起聯(lián)通網(wǎng)絡(luò)創(chuàng)新與數(shù)字化運(yùn)營轉(zhuǎn)型的堅(jiān)實(shí)基座,并進(jìn)一步激發(fā)大數(shù)據(jù)在更多行業(yè)應(yīng)用的巨大潛力。

強(qiáng)基固本,深化融合創(chuàng)新

智網(wǎng)創(chuàng)新中心基于鯤鵬的大數(shù)據(jù)解決方案在行業(yè)中已形成了一定的先發(fā)優(yōu)勢,持續(xù)構(gòu)建自主、可靠、領(lǐng)先的大數(shù)據(jù)技術(shù)能力是根本。

全棧、全流程獨(dú)立自主:鯤鵬硬件和大數(shù)據(jù)核心軟件自主創(chuàng)新,可持續(xù)演進(jìn);核心人員編排全自有;從方案設(shè)計(jì)到生產(chǎn)上線全獨(dú)立自主部署

超大規(guī)模集群:共計(jì)部署1100臺鯤鵬服務(wù)器,配置存儲容量100 PB,內(nèi)存容量600 TB,以及10萬CPU,具備處理海量數(shù)據(jù)和高并發(fā)計(jì)算方面的強(qiáng)大能力,并采用了多層次的故障切換和備份機(jī)制,保證系統(tǒng)的高可靠性

核心軟件性能大幅提升:Flink采用“預(yù)加載維表關(guān)聯(lián)”優(yōu)化方法,維表對象總內(nèi)存占用降低90%,算子對外部數(shù)據(jù)庫的查詢連接數(shù)減少90%;自主研發(fā)批量文件數(shù)據(jù)源接入方法,數(shù)據(jù)源接入時(shí)延減少50%,降低文件系統(tǒng)壓力,增強(qiáng)系統(tǒng)魯棒性;基于小文件優(yōu)化策略創(chuàng)新,文件數(shù)量減少80%,大大降低NameNode壓力,提升HDFS性能,增大數(shù)據(jù)保存周期等。

聯(lián)合創(chuàng)新實(shí)現(xiàn)性能超越:智網(wǎng)中心聯(lián)合華為基于鯤鵬大數(shù)據(jù)OmniRuntime套件算子下推、算子加速等新特性,在鯤鵬大數(shù)據(jù)平臺能夠?qū)崿F(xiàn)查詢效率相比現(xiàn)有平臺提升53%。

數(shù)據(jù)賦能,創(chuàng)新場景應(yīng)用

當(dāng)前,智網(wǎng)創(chuàng)新中心基于鯤鵬的大數(shù)據(jù)解決方案已廣泛應(yīng)用,為疫情防控、抗震救災(zāi)、應(yīng)急救援、防汛搶險(xiǎn)、司法矯正、反欺詐等場景,供給高質(zhì)量數(shù)據(jù)能力,支撐國家部委及政府工作,履行央企責(zé)任。為智慧信息、數(shù)睿廣告等多個(gè)公司行業(yè)大數(shù)據(jù)產(chǎn)品提供高品質(zhì)核心數(shù)據(jù),不斷為聯(lián)通帶來新的業(yè)務(wù)增長點(diǎn)。應(yīng)用于集團(tuán)內(nèi)部,賦能中國聯(lián)通網(wǎng)絡(luò)精準(zhǔn)建設(shè)、精準(zhǔn)優(yōu)化、智慧客服、端網(wǎng)業(yè)協(xié)同等數(shù)字化轉(zhuǎn)型工作,實(shí)現(xiàn)降本增效。

未來,中國聯(lián)通智網(wǎng)創(chuàng)新中心將持續(xù)瞄準(zhǔn)大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)等技術(shù)前沿,基于鯤鵬研發(fā)網(wǎng)絡(luò)創(chuàng)新產(chǎn)品、賦能網(wǎng)絡(luò)運(yùn)營轉(zhuǎn)型、催化網(wǎng)絡(luò)能力增值,打造全球領(lǐng)先的技術(shù)研發(fā)與服務(wù)平臺,面向全聯(lián)通、面向全行業(yè)提供互聯(lián)網(wǎng)及信息服務(wù),提升產(chǎn)業(yè)供給能力和行業(yè)賦能效應(yīng),助力數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展。


關(guān)鍵詞:

 

網(wǎng)站介紹  |  版權(quán)說明  |  聯(lián)系我們  |  網(wǎng)站地圖 

星際派備案號:京ICP備2022016840號-16 營業(yè)執(zhí)照公示信息版權(quán)所有 郵箱聯(lián)系:920 891 263@qq.com