隨著互聯(lián)網(wǎng)+、人工智能、云計(jì)算等新技術(shù)不斷涌現(xiàn)與成熟，大數(shù)據(jù)與各行業(yè)深度融合，引發(fā)了各種變革。搜索引擎服務(wù)、電子商務(wù)、社交網(wǎng)絡(luò)、在線音視頻、地理信息服務(wù)等互聯(lián)網(wǎng)應(yīng)用產(chǎn)生了海量數(shù)據(jù)，企業(yè)如何從海量數(shù)據(jù)中發(fā)掘有價值的數(shù)據(jù)，將數(shù)據(jù)標(biāo)準(zhǔn)化、平臺化、智能化、產(chǎn)品化，最終幫助企業(yè)進(jìn)行正確決策，成為企業(yè)大數(shù)據(jù)落地的重點(diǎn)和難點(diǎn)。
“在合法合規(guī)的前提下，從海量數(shù)據(jù)中高效的提取數(shù)據(jù)的應(yīng)用價值，是大數(shù)據(jù)落地的關(guān)鍵所在。如果數(shù)據(jù)量很大，但是無法提取出價值，反而是一種負(fù)擔(dān)。”聯(lián)通大數(shù)據(jù)有限公司數(shù)據(jù)科學(xué)總監(jiān)陳博表示。“從落地的角度看，我覺得大數(shù)據(jù)需要與各行業(yè)深度融合。同樣的數(shù)據(jù)可以用于不同的行業(yè)，而如何從數(shù)據(jù)中形成適合某個行業(yè)的應(yīng)用價值，需要對數(shù)據(jù)的價值維度與行業(yè)的應(yīng)用場景都有非常深入的認(rèn)知。”陳博補(bǔ)充說。
集中運(yùn)維管理，保障應(yīng)用基礎(chǔ)
作為通信運(yùn)營商，中國聯(lián)通早在2010年，就提出了數(shù)據(jù)大集中策略；2012年，開始組建全國數(shù)據(jù)中心，涵蓋全國所有省份實(shí)現(xiàn)了全網(wǎng)數(shù)據(jù)的統(tǒng)一集中匯聚與管理。目前，聯(lián)通大數(shù)據(jù)公司每天的新增數(shù)據(jù)量達(dá)到150TB以上。
為了能高效的處理如此海量的數(shù)據(jù)，聯(lián)通大數(shù)據(jù)目前擁有數(shù)千節(jié)點(diǎn)的集群，每天要運(yùn)行10萬個以上的處理任務(wù)。運(yùn)維如此大規(guī)模數(shù)據(jù)集群，在業(yè)界也是不多見的，對于聯(lián)通大數(shù)據(jù)來說，并沒有太多可以直接借鑒的外部經(jīng)驗(yàn)，靠的就是自身建立的一支高效的集群運(yùn)維管理團(tuán)隊(duì)，進(jìn)行長期24小時不間斷的監(jiān)護(hù)、優(yōu)化。在過去一年中，在日增數(shù)據(jù)量翻倍、集群資源幾乎沒有擴(kuò)容的情況下，通過從集群文件碎片、冗余數(shù)據(jù)庫表、RPC任務(wù)管理等多方面的持續(xù)優(yōu)化，使集群的整體資源負(fù)載反而下降了近30%，從而為上層大數(shù)據(jù)應(yīng)用提供了堅(jiān)實(shí)的基礎(chǔ)算力保障。
同時，聯(lián)通大數(shù)據(jù)對所有數(shù)據(jù)業(yè)務(wù)的開展都是以完全合法、合規(guī)為首要前提，內(nèi)部有著非常嚴(yán)格的安全管理和監(jiān)控機(jī)制，堅(jiān)持“敏感數(shù)據(jù)不出門”的原則；對外數(shù)據(jù)產(chǎn)品與服務(wù)更多是基于區(qū)域性、群體性的統(tǒng)計(jì)分析以及模型加工產(chǎn)生的標(biāo)簽數(shù)據(jù)，并且任何數(shù)據(jù)結(jié)果的輸出都需要經(jīng)過內(nèi)部安全網(wǎng)關(guān)的層層嚴(yán)格審核，從而為上層大數(shù)據(jù)應(yīng)用提供了可靠的安全合規(guī)保障。
在此過程中，聯(lián)通大數(shù)據(jù)在大規(guī)模數(shù)據(jù)集群運(yùn)維、海量數(shù)據(jù)資產(chǎn)管理方面積累了大量的實(shí)踐經(jīng)驗(yàn)，逐步總結(jié)形成了一整套完善的運(yùn)維管理機(jī)制，在6月初的大數(shù)據(jù)產(chǎn)業(yè)峰會上獲得了“2019年星河獎——最佳數(shù)據(jù)資產(chǎn)管理實(shí)踐獎”。
構(gòu)建數(shù)智能力，釋放應(yīng)用價值
面對日增上百TB、總量近百PB的海量數(shù)據(jù)，如何實(shí)現(xiàn)大數(shù)據(jù)的應(yīng)用價值，陳博認(rèn)為“大數(shù)據(jù)企業(yè)首先需要對于自身數(shù)據(jù)的核心價值維度有明確的認(rèn)識，進(jìn)而才能清楚如何建立自身的數(shù)據(jù)能力體系去釋放數(shù)據(jù)的應(yīng)用價值“。圍繞自身的運(yùn)營商大數(shù)據(jù)，聯(lián)通大數(shù)據(jù)則定義了行為興趣、位置時序、關(guān)系圖譜3大數(shù)據(jù)價值維度，并相應(yīng)的構(gòu)建了3大類數(shù)智平臺能力體系，這背后則用到了諸多NLP、搜索引擎、時空序列、圖計(jì)算等關(guān)鍵技術(shù)。
而在數(shù)智平臺的每一項(xiàng)能力的構(gòu)建與應(yīng)用中，聯(lián)通大數(shù)據(jù)的各種數(shù)據(jù)架構(gòu)、數(shù)據(jù)模型、數(shù)據(jù)算法需要面對的都是PB級的海量數(shù)據(jù)，既需要考慮算法模型的準(zhǔn)確度、有效性，更需要保證在大規(guī)模數(shù)據(jù)上的可用性、穩(wěn)定性以及運(yùn)行效率。典型的例如，從萬億級的信令大數(shù)據(jù)中通過快速排序、迭代進(jìn)行基站位置工參糾偏；從萬億級位置時序數(shù)據(jù)中準(zhǔn)實(shí)時的進(jìn)行區(qū)域、時段關(guān)聯(lián)檢索，進(jìn)而實(shí)現(xiàn)線上線下融合洞察推薦；從幾億號卡對應(yīng)的萬億級信令中發(fā)現(xiàn)群體聚合，進(jìn)而進(jìn)行黑灰產(chǎn)風(fēng)險號卡識別；從十億級頂點(diǎn)、數(shù)百億關(guān)系邊的圖譜中，進(jìn)行N度關(guān)聯(lián)群體發(fā)掘，進(jìn)而輔助用于企業(yè)經(jīng)營位置識別等等。這些能力的構(gòu)建、應(yīng)用的實(shí)現(xiàn)，憑借的則是自身組建的一支涵蓋數(shù)據(jù)分析、數(shù)據(jù)建模、AI應(yīng)用等多方面能力的高素質(zhì)、高效能的數(shù)據(jù)科學(xué)團(tuán)隊(duì)。
通過這3大類數(shù)智平臺能力的組合，支撐了上層的廣告、風(fēng)控、洞察、輿情等標(biāo)準(zhǔn)產(chǎn)品，以及金融、政務(wù)、文旅、公安等各類行業(yè)應(yīng)用，已經(jīng)形成了豐富的大數(shù)據(jù)智能應(yīng)用案例與落地成果，實(shí)現(xiàn)了“大數(shù)據(jù)”到“大價值”的轉(zhuǎn)化。
匯聚能力資源，賦能行業(yè)升級
聯(lián)通大數(shù)據(jù)已經(jīng)構(gòu)建了強(qiáng)大的數(shù)據(jù)連接、運(yùn)維、治理、分析、應(yīng)用、服務(wù)能力，構(gòu)成了作為一家大數(shù)據(jù)科技企業(yè)快速發(fā)展的動力引擎。而在此之上，我們更希望通過開放合作，與各行業(yè)伙伴共同成長。
一方面，我們將自身在集群運(yùn)維、數(shù)據(jù)治理、模型構(gòu)建方面多年的運(yùn)營實(shí)踐經(jīng)驗(yàn)，梳理為模式化、流程化、產(chǎn)品化的大數(shù)據(jù)平臺建設(shè)方案進(jìn)行能力輸出，已經(jīng)幫助政府、電力、銀行、教育、旅游、郵政等多個行業(yè)的合作伙伴搭建了自有的大數(shù)據(jù)平臺、應(yīng)用系統(tǒng)，賦能行業(yè)合作伙伴快速構(gòu)建大數(shù)據(jù)應(yīng)用基礎(chǔ)。
另一方面，聯(lián)通大數(shù)據(jù)基于自有資源，推出了面向外部合作伙伴的能力開放平臺，以多租戶的形式為每個合作方提供“算力+數(shù)據(jù)+服務(wù)”的脫敏、安全、個性化的開發(fā)訓(xùn)練環(huán)境；合作方開發(fā)完的模型、應(yīng)用，經(jīng)過安全測試后即可封裝部署在聯(lián)通數(shù)智平臺上，通過安全網(wǎng)關(guān)形成能力輸出，賦能行業(yè)合作伙伴構(gòu)建豐富的大數(shù)據(jù)應(yīng)用能力。
面向5G未來，數(shù)智賦能生長
談到未來的發(fā)展方向，陳博表示，5G時代將至，未來連接的增長將不再主要是個人通信領(lǐng)域，而更多是物與物之間的連接，連接數(shù)量將會達(dá)到數(shù)百億、上千億的量級，涉及的領(lǐng)域也將覆蓋智能穿戴、智能家居、工業(yè)監(jiān)控、自動駕駛等各個行業(yè)、領(lǐng)域。未來5G時代的大數(shù)據(jù)，無論在數(shù)據(jù)量級、時間/空間密度，還是價值維度上都將會有從量到質(zhì)的增長變化，但這將是一個逐漸發(fā)展的過程。因此，聯(lián)通大數(shù)據(jù)將緊密跟隨5G發(fā)展步伐，關(guān)注各個行業(yè)發(fā)展態(tài)勢，秉持“開放生態(tài)，合作共贏”的理念，攜手行業(yè)合作伙伴，挖掘行業(yè)的應(yīng)用價值，繼續(xù)以“大數(shù)據(jù)+AI”的數(shù)智能力賦能未來行業(yè)生長。
陳博，博士后，聯(lián)通大數(shù)據(jù)有限公司數(shù)據(jù)科學(xué)團(tuán)隊(duì)負(fù)責(zé)人，主要負(fù)責(zé)大數(shù)據(jù)分析挖掘、機(jī)器學(xué)習(xí)建模、人工智能應(yīng)用方向的研發(fā)工作。陳博于2008年畢業(yè)于北京郵電大學(xué)，獲得工學(xué)博士學(xué)位，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、自然語言處理、信息檢索；畢業(yè)后曾先后就職于NEC中國研究院、中國聯(lián)通集團(tuán)總部技術(shù)部。
