數(shù)據(jù)已成為企業(yè)最重要的生產(chǎn)要素之一，駕馭實(shí)時(shí)數(shù)據(jù)的分析為企業(yè)提供了挖掘數(shù)據(jù)價(jià)值的重要利器。當(dāng)前，越來(lái)越多的企業(yè)已經(jīng)意識(shí)到實(shí)時(shí)數(shù)據(jù)的分析價(jià)值，實(shí)時(shí)數(shù)據(jù)分析應(yīng)用迎來(lái)爆發(fā)。不過(guò)，企業(yè)在落地應(yīng)用的過(guò)程中，無(wú)論在技術(shù)還是業(yè)務(wù)層面都面臨諸多挑戰(zhàn)。
當(dāng)前，企業(yè)在生產(chǎn)和經(jīng)營(yíng)活動(dòng)中產(chǎn)生的各類數(shù)據(jù)正以前所未有的速度增長(zhǎng)，通過(guò)對(duì)實(shí)時(shí)及歷史數(shù)據(jù)的融合分析，及時(shí)挖掘業(yè)務(wù)洞察和輔助決策，也已成為企業(yè)的普遍行動(dòng)。
傳統(tǒng)上，企業(yè)對(duì)數(shù)據(jù)的分析主要是在離線場(chǎng)景下，僅對(duì)歷史數(shù)據(jù)進(jìn)行事后分析，反饋周期較長(zhǎng)。隨著市場(chǎng)競(jìng)爭(zhēng)環(huán)境和客戶需求的快速變化，以及數(shù)據(jù)應(yīng)用的深入，企業(yè)對(duì)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)決策的實(shí)時(shí)性需求在不斷提升。近兩年來(lái)，以通信、金融、制造等行業(yè)為代表，企業(yè)對(duì)實(shí)時(shí)數(shù)據(jù)分析的應(yīng)用迎來(lái)了爆發(fā)。
在實(shí)時(shí)數(shù)據(jù)的分析場(chǎng)景下，實(shí)時(shí)數(shù)據(jù)的分析結(jié)果在需求提出后即時(shí)處理完成，實(shí)現(xiàn)對(duì)業(yè)務(wù)需求的快速響應(yīng)，實(shí)現(xiàn)數(shù)據(jù)價(jià)值的倍增。實(shí)時(shí)數(shù)據(jù)分析有哪些應(yīng)用場(chǎng)景和價(jià)值？企業(yè)又該如何實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)分析在自身業(yè)務(wù)場(chǎng)景的應(yīng)用落地？
01需求和技術(shù)驅(qū)動(dòng)實(shí)時(shí)數(shù)據(jù)分析應(yīng)用爆發(fā)
實(shí)時(shí)數(shù)據(jù)分析技術(shù)早前由互聯(lián)網(wǎng)行業(yè)等起始，典型應(yīng)用如實(shí)時(shí)個(gè)性化推薦等，這是由于互聯(lián)網(wǎng)企業(yè)的業(yè)務(wù)本身就具備在線化特征。在線化業(yè)務(wù)積累了豐富的數(shù)據(jù)，為實(shí)時(shí)數(shù)據(jù)分析提供了良好的基礎(chǔ)；此外，在線化業(yè)務(wù)一般具備業(yè)務(wù)量高并發(fā)等特征，需要更實(shí)時(shí)的業(yè)務(wù)洞察和更短的決策周期，且用戶端對(duì)個(gè)性化服務(wù)和體驗(yàn)的需求也更加強(qiáng)烈。
而傳統(tǒng)行業(yè)自身的在線化、數(shù)字化升級(jí)，實(shí)時(shí)數(shù)據(jù)分析也開(kāi)始加速推進(jìn)，需求開(kāi)始爆發(fā)。
另一方面，實(shí)時(shí)處理技術(shù)的進(jìn)步，也是推動(dòng)實(shí)時(shí)數(shù)據(jù)分析應(yīng)用場(chǎng)景快速落地的必要條件。尤其是各種開(kāi)源框架的成熟，完善了實(shí)時(shí)處理技術(shù)生態(tài)。
實(shí)時(shí)數(shù)據(jù)的分析場(chǎng)景實(shí)現(xiàn)，包含了數(shù)據(jù)采集與接入、數(shù)據(jù)存儲(chǔ)與查詢、數(shù)據(jù)分析與計(jì)算、數(shù)據(jù)服務(wù)等環(huán)節(jié)的完整鏈條，每一個(gè)環(huán)節(jié)都要實(shí)現(xiàn)實(shí)時(shí)處理，這對(duì)相關(guān)數(shù)據(jù)技術(shù)提出了很大的挑戰(zhàn)。在這些環(huán)節(jié)上，近年來(lái)都有相應(yīng)的開(kāi)源框架出現(xiàn)并走向成熟。
例如，Kafka和Flume用于實(shí)現(xiàn)高可靠性的實(shí)時(shí)數(shù)據(jù)采集和接入；Druid、Clickhouse、Hbase等數(shù)據(jù)庫(kù)在存儲(chǔ)、查詢方面的高性能，支撐了海量數(shù)據(jù)的實(shí)時(shí)OLAP場(chǎng)景；Spark和Flink等計(jì)算引擎，實(shí)現(xiàn)了大規(guī)模流數(shù)據(jù)實(shí)時(shí)計(jì)算。
在這些成熟的開(kāi)源框架的基礎(chǔ)上，眾多開(kāi)發(fā)者可以結(jié)合自身要解決的具體業(yè)務(wù)場(chǎng)景需求，快速地構(gòu)建完整實(shí)時(shí)數(shù)據(jù)的分析解決方案，并進(jìn)一步地在應(yīng)用實(shí)踐中不斷完善相關(guān)技術(shù)。
02實(shí)時(shí)數(shù)據(jù)的分析應(yīng)用價(jià)值
實(shí)時(shí)數(shù)據(jù)分析對(duì)于企業(yè)的價(jià)值是顯而易見(jiàn)的，主要體現(xiàn)在提升生產(chǎn)效率、提升客戶體驗(yàn)、提供個(gè)性化產(chǎn)品服務(wù)三個(gè)方面。
1）提高生產(chǎn)效率
基于實(shí)時(shí)數(shù)據(jù)分析技術(shù)，企業(yè)能夠?qū)崟r(shí)追蹤企業(yè)內(nèi)部包括生產(chǎn)設(shè)備、人員等的情況，同時(shí)還能對(duì)產(chǎn)品和服務(wù)生產(chǎn)到消費(fèi)全鏈條的狀態(tài)進(jìn)行監(jiān)控，提高企業(yè)的生產(chǎn)效率。這方面典型的場(chǎng)景包括實(shí)時(shí)指標(biāo)加工、實(shí)時(shí)反欺詐和實(shí)時(shí)監(jiān)控等。
在實(shí)時(shí)指標(biāo)加工的場(chǎng)景下，銀行對(duì)線上交易數(shù)據(jù)進(jìn)行實(shí)時(shí)采集和加工計(jì)算，計(jì)算出來(lái)的指標(biāo)結(jié)果可以實(shí)現(xiàn)實(shí)時(shí)監(jiān)控，實(shí)時(shí)報(bào)表；也可以向?qū)崟r(shí)工作流的下游供數(shù)，構(gòu)建實(shí)時(shí)數(shù)倉(cāng)，實(shí)現(xiàn)數(shù)據(jù)化運(yùn)營(yíng)。
如在銀行欺詐交易監(jiān)測(cè)的場(chǎng)景下，通過(guò)實(shí)時(shí)數(shù)據(jù)分析，能在潛在欺詐交易尚未完成前，即可提前識(shí)別采取措施，以減少銀行的損失。然而僅基于傳統(tǒng)的歷史數(shù)據(jù)倉(cāng)庫(kù)分析，在欺詐交易完成后，即便能夠識(shí)別出來(lái)，事后進(jìn)行追查的成本也會(huì)比較大。
在實(shí)時(shí)監(jiān)控的場(chǎng)景下，工廠通過(guò)傳感器采集設(shè)備數(shù)據(jù)，實(shí)時(shí)監(jiān)控設(shè)備的運(yùn)行狀態(tài)，使用規(guī)則和模型配置進(jìn)行關(guān)鍵數(shù)據(jù)的預(yù)測(cè)；對(duì)生產(chǎn)流水線進(jìn)行二十四小時(shí)視頻監(jiān)控，對(duì)于采集的視頻和圖像通過(guò)模型及時(shí)發(fā)現(xiàn)生產(chǎn)中的異常狀態(tài)。
2）提升客戶體驗(yàn)
基于實(shí)時(shí)數(shù)據(jù)分析技術(shù)，企業(yè)能夠?qū)崟r(shí)感知到客戶需求并及時(shí)提供產(chǎn)品和服務(wù)予以滿足。這方面典型的應(yīng)用場(chǎng)景包括實(shí)時(shí)授信和實(shí)時(shí)交易。
在實(shí)時(shí)授信的場(chǎng)景下，針對(duì)客戶的貸款申請(qǐng)，基于對(duì)客戶數(shù)據(jù)的實(shí)時(shí)采集，通過(guò)規(guī)則計(jì)算和模型預(yù)測(cè)，金融企業(yè)在數(shù)分鐘就能作出審批授信額度的決定。
在實(shí)時(shí)交易的場(chǎng)景下，基于實(shí)時(shí)數(shù)據(jù)分析技術(shù)，證券公司可實(shí)時(shí)追蹤股市波動(dòng)，計(jì)算收益和價(jià)值，根據(jù)實(shí)時(shí)價(jià)格和投資策略自動(dòng)平衡投資組合。
3）提供個(gè)性化產(chǎn)品和服務(wù)
基于用戶相關(guān)的各方面數(shù)據(jù)，例如消費(fèi)記錄、購(gòu)買偏好等，利用實(shí)時(shí)數(shù)據(jù)分析技術(shù)，能夠根據(jù)消費(fèi)者需求，及時(shí)提供個(gè)性化產(chǎn)品和服務(wù)。
這方面典型的場(chǎng)景包括實(shí)時(shí)精準(zhǔn)營(yíng)銷。例如，網(wǎng)上商城使用基于日志的實(shí)時(shí)用戶行為的實(shí)時(shí)統(tǒng)計(jì)與分析，提供精確產(chǎn)品營(yíng)銷，提高廣告轉(zhuǎn)化率。另外，基于實(shí)時(shí)數(shù)據(jù)分析，還可結(jié)合GPS數(shù)據(jù)、代表性建筑等對(duì)用戶進(jìn)行定位，實(shí)現(xiàn)基于“情景”的精準(zhǔn)商品推送，提升營(yíng)銷效果。
總體來(lái)看，實(shí)時(shí)數(shù)據(jù)分析技術(shù)在金融、通信、零售、制造業(yè)等諸多行業(yè)擁有成熟的應(yīng)用場(chǎng)景。隨著未來(lái)物聯(lián)網(wǎng)時(shí)代的到來(lái)，更多的設(shè)備將聯(lián)網(wǎng)，對(duì)數(shù)據(jù)的實(shí)時(shí)性要求更高，實(shí)時(shí)數(shù)據(jù)分析應(yīng)用將迎來(lái)爆發(fā)。
