大數(shù)據(jù)已經(jīng)成為過(guò)去幾年中大部分行業(yè)的游戲規(guī)則，行業(yè)領(lǐng)袖，學(xué)者和其他知名的利益相關(guān)者都同意這一點(diǎn)，隨著大數(shù)據(jù)繼續(xù)滲透到我們的日常生活中，圍繞大數(shù)據(jù)的炒作正在轉(zhuǎn)向?qū)嶋H使用中的真正價(jià)值。
一般來(lái)說(shuō)，大多數(shù)公司都希望有幾個(gè)大數(shù)據(jù)項(xiàng)目，公司的主要目標(biāo)是增強(qiáng)客戶體驗(yàn)，但其他目標(biāo)包括降低成本，更有針對(duì)性地進(jìn)行營(yíng)銷，并使現(xiàn)有流程更有效率。
那么，如何對(duì)一個(gè)行業(yè)制定大數(shù)據(jù)應(yīng)用架構(gòu)呢？
在制定大數(shù)據(jù)應(yīng)用架構(gòu)之前，要先明確該企業(yè)面臨的問(wèn)題，業(yè)務(wù)需求場(chǎng)景以及用戶的需求。
在現(xiàn)有企業(yè)的數(shù)據(jù)化情況之下，雖然業(yè)務(wù)系統(tǒng)、ERP、供應(yīng)鏈系統(tǒng)已經(jīng)上線，但對(duì)于集團(tuán)管理層與業(yè)務(wù)層，仍面臨著以下問(wèn)題：
1.數(shù)據(jù)分散，存放于多個(gè)業(yè)務(wù)系統(tǒng)中，形成了一個(gè)一個(gè)的“數(shù)據(jù)孤島"，沒(méi)有辦法將這些數(shù)據(jù)打通，從多個(gè)角度對(duì)數(shù)據(jù)進(jìn)行深度分析。
2.各業(yè)務(wù)部門迫切地希望通過(guò)數(shù)據(jù)解決一些管理、業(yè)務(wù)發(fā)展的問(wèn)題，但是現(xiàn)有的報(bào)表展現(xiàn)形式不能滿足分析需求。
3.依托IT取數(shù)的配合方式，傳遞效能低，易造成重復(fù)勞動(dòng)，而且數(shù)據(jù)時(shí)效性也不能保證，往往從數(shù)據(jù)產(chǎn)生，到流入業(yè)務(wù)部門需要經(jīng)過(guò)一周以上，風(fēng)險(xiǎn)并不能被及時(shí)暴露。
4.隨著公司的發(fā)展，數(shù)據(jù)的安全和保密日趨重要，特別是一些公司財(cái)務(wù)信息、客戶信息等，需要有權(quán)限的管理來(lái)對(duì)數(shù)據(jù)進(jìn)行保護(hù)和管理。
接著再通過(guò)大數(shù)據(jù)分析平臺(tái)，想要得到哪些有價(jià)值的信息，需要接入的數(shù)據(jù)有哪些，明確基于場(chǎng)景業(yè)務(wù)需求的大數(shù)據(jù)平臺(tái)要具備的基本的功能，來(lái)決定平臺(tái)搭建過(guò)程中使用的大數(shù)據(jù)處理工具和框架。
大數(shù)據(jù)平臺(tái)的整體架構(gòu)可以由以下幾個(gè)部分組成：
一、業(yè)務(wù)應(yīng)用：其實(shí)指的是數(shù)據(jù)采集，你通過(guò)什么樣的方式收集到數(shù)據(jù)?；ヂ?lián)網(wǎng)收集數(shù)據(jù)相對(duì)簡(jiǎn)單，通過(guò)網(wǎng)頁(yè)、App就可以收集到數(shù)據(jù)，比如很多銀行現(xiàn)在都有自己的App。
更深層次的還能收集到用戶的行為數(shù)據(jù)，可以切分出來(lái)很多維度，做很細(xì)的分析。但是對(duì)于涉及到線下的行業(yè)，數(shù)據(jù)采集就需要借助各類的業(yè)務(wù)系統(tǒng)去完成。
二、數(shù)據(jù)集成：指的其實(shí)是ETL，指的是用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)清洗,最終按照預(yù)先定義好的數(shù)據(jù)倉(cāng)庫(kù)模型，將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中去。而這里的Kettle只是ETL的其中一種。
三、數(shù)據(jù)存儲(chǔ)：指的就是數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)了，簡(jiǎn)單來(lái)說(shuō)可以分為業(yè)務(wù)數(shù)據(jù)層（DW）、指標(biāo)層、維度層、匯總層（DWA）。
四、數(shù)據(jù)共享層：表示在數(shù)據(jù)倉(cāng)庫(kù)與業(yè)務(wù)系統(tǒng)間提供數(shù)據(jù)共享服務(wù)。Web Service和Web API，代表的是一種數(shù)據(jù)間的連接方式，還有一些其他連接方式，可以按照自己的情況來(lái)確定。
五、數(shù)據(jù)分析層：分析函數(shù)就相對(duì)比較容易理解了，就是各種數(shù)學(xué)函數(shù)，比如K均值分析、聚類、RMF模型等等。
列存儲(chǔ)讓磁盤中的各個(gè)Page僅存儲(chǔ)單列的值，并非整行的值。這樣壓縮算法會(huì)更加高效。進(jìn)一步說(shuō)，這樣能夠減少磁盤的I/O、提升緩存利用率，因此，磁盤存儲(chǔ)會(huì)被更加高效地利用。而分布式計(jì)算能夠把一個(gè)需要非常大的算力才能解決的問(wèn)題分成很多小部分，接著把這些部分給到許多計(jì)算機(jī)同時(shí)處理，然后把這些計(jì)算結(jié)果綜合起來(lái)，得到最終的結(jié)果。
綜合這兩種技術(shù)，就能夠大幅度提高分析環(huán)節(jié)的效率。Yonghong MPP可以說(shuō)是目前在這兩方面做得最出色的了。
六、數(shù)據(jù)展現(xiàn)：結(jié)果以什么樣的形式呈現(xiàn)，其實(shí)就是數(shù)據(jù)可視化。對(duì)于處理得到的數(shù)據(jù)可以對(duì)接主流的BI系統(tǒng)，比如國(guó)外的Tableau、Qlikview、PowrerBI等，國(guó)內(nèi)的Smartbi思邁特軟件等，將結(jié)果進(jìn)行可視化，用于決策分析；或者回流到線上，支持線上業(yè)務(wù)的發(fā)展。
七、數(shù)據(jù)訪問(wèn)：這個(gè)就比較簡(jiǎn)單了，看你是通過(guò)什么樣的方式去查看這些數(shù)據(jù)，圖中示例的是因?yàn)锽/S架構(gòu)，最終的可視化結(jié)果是通過(guò)瀏覽器訪問(wèn)的。
但制定大數(shù)據(jù)應(yīng)用架構(gòu)不是一件簡(jiǎn)單的事情，本身就是一項(xiàng)復(fù)雜的工作，在這過(guò)程中需要考慮的因素有很多，比如：
穩(wěn)定性：可以通過(guò)多臺(tái)機(jī)器做數(shù)據(jù)和程序運(yùn)行的備份，但服務(wù)器的質(zhì)量和預(yù)算成本相應(yīng)的會(huì)限制平臺(tái)的穩(wěn)定性；
可擴(kuò)展性：大數(shù)據(jù)平臺(tái)部署在多臺(tái)機(jī)器上，如何在其基礎(chǔ)上擴(kuò)充新的機(jī)器是實(shí)際應(yīng)用中經(jīng)常會(huì)遇到的問(wèn)題；
安全性：保障數(shù)據(jù)安全是搭建大數(shù)據(jù)應(yīng)用架構(gòu)不可忽視的問(wèn)題，在海量數(shù)據(jù)的處理過(guò)程中，如何防止數(shù)據(jù)的丟失和泄漏一直是大數(shù)據(jù)安全領(lǐng)域的研究熱點(diǎn)。
Smartbi思邁特軟件是國(guó)內(nèi)領(lǐng)先的BI廠商，產(chǎn)品定位于一站式大數(shù)據(jù)服務(wù)平臺(tái)，滿足各種數(shù)據(jù)分析應(yīng)用需求，如大數(shù)據(jù)分析、自助探索分析、地圖可視化、移動(dòng)管理駕駛艙、指揮大屏幕、企業(yè)報(bào)表平臺(tái)、數(shù)據(jù)挖掘等。Smartbi產(chǎn)品功能設(shè)計(jì)全面，企業(yè)單位只需要安裝部署一次，就可以實(shí)現(xiàn)中國(guó)式復(fù)雜報(bào)表、自助BI、以及數(shù)據(jù)挖掘產(chǎn)品的使用，產(chǎn)品性能、易用性和安全性都不錯(cuò)，廣泛應(yīng)用于金融、政府、電信、企事業(yè)單位等領(lǐng)域。
