在互聯(lián)網(wǎng)領(lǐng)域，大數(shù)據(jù)應(yīng)用十分廣泛，尤其以企業(yè)為主，企業(yè)作為大數(shù)據(jù)應(yīng)用的主體，數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)可視化、數(shù)據(jù)特征提取、數(shù)據(jù)特征選擇、數(shù)據(jù)清洗、數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)安全等圍繞大數(shù)據(jù)商業(yè)價(jià)值的利用焦點(diǎn)已備受關(guān)注。
一、數(shù)據(jù)采集
從數(shù)據(jù)采集層面來看，分為結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)，來源于物聯(lián)網(wǎng)的設(shè)備采集數(shù)據(jù)由于成本低、獲取方式容易，成為企業(yè)大數(shù)據(jù)采集數(shù)據(jù)的主要來源之一，實(shí)時(shí)性相對(duì)強(qiáng)，數(shù)據(jù)量從GB、TB、PB、ZB級(jí)擴(kuò)增。然而對(duì)于中小企業(yè)或許會(huì)受困于沒有數(shù)據(jù)卻又想轉(zhuǎn)型通過搭建大數(shù)據(jù)平臺(tái)來提升競(jìng)爭(zhēng)力，企業(yè)可以研發(fā)符合市場(chǎng)需求的產(chǎn)品，從新用戶、活躍用戶、粘性用戶到留存用戶，獲取用戶的行為數(shù)據(jù)之后可以進(jìn)行數(shù)據(jù)分析。此外數(shù)據(jù)采集可以有網(wǎng)絡(luò)爬蟲、ETL抽取等。
二、數(shù)據(jù)存儲(chǔ)
有了大量數(shù)據(jù)之后，對(duì)于數(shù)據(jù)存儲(chǔ)方式也提出了要求。數(shù)據(jù)存儲(chǔ)分為關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)、分布式數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)級(jí)別較大時(shí)可以存儲(chǔ)在分布式文件存儲(chǔ)系統(tǒng)中。對(duì)于搭建大數(shù)據(jù)平臺(tái)的企業(yè)來說，通常是對(duì)業(yè)務(wù)結(jié)果的數(shù)據(jù)存儲(chǔ)于關(guān)系型系統(tǒng)，對(duì)于TB級(jí)及以上數(shù)據(jù)量存儲(chǔ)至分布式系統(tǒng)中，這兩種數(shù)據(jù)可以使用Sqoop等類似的工具進(jìn)行數(shù)據(jù)導(dǎo)入導(dǎo)出。
三、數(shù)據(jù)可視化
在實(shí)際工業(yè)生產(chǎn)實(shí)踐中，對(duì)于待處理的大數(shù)據(jù)，首先是數(shù)據(jù)特征探索階段，也就是做數(shù)據(jù)可視化，對(duì)數(shù)據(jù)有個(gè)初步的了解，才會(huì)知道所拿到的數(shù)據(jù)能否解決面臨的實(shí)際問題，適用于什么算法。對(duì)于無編程能力的人，只需要掌握數(shù)據(jù)分析和處理的能力，即可靈活使用可視化類工具如Tableau，通過拖拉拽形成聯(lián)動(dòng)，大大縮短數(shù)據(jù)分析流程。從連接數(shù)據(jù)源、建立工作表、構(gòu)建各種圖表、儀表板進(jìn)行可視化展示，進(jìn)行交叉分析。對(duì)于有編程能力的人可以使用R、Python進(jìn)行數(shù)據(jù)可視化。
四、數(shù)據(jù)特征提取及清洗
數(shù)據(jù)可視化之后，需要對(duì)數(shù)據(jù)進(jìn)行清洗，對(duì)數(shù)據(jù)中的噪聲進(jìn)行處理以支持后續(xù)數(shù)據(jù)建模。常見的比如進(jìn)行降維，提取出對(duì)實(shí)際問題相關(guān)性較高的特征因子后，再回歸到大數(shù)據(jù)，或者做相關(guān)性分析、主成分分析等。
五、數(shù)據(jù)分析及挖掘
數(shù)據(jù)統(tǒng)計(jì)及分析主要是基于存儲(chǔ)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總，以滿足大多數(shù)常見的分析需求。數(shù)據(jù)挖掘一般沒有預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計(jì)算，從而起到預(yù)測(cè)的效果，實(shí)現(xiàn)高級(jí)別的數(shù)
據(jù)分析的需求，豐富的歷史數(shù)據(jù)是數(shù)據(jù)挖掘的先決條件。比較典型的算法有回歸、分類、聚類、關(guān)聯(lián)分析。機(jī)器學(xué)習(xí)正是如此，分為監(jiān)督式學(xué)習(xí)算法、無監(jiān)督式學(xué)習(xí)算法、半監(jiān)督式學(xué)習(xí)算法。
六、機(jī)器學(xué)習(xí)
監(jiān)督式學(xué)習(xí)算法是從帶標(biāo)簽(標(biāo)注)的訓(xùn)練樣本中建立的訓(xùn)練樣本中建立模式，并依此推測(cè)新的數(shù)據(jù)標(biāo)簽的算法。比如回歸、神經(jīng)網(wǎng)絡(luò)、決策樹、支持向量機(jī)、貝葉斯、隨機(jī)森林。無監(jiān)督式學(xué)習(xí)算法是在學(xué)習(xí)時(shí)并不知道其分類結(jié)果，目的是去對(duì)原始資料進(jìn)行分類，以便了解資料內(nèi)部結(jié)構(gòu)的算法。比如聚類、主成分分析、線性判別分析降維。半監(jiān)督式學(xué)習(xí)算法是利用少量標(biāo)注樣本和大量未標(biāo)注樣本進(jìn)行機(jī)器學(xué)習(xí)，利用數(shù)據(jù)分布上的模型假設(shè),建立學(xué)習(xí)器對(duì)未標(biāo)簽樣本進(jìn)行標(biāo)簽。
機(jī)器學(xué)習(xí)正被廣泛應(yīng)用于計(jì)算機(jī)視覺、語音識(shí)別、自然語言處理等方面。其中深度學(xué)習(xí)強(qiáng)調(diào)模型深度，通過逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，從而使分類或預(yù)測(cè)更容易準(zhǔn)確，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息，其實(shí)際應(yīng)用對(duì)象不僅包含語音、圖像、視頻，同樣也包含文本、語言和語義信息。另外，卷積神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)的一種，為識(shí)別二維形狀而特殊設(shè)計(jì)的多層感知器，擅長(zhǎng)處理圖像特別是大圖像的相關(guān)機(jī)器學(xué)習(xí)問題，對(duì)圖像平移、比例縮放、傾斜或者其他形式的變形具有高度不變性，它的布局更接近于實(shí)際的生物神經(jīng)網(wǎng)絡(luò)，被廣泛應(yīng)用。當(dāng)前實(shí)現(xiàn)機(jī)器學(xué)習(xí)比較常見的兩種主流方式是Spark和Tensorflow框架。機(jī)器學(xué)習(xí)作為人工智能的核心，是企業(yè)搭建大數(shù)據(jù)平臺(tái)的重要節(jié)點(diǎn)，需要結(jié)合業(yè)務(wù)邏輯，按需選擇合適的算法模型，不斷調(diào)參調(diào)優(yōu)，使機(jī)器學(xué)習(xí)服務(wù)于企業(yè)經(jīng)營(yíng)。
七、數(shù)據(jù)倉(cāng)庫(kù)
數(shù)據(jù)倉(cāng)庫(kù)是為了便于多維分析和多角度展示數(shù)據(jù)按特定模式進(jìn)行存儲(chǔ)所建立起來的關(guān)系型數(shù)據(jù)庫(kù)。在商業(yè)智能系統(tǒng)的設(shè)計(jì)中，數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建是關(guān)鍵，是商業(yè)智能系統(tǒng)的基礎(chǔ)，承擔(dān)對(duì)業(yè)務(wù)系統(tǒng)數(shù)據(jù)整合的任務(wù)，為商業(yè)智能系統(tǒng)提供數(shù)據(jù)抽取、轉(zhuǎn)換和加載(ETL)，并按主題對(duì)數(shù)據(jù)進(jìn)行查詢和訪問，為聯(lián)機(jī)數(shù)據(jù)分析和數(shù)據(jù)挖掘提供數(shù)據(jù)平臺(tái)。海量的數(shù)據(jù)包括社交網(wǎng)絡(luò)、移動(dòng)設(shè)備和傳感器等新渠道以及新技術(shù)使用所帶來的半結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)。大數(shù)據(jù)技術(shù)架構(gòu)可分為存儲(chǔ)、處理、應(yīng)用、展示以及整合5個(gè)部分，并可根據(jù)數(shù)據(jù)的結(jié)構(gòu)化程度對(duì)相關(guān)技術(shù)進(jìn)行選擇和組合。每個(gè)部分包含一些技術(shù)要素，而某些要素又可根據(jù)結(jié)構(gòu)化程度共同作用形成特定的功能。
從企業(yè)角度來說，無論是數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)還是大數(shù)據(jù)都是解決不同需求、處理不同級(jí)別數(shù)據(jù)量的技術(shù)，它們之間并無沖突。針對(duì)不同需求和現(xiàn)狀進(jìn)行技術(shù)選擇，各種技術(shù)相互補(bǔ)充、相互協(xié)作。目前階段對(duì)于大部分企業(yè)來說，想要開展一個(gè)全新的大數(shù)據(jù)項(xiàng)目似乎無從下手。從現(xiàn)有數(shù)據(jù)倉(cāng)庫(kù)建設(shè)理論和經(jīng)驗(yàn)入手，引入部分大數(shù)據(jù)技術(shù)，特別是實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的收集、存儲(chǔ)和處理是一種比較可行的方法。
基于云計(jì)算的Hadoop大數(shù)據(jù)框架，利用集群的威力高速運(yùn)算和存儲(chǔ)，實(shí)現(xiàn)了一個(gè)分布式運(yùn)行系統(tǒng)，以流的形式提供高傳輸率來訪問數(shù)據(jù)，適應(yīng)了大數(shù)據(jù)的應(yīng)用程序。將Hadoop技術(shù)應(yīng)用于對(duì)數(shù)據(jù)的采集、ETL、存儲(chǔ)、處理，開發(fā)提供給傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)BI工具，其架構(gòu)如圖所示。利用Hadoop強(qiáng)大的數(shù)據(jù)處理能力，將各類數(shù)據(jù)處理成結(jié)構(gòu)化數(shù)據(jù)，向上提供給傳統(tǒng)BI工具，對(duì)數(shù)據(jù)進(jìn)行分析和結(jié)果展示。
八、數(shù)據(jù)安全
大數(shù)據(jù)蘊(yùn)藏著價(jià)值信息，但數(shù)據(jù)安全面臨著嚴(yán)峻挑戰(zhàn)。一方面，大數(shù)據(jù)本身的安全防護(hù)存在漏洞。雖然云計(jì)算對(duì)大數(shù)據(jù)提供了便利，但對(duì)大數(shù)據(jù)的安全控制力度不夠，API訪問權(quán)限控制以及密鑰生產(chǎn)，存儲(chǔ)和管理方面的不足都可能造成數(shù)據(jù)泄露。另一方面，在用數(shù)據(jù)挖掘和數(shù)據(jù)分析等大數(shù)據(jù)技術(shù)獲取價(jià)值信息的同時(shí)，攻擊者也在利用這些大數(shù)據(jù)技術(shù)進(jìn)行攻擊。
當(dāng)然大數(shù)據(jù)也為數(shù)據(jù)安全的發(fā)展提供了機(jī)會(huì)，對(duì)海量數(shù)據(jù)的分析有助于更好的跟蹤網(wǎng)絡(luò)異常行為，對(duì)實(shí)時(shí)安全和應(yīng)用數(shù)據(jù)結(jié)合在一起的數(shù)據(jù)進(jìn)行預(yù)防性分析，可防止詐騙和黑客入侵。網(wǎng)絡(luò)攻擊行為留下的痕跡數(shù)據(jù)以數(shù)據(jù)的形式隱藏在大數(shù)據(jù)中，從大數(shù)據(jù)的存儲(chǔ)，應(yīng)用和管理方面把關(guān)，可以有針對(duì)性的應(yīng)對(duì)數(shù)據(jù)安全威脅。企業(yè)需要將大數(shù)據(jù)技術(shù)和安全并行，大數(shù)據(jù)才可以真正成為企業(yè)長(zhǎng)遠(yuǎn)發(fā)展的驅(qū)動(dòng)力量。
