阿里巴巴CEO馬云曾說(shuō)過(guò)：云計(jì)算和大數(shù)據(jù)將是21世紀(jì)的石油，將成為極具價(jià)值的東西。海量數(shù)據(jù)齊聚一堂，如何才能將它們發(fā)揮最大的價(jià)值，有些公司會(huì)選擇大數(shù)據(jù)應(yīng)用程序，那么如此多的大數(shù)據(jù)應(yīng)用程序，每個(gè)企業(yè)該如何選擇？
選擇大數(shù)據(jù)軟件對(duì)于組織來(lái)說(shuō)是一個(gè)復(fù)雜的過(guò)程，組織需要仔細(xì)評(píng)估其目標(biāo)和供應(yīng)商提供的解決方案。
如今可以確定的是，組織對(duì)大數(shù)據(jù)解決方案需求量很大。組織的管理者知道他們的大數(shù)據(jù)是不可忽視的最寶貴的資源之一。因此，他們正在尋找可幫助存儲(chǔ)、管理和分析其大數(shù)據(jù)的硬件和軟件。
根據(jù)調(diào)研機(jī)構(gòu)IDC公司的調(diào)查，2017年組織在大數(shù)據(jù)和數(shù)據(jù)分析方面的支出為1508億美元，比去年增長(zhǎng)12.4%。到2020年，這一支出可能會(huì)以每年11.9%的速度增長(zhǎng)，2020年的收入可能高達(dá)2100億美元。
大部分收入都用于大數(shù)據(jù)應(yīng)用。據(jù)IDC公司預(yù)測(cè)，到2020年，僅軟件開(kāi)支就可能超過(guò)700億美元。非關(guān)系分析數(shù)據(jù)存儲(chǔ)(如NoSQL數(shù)據(jù)庫(kù))的支出增長(zhǎng)尤其迅速，每年可能增長(zhǎng)38.6%，認(rèn)知軟件平臺(tái)(如人工智能和機(jī)器學(xué)習(xí)能力的分析工具)每年可能增長(zhǎng)23.3%。
為了充分利用大量的數(shù)據(jù)支出，供應(yīng)商在各種不同的產(chǎn)品和服務(wù)上打上了“大數(shù)據(jù)”標(biāo)簽。這種產(chǎn)品的擴(kuò)散會(huì)使組織很難找到合適的大數(shù)據(jù)應(yīng)用程序來(lái)滿足他們的需求。專家建議，企業(yè)開(kāi)始選擇大數(shù)據(jù)應(yīng)用程序的一個(gè)好方法是精確地確定自己所需要什么類型的應(yīng)用程序。
大數(shù)據(jù)應(yīng)用的類型
企業(yè)軟件供應(yīng)商提供了大量不同類型的大數(shù)據(jù)應(yīng)用程序。適合企業(yè)的大數(shù)據(jù)應(yīng)用將取決于其目標(biāo)。
例如，如果企業(yè)只想更加詳細(xì)和深入地?cái)U(kuò)展現(xiàn)有的財(cái)務(wù)報(bào)告功能，那么數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能解決方案可能已足以滿足其需求;如果企業(yè)的銷售和營(yíng)銷團(tuán)隊(duì)希望利用其大數(shù)據(jù)的發(fā)現(xiàn)增加收入和利潤(rùn)的新機(jī)會(huì)，則可以考慮創(chuàng)建數(shù)據(jù)湖和/或投資數(shù)據(jù)挖掘解決方案;如果企業(yè)想創(chuàng)建一個(gè)數(shù)據(jù)驅(qū)動(dòng)的文化，組織中的每個(gè)人都在使用數(shù)據(jù)來(lái)指導(dǎo)他們的決策，那么企業(yè)可能需要數(shù)據(jù)湖和預(yù)測(cè)分析，內(nèi)存數(shù)據(jù)庫(kù)，也可能是流分析。
這樣的事情將會(huì)變得更復(fù)雜，因?yàn)椴煌愋偷墓ぞ咧g的界限可能會(huì)有些模糊。一些商業(yè)智能工具具有數(shù)據(jù)挖掘和預(yù)測(cè)分析功能。一些預(yù)測(cè)分析工具包括流媒體功能。
最好的辦法是組織一開(kāi)始就清楚地確定自己的目標(biāo)，然后去尋找能夠幫助其實(shí)現(xiàn)這些目標(biāo)的產(chǎn)品。
選擇大數(shù)據(jù)應(yīng)用程序時(shí)的關(guān)鍵決策
無(wú)論企業(yè)選擇哪種類型的大數(shù)據(jù)應(yīng)用程序，都需要做出一些關(guān)鍵決策，以幫助企業(yè)縮小選擇范圍。以下是一些最重要的考慮事項(xiàng)：
(1)內(nèi)部部署數(shù)據(jù)中心與基于云計(jì)算的大數(shù)據(jù)應(yīng)用程序
企業(yè)需要做出的第一個(gè)重大決策是要在自己的數(shù)據(jù)中心托管大數(shù)據(jù)軟件，還是希望采用基于云計(jì)算的解決方案。
目前，更多的組織似乎正在選擇云計(jì)算。分析機(jī)構(gòu)Forrester公司副總裁兼首席分析師Brian Hopkins在2017年8月的一篇博客文章中寫道：“通過(guò)云訂閱在大數(shù)據(jù)解決方案上的全球支出將增長(zhǎng)快近7.5倍。此外，根據(jù)數(shù)據(jù)分析專業(yè)人員的2016和2017調(diào)查，公有云是大數(shù)據(jù)的頭號(hào)技術(shù)優(yōu)先事項(xiàng)。”
基于云計(jì)算的大數(shù)據(jù)應(yīng)用受到歡迎有多種原因，其中包括可擴(kuò)展性和易管理性。主要的云計(jì)算供應(yīng)商也在人工智能和機(jī)器學(xué)習(xí)研究方面處于領(lǐng)先地位，這使得他們可以在解決方案中添加高級(jí)功能。
但是，云計(jì)算對(duì)于組織來(lái)說(shuō)并不總是最好的選擇。對(duì)合規(guī)性或安全性要求較高的組織有時(shí)會(huì)發(fā)現(xiàn)他們需要將敏感數(shù)據(jù)保留在內(nèi)部部署的數(shù)據(jù)中心。此外，一些組織已經(jīng)在現(xiàn)有的本地?cái)?shù)據(jù)解決方案上進(jìn)行投資，并且他們發(fā)現(xiàn)繼續(xù)在本地部署數(shù)據(jù)中心運(yùn)行大數(shù)據(jù)應(yīng)用程序或使用混合方法會(huì)更具成本效益。
(2)私有vs開(kāi)源的大數(shù)據(jù)應(yīng)用程序
一些最流行的大數(shù)據(jù)工具(包括Hadoop生態(tài)系統(tǒng))可以在開(kāi)源許可下獲得。 Forrester公司指出，“2017年，企業(yè)將在Hadoop軟件和相關(guān)服務(wù)上投入8億美元。”
Hadoop和其他開(kāi)源軟件最大的吸引力之一是降低總體擁有成本。盡管專有解決方案需要支付高昂的許可費(fèi)，并且可能需要昂貴的專用硬件，但Hadoop沒(méi)有許可費(fèi)，并且可以在標(biāo)準(zhǔn)的硬件上運(yùn)行。
然而，企業(yè)有時(shí)發(fā)現(xiàn)很難獲得開(kāi)源的解決方案，以滿足他們的需要。他們可能需要購(gòu)買支持或咨詢服務(wù)，組織在計(jì)算總擁有成本時(shí)需要考慮這些費(fèi)用。
(3)批處理vs流式傳輸大數(shù)據(jù)應(yīng)用程序
最早的大數(shù)據(jù)解決方案(如Hadoop)只是處理批量數(shù)據(jù)，但企業(yè)越來(lái)越多地發(fā)現(xiàn)他們希望實(shí)時(shí)分析數(shù)據(jù)。這引發(fā)了對(duì)Spark、Storm、Samza等流媒體解決方案的更多興趣。
許多分析師表示，即使組織認(rèn)為他們現(xiàn)在不需要處理流式數(shù)據(jù)，流媒體功能也可能在不久的將來(lái)成為標(biāo)準(zhǔn)操作流程。出于這個(gè)原因，許多組織正在向Lambda體系結(jié)構(gòu)邁進(jìn)，這是一種既能處理實(shí)時(shí)數(shù)據(jù)又能批處理數(shù)據(jù)的數(shù)據(jù)處理體系結(jié)構(gòu)。
在大數(shù)據(jù)應(yīng)用中尋找特性
一旦企業(yè)縮小了選項(xiàng)范圍，就需要評(píng)估其正在考慮的大數(shù)據(jù)應(yīng)用程序。以下包括一些最重要的需要考察的因素。
與傳統(tǒng)技術(shù)集成 - 大多數(shù)組織已經(jīng)在數(shù)據(jù)管理和分析技術(shù)方面進(jìn)行現(xiàn)有投資。完全替代該技術(shù)可能代價(jià)高昂并且具有破壞性，因此組織通常會(huì)選擇尋找可以與現(xiàn)有工具一起使用的解決方案，或者可以增加現(xiàn)有軟件。
績(jī)效 - 2017年Talend研究發(fā)現(xiàn)，實(shí)時(shí)分析功能是商業(yè)領(lǐng)袖的首要IT優(yōu)先事項(xiàng)之一。如果要從這些洞察中獲益，管理人員和工作人員需要能夠及時(shí)獲取見(jiàn)解。這意味著投資可以提供他們所需速度的技術(shù)。
可擴(kuò)展性 - 大數(shù)據(jù)存儲(chǔ)的規(guī)模每天都會(huì)變得更大。組織需要快速執(zhí)行的大數(shù)據(jù)應(yīng)用程序，隨著數(shù)據(jù)存儲(chǔ)量以指數(shù)級(jí)增長(zhǎng)，這些應(yīng)用程序可以繼續(xù)快速執(zhí)行。這種對(duì)可擴(kuò)展性的需求是基于云計(jì)算的大數(shù)據(jù)應(yīng)用變得非常流行的主要原因之一。
可用性 - 組織還應(yīng)該考慮他們打算購(gòu)買的任何大數(shù)據(jù)應(yīng)用程序的“學(xué)習(xí)曲線”。易于部署、易于配置、界面直觀和/或與組織已經(jīng)使用的工具相似或集成的工具可以提供巨大的價(jià)值。
可視化 - BI-Survey.com表示，“針對(duì)商業(yè)用戶的可視化和探索性數(shù)據(jù)分析(稱為數(shù)據(jù)發(fā)現(xiàn))已經(jīng)演變成當(dāng)今市場(chǎng)上最熱門的商業(yè)智能和分析主題。”在圖表中呈現(xiàn)數(shù)據(jù)可以使人類的大腦更容易發(fā)現(xiàn)趨勢(shì)和異常值，加快識(shí)別可操作見(jiàn)解的過(guò)程。
靈活性 – 企業(yè)如今所需要的大數(shù)據(jù)可能與其在一兩年前的需求大不相同。這就是為什么許多企業(yè)選擇尋找能夠滿足各種不同目標(biāo)的工具，而不是很好地執(zhí)行單一功能的原因。
安全性 - 這些大數(shù)據(jù)存儲(chǔ)中包含的大部分?jǐn)?shù)據(jù)都是敏感信息，這對(duì)于競(jìng)爭(zhēng)對(duì)手、國(guó)家機(jī)構(gòu)或黑客都是非常有價(jià)值的。組織需要確保他們的大數(shù)據(jù)具有足夠的保護(hù)，以防止成為頭條新聞報(bào)道的大量數(shù)據(jù)泄露事件。這意味著組織需要尋找具有內(nèi)置安全功能(如加密和強(qiáng)身份驗(yàn)證)的工具，或者尋找與現(xiàn)有安全解決方案集成的工具。
支持 - 即使有經(jīng)驗(yàn)的IT專業(yè)人員有時(shí)也會(huì)發(fā)現(xiàn)難以部署、維護(hù)和使用復(fù)雜的大數(shù)據(jù)應(yīng)用程序。不要忘記考慮各供應(yīng)商提供的支持的質(zhì)量和成本。
生態(tài)系統(tǒng) - 大多數(shù)組織需要多種不同的應(yīng)用程序來(lái)滿足他們所有的大數(shù)據(jù)需求。這意味著要尋找一個(gè)大數(shù)據(jù)平臺(tái)，與其他許多流行工具以及與其他提供商有強(qiáng)大合作關(guān)系的供應(yīng)商進(jìn)行整合。
自助服務(wù)能力 - 2017年畢馬威公司針對(duì)組織的CIO調(diào)查發(fā)現(xiàn)，60%的CIO持續(xù)報(bào)告指出數(shù)據(jù)分析人才短缺，而大數(shù)據(jù)和分析是最需要的技能組合。由于沒(méi)有足夠的數(shù)據(jù)科學(xué)家去解決，組織正在尋找其他商業(yè)專業(yè)人士可以獨(dú)立使用的工具。調(diào)研機(jī)構(gòu)Gartner公司最近的博客文章指出，通常在一個(gè)組織中，大約32%的員工正在使用商業(yè)智能和分析。
總體擁有成本 - 大數(shù)據(jù)應(yīng)用的前期成本只是其中的一小部分。組織需要確保他們考慮相關(guān)硬件成本，正在采用的許可或訂購(gòu)費(fèi)用、員工時(shí)間、支持成本，以及與本地部署應(yīng)用程序的物理空間相關(guān)的任何費(fèi)用。不要忘記要考慮到云計(jì)算成本隨著時(shí)間的推移普遍下降的事實(shí)。
預(yù)計(jì)價(jià)值的時(shí)間 - 另一個(gè)重要的財(cái)務(wù)考慮因素是企業(yè)能夠以多快的速度啟動(dòng)并運(yùn)行特定的解決方案。大多數(shù)公司都希望在幾天或幾周內(nèi)，而不是幾個(gè)月或幾年內(nèi)從他們的大數(shù)據(jù)項(xiàng)目中受益。
人工智能和機(jī)器學(xué)習(xí) - 最后，考慮各種大數(shù)據(jù)應(yīng)用供應(yīng)商的創(chuàng)新。人工智能和機(jī)器學(xué)習(xí)的研究正在以驚人的速度發(fā)展，并成為大數(shù)據(jù)分析的主流部分。據(jù)Forrester公司預(yù)測(cè)，“企業(yè)在2017年對(duì)于人工智能的投資增加了三倍，因?yàn)槠髽I(yè)需要將客戶數(shù)據(jù)轉(zhuǎn)換為個(gè)性化體驗(yàn)。”如果企業(yè)選擇的供應(yīng)商在這項(xiàng)研究沒(méi)有處于行業(yè)前沿，那么可能會(huì)發(fā)現(xiàn)自己落后于競(jìng)爭(zhēng)對(duì)手。
選擇大數(shù)據(jù)應(yīng)用程序的提示
很明顯，選擇正確的大數(shù)據(jù)應(yīng)用程序是一個(gè)復(fù)雜的過(guò)程，這涉及諸多因素。已成功部署大數(shù)據(jù)軟件的專家和組織提供以下建議：
理解自己的目標(biāo)–企業(yè)在選擇大數(shù)據(jù)應(yīng)用程序時(shí)，需要知道自己想完成什么是至關(guān)重要的。如果不確定為什么要投資某項(xiàng)技術(shù)，那么其項(xiàng)目不太可能成功。
從小規(guī)模開(kāi)始-如果企業(yè)可以通過(guò)小規(guī)模的大數(shù)據(jù)分析項(xiàng)目取得成功，那么企業(yè)對(duì)使用該工具將會(huì)產(chǎn)生更多的興趣。
采取整體方法-盡管小規(guī)模項(xiàng)目可以幫助企業(yè)獲得技術(shù)方面的經(jīng)驗(yàn)和專業(yè)知識(shí)，但選擇最終可用于整個(gè)業(yè)務(wù)的應(yīng)用程序非常重要。Gartner公司建議：“為了支持無(wú)處不在的數(shù)據(jù)和分析世界，IT專業(yè)人員需要?jiǎng)?chuàng)建一個(gè)新的端到端體系結(jié)構(gòu)，為敏捷、規(guī)模和實(shí)驗(yàn)而構(gòu)建。如今，技術(shù)學(xué)科正在融合，數(shù)據(jù)和分析的方法正在變得更加整體化，涵蓋整個(gè)業(yè)務(wù)。”
協(xié)同工作–Gartner公司的這篇博客文章還指出：“建議數(shù)據(jù)和分析領(lǐng)導(dǎo)者積極主動(dòng)地在他們的組織中傳播分析，以便從啟用數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)操作中獲得最大的收益。”許多組織正試圖構(gòu)建數(shù)據(jù)驅(qū)動(dòng)文化，這需要業(yè)務(wù)和IT領(lǐng)導(dǎo)者之間的大量合作。
病毒式傳播–前面提到的自助服務(wù)功能還可以幫助創(chuàng)建數(shù)據(jù)驅(qū)動(dòng)的文化。Gartner公司建議：“讓分析在企業(yè)內(nèi)部和外部真正發(fā)揮作用。通過(guò)培養(yǎng)實(shí)用的自助服務(wù)方法，并通過(guò)在交互和流程中的數(shù)據(jù)攝入點(diǎn)上嵌入分析功能，使更多的業(yè)務(wù)用戶能夠執(zhí)行分析。”
（原標(biāo)題：如何選擇大數(shù)據(jù)應(yīng)用程序）
