我們來談?wù)剶?shù)據(jù)?，F(xiàn)在，我們知道數(shù)據(jù)有不同形狀和格式，這是我們從未經(jīng)歷過的。更重要的是，我們現(xiàn)在意識到數(shù)據(jù)的重要性。知識就是力量。數(shù)據(jù)已成為您和您的企業(yè)蓬勃發(fā)展和成功的強大動力。
然而，成功不是僅僅取決于收集的數(shù)據(jù)量，甚至不是其質(zhì)量決定的。葡萄酒制造商知道，如果不了解如何生產(chǎn)優(yōu)質(zhì)葡萄酒，再好的葡萄園也沒有任何意義。因此，您可能守著最好的“葡萄園”采摘的數(shù)千“桶”數(shù)據(jù)，卻仍然得不到預(yù)期結(jié)果–業(yè)務(wù)洞察。
另一個重要方面當(dāng)然是有得力的工具。大數(shù)據(jù)項目意味著借助并充分利用整個技術(shù)網(wǎng)絡(luò)來幫助收集、存儲、處理數(shù)據(jù)，最后進行分析。這是每一個大數(shù)據(jù)項目涉及的四個主要步驟，每個步驟都增加了復(fù)雜程度。
這種復(fù)雜性隨著云計算的引入只會增加。數(shù)字時代產(chǎn)生大量數(shù)據(jù)，需要的自然是更加經(jīng)濟的方案，而不是不斷購買越來越多的硬件。
為了進一步擴大吸引力，各大云計算供應(yīng)商推出豐富完整的數(shù)據(jù)服務(wù)，涵蓋數(shù)據(jù)攝取、存儲、處理和分析。大部分新的數(shù)據(jù)驅(qū)動應(yīng)用從一開始就是采用云技術(shù)開發(fā)的，Amazon EMR、Azure HDinsight和其他基于云的數(shù)據(jù)服務(wù)器等解決方案正在變得非常流行。
工具和處理元素越來越多，需要很好地關(guān)聯(lián)并協(xié)調(diào)運行，以確保數(shù)據(jù)管道不會中斷。
如何實現(xiàn)?簡化工作流編排。
您可以試著用腳本來解決這種復(fù)雜性。許多企業(yè)花費大量時間和資源編寫維護腳本把一切搞定。但是，您總不會希望拿著高薪的數(shù)據(jù)工程師將時間用在運行管道上?這種解決方案如何擴展?您真的能夠保證腳本與數(shù)據(jù)管道統(tǒng)一嗎?
通過與很多客戶交談，我了解到采用腳本沒有想的那么好。不僅費用高，甚至?xí)霈F(xiàn)更為嚴重的后果–風(fēng)險。企業(yè)真正需要的是可以協(xié)調(diào)整個數(shù)據(jù)管道的可靠產(chǎn)品–無論使用哪種技術(shù)。誰也不想要自動化孤島，而是需要跨不同數(shù)據(jù)源端到端可視的數(shù)據(jù)管道。
而且，正如我們所知，唯一不變的是變化，數(shù)據(jù)驅(qū)動項目更是如此。數(shù)據(jù)管道的各種元素經(jīng)常發(fā)生變化，您需要利用編排解決方案為這種變化做好隨機應(yīng)變的準備。
