由于內(nèi)部部署的容量漸漸耗盡，KeyBank銀行將分析工作轉(zhuǎn)移到了云端。由于查詢成本和數(shù)據(jù)傳輸所產(chǎn)生的成本，這一轉(zhuǎn)變將意味著其用戶的工作方式將發(fā)生重大變化。
由于內(nèi)部分析基礎(chǔ)設(shè)施的容量已達(dá)到極限，總部設(shè)于俄亥俄州克利夫蘭市的KeyBank銀行已轉(zhuǎn)向云計(jì)算，這家大型區(qū)域銀行認(rèn)為此舉將明顯提升性能并且很有可能節(jié)省成本，但此舉要求他們對(duì)公司培訓(xùn)和管理用戶的方式進(jìn)行反思。
該銀行每晚處理約40億條記錄。數(shù)據(jù)被加載到Hadoop數(shù)據(jù)湖中，然后被下放到40多個(gè)下游系統(tǒng)，包括Teradata所使用的10到12個(gè)數(shù)據(jù)集市。KeyBank銀行的首席數(shù)據(jù)官，部門首席信息官兼企業(yè)架構(gòu)主管Mike Onders說：“這是流行于當(dāng)下且傳統(tǒng)的內(nèi)部部署體系結(jié)構(gòu)。我們?cè)贖adoop數(shù)據(jù)湖環(huán)境中擁有數(shù)以拍字節(jié)計(jì)的數(shù)據(jù)，在Teradata環(huán)境中擁有30多拍字節(jié)的數(shù)據(jù)。”
該系統(tǒng)可以為400個(gè)SAS和Teradata用戶以及4000個(gè)Tableau用戶提供服務(wù)，雖然它運(yùn)行十分順暢，但是一年多以前，KeyBank銀行的Teradata設(shè)備開始達(dá)到容量極限。
Onders說：“硬件設(shè)計(jì)本身仍然可以執(zhí)行預(yù)期的工作：即高性能的分析。但是在內(nèi)部部署的基礎(chǔ)設(shè)施中，你需要控制容量。由于你沒有讓容量發(fā)生變化，因此性能將根據(jù)不同的負(fù)載而變化”。對(duì)KeyBank銀行而言，這意味著在執(zhí)行月末和季度末任務(wù)時(shí)會(huì)遇到性能和排隊(duì)方面的問題。
此外，Onders的團(tuán)隊(duì)預(yù)計(jì)，KeyBank銀行需要在2021年使其Teradata環(huán)境煥然一新，而這正是KeyBank銀行想極力避免卻終將發(fā)生的事情。從那一刻起，Onders和他的團(tuán)隊(duì)要做這樣一個(gè)決策，即把銀行的分析數(shù)據(jù)遷移到云端是否是更好的選擇。
遷移到云端
在2018年底，Onders的團(tuán)隊(duì)使用云數(shù)據(jù)平臺(tái)Snowflake推出了一個(gè)概念驗(yàn)證(PoC)，隨后在2019年初使用Google Cloud Platform推出了概念驗(yàn)證。他承認(rèn)Snowflake在性能方面略有優(yōu)勢(shì)，但Google Cloud Platform承諾單個(gè)供應(yīng)商的架構(gòu)就可以管理ETL、可視化、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)訪問和機(jī)器學(xué)習(xí)，因此谷歌成了KeyBank銀行的不二之選。
KeyBank銀行現(xiàn)在在谷歌生態(tài)系統(tǒng)的各個(gè)測(cè)試階段擁有五個(gè)數(shù)據(jù)集市，Onders的團(tuán)隊(duì)發(fā)現(xiàn)其查詢性能比該銀行的本地查詢快三四倍。但是KeyBank銀行的高級(jí)副總裁兼企業(yè)體系結(jié)構(gòu)以及企業(yè)數(shù)據(jù)和信息服務(wù)總監(jiān)Onders和Doug Kanouff不約而同地指出，滿負(fù)荷呈現(xiàn)數(shù)據(jù)將成為真正的考驗(yàn)。
Kanouff說：“我們已經(jīng)調(diào)查了許多集市和用戶，以獲取其正在執(zhí)行的指示性查詢。我們正在實(shí)時(shí)運(yùn)行這些數(shù)據(jù)。因此，我們可以將實(shí)際數(shù)據(jù)，實(shí)際數(shù)據(jù)量用于這些比較查詢。到目前為止，這種做法挺不錯(cuò)的。但是，一旦數(shù)據(jù)呈現(xiàn)滿載，批量執(zhí)行就會(huì)啟動(dòng)，最終用戶的查詢也會(huì)生成，一切將顯得與眾不同，我們必須做出反應(yīng)并深入研究這些卷的內(nèi)容，以確保環(huán)境能夠按需運(yùn)行。”
培訓(xùn)人們對(duì)成本進(jìn)行細(xì)微調(diào)整
進(jìn)行這一轉(zhuǎn)變可謂困難重重，也許最大的困難就體現(xiàn)在業(yè)務(wù)流程和文化方面。Google Cloud前景無量，因?yàn)樗鼛缀跆峁┝藷o限的容量。但這也意味著從性能可變的固定成本模型轉(zhuǎn)變?yōu)槌杀究勺兊娜萘磕Ｐ汀?/p>
Onders說：“我們必須非常認(rèn)真地對(duì)這種轉(zhuǎn)變進(jìn)行管理和監(jiān)督，因?yàn)槲艺J(rèn)為我們財(cái)務(wù)團(tuán)隊(duì)的高層領(lǐng)導(dǎo)者并不需要真正的可變成本模型。他們希望能夠預(yù)測(cè)下個(gè)月和此后一個(gè)月的費(fèi)用是多少。”
使用Google BigQuery，你需要為每個(gè)查詢付費(fèi)，而費(fèi)用則取決于查詢所需訪問的數(shù)據(jù)量。在內(nèi)部部署的Teradata或Hadoop環(huán)境中，如果某個(gè)用戶對(duì)為期三年的交易數(shù)據(jù)運(yùn)行了一個(gè)錯(cuò)誤的測(cè)試查詢，而他本可以使用為期30天的交易數(shù)據(jù)，則成本不會(huì)發(fā)生變化。但這將消耗大量的算力，并且其他用戶可能會(huì)在查詢運(yùn)行時(shí)遇到性能不夠用的問題，僅此而已。由于使用了BigQuery，這不會(huì)影響其他用戶的性能，但需要花錢。
Onders說：“在谷歌的環(huán)境中，我們必須實(shí)施更多的監(jiān)視和培訓(xùn)并確保這樣一件事，既然人們可以以不同的方式做事，那么他們就不要做任何勞民傷財(cái)?shù)氖虑椤?rdquo;
許多用戶還必須接受培訓(xùn)，從而使他們能以不同的方式工作。尤其是SAS用戶，他們要找到自己所需的數(shù)據(jù)，將其復(fù)制并加載到分析工作區(qū)中。但是谷歌對(duì)數(shù)據(jù)出口收取費(fèi)用(大多數(shù)云提供商也一樣)。在本地環(huán)境中，復(fù)制這些數(shù)據(jù)集不會(huì)增加成本，盡管這確實(shí)會(huì)造成數(shù)據(jù)一致性和治理方面的問題。要成功遷移到Google Cloud就必須對(duì)這些用戶進(jìn)行培訓(xùn)，使他們能夠?qū)?shù)據(jù)進(jìn)行分析。
Onders說：“在遷入谷歌時(shí)，我們將在所謂的‘數(shù)據(jù)學(xué)院’上投入更多的資金。不僅要聘請(qǐng)精通數(shù)據(jù)的人，而且還要培訓(xùn)人員，對(duì)其進(jìn)行認(rèn)證，讓他們回答實(shí)際問題，讓他們?cè)诠P記本電腦上貼上標(biāo)簽，以表明他們知道如何使用我們的客戶端分析市場(chǎng)，交易市場(chǎng)或風(fēng)險(xiǎn)市場(chǎng)。你“已經(jīng)通過了認(rèn)證，我們已經(jīng)教給你更好的使用途徑，因?yàn)槲也幌朐贕oogle Cloud普及人們?cè)诖笮蜋C(jī)SAS架構(gòu)已經(jīng)習(xí)慣了的同一個(gè)模式。”
Kanouff補(bǔ)充說：“最大的成本考量因素在于對(duì)查詢的執(zhí)行，我們需要切實(shí)轉(zhuǎn)變思維方式并集中精力研究這樣一些問題，即什么人在做什么事，什么人在查詢什么東西以及我們?nèi)绾螌?duì)這些查詢進(jìn)行優(yōu)化。”
Anders考慮將數(shù)據(jù)湖也遷到Google時(shí)，數(shù)據(jù)出口的成本也是他在思考的問題。他希望在云創(chuàng)建一個(gè)單一的平臺(tái)架構(gòu)，但事實(shí)證明，數(shù)據(jù)出口的成本是一個(gè)問題。
Onders說：“從Teradata流出的數(shù)據(jù)很少，因?yàn)樗袷羌泻头治鲎罱K要處理的對(duì)象，我們會(huì)將分析工具遷移到Google Cloud，因此數(shù)據(jù)出口并不多。但是當(dāng)我們將數(shù)據(jù)湖遷入云端時(shí)，我們確實(shí)將數(shù)據(jù)發(fā)送到40多個(gè)下游系統(tǒng)。這種用法存在更大的問題，因?yàn)槲覀內(nèi)栽趯?duì)此展開對(duì)話。你不得不對(duì)某個(gè)模型展開認(rèn)真思考，弄清楚它要花多少錢。”
