傳統(tǒng)企業(yè)很多在轉(zhuǎn)型做大數(shù)據(jù)，在技術(shù)層面上從互聯(lián)網(wǎng)公司學(xué)到不少，改革也可謂大刀闊斧，就幾年時(shí)間，很多傳統(tǒng)企業(yè)的數(shù)據(jù)倉(cāng)庫(kù)全部從小型機(jī)轉(zhuǎn)到了X86，現(xiàn)在做數(shù)據(jù)處理和分析如果不提hadoop甚至有點(diǎn)落伍了。
應(yīng)該來(lái)說(shuō)，現(xiàn)在搞一套大數(shù)據(jù)平臺(tái)其實(shí)已經(jīng)不是難事，但如果企業(yè)希望能基于新的大數(shù)據(jù)平臺(tái)快速的進(jìn)行創(chuàng)新，事情就并不像想象的那么簡(jiǎn)單，你會(huì)發(fā)現(xiàn)，換了平臺(tái)以后，雖然數(shù)據(jù)增加了，創(chuàng)新的可能性增加了，但很多數(shù)據(jù)工作效率卻比以前降低了，從采集、開(kāi)發(fā)、分析、挖掘、運(yùn)維不一而足，我們?cè)诳吹靡?jiàn)的成本上的確降低了，但看不見(jiàn)的成本卻在大幅提升。
●從平臺(tái)的角度講
由于技術(shù)組件的多樣化，開(kāi)源化，技術(shù)的復(fù)雜性大幅提升，企業(yè)能得到的標(biāo)準(zhǔn)化服務(wù)能力肯定是下降了，為了保障服務(wù)的連續(xù)性，企業(yè)必然要花更多的其它成本去做補(bǔ)償，比如：
不少技術(shù)組件甚至業(yè)界也沒(méi)多少人用過(guò)，企業(yè)只能硬著頭皮自己去抗，難度可想而知。
●從工具的角度看
當(dāng)前各種技術(shù)組件的配套設(shè)施并不完備，我們不再擁有像PL/DEV這種完美的ORACLE第三方客戶(hù)端軟件，得自己重新開(kāi)發(fā)一套客戶(hù)端工具來(lái)跑腳本，比如針對(duì)HIVE的運(yùn)行工具，但這些客戶(hù)端工具的開(kāi)發(fā)也是摸著石頭過(guò)河，體驗(yàn)顯然也是沒(méi)法跟以前相比的。
互聯(lián)網(wǎng)公司對(duì)于新產(chǎn)品的競(jìng)爭(zhēng)力有個(gè)公式：
競(jìng)爭(zhēng)力=（新產(chǎn)品體驗(yàn)-老產(chǎn)品體驗(yàn)）-替換成本
因此，要推廣一個(gè)體驗(yàn)還不如老工具的東西對(duì)于大數(shù)據(jù)平臺(tái)運(yùn)營(yíng)人員來(lái)講也是非常艱難，當(dāng)然不僅是開(kāi)發(fā)工具，還包括監(jiān)控工具、優(yōu)化工具等等。
●從管理的角度看
更是要建立一套適應(yīng)新的大數(shù)據(jù)平臺(tái)運(yùn)營(yíng)的組織、機(jī)制和流程，比如建立小快靈的團(tuán)隊(duì)來(lái)適應(yīng)大數(shù)據(jù)的創(chuàng)新，新的平臺(tái)工具需要新的培訓(xùn)，比如：
hive腳本跑不動(dòng)得自己有能力去解析yarn的日志，看看是否有數(shù)據(jù)傾斜的問(wèn)題......
無(wú)論如何，我們都將與BI時(shí)代的穩(wěn)定再見(jiàn)，面對(duì)的將是一個(gè)全新的環(huán)境，這是當(dāng)前任何一支大數(shù)據(jù)團(tuán)隊(duì)都會(huì)面臨的問(wèn)題，在如此不確定的環(huán)境中，一支大數(shù)據(jù)團(tuán)隊(duì)如何才能變得更高效是擺在每個(gè)大數(shù)據(jù)管理者面前的課題。
這個(gè)時(shí)候，我們首先要擁有對(duì)新事物勇敢提出問(wèn)題的能力，而能否創(chuàng)造開(kāi)放透明的環(huán)境是最重要的一個(gè)，這也是筆者最近的感悟，因此特別來(lái)說(shuō)一說(shuō)。
這里先舉三個(gè)案例。
團(tuán)隊(duì)組織了一次工作研討會(huì)，特意邀請(qǐng)了剛?cè)肼毜男聠T工談?wù)劰ぷ髦械膯?wèn)題和建議，哪知道原來(lái)引以為豪的數(shù)據(jù)開(kāi)發(fā)管理平臺(tái)被一頓臭罵，從資源占用模式，開(kāi)發(fā)界面，調(diào)試方式......但為什么老員工就能泰然自若，不愿意升級(jí)問(wèn)題呢？也許是習(xí)慣了吧。
不少新人在日?qǐng)?bào)中抱怨，一個(gè)腳本HIVE跑了很多個(gè)小時(shí)沒(méi)跑出來(lái)，因此只能凌晨起來(lái)乘著人少跑，運(yùn)維說(shuō)一些不規(guī)范的腳本也幫助查殺了，性能也就這樣了。
接到客戶(hù)投訴，說(shuō)一個(gè)標(biāo)簽質(zhì)量有問(wèn)題，核查發(fā)現(xiàn)原來(lái)標(biāo)簽開(kāi)發(fā)人員為了萬(wàn)無(wú)一失，將正確的標(biāo)簽命名為sex_new，老的標(biāo)簽sex還留著，說(shuō)是擔(dān)心梳理不出對(duì)老應(yīng)用的影響，就想了這個(gè)兩全其美的方法。
這些看似不經(jīng)意的問(wèn)題，其實(shí)對(duì)于大數(shù)據(jù)的效率影響很大，一旦習(xí)慣了就會(huì)積重難返，大家都懂的，但關(guān)鍵是這些其實(shí)并不是團(tuán)隊(duì)不能解決的問(wèn)題，但為什么會(huì)習(xí)慣于遷就呢？
筆者分析下來(lái)，大致有以下的原因：
1、認(rèn)知格局問(wèn)題：
員工之間，員工與管理者之間信息非常不對(duì)稱(chēng)，擁有的視野和資源不同，對(duì)于事物的輕重緩急認(rèn)知不同，比如管理者認(rèn)為租戶(hù)性能是全局問(wèn)題，不及時(shí)解決后果很?chē)?yán)重，而員工認(rèn)為自己忍忍就算了，員工經(jīng)常聽(tīng)到領(lǐng)導(dǎo)的教誨說(shuō)要站得高一點(diǎn)就是這個(gè)理，對(duì)沖基金公司橋水將所有公司的資料開(kāi)放給員工是提升員工格局的一種手段。有時(shí)候，不知道這個(gè)問(wèn)題是大問(wèn)題是最大的問(wèn)題。
2、趨利避害問(wèn)題：
員工的工作邊界有限，對(duì)于可提可不提的問(wèn)題，從降低風(fēng)險(xiǎn)的角度講一般會(huì)選擇回避，畢竟提出問(wèn)題是需要付出代價(jià)的，你得分析清楚原因吧，得找到利益相關(guān)方討論清楚吧，一般還得求助上級(jí)協(xié)調(diào)解決，每一樣工作都讓你脫離原有的工作舒適區(qū)，這個(gè)違背人性，多一事不如少一事。
從更自私的角度來(lái)講，比如碰到的是工具不好用的全局問(wèn)題，我慢你也慢，那就不會(huì)由于這個(gè)問(wèn)題導(dǎo)致自己的成果比別人差，那就無(wú)所謂了，其實(shí)很多KPI做到了極端就這樣了，問(wèn)題能否解決、餅?zāi)懿荒茏龃鬅o(wú)關(guān)緊要，只要你不比我過(guò)得好。
3、溝通環(huán)境問(wèn)題：
要打造開(kāi)放透明的溝通環(huán)境非常不易，互聯(lián)網(wǎng)公司相對(duì)比較扁平化，也還在不停的琢磨如何提升企業(yè)的透明程度，比如Google，大多企業(yè)層級(jí)式的匯報(bào)體系的確抑制了問(wèn)題的暴露，從大了講涉及到企業(yè)的文化，從小了講涉及團(tuán)建能力，很多問(wèn)題其實(shí)早就有人提了，要么沒(méi)人理，要么草草應(yīng)付。
4、小白兔問(wèn)題：
如果說(shuō)趨利避害還帶有一點(diǎn)選擇性作為的話(huà)，小白兔就是不作為了，不作為不是不做事，如果你的工作都是領(lǐng)導(dǎo)安排的，比如說(shuō)一下動(dòng)一下，就要考慮自己是不是已經(jīng)成為小白兔了。
有人說(shuō)我的工作性質(zhì)就是穩(wěn)定啊，只需要執(zhí)行就成，沒(méi)有需要主動(dòng)推進(jìn)的事情，姑且不說(shuō)這種被動(dòng)心態(tài)，其實(shí)任何事情有深有淺之分，沒(méi)有簡(jiǎn)單的事，只有簡(jiǎn)單的人，比如按部就班的處理工單算做事，想著如何提高工單效率也是做事，把處理工單的方法編撰成手冊(cè)是做事，最后實(shí)現(xiàn)了一套自動(dòng)化工單處理系統(tǒng)更是做事，其實(shí)沒(méi)有人為你過(guò)設(shè)定邊界，前者相對(duì)后者就是小白兔，而小白兔對(duì)于大數(shù)據(jù)這種創(chuàng)新團(tuán)隊(duì)影響更大。
大家會(huì)笑國(guó)王的新裝，但自己不小心就會(huì)成為主角，管理者則被過(guò)頂傳球了，這對(duì)于團(tuán)隊(duì)的傷害很大，大數(shù)據(jù)這類(lèi)新事物特別需要問(wèn)題的暴露和反饋，從而推進(jìn)各類(lèi)問(wèn)題的快速解決，刻意練習(xí)提到重復(fù)單調(diào)的10000小時(shí)努力不會(huì)讓你成為專(zhuān)家，這個(gè)道理同樣適用于團(tuán)隊(duì)，卓越的團(tuán)隊(duì)無(wú)法靠無(wú)腦的擴(kuò)張和機(jī)械的重復(fù)打造。
互聯(lián)網(wǎng)公司值得我們學(xué)習(xí)的，不僅僅是技術(shù)，透明化、扁平化絕對(duì)是重要的一條，Google在《重新定義團(tuán)隊(duì)》提了很多了，對(duì)沖基金公司橋水創(chuàng)始人瑞·達(dá)利歐在《原則》一書(shū)中提到了“極度求真和極度透明”，李開(kāi)復(fù)在微軟亞洲研究院提倡的“白板文化”激蕩和迸發(fā)了多少創(chuàng)意，也許只有經(jīng)歷過(guò)才能知道開(kāi)放透明的價(jià)值。
毫無(wú)疑問(wèn)，大數(shù)據(jù)將帶來(lái)平臺(tái)，工具，管理的巨大變革，有太多的問(wèn)題需要解決，而能否勇敢、坦誠(chéng)的提出問(wèn)題是適應(yīng)新變化的前提，同樣起點(diǎn)的團(tuán)隊(duì)，會(huì)由于開(kāi)放透明程度的不同形成巨大差距，大數(shù)據(jù)不能容忍鴕鳥(niǎo)政策，比如前面的三個(gè)問(wèn)題通過(guò)團(tuán)隊(duì)的群策群力，我們給出了以下舉措：
●措施1：將開(kāi)發(fā)管理平臺(tái)的體驗(yàn)改善提升到團(tuán)隊(duì)工作的高級(jí)別，落實(shí)相關(guān)開(kāi)發(fā)資源，在年底前逐步解決，同時(shí)反思項(xiàng)目化的建設(shè)模式是否符合新時(shí)期的要求。
●措施2：新申請(qǐng)租戶(hù)資源或者調(diào)整各個(gè)租戶(hù)資源配額，削峰填谷；將開(kāi)發(fā)人員按業(yè)務(wù)拆分成多個(gè)團(tuán)隊(duì)租戶(hù)；明確開(kāi)發(fā)規(guī)范，在年底前將開(kāi)發(fā)規(guī)則內(nèi)嵌在開(kāi)發(fā)管理平臺(tái)。
●措施3：標(biāo)簽上線(xiàn)增加審核，比如區(qū)分變更還是新增，規(guī)范命名，對(duì)于存量標(biāo)簽相似名稱(chēng)進(jìn)行核查，下線(xiàn)造成歧義的雷同標(biāo)簽。
現(xiàn)在有個(gè)熱詞叫做涌現(xiàn)，凱文.凱利在他的《失控》這本書(shū)中專(zhuān)門(mén)講過(guò)蟻群，一只螞蟻可能什么都做不了，但是一群螞蟻通過(guò)一種協(xié)同的機(jī)制，可以做出很多精巧的事情。人的大腦是由神經(jīng)元構(gòu)成的，但是單個(gè)的神經(jīng)元獨(dú)立的看只是一個(gè)部件，但是通過(guò)不斷的刺激，讓神經(jīng)元之間產(chǎn)生聯(lián)系之后，我們就可以創(chuàng)造人類(lèi)文明。這些就是涌現(xiàn)。我們熟悉的市場(chǎng)是涌現(xiàn)，區(qū)塊鏈技術(shù)也是涌現(xiàn)。
這個(gè)道理似乎也能應(yīng)用于團(tuán)隊(duì)，如果每個(gè)成員都能做到知無(wú)不言，團(tuán)隊(duì)將涌現(xiàn)出一種高效解決問(wèn)題的能力，這也是我們夢(mèng)寐以求的吧。
當(dāng)然，筆者這里只是提出了問(wèn)題，但卻無(wú)法告訴解決問(wèn)題的辦法，比如打造開(kāi)放、透明的團(tuán)隊(duì)環(huán)境的具體方法，因?yàn)樽约阂膊恢?，只知道照搬別人是很難的，因?yàn)槊總€(gè)企業(yè)有自己獨(dú)特的環(huán)境，頭腦風(fēng)暴在一些企業(yè)很好使，但在很多地方完全不行，為了加大溝通讓新人寫(xiě)日?qǐng)?bào)能成，但對(duì)于其他人就不一定適用，因?yàn)椴灰欢軐?duì)這個(gè)事達(dá)成共識(shí)，強(qiáng)扭的瓜也不會(huì)甜，“白板文化”說(shuō)說(shuō)容易，但真功夫不是看看李開(kāi)復(fù)的書(shū)就能學(xué)會(huì)的，還是要自己實(shí)踐和體會(huì)。
但在這個(gè)特殊的時(shí)期，理解“開(kāi)放、透明的環(huán)境對(duì)于大數(shù)據(jù)團(tuán)隊(duì)是如此重要”這句話(huà)是非常有益的，因?yàn)檎J(rèn)識(shí)到這個(gè)問(wèn)題的重要性才有行動(dòng)的可能。
你看赫拉利又出了本新書(shū)《今日簡(jiǎn)史》，他只是提出了21個(gè)問(wèn)題，啥回答都沒(méi)有，但也引發(fā)了大家的思考，最近正好讀托馬斯.弗里德曼的《世界是平的》一書(shū)，也發(fā)現(xiàn)了類(lèi)似的話(huà)，分享于你。
一位朋友曾向諾貝爾物理學(xué)獎(jiǎng)獲得者伊西多.拉比詢(xún)問(wèn)他的成才之道。拉比回答說(shuō)，小時(shí)候每天放學(xué)后母親都會(huì)問(wèn)他當(dāng)天的學(xué)習(xí)情況。她對(duì)兒子一天所學(xué)的內(nèi)容并不感興趣，但她總是會(huì)問(wèn)：“今天你是否提出了一個(gè)好問(wèn)題？”,拉比說(shuō)：“提出好問(wèn)題讓我成為了科學(xué)家。”
