Google Cloud今天宣布推出Kubeflow Pipelines，以促進(jìn)企業(yè)內(nèi)部協(xié)作，并進(jìn)一步推動AI的民主化。Kubeflow Pipelines現(xiàn)已供免費(fèi)使用并且已經(jīng)開源。
Google Cloud產(chǎn)品經(jīng)理高級總監(jiān)Rajen Sheth表示，世界上只有幾千名機(jī)器學(xué)習(xí)工程師能夠?qū)崿F(xiàn)將深度學(xué)習(xí)從概念變?yōu)樯a(chǎn)，但是數(shù)據(jù)科學(xué)家有數(shù)百萬人，以及擁有千萬名的開發(fā)人員。
Kubeflow Pipelines旨在解決這一差距，為更多的數(shù)據(jù)科學(xué)家和開發(fā)人員提供支持，并幫助企業(yè)克服實(shí)現(xiàn)AI First戰(zhàn)略的公司障礙。
“我們當(dāng)前所遇到的一個(gè)最大問題是企業(yè)正在嘗試建立數(shù)據(jù)科學(xué)家團(tuán)隊(duì)，但是這是一種稀缺資源，除非得到了很好的利用，不然就會造成浪費(fèi)，”Sheth說道：“我們發(fā)現(xiàn)，超過60%的案例中的模型當(dāng)前并未實(shí)現(xiàn)從部署到生產(chǎn)，因此我們現(xiàn)在正在構(gòu)建一些希望能夠幫助解決這一問題的事情。”
Sheth說道，Pipelines層是可組的，因此機(jī)器學(xué)習(xí)中的不同部分和樂高積木一樣，都能夠拼到一起。
這一方法允許一個(gè)團(tuán)隊(duì)中的不同成員執(zhí)行標(biāo)記數(shù)據(jù)、將數(shù)據(jù)變成功能、以及驗(yàn)證數(shù)據(jù)等。如果發(fā)現(xiàn)了更好的方法，也可用于測試各種迭代并替代模型或者原有的方法。
“它們都會被遷移到新的模型中，并讓剩下的Pipeline保持在原來的位置，這會帶來一個(gè)問題：‘這個(gè)新的模型是否能夠極大推動這一結(jié)果？’從而能夠通過一種更好的方式來實(shí)現(xiàn)快速試驗(yàn)。”他說道：“我們現(xiàn)在正在使用Pipelines，并且開始需要開發(fā)人員、企業(yè)分析師和終端用戶的參與，因此他們都能夠成為團(tuán)隊(duì)的一部分，從而能夠構(gòu)建Pipeline。”
Kubeflow是谷歌今年早期發(fā)布的一個(gè)開源項(xiàng)目，針對的是機(jī)器學(xué)習(xí)和Kubernetes容器。使用Kubernetes將能夠讓企業(yè)變得靈活，避免完全使用云中的內(nèi)部數(shù)據(jù)和框架或培訓(xùn)模型來訓(xùn)練AI模型。
Kubeflow Pipelines的部分是基于TensorFlow Extended（TFX），并且也使用了TensorFlow Extended中的庫，谷歌內(nèi)部也通過TFX來構(gòu)建機(jī)器學(xué)習(xí)組件，然后允許不同內(nèi)部團(tuán)隊(duì)的開發(fā)人員使用這一成果，并將其投入生產(chǎn)。
谷歌今天還發(fā)布了AI Hub，這是基于機(jī)器學(xué)習(xí)模塊TensorFlow Hub構(gòu)建的，并且在今年早期也已供使用。AI Hub旨在為有興趣訓(xùn)練或部署AI模型的人提供一站式服務(wù)。
除了提供訓(xùn)練，AI Hub也將從谷歌獲得大量的資源，如受歡迎的TensorFlow Embeddings，以及來自Kaggle的內(nèi)容（Kaggle是一個(gè)社區(qū)，擁有超過200萬名的數(shù)據(jù)科學(xué)家）。
隨著時(shí)間的推移，谷歌希望大型生態(tài)系統(tǒng)所生成的受歡迎模型都來自于AI Hub。
“我們最終希望第三方能夠在AI Hub中共享信息，并將其變成一個(gè)交易市場，”Sheth說道：“我們發(fā)現(xiàn)，這一社區(qū)確實(shí)能解決很多用戶的問題。”
AI Hub最初將向大約100個(gè)企業(yè)合作伙伴開放。
和Kubeflow Pipelines一樣，AI Hub旨在為員工提供培訓(xùn)，消除公司中團(tuán)隊(duì)之間的障礙，因此他們能夠讓開發(fā)人員、數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師的工作變得更加有價(jià)值。
“AI認(rèn)知素養(yǎng)”是上個(gè)月在VB峰會上同谷歌和Google Cloud的高級管理人員討論的一個(gè)概念。
Sheth說：“我認(rèn)為最大的挑戰(zhàn)在于，為了實(shí)現(xiàn)AI First戰(zhàn)略，每個(gè)人都需要有AI認(rèn)知素養(yǎng)，從思考這一問題的產(chǎn)品經(jīng)理，到開發(fā)人員，到數(shù)據(jù)科學(xué)家，再到生產(chǎn)團(tuán)隊(duì)。一旦你有了認(rèn)知素養(yǎng)，那么你就能將AI融合到幾乎每一個(gè)企業(yè)業(yè)務(wù)中，這也是我們現(xiàn)在所處的情境。”
“幾乎每一個(gè)谷歌產(chǎn)品都通過了有趣的方式來使用AI，我們意識到它能幫助我們解決更多的問題，我們也希望這能夠幫助培養(yǎng)其他公司的文化。”
原文作者：KHARI JOHNSON
