此時(shí)正在閱讀這篇文章的您,有可能您的身份是想要處理大量服務(wù)于科學(xué)計(jì)算的志愿者,或者是需要處理復(fù)雜圖像的圖像工作者,更或者您是需要轉(zhuǎn)換金融數(shù)據(jù)的金融分析師。對于以上的這些所有工作,您首先想到的應(yīng)該就是需要更高性能的計(jì)算機(jī)或者是云計(jì)算,第一選擇或許就是阿里云、亞馬遜等云計(jì)算提供商,畢竟今天的云計(jì)算龍頭代表是亞馬遜、微軟和谷歌,阿里云超過IBM,成為全球第四大云計(jì)算提供商。
云計(jì)算是一個(gè)技術(shù)的集合體,為不同行業(yè)的客戶提供各種服務(wù)和功能,通過便捷的按需付費(fèi)模式使用計(jì)算資源和各種云計(jì)算服務(wù)。云計(jì)算本質(zhì)上是集中式的,大量的資源集中在少數(shù)的數(shù)據(jù)中心,以提高運(yùn)營效率降低架構(gòu)解決方案的復(fù)雜性。很多公司會(huì)更加愿意使用現(xiàn)成的優(yōu)質(zhì)服務(wù),而不是將這筆錢用來夠買昂貴的服務(wù)器來自己搭建一個(gè)小型云計(jì)算中心,因?yàn)槌杀竞蛢r(jià)格是首要考慮的因素。
但是這種集中化的云計(jì)算(公有云)存在一些局限性:在過去的幾年由于物聯(lián)網(wǎng) (IOT),移動(dòng)互聯(lián)設(shè)備大量增多,在遠(yuǎn)端的位置產(chǎn)生大量的數(shù)據(jù),并且通常將這些數(shù)據(jù)從遠(yuǎn)端傳遞到公有云。這種數(shù)據(jù)轉(zhuǎn)移需要消耗大量的帶寬,數(shù)據(jù)處理由于網(wǎng)絡(luò)原因存在延遲,在傳遞過程中隱私性和安全性也有可能出現(xiàn)隱患,亞馬遜更是推出用傳統(tǒng)的物理手段來進(jìn)行數(shù)據(jù)傳輸。例如一些大型基因研究機(jī)構(gòu)的數(shù)據(jù)、一些數(shù)字電影的發(fā)行,都仍舊依靠飛機(jī)乃至郵政等非數(shù)字化手段進(jìn)行傳輸。如下圖是亞馬遜的硬盤卡車服務(wù):
AWS的硬盤卡車
在互聯(lián)網(wǎng)應(yīng)用和傳輸已經(jīng)普及的今天,除了 AWS 之外,同樣提供云服務(wù)的微軟、Google、阿里實(shí)際上也有提供各式各樣的物理數(shù)據(jù)(硬盤、光盤)運(yùn)輸服務(wù)。而隨著計(jì)算規(guī)模的迅猛增長,信息傳送的成本也會(huì)越來越高。
在通勤背景下我們也看到了類似的問題,我們都很熟悉從郊區(qū)到市中心的交通堵塞。但是如果引入新的工作方式,例如:在家辦公,遠(yuǎn)程協(xié)同辦公等。類似的可以引申到解決數(shù)據(jù)傳輸擁堵問題,將計(jì)算資源分布到數(shù)據(jù)源附近,允許至少做一次數(shù)據(jù)預(yù)處理,或者使用一些去中心化的計(jì)算框架進(jìn)行數(shù)據(jù)處理,直接在數(shù)據(jù)源最近的設(shè)備上進(jìn)行計(jì)算,減少發(fā)送回?cái)?shù)據(jù)中心的數(shù)據(jù)量和數(shù)據(jù)傳輸時(shí)間。因此,云計(jì)算需要脫離傳統(tǒng)的集中式數(shù)據(jù)中心,并使其服務(wù)更接近用戶或擁有更分散調(diào)度能力和分散數(shù)據(jù)源。
當(dāng)下也正面臨一個(gè)新的轉(zhuǎn)折點(diǎn),5G 技術(shù)的發(fā)展,為萬物萬聯(lián)做好了技術(shù)鋪墊,客戶端或邊緣端的數(shù)據(jù)處理能力、設(shè)備數(shù)量和產(chǎn)生的數(shù)據(jù)量都將大幅提升。在未來的數(shù)據(jù)競爭中,數(shù)據(jù)產(chǎn)生在邊緣卻要更多的帶寬和時(shí)間,將數(shù)據(jù)傳輸?shù)街行幕?jì)算云端去處理之后再反饋到 IoT 設(shè)備的這種模式相比較數(shù)據(jù)在附近的技術(shù)節(jié)點(diǎn)計(jì)算反饋到 IoT 設(shè)備來說,顯然是不占優(yōu)勢的。
Gravity
Gravity 希望能夠打破這種僵局。Gravity 在共享計(jì)算領(lǐng)域,通過跨平臺(tái)異構(gòu)調(diào)度,構(gòu)建在區(qū)塊鏈上的算力市場,將異構(gòu)算力標(biāo)準(zhǔn)化為 VCU 單元。通過去中心化異構(gòu)調(diào)度,創(chuàng)建任務(wù)所需資源和業(yè)務(wù)場景,按照不同地理分布和不同設(shè)備的計(jì)算能力構(gòu)建計(jì)算網(wǎng)絡(luò)。 Gravity 利用閑置算力,降低算力和帶寬成本,計(jì)算節(jié)點(diǎn)相比公有云更靠近用戶邊緣,計(jì)算能力比邊緣計(jì)算網(wǎng)關(guān)算力更強(qiáng)。
Gravity 的主要用戶分為算力提供者和算力需求者。算力提供者可以提供個(gè)人閑置資源(包括PC、公有云上空閑資源、礦機(jī)、礦池等),加入 Gravity 算力資源市場,并且根據(jù)提供的不同資源類型,接收和運(yùn)行不同類型的計(jì)算任務(wù),通過算力市場算力供需自動(dòng)匹配,貢獻(xiàn)算力的節(jié)點(diǎn)會(huì)自動(dòng)獲取相應(yīng)收益。
Gravity 已經(jīng)實(shí)現(xiàn)一個(gè)異構(gòu)跨平臺(tái)調(diào)度網(wǎng)絡(luò),能夠跨越不同 OS、不同 CPU 架構(gòu),不同類型設(shè)備(盒子、手機(jī)、PC)的一個(gè)異構(gòu)調(diào)度網(wǎng)絡(luò),調(diào)度可拆分并且有狀態(tài)的 Job 作業(yè),和容器資源調(diào)度網(wǎng)絡(luò)進(jìn)行互補(bǔ)。
相對應(yīng)的,算力使用者,可以在 Gravity 算力市場上來購買和公有云供應(yīng)商相同的云算力服務(wù)但是只需支付超低的價(jià)錢。不需要關(guān)心 IaaS 層算力的組成(可能是 arm 或服務(wù)器),相應(yīng)的價(jià)格可能只是傳統(tǒng)公有云服務(wù)的1/3。
截止到目前 Gravity 基于分散在各地的閑置算力資源,已經(jīng)為企業(yè)提供高性價(jià)比的云服務(wù),包括云端彈性服務(wù)計(jì)算 GEdge ,函數(shù)計(jì)算 GFunction 和大數(shù)據(jù)計(jì)算服務(wù) GPMR,底層依賴于 VPC網(wǎng)絡(luò),通過基于 ICE 協(xié)議的網(wǎng)絡(luò)服務(wù)實(shí)現(xiàn)節(jié)點(diǎn)之間連接。
GEdge:Gravity 彈性調(diào)度平臺(tái),算力提供者使用 Gravity 提供的客戶端,管理和啟動(dòng)節(jié)點(diǎn),來提供算力供應(yīng)。算力使用者可以通過 GEdge 管理頁面來進(jìn)行部署私有鏡像微服務(wù)等,通過 GEdge 管理頁面進(jìn)行實(shí)時(shí)管理、任務(wù)監(jiān)控等,提供 ssh 打通到用戶的所有實(shí)例,讓使用者可以便捷管理、快速部署服務(wù)。
GFunction:Gravity 函數(shù)計(jì)算,對標(biāo) AWS Lambda, 用戶可以方便的創(chuàng)建函數(shù)、快捷創(chuàng)建 Serverless 服務(wù),支持 python/nodejs/go/java/php 等語言,提供基于消息隊(duì)列,http 的觸發(fā)器,提供使用實(shí)例自動(dòng)擴(kuò)展。
GPMR:Gravity Edge MapReduce,提供一個(gè)可以運(yùn)行于各種常見邊緣網(wǎng)關(guān)如手機(jī)、PC 等異構(gòu)的 MapReduce 框架。計(jì)算節(jié)點(diǎn)之間通過 p2p 方式連接,節(jié)點(diǎn)之間對等,適用于在設(shè)備節(jié)點(diǎn)較多,數(shù)據(jù)可以大量拆分成小的分片來計(jì)算。算力使用者可以自行編寫 MapReduce 代碼,在數(shù)據(jù)開發(fā)平臺(tái)進(jìn)行提交,并獲取計(jì)算結(jié)果。
以上三個(gè)產(chǎn)品可以根據(jù)實(shí)際業(yè)務(wù)場景和需求組合使用:
GEdge 適合于長期運(yùn)行的服務(wù) (如微服務(wù)、渲染服務(wù)等)
GFunction 適合于開發(fā) serverless 的 api (如網(wǎng)絡(luò)爬蟲、模型訓(xùn)練等)
GPMR 適合于需要聚合的數(shù)據(jù),和有狀態(tài)的計(jì)算任務(wù)(如 GFunction 的輸出數(shù)據(jù))
最后
或許你會(huì)有另一個(gè)有關(guān)隱私的疑問。例如用戶在 GEdge 上進(jìn)行一次模型訓(xùn)練的工作,我們會(huì)考慮到這臺(tái)機(jī)器的所有者是否可以訪問我們的工作代碼,并直接使用。普通用戶一定不會(huì)訪問這些文件,但是高級(jí)用戶將會(huì)查看源代碼并獲取對資源的訪問權(quán)限。在算力選擇方面,可以選擇質(zhì)押或是授信的供應(yīng)商,但即使是公有云計(jì)算提供商也不能保證資源安全。Gravity 的另一個(gè)優(yōu)勢就在于它將任務(wù)劃分并將它們發(fā)送到許多不同的計(jì)算機(jī),如果有人想要竊取完整的數(shù)據(jù),那么他將不得不從數(shù)十臺(tái)或者是上百臺(tái)機(jī)器中去提取它們,同時(shí)我們提供基于 TEE 的執(zhí)行環(huán)境,保障用戶密鑰和解密環(huán)境的安全,對于一些隱私安全較高的用戶,提供作業(yè)定向調(diào)度到數(shù)據(jù)所在環(huán)境的定制化服務(wù)。
未來,Gravity 會(huì)優(yōu)先支持一些優(yōu)質(zhì)的 SAAS服務(wù)提供者,中小企業(yè)和小型個(gè)人購買者將陸續(xù)的加入這個(gè)市場,他們能夠購買與特定任務(wù)所需的資源和算力。越多人使用 Gravity 來處理自己的項(xiàng)目和任務(wù),就會(huì)有越多人分享他們的電腦,參與到 Gravity 的網(wǎng)絡(luò)中來。Gravity 的團(tuán)隊(duì)希望這種情況可以反過來:更多的計(jì)算機(jī)降低成本,從而吸引更多的買家。