在數(shù)據(jù)大爆炸時(shí)代，對(duì)象存儲(chǔ)伴隨著云原生應(yīng)用的興起，已然成為云計(jì)算時(shí)代的存儲(chǔ)明星，同時(shí)也是云應(yīng)用最流行的存儲(chǔ)類(lèi)型。百度云對(duì)象存儲(chǔ)BOS自2010年上線以來(lái)，歷經(jīng)8年的技術(shù)實(shí)踐和運(yùn)營(yíng)積累，規(guī)模全國(guó)最大。目前，百度云BOS支持百度搜索、百度網(wǎng)盤(pán)等內(nèi)部業(yè)務(wù)的同時(shí)，還對(duì)外為數(shù)萬(wàn)家外部客戶提供對(duì)象存儲(chǔ)服務(wù)，已經(jīng)支持超過(guò)數(shù)萬(wàn)億的對(duì)象和超過(guò)2000PB的數(shù)據(jù)量。
那么，百度云BOS是如何煉成國(guó)內(nèi)最大的對(duì)象存儲(chǔ)服務(wù)的？BOS的核心競(jìng)爭(zhēng)力在哪里？BOS的存儲(chǔ)+AI會(huì)給對(duì)象存儲(chǔ)的未來(lái)帶來(lái)哪些革命性的改變？且聽(tīng)百度云對(duì)象存儲(chǔ)BOS研發(fā)負(fù)責(zé)人段立國(guó)為您一一解讀。
八年歷練成為國(guó)內(nèi)規(guī)模最大的對(duì)象存儲(chǔ)
在當(dāng)今市場(chǎng)中，對(duì)象存儲(chǔ)產(chǎn)品和服務(wù)多如牛毛。與大多數(shù)對(duì)象存儲(chǔ)服務(wù)不同，百度云BOS自誕生之初，是以實(shí)際業(yè)務(wù)來(lái)驅(qū)動(dòng)的。段立國(guó)介紹：“BOS從2010年開(kāi)始在百度內(nèi)部支撐百度網(wǎng)盤(pán)業(yè)務(wù)；隨著百度網(wǎng)盤(pán)發(fā)展成國(guó)內(nèi)最大的個(gè)人云存儲(chǔ)業(yè)務(wù)，百度云BOS也不斷提升，并于2014年正式對(duì)外發(fā)布，服務(wù)于外部客戶。”
八年實(shí)際業(yè)務(wù)實(shí)踐，也讓百度云BOS核心技術(shù)架構(gòu)經(jīng)歷了三個(gè)主要階段：從一開(kāi)始采用多副本主從架構(gòu)，到后來(lái)演進(jìn)為負(fù)載空閑時(shí)做離線EC，再到當(dāng)前可實(shí)現(xiàn)在線EC。
段立國(guó)介紹到，隨著實(shí)際業(yè)務(wù)的需求，百度云BOS的核心架構(gòu)一直在不斷演進(jìn)和完善中，剛開(kāi)始采用的多副本主從架構(gòu)的磁盤(pán)IO和存儲(chǔ)成本比較高；之后，通過(guò)負(fù)載空閑時(shí)做離線EC，可以將存儲(chǔ)成本降下來(lái)，但是并沒(méi)有很好解決磁盤(pán)IO的問(wèn)題；隨著服務(wù)器單點(diǎn)計(jì)算能力的增強(qiáng)，BOS架構(gòu)開(kāi)始采用在線EC的方式，這種方式不僅能夠降低存儲(chǔ)成本，還能夠節(jié)省大量磁盤(pán)IO。
今天，百度云對(duì)象存儲(chǔ)服務(wù)BOS已經(jīng)發(fā)展成穩(wěn)定、安全、高效、高可擴(kuò)展的云存儲(chǔ)服務(wù)，支持標(biāo)準(zhǔn)、低頻、冷存儲(chǔ)等多種存儲(chǔ)類(lèi)型和便捷接入，滿足用戶存儲(chǔ)分發(fā)、數(shù)據(jù)備份、數(shù)據(jù)分析等各種場(chǎng)景的存儲(chǔ)需求，并且具有高可用性、高可靠性和高安全性三大特點(diǎn)。
高可用性：百度云BOS的數(shù)據(jù)可用性 >99.95%，采用多運(yùn)營(yíng)商、地域接入；并且通過(guò)四層負(fù)載均衡集群，確保無(wú)單點(diǎn)；在數(shù)據(jù)接入層、訪問(wèn)層無(wú)差別，實(shí)現(xiàn)水平擴(kuò)展；在數(shù)據(jù)節(jié)點(diǎn)則實(shí)現(xiàn)了數(shù)據(jù)EC編碼多冗余讀寫(xiě)。
高可靠性：百度云BOS的數(shù)據(jù)可靠性達(dá)到99.99999999%，十個(gè)9的可靠性級(jí)別是通過(guò)Erasure-Coding技術(shù)做到數(shù)據(jù)均衡的分布到多個(gè)AZ上的。
高安全性：百度云BOS通過(guò)外網(wǎng)911系統(tǒng)防護(hù)、四層負(fù)載均衡、全數(shù)據(jù)鏈路HTTPS訪問(wèn)、認(rèn)證&鑒權(quán)、數(shù)據(jù)服務(wù)端加密等環(huán)節(jié)來(lái)確保數(shù)據(jù)的高安全性。
高可用性、高可靠性和高安全性是對(duì)象存儲(chǔ)服務(wù)的安身立命之本。段立國(guó)認(rèn)為，百度云對(duì)象存儲(chǔ)服務(wù)BOS經(jīng)過(guò)八年的沉淀，積累了豐富的數(shù)據(jù)安全和數(shù)據(jù)保護(hù)實(shí)踐經(jīng)驗(yàn)。“BOS對(duì)客戶的可靠性非常重視，所有副本數(shù)據(jù)都是跨AZ存儲(chǔ)，重要數(shù)據(jù)會(huì)再異步復(fù)制到另外一個(gè)地域存儲(chǔ)，真正做到“兩地三中心”。另外在數(shù)據(jù)搬遷過(guò)程中BOS會(huì)對(duì)數(shù)據(jù)進(jìn)行SHA256和MD5多重校驗(yàn)，并且從軟件層面上禁止降副本和冗余度，全流程保證數(shù)據(jù)安全遷移。”
除了先進(jìn)的軟件架構(gòu)之外，百度云對(duì)象存儲(chǔ)服務(wù)BOS還擁有卓越的基礎(chǔ)硬件。百度云自研的“冰山”系列服務(wù)器擁有磁盤(pán)密度大、功耗低、計(jì)算能力強(qiáng)的特征，硬件的不斷迭代也推動(dòng)了BOS軟件產(chǎn)品的不斷完善。
五大核心競(jìng)爭(zhēng)力打造最佳對(duì)象存儲(chǔ)服務(wù)
在當(dāng)今的對(duì)象存儲(chǔ)市場(chǎng)競(jìng)爭(zhēng)中，一個(gè)表現(xiàn)良好、受客戶歡迎的對(duì)象存儲(chǔ)服務(wù)背后是產(chǎn)品、技術(shù)、運(yùn)營(yíng)、規(guī)模能力、成本控制等綜合能力的表現(xiàn)。當(dāng)前，百度云對(duì)象存儲(chǔ)服務(wù)BOS擁有50000臺(tái)服務(wù)器集群，支持的數(shù)據(jù)量超過(guò)2000PB，如此龐大的對(duì)象存儲(chǔ)服務(wù)，是在克服各種挑戰(zhàn)之后逐步達(dá)到的。
段立國(guó)介紹，百度云對(duì)象存儲(chǔ)服務(wù)BOS經(jīng)歷過(guò)很多極具挑戰(zhàn)的場(chǎng)景，比如5萬(wàn)臺(tái)服務(wù)器的集群規(guī)模帶來(lái)了跨IDC的帶寬、分布式系統(tǒng)的熱點(diǎn)數(shù)據(jù)訪問(wèn)、用戶突發(fā)的海量存儲(chǔ)需求擴(kuò)容等挑戰(zhàn)。“諸多挑戰(zhàn)練就了百度云BOS應(yīng)對(duì)大規(guī)模不均衡數(shù)據(jù)訪問(wèn)的優(yōu)化能力和海量數(shù)據(jù)彈性存儲(chǔ)的能力”。
事實(shí)上，經(jīng)過(guò)不斷的實(shí)踐與成長(zhǎng)，百度云對(duì)象存儲(chǔ)服務(wù)BOS逐步形成了自身的五大核心競(jìng)爭(zhēng)力：
產(chǎn)品豐富程度和易用性：BOS擁有豐富的產(chǎn)品組合、完善的SDK、接口、開(kāi)發(fā)工具，并且集成了百度云的AI能力。
成本：通過(guò)領(lǐng)先的技術(shù)能力、運(yùn)營(yíng)能力和規(guī)模效應(yīng)，BOS在成本上極具競(jìng)爭(zhēng)力，并最終轉(zhuǎn)化成為用戶提供的最實(shí)惠、最有競(jìng)爭(zhēng)力的產(chǎn)品與服務(wù)。國(guó)內(nèi)首家支持完善的分級(jí)存儲(chǔ)體系，提供給用戶成本最低的綜合存儲(chǔ)方案。
穩(wěn)定性：經(jīng)歷了超大規(guī)模的集群規(guī)模、數(shù)據(jù)規(guī)模、用戶規(guī)模等多重考驗(yàn)，BOS擁有業(yè)界領(lǐng)先的穩(wěn)定性，提供穩(wěn)定可靠的對(duì)象存儲(chǔ)服務(wù)。
性能：確保不同類(lèi)型的存儲(chǔ)服務(wù)性能領(lǐng)先，能夠較好的支持大數(shù)據(jù)分析、內(nèi)容分發(fā)等對(duì)性能要求高的使用場(chǎng)景。
資源彈性能力：對(duì)象存儲(chǔ)服務(wù)還需要重點(diǎn)考慮資源彈性能力，能夠滿足各種突發(fā)存儲(chǔ)需求，及時(shí)擴(kuò)大集群規(guī)模，百度云BOS依托百度強(qiáng)大的供應(yīng)鏈，能夠保障各種緊急需求。
目前，百度云對(duì)象存儲(chǔ)服務(wù)BOS已應(yīng)用到政務(wù)、視頻內(nèi)容服務(wù)、教育、制造等多個(gè)行業(yè)，包括了像愛(ài)奇藝、B站、快手、?？低暤榷嗉抑蛻?。段立國(guó)表示：“很多存儲(chǔ)分發(fā)、直播視頻備份、視頻監(jiān)控、企業(yè)網(wǎng)盤(pán)、個(gè)人云存儲(chǔ)等服務(wù)場(chǎng)景都在百度云對(duì)象存儲(chǔ)服務(wù)BOS中得到很好應(yīng)用。”
存儲(chǔ)+AI引領(lǐng)對(duì)象存儲(chǔ)發(fā)展趨勢(shì)
存儲(chǔ)與AI，看似是兩個(gè)并無(wú)太多聯(lián)系的領(lǐng)域。但是在百度云看來(lái)，存儲(chǔ)+AI將是未來(lái)對(duì)象存儲(chǔ)的發(fā)展趨勢(shì)。段立國(guó)直言，BOS與百度云AI能力的逐步結(jié)合后，將促進(jìn)BOS在未來(lái)更上一個(gè)臺(tái)階。
當(dāng)前，百度云BOS已經(jīng)在AI方向上進(jìn)行了諸多探索，并集成了幾十多種百度AI服務(wù)能力。段立國(guó)表示，AI能力的融入，其實(shí)給對(duì)象存儲(chǔ)帶來(lái)了更高的效率和更低的成本。比如，在校驗(yàn)用戶上傳的圖片是否涉黃時(shí)，最早的人工審查或者機(jī)審方式普遍具有效率低下、成本高昂的特點(diǎn)；而使用BOS對(duì)象存儲(chǔ)之后，用戶可以選擇上傳圖片后使用數(shù)據(jù)處理框架觸發(fā)AI審核引擎。通過(guò)AI的方式審核數(shù)據(jù)是否合規(guī)，大幅提升效率，節(jié)省開(kāi)發(fā)成本。
目前，百度云對(duì)象存儲(chǔ)服務(wù)BOS主要集成以下四種AI能力：
人臉識(shí)別能力。百度云的人臉識(shí)別識(shí)別率、準(zhǔn)確率和召回率都處于國(guó)內(nèi)第一，有效支持了各項(xiàng)應(yīng)用。
通用圖像識(shí)別。百度云的通用圖像識(shí)別擁有業(yè)界第一的準(zhǔn)確率，并且還擁有非常全面的標(biāo)簽體系。
內(nèi)容智能審核。百度云內(nèi)容審核擁有一套完善的審核機(jī)制，可以有效避免不合規(guī)數(shù)據(jù)的上傳。
內(nèi)容封面智選。針對(duì)各種視頻數(shù)據(jù)，可以根據(jù)視頻內(nèi)容每一幀進(jìn)行分析，選出最優(yōu)畫(huà)面輸出作為封面。
段立國(guó)認(rèn)為，隨著數(shù)據(jù)量指數(shù)級(jí)的增加，給對(duì)象存儲(chǔ)服務(wù)帶來(lái)了成本和效率的挑戰(zhàn)，AI能力的融入對(duì)于對(duì)象存儲(chǔ)服務(wù)是必然趨勢(shì)。“百度云對(duì)象存儲(chǔ)服務(wù)BOS將逐步走向全球化，除了國(guó)內(nèi)四個(gè)可用區(qū)之外，今年將會(huì)在新加坡和美國(guó)建立兩個(gè)Region，讓BOS的存儲(chǔ)+AI能力服務(wù)到全球客戶。此外，為了滿足私有云客戶的需求，百度云也推出了私有云存儲(chǔ)解決方案ABC Store，實(shí)現(xiàn)了存儲(chǔ)+AI能力的私有云模式的交付。”
