豪客互聯(lián)隸屬于TCL集團(tuán)，成立于2016年7月，專注于打造面向海外市場的移動(dòng)互聯(lián)網(wǎng)產(chǎn)品。公司成立之初，豪客互聯(lián)就快速布局，依托海外新興市場人口紅利，積極搶占時(shí)間窗口期，快速構(gòu)建起面向全球移動(dòng)用戶的產(chǎn)品矩陣，包括工具類清理產(chǎn)品Super Cleaner、安全產(chǎn)品Hi Security、應(yīng)用商店App Center、游戲中心Game Center、相機(jī)產(chǎn)品Candy以及內(nèi)容類新聞產(chǎn)品Nova等。截止到目前，豪客互聯(lián)已累計(jì)擁有過億用戶和數(shù)千萬月活用戶，用戶區(qū)域覆蓋美國、印度、印尼、巴西、俄羅斯、墨西哥、土耳其、德國等200多個(gè)國家和地區(qū)。
作為TCL的全資子公司，豪客互聯(lián)在TCL“雙+”戰(zhàn)略轉(zhuǎn)型中承擔(dān)著兩方面的重任：其一是打造基于公開渠道app矩陣的移動(dòng)互聯(lián)網(wǎng)生態(tài)平臺(tái)，并且通過使用應(yīng)用矩陣的海量用戶群體來做商業(yè)變現(xiàn)；其二是為TCL的智能硬件產(chǎn)品建立完整的軟件生態(tài)，為遍及全球的TCL手機(jī)用戶提供增值服務(wù)。
01
面臨的挑戰(zhàn)
作為面向海外市場的新興移動(dòng)互聯(lián)網(wǎng)公司，豪客互聯(lián)在業(yè)務(wù)發(fā)展的初期面臨三方面的挑戰(zhàn)。
其一，豪客互聯(lián)的目標(biāo)是為遍及全球的移動(dòng)用戶提供優(yōu)質(zhì)的產(chǎn)品和服務(wù)，這就需要其業(yè)務(wù)平臺(tái)進(jìn)行全球化的布局，如果采用傳統(tǒng)的自建數(shù)據(jù)中心方式，不僅需要在前期投入大量的設(shè)備成本和人力成本，同時(shí)為了覆蓋全球用戶，還必須在海外多地建立數(shù)據(jù)中心，這將導(dǎo)致項(xiàng)目實(shí)施的風(fēng)險(xiǎn)急劇增加。
其二，移動(dòng)互聯(lián)網(wǎng)市場競爭極其激烈，如何快速搭建運(yùn)營平臺(tái)，充分利用海外新興市場的人口紅利，積極搶占時(shí)間窗口期，贏得業(yè)務(wù)發(fā)展的先機(jī)。
其三，對(duì)移動(dòng)互聯(lián)網(wǎng)應(yīng)用來說，借助大數(shù)據(jù)處理技術(shù)，精準(zhǔn)地了解用戶需求，快速進(jìn)行產(chǎn)品迭代、精準(zhǔn)投放廣告，是吸引用戶、獲得收益、推動(dòng)業(yè)務(wù)發(fā)展的有效手段，因此，必須快速搭建大數(shù)據(jù)處理平臺(tái)、優(yōu)化大數(shù)據(jù)平臺(tái)的建設(shè)成本，縮短產(chǎn)品上市的時(shí)間。
為了應(yīng)對(duì)這些挑戰(zhàn)，豪客互聯(lián)對(duì)系統(tǒng)的各種部署模式進(jìn)行了分析比較，評(píng)估了多家公有云服務(wù)提供商，最終選擇了 AWS云服務(wù)，依托AWS覆蓋全球的云平臺(tái)，建立起服務(wù)全球用戶的移動(dòng)APP 后臺(tái)系統(tǒng)，為用戶提供高速、穩(wěn)定的服務(wù)。同時(shí)利用Amazon EMR、Amazon DynamoDB、Amazon Redshift、Amazon Simple Storage Service (Amazon S3) 等AWS云服務(wù)，快速搭建起一套高效的大數(shù)據(jù)框架，推動(dòng)了業(yè)務(wù)的快速發(fā)展。
02
為什么選擇AWS
“我們選擇AWS云平臺(tái)主要基于三個(gè)重要因素：全球化的覆蓋、豐富的功能和穩(wěn)定可靠的服務(wù)。”TCL集團(tuán)豪客互聯(lián)云平臺(tái)副總經(jīng)理陳峻說。
AWS云在全球16個(gè)地理區(qū)域內(nèi)運(yùn)營著44個(gè)可用區(qū)，分布在美東、美西、亞太地區(qū)、歐洲、加拿大、南美洲、中國等，其服務(wù)范圍覆蓋全球，無論用戶身處何地，都可以快速訪問部署在AWS云平臺(tái)上的應(yīng)用。這種全球化的覆蓋能力使豪客互聯(lián)在業(yè)務(wù)拓展過程中完全無需擔(dān)心IT基礎(chǔ)設(shè)施的布局，節(jié)省了大量的人力物力。
選擇AWS的第二個(gè)原因是AWS提供了豐富的云服務(wù)功能，可以極大降低應(yīng)用開發(fā)的難度，提升開發(fā)和部署效率。對(duì)豪客互聯(lián)來說，除了依靠各類APP豐富的功能和便捷的使用方式來吸引用戶外，后臺(tái)的大數(shù)據(jù)處理對(duì)產(chǎn)品的快速迭代以及分析用戶行為、進(jìn)行精準(zhǔn)的廣告推送都是至關(guān)重要的，是整個(gè)移動(dòng)互聯(lián)網(wǎng)應(yīng)用產(chǎn)品鏈上不可缺少的一環(huán)。
在使用AWS云服務(wù)之前，豪客互聯(lián)已經(jīng)在自己的私有云上建立了一套完善的大數(shù)據(jù)處理系統(tǒng)，因此最初采用的大數(shù)據(jù)處理流程是將運(yùn)營系統(tǒng)收集到的數(shù)據(jù)打包、加密并回傳到位于國內(nèi)的私有云上進(jìn)行處理。隨著海外用戶的快速增長，需要回傳的數(shù)據(jù)量也急劇增長，原有的數(shù)據(jù)處理流程已經(jīng)無法滿足業(yè)務(wù)增長的需要。
為此，豪客互聯(lián)決定利用Amazon EMR在AWS云平臺(tái)上建立新的大數(shù)據(jù)處理系統(tǒng)，以大幅度提升數(shù)據(jù)處理的效率。從開始規(guī)劃新的大數(shù)據(jù)處理系統(tǒng)到最后上線，豪客互聯(lián)僅用了短短的兩個(gè)月，這得益于Amazon EMR是一種托管的Hadoop框架，它最大的好處是簡化了大數(shù)據(jù)資源配置和管理的復(fù)雜度。依托Amazon EMR構(gòu)建的大數(shù)據(jù)處理系統(tǒng)極大地提升了數(shù)據(jù)分析人員掌控海量數(shù)據(jù)的能力，數(shù)據(jù)業(yè)務(wù)人員可以隨時(shí)對(duì)所有數(shù)據(jù)進(jìn)行分析并獲得所需結(jié)果，大幅度提高數(shù)據(jù)分析的實(shí)時(shí)性、準(zhǔn)確性和效率。“AWS云平臺(tái)不僅提供了簡單易用的大數(shù)據(jù)處理架構(gòu)，同時(shí)還提供了大數(shù)據(jù)處理生態(tài)中所需的各種服務(wù)，這使得我們得以快速地構(gòu)建起高效的大數(shù)據(jù)處理系統(tǒng)。” 陳峻說。
AWS云平臺(tái)出色的安全性和穩(wěn)定性為豪客互聯(lián)的系統(tǒng)運(yùn)營提供了堅(jiān)實(shí)的基礎(chǔ)。在安全性方面，AWS提供了豐富的安全管理工具，包括安全組、AWS Identity and Access Management (IAM)、Amazon Virtual Private Cloud (Amazon VPC) 等，用戶可以按照實(shí)際需求調(diào)用這些安全工具進(jìn)行訪問權(quán)限管理、虛擬網(wǎng)絡(luò)隔離，以防止非法入侵等威脅。在穩(wěn)定性方面，AWS在云平臺(tái)的架構(gòu)、管理、運(yùn)營等方面采取了全面的措施，其Amazon S3存儲(chǔ)數(shù)據(jù)的持久性更是高達(dá)99.999999999%。
03
獲得的成效
目前，豪客互聯(lián)面向海外的業(yè)務(wù)系統(tǒng)完全建立在AWS云平臺(tái)之上，為遍布全球的移動(dòng)APP用戶提供了高速、穩(wěn)定的服務(wù)，同時(shí)豪客互聯(lián)的“鷹眼”大數(shù)據(jù)處理系統(tǒng)也完全遷移到AWS 云平臺(tái)上，實(shí)現(xiàn)了高效的大數(shù)據(jù)處理。圖1是豪客互聯(lián)基于AWS云平臺(tái)的系統(tǒng)架構(gòu)圖，所使用的AWS云服務(wù)包括Amazon Elastic Compute Cloud (Amazon EC2) 、Elastic Load Balancing、Amazon CloudFront、AWS Lambda、Amazon S3、AWS Identity and Access Management、Amazon CloudWatch、Amazon VPC、Amazon EMR、Amazon DynamoDB、Amazon Redshift等。
圖1 豪客互聯(lián)基于AWS云平臺(tái)的系統(tǒng)架構(gòu)圖
使用AWS云平臺(tái)給豪客互聯(lián)帶來了兩方面的好處。首先，依托AWS云平臺(tái)，豪客互聯(lián)輕松地實(shí)現(xiàn)了業(yè)務(wù)的全球化覆蓋，為身處世界各地的移動(dòng)APP用戶提供安全、穩(wěn)定、可靠的服務(wù)，無需在基礎(chǔ)設(shè)施的搭建和運(yùn)維上投入大量的人力、物力，同時(shí)AWS云平臺(tái)靈活的可伸縮性使豪客互聯(lián)既可以輕松應(yīng)對(duì)快速增長的訪問量，又可以在需求降低時(shí)釋放服務(wù)器，節(jié)省成本。
其次，通過Amazon EMR大數(shù)據(jù)分析平臺(tái)，豪客互聯(lián)數(shù)據(jù)團(tuán)隊(duì)為其業(yè)務(wù)在海外的擴(kuò)展提供了強(qiáng)有力的支持，縮短了產(chǎn)品上線的時(shí)間，基于精確的數(shù)據(jù)反饋，業(yè)務(wù)團(tuán)隊(duì)可以快速完成產(chǎn)品迭代，為產(chǎn)品運(yùn)營提供高效的決策依據(jù)。
與此同時(shí)，AWS 云平臺(tái)的使用還極大地提升了豪客互聯(lián)大數(shù)據(jù)計(jì)算的靈活度，采用傳統(tǒng)的Hadoop構(gòu)建方式時(shí)，計(jì)算資源與存儲(chǔ)資源是緊耦合的，整個(gè)系統(tǒng)缺少靈活性，當(dāng)需要處理的數(shù)據(jù)量增加時(shí)，資源的擴(kuò)容需要投入大量的人力，成本也相應(yīng)地增加。利用Amazon EMR，豪客互聯(lián)的大數(shù)據(jù)處理系統(tǒng)實(shí)現(xiàn)了計(jì)算資源和存儲(chǔ)資源的解耦，從業(yè)務(wù)端收集的數(shù)據(jù)統(tǒng)一存儲(chǔ)在Amazon S3構(gòu)建的企業(yè)數(shù)據(jù)湖中，而Amazon S3提供了99.999999999%的數(shù)據(jù)存儲(chǔ)持久性和無限的存儲(chǔ)容量，數(shù)據(jù)團(tuán)隊(duì)無需進(jìn)行存儲(chǔ)容量規(guī)劃和運(yùn)維，可以專注于為不同的業(yè)務(wù)單元建立對(duì)應(yīng)的Amazon EMR集群，從Amazon S3數(shù)據(jù)湖中獲取待分析的源數(shù)據(jù)，再根據(jù)不同的業(yè)務(wù)特點(diǎn)為群集選擇最適合處理需求的實(shí)例大小和類型。一旦需要處理的數(shù)據(jù)激增，系統(tǒng)就可以根據(jù)預(yù)先設(shè)定的規(guī)則，自動(dòng)增開大量的EMR集群，處理完畢之后再關(guān)閉，既提高處理速度，又節(jié)約了成本。在完成數(shù)據(jù)分析后，系統(tǒng)將不同的數(shù)據(jù)保存到Amazon S3、Amazon Relational Database Service (Amazon RDS) 或 Amazon DynamoDB中。這種靈活配置EMR集群的模式大幅度節(jié)省了人力成本和資源成本。
目前，豪客互聯(lián)的數(shù)據(jù)團(tuán)隊(duì)正與AWS技術(shù)支持團(tuán)隊(duì)一道，評(píng)估Amazon Redshift數(shù)據(jù)倉庫服務(wù)，以便將來為更大規(guī)模的歷史數(shù)據(jù)提供更加豐富的查詢維度。
