大數(shù)據(jù)時代如何確定學(xué)習(xí)方向?千鋒大數(shù)據(jù)培訓(xùn)老師認(rèn)為在大數(shù)據(jù)的世界里面主要有三個學(xué)習(xí)方向:大數(shù)據(jù)開發(fā)師、大數(shù)據(jù)運維師、大數(shù)據(jù)架構(gòu)師。
什么是大數(shù)據(jù)開發(fā)師?
圍繞大數(shù)據(jù)系平臺系統(tǒng)級的研發(fā)人員， 熟練Hadoop、Spark、Storm等主流大數(shù)據(jù)平臺的核心框架。深入掌握如何編寫MapReduce的作業(yè)及作業(yè)流的管理完成對數(shù)據(jù)的計算，并能夠使用Hadoop提供的通用算法， 熟練掌握Hadoop整個生態(tài)系統(tǒng)的組件如: Yarn，HBase、Hive、Pig等重要組件，能夠?qū)崿F(xiàn)對平臺監(jiān)控、輔助運維系統(tǒng)的開發(fā)。
通過學(xué)習(xí)一系列面向開發(fā)者的Hadoop、Spark等大數(shù)據(jù)平臺開發(fā)技術(shù)，掌握設(shè)計開發(fā)大數(shù)據(jù)系統(tǒng)或平臺的工具和技能，能夠從事分布式計算框架如Hadoop、Spark群集環(huán)境的部署、開發(fā)和管理工作，如性能改進、功能擴展、故障分析等。
什么是大數(shù)據(jù)運維師?
了解Hadoop、Spark、Storm等主流大數(shù)據(jù)平臺的核心框架，熟悉Hadoop的核心組件:HDFS、MapReduce、Yarn;具備大數(shù)據(jù)集群環(huán)境的資源配置，如網(wǎng)絡(luò)要求、硬件配置、系統(tǒng)搭建。熟悉各種大數(shù)據(jù)平臺的部署方式，集群搭建，故障診斷、日常維護、性能優(yōu)化，同時負(fù)責(zé)平臺上的數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)存儲，數(shù)據(jù)維護及優(yōu)化。熟練使用Flume、Sqoop等工具將外部數(shù)據(jù)加載進入大數(shù)據(jù)平臺，通過管理工具分配集群資源實現(xiàn)多用戶協(xié)同使用集群資源。通過靈活、易擴展的Hadoop平臺轉(zhuǎn)變了傳統(tǒng)的數(shù)據(jù)庫和數(shù)據(jù)倉庫系統(tǒng)架構(gòu)，從Hadoop部署實施到運行全程的狀態(tài)監(jiān)控，保證大數(shù)據(jù)業(yè)務(wù)應(yīng)用的安全性、快速響應(yīng)及擴展能力!
什么是大數(shù)據(jù)架構(gòu)師?
圍繞大數(shù)據(jù)系平臺系統(tǒng)級的研發(fā)人員， 熟練Hadoop、Spark、Storm等主流大數(shù)據(jù)平臺的核心框架。深入掌握如何編寫MapReduce的作業(yè)及作業(yè)流的管理完成對數(shù)據(jù)的計算，并能夠使用Hadoop提供的通用算法， 熟練掌握Hadoop整個生態(tài)系統(tǒng)的組件如: Yarn，HBase、Hive、Pig等重要組件，能夠?qū)崿F(xiàn)對平臺監(jiān)控、輔助運維系統(tǒng)的開發(fā)。
通過學(xué)習(xí)一系列面向開發(fā)者的Hadoop、Spark等大數(shù)據(jù)平臺開發(fā)技術(shù)，掌握設(shè)計開發(fā)大數(shù)據(jù)系統(tǒng)或平臺的工具和技能，能夠從事分布式計算框架如Hadoop、Spark群集環(huán)境的部署、開發(fā)和管理工作，如性能改進、功能擴展、故障分析等。
