2022年想做大數(shù)據(jù)工程技術(shù)人員報(bào)計(jì)算機(jī)類專業(yè)。數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)屬于交叉學(xué)科：以統(tǒng)計(jì)學(xué)、數(shù)學(xué)、計(jì)算機(jī)為三大支撐性學(xué)科。

大數(shù)據(jù)工程技術(shù)人工作內(nèi)容

大數(shù)據(jù)工程工程技術(shù)人員工作任務(wù)職責(zé)取決于工作在數(shù)據(jù)流的哪一個(gè)環(huán)節(jié)。從數(shù)據(jù)上游到數(shù)據(jù)下游，大致工作內(nèi)容就是使用工具組件(Spark、Flume、Kafka等)或者代碼(Java、Scala等)來(lái)實(shí)現(xiàn)數(shù)據(jù)采集-數(shù)據(jù)清洗-數(shù)據(jù)存儲(chǔ)-數(shù)據(jù)分析統(tǒng)計(jì)-數(shù)據(jù)可視化等幾個(gè)方面的功能。

1、數(shù)據(jù)采集：

數(shù)據(jù)采集是指從傳感器和智能設(shè)備、企業(yè)在線系統(tǒng)、企業(yè)離線系統(tǒng)、社交網(wǎng)絡(luò)和互聯(lián)網(wǎng)平臺(tái)等獲取數(shù)據(jù)的過(guò)程。數(shù)據(jù)包括RFID數(shù)據(jù)、傳感器數(shù)據(jù)、用戶行為數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)及移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)等各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的海量數(shù)據(jù)。

2、數(shù)據(jù)清洗：

一些字段可能會(huì)有異常取值，即臟數(shù)據(jù)。為了保證數(shù)據(jù)下游的"數(shù)據(jù)分析統(tǒng)計(jì)"能拿到比較高質(zhì)量的數(shù)據(jù)，需要對(duì)這些記錄進(jìn)行過(guò)濾或者字段數(shù)據(jù)回填；一些日志的字段信息可能是多余的，下游不需要使用到這些字段做分析，同時(shí)也為了節(jié)省存儲(chǔ)開銷，需要?jiǎng)h除這些多余的字段信息；.一些日志的字段信息可能包含用戶敏感信息，需要做脫敏處理。

3、數(shù)據(jù)存儲(chǔ)：

清洗后的數(shù)據(jù)可以落地入到數(shù)據(jù)倉(cāng)庫(kù)(Hive)，供下游做離線分析。如果下游的"數(shù)據(jù)分析統(tǒng)計(jì)"對(duì)實(shí)時(shí)性要求比較高，則可以把日志記錄入到kafka。

4、數(shù)據(jù)分析統(tǒng)計(jì)：

數(shù)據(jù)分析是數(shù)據(jù)流的下游，消費(fèi)來(lái)自上游的數(shù)據(jù)。其實(shí)就是從日志記錄里頭統(tǒng)計(jì)出各種各樣的報(bào)表數(shù)據(jù)，簡(jiǎn)單的報(bào)表統(tǒng)計(jì)可以用sql在kylin或者h(yuǎn)ive統(tǒng)計(jì)，復(fù)雜的報(bào)表就需要在代碼層面用Spark、Storm做統(tǒng)計(jì)分析。

5、數(shù)據(jù)可視化：

用數(shù)據(jù)表格、數(shù)據(jù)圖等直觀的形式展示上游"數(shù)據(jù)分析統(tǒng)計(jì)"的數(shù)據(jù)。

大數(shù)據(jù)技術(shù)就業(yè)方向

大數(shù)據(jù)的就業(yè)范圍廣，可以選擇崗位很多。

如：大數(shù)據(jù)發(fā)展工程師，操作工程師、大數(shù)據(jù)架構(gòu)師、工程師、BI工程師、數(shù)據(jù)挖掘工程師、ETL開發(fā)工程師、Spark開發(fā)工程師等等。

雖然大數(shù)據(jù)的就業(yè)前景很好，但掌握大數(shù)據(jù)開發(fā)技術(shù)也是前提。否則，不管這個(gè)行業(yè)發(fā)展得多好，有多少工作機(jī)會(huì)，都和你沒有關(guān)系。