(一)工作職責
1、負責大數(shù)據(jù)平臺(Hadoop/Spark/Flink/StarRocks等)的部署、配置、優(yōu)化和日常維護
2、負責數(shù)據(jù)中臺的部署、配置、優(yōu)化和日常維護
3、設(shè)計并實施數(shù)據(jù)采集、存儲、處理和分析解決方案
4、監(jiān)控大數(shù)據(jù)集群運行狀態(tài),確保系統(tǒng)高可用性和穩(wěn)定性
5、解決大數(shù)據(jù)平臺運行中的性能問題和故障
6、配合數(shù)據(jù)開發(fā)團隊優(yōu)化數(shù)據(jù)處理流程
7、制定和實施大數(shù)據(jù)平臺的安全策略和備份方案
8、編寫相關(guān)大數(shù)據(jù)項目文檔,包括項目報告、技術(shù)方案、解決方案、部署手冊、運維手冊等
9、為客戶提供大數(shù)據(jù)平臺的技術(shù)支持,解答客戶在使用過程中的疑問,并組織實施系統(tǒng)培訓,提升客戶對大數(shù)據(jù)平臺的使用能力
10、駐場參與大數(shù)據(jù)項目交付,與客戶進行深入溝通,了解企業(yè)務需求,確保項目交付滿足客戶期望
(二)任職要求(三方崗位)
1、具備計算機科學、軟件工程、信息技術(shù)或相關(guān)專業(yè)本科及以上學歷
2、3年以上大數(shù)據(jù)平臺實施或運維經(jīng)驗
3、精通Hadoop生態(tài)系統(tǒng)(HDFS/YARN/MapReduce)
4、熟悉并獨立完成大數(shù)據(jù)項目解決方案
5、熟練使用Spark、Flink、Hive、HBase、Kafka、StarRocks等大數(shù)據(jù)組件
6、掌握Linux系統(tǒng)管理和Shell/Python/SQL腳本編寫
7、具備較強的數(shù)據(jù)分析和理解能力,能夠從復雜的數(shù)據(jù)中提取有價值的信息,能獨立完成BI展示報表等
8、熟悉大數(shù)據(jù)集群監(jiān)控和故障排查
9、具備數(shù)據(jù)建模能力,能夠設(shè)計合理的數(shù)據(jù)結(jié)構(gòu),熟悉ETL流程,能夠進行數(shù)據(jù)的抽取、轉(zhuǎn)換和加載
10、至少參與過1個完整的大數(shù)據(jù)實施項目
11、有處理TB級以上數(shù)據(jù)規(guī)模的經(jīng)驗
12、優(yōu)先考慮條件:有Cloudera CDH/Hortonworks HDP等商業(yè)發(fā)行版實施經(jīng)驗、熟悉容器化技術(shù)(Docker/Kubernetes)在大數(shù)據(jù)環(huán)境中的應用、了解云計算平臺(AWS EMR/Azure HDInsight/阿里云MaxCompute等)、有數(shù)據(jù)安全治理、數(shù)字化轉(zhuǎn)型項目、BI展示相關(guān)經(jīng)驗、獲得相關(guān)認證(如Cloudera認證工程師/HDP認證工程師/Apache項目貢獻者)
13、派駐國企項目工作。