工作內(nèi)容:工作內(nèi)容:
1.負麥項目所需的數(shù)據(jù)接入,加工處理,數(shù)據(jù)治理;
2.設計并實現(xiàn)大數(shù)據(jù)處理流程,提取和分析項目相關(guān)數(shù)據(jù);
3.協(xié)助其他團隊成員進行數(shù)據(jù)處理和分析工作,提供技術(shù)支持;
4.對大數(shù)據(jù)平臺各個使用方提供技術(shù)支持:
崗位要求:1、計算機、信息技術(shù)、數(shù)據(jù)科學或相關(guān)專業(yè)的本科及以上學歷,6年以上實際PB級大數(shù)據(jù)項目經(jīng)驗。
2、熟悉Apache Hive及其生態(tài)(如Hadoop、HDFS等),能夠款練使用HiveSOL進行數(shù)據(jù)開發(fā)、hiveSOL優(yōu)化,會使用doris優(yōu)先
3、了解大數(shù)據(jù)架構(gòu)及相關(guān)技術(shù),如Hadoop、fink、Kafka等,對數(shù)據(jù)流和處理流程有一定的認識。
4、熟悉Azkaban等調(diào)度工具,能夠編寫ETL腳本或調(diào)度作業(yè)。
5、理解數(shù)據(jù)倉庫、數(shù)據(jù)治理的基本概念及應用,對SQL有扎實的基礎。
6、具備較強的數(shù)據(jù)分析能力和業(yè)務理解能力,能夠根據(jù)業(yè)務需求設計合理的數(shù)據(jù)模型
7、大數(shù)據(jù)hive開發(fā)項目5年以上經(jīng)驗,有5年以上實際維度數(shù)據(jù)模型經(jīng)驗。