最近中文字幕免费mv在线视频,野狼第一精品社区,中文在线中文a,最近2019免费中文第一页,永久免费观看美女裸体的网站

更新于 7月17日

大數(shù)據(jù)平臺DBA(CDH方向)

1.5-1.8萬
  • 上海閔行區(qū)
  • 3-5年
  • 本科
  • 全職
  • 招1人

職位描述

KuduImpalaCDH
工作內容:
1.CDH集群部署與初始化

負責 CDH(Cloudera Distribution Including Apache Hadoop)大數(shù)據(jù)平臺的規(guī)劃、部署與初始化工作。根據(jù)業(yè)務需求和服務器資源情況,制定合理的集群部署方案,確保 HDFS、MapReduce、YARN、Hive、HBase、Spark 等核心組件正確安裝配置,保障集群初始狀態(tài)穩(wěn)定可靠;

2.CDH集群日常運維

承擔 CDH 集群的日常運行維護工作,包括但不限于集群狀態(tài)監(jiān)控、性能巡檢、日志分析等。通過 Cloudera Manager 實時掌握集群各節(jié)點及組件的運行狀態(tài),及時發(fā)現(xiàn)并解決潛在問題,確保集群持續(xù)穩(wěn)定運行;

3.集群擴容與資源調整

根據(jù)業(yè)務增長需求,制定 CDH 集群擴容方案,完成節(jié)點添加、存儲和計算資源擴展等操作;根據(jù)各組件的運行負載,合理調整 YARN 等資源調度相關配置,優(yōu)化資源分配,提高集群資源利用率;

4.故障處理與應急響應

負責 CDH 集群各類故障的排查與處理,如 HDFS 塊損壞、節(jié)點宕機、組件服務異常等。建立完善的故障應急響應機制,快速定位問題根源并采取有效措施恢復集群正常運行,減少故障對業(yè)務的影響;

5.數(shù)據(jù)安全與權限管理

基于 CDH 內置的安全框架,如 Kerberos 認證、Sentry 權限控制等,負責集群的安全配置與管理。制定數(shù)據(jù)安全策略,嚴格控制用戶訪問權限,定期進行安全審計,保障集群數(shù)據(jù)的安全性和合規(guī)性;

6.版本升級與補丁更新

關注 CDH 及相關組件的版本更新和補丁發(fā)布情況,制定合理的版本升級和補丁安裝計劃。在不影響業(yè)務正常運行的前提下,完成版本升級和補丁部署工作,提升集群的穩(wěn)定性和安全性;

7.文檔編寫與知識轉移

編寫 CDH 集群部署、運維、故障處理等相關文檔,包括操作手冊、故障處理指南等。定期組織團隊內部技術分享,轉移運維經(jīng)驗,提升團隊整體技術水平;

8.跨團隊協(xié)作

與開發(fā)團隊、業(yè)務團隊保持密切溝通,了解業(yè)務需求和數(shù)據(jù)處理需求。為開發(fā)團隊提供 CDH 平臺相關的技術支持,協(xié)助解決開發(fā)過程中遇到的平臺相關問題,保障數(shù)據(jù)處理任務的順利進行;

基本要求:

1. 本科及以上學歷,計算機科學與技術、軟件工程、大數(shù)據(jù)相關專業(yè)優(yōu)先;

2. 具有 5 年及以上大數(shù)據(jù)平臺運維經(jīng)驗,其中至少 3 年 CDH(Cloudera Distribution Including Apache Hadoop)部署運維相關經(jīng)驗;

3. 有大型 CDH 集群(100 節(jié)點及以上)運維經(jīng)驗者優(yōu)先;

4. 熟悉 CDH 平臺的架構和核心組件(HDFS、MapReduce、YARN、Hive、HBase、Spark 等)的原理及運行機制;

5. 熟練使用 Cloudera Manager 進行 CDH 集群的部署、監(jiān)控、管理和故障排查;

6. 具備 CDH 集群性能調優(yōu)能力,能夠針對不同業(yè)務場景優(yōu)化集群配置參數(shù);

7. 熟悉大數(shù)據(jù)平臺常用的監(jiān)控工具(如 Ganglia、Nagios 等)和日志分析工具,能夠及時發(fā)現(xiàn)并解決集群性能和運行問題;

8. 了解 Kerberos、Sentry 等安全組件的配置和使用,有數(shù)據(jù)安全和權限管理經(jīng)驗者優(yōu)先;

9. 掌握 Shell、Python 等腳本語言,能夠編寫自動化運維腳本者優(yōu)先;

10. 具備較強的問題分析和解決能力,能夠快速定位并處理集群各類故障;

11. 具有良好的溝通協(xié)調能力和團隊合作精神,能夠高效地進行跨團隊協(xié)作;

12. 工作認真負責、嚴謹細致,具有較強的責任心和抗壓能力;

13. 有持續(xù)學習的意愿和能力,能夠及時掌握大數(shù)據(jù)領域的新技術和新動態(tài);

14. 根據(jù)項目及客戶需求,服從領導和公司安排的辦公地點調度和出差;

15. 根據(jù)項目進度及需求,有義務配合關聯(lián)部門的協(xié)助工作;

有義務遵守公司最新的員工手冊、保密協(xié)議、考核規(guī)則等規(guī)章制度

工作地點

上海閔行區(qū)863軟件園技術中心863軟件園研發(fā)樓第8棟別墅

職位發(fā)布者

楊雪瑩/人事專員

立即溝通
公司Logo上海奕盛軟件有限公司
【主營業(yè)務】奕盛公司是一家立足于制造行業(yè)的相關軟件開發(fā)及服務的公司,并從事美國QAD軟件的銷售,項目實施,及相關咨詢服務?!痉招袠I(yè)】提供在各個行業(yè)的專業(yè)意見,尤其在汽車/工業(yè)產品/電子/醫(yī)療器械/食品飲料/消費品行業(yè)?!痉€(wěn)定客戶】廣泛的成功客戶群,包括外資,國有,私有企業(yè),集團客戶。我們的資深經(jīng)驗能滿足不同制造行業(yè)客戶的需求,豐富的集團型客戶的整體實施經(jīng)驗。【經(jīng)營團隊】咨詢顧問擁有超過10年以上的QAD項目實施經(jīng)驗,并具有來自各種不同行業(yè)的專業(yè)背景。穩(wěn)定,專業(yè)的核心顧問團隊,為客戶提供一致,連續(xù)而具有質量的服務。
公司主頁