資料倉庫工程師的崗位職責表述

  資料倉庫工程師負責大資料應用類專案的設計和交付,能獨立和客戶對接業務,並編寫需求文件、模型設計文件。以下是小編整理的。

  1

  職責:

  1. 利用資料倉庫建模及相關技術,參與資料倉庫模型的設計。

  2. 參與企業級大資料倉庫專案的落地開發。

  3. 參與企業級主資料管理專案的實施落地。

  4. 利用hadoop生態相關技術,負責大資料中心的資料處理流程,包括資料清洗、融合、統計、挖掘等。

  任職要求

  1. 熟悉資料倉庫產品,對資料處理、維度建模、資料分析等有深刻認識,具備資料倉庫架構設計、模型設計、ETL設計的相關經驗、熟悉資料倉庫架構,熟悉資料倉庫專案的實施流程,有一個以上企業級資料倉庫專案設計經驗者優先;

  2. 熟悉資料治理及主資料管理的理論知識,掌握主資料管理專案的實施方法和落地過程,至少參與過一個主資料管理專案的實施落地。

  3. 精通JAVA、Python等程式語言;精通Oracle、Mysql等主流資料庫,精通SQL;

  4. 具備基於Hadoop大資料平臺開發經驗,熟悉hadoop生態體系,熟悉Hadoop、Hbase、Hive,Spark,Impala等常用元件,進行常用的ETL開發工作;

  5. 熟悉常用的資料分析及資料探勘方法及實現;

  6. 具備較強的程式碼能力,有較強的資料分析能力;具備優秀的溝通能力、學習能力;

  7. 相關專業碩士以上學歷,或本科學歷相關工作經驗超過2年,具有智慧製造領域相關經驗或背景者優先,能力突出者可適當放寬要求。

  2

  職責:

  1、負責制定資料倉庫平臺技術體系架構、資料架構及規範;

  2、負責設計和實施公司業務資料的實時/離線資料ETL架構方案;

  3、負責排程架構設計與開發;

  4、負責資料倉庫平臺運維以及日常資料運營等管理;

  5、負責關鍵技術攻關;

  崗位要求:

  1、計算機、數學、統計等相關專業本科及以上學歷,3年以上資料倉庫專案開發經驗,參與過資料倉庫架構設計,對ETL開發流程、排程架構有深入理解;

  2、精通mysql等資料庫,豐富的SQL效能調優經驗;

  3、熟練使用Java、Shell等指令碼語言;

  4、熟悉資料治理理論,資料質量、元資料管理流程和方法;

  5、瞭解Hadoop/Hive/HBase/Spark/Storm等技術及其生態圈;

  6、溝通能力好、責任心強,具有良好的團隊合作精神和敬業精神;

  3

  職責:

  1、負責建設資料倉庫架構,包括元資料管理、ETL排程、資料整合、OLAP等子系統的設計和開發;

  2、搭建和維護資料倉庫表,解決業務人員在倉庫系統流程、工具使用、資料處理等遇到的問題;

  3、基於對資料的理解和業務需求,對資料進行整理、分析和挖掘。

  任職資格:

  1、做事耐心,有強烈的責任心;

  2、計算機,數學,統計學相關專業本科及以上學歷,

  3、熟悉主流的關係型資料庫及MPP資料庫,至少精通一門資料庫,熟悉Gbase優先;

  4、熟練使用SQL語言,具有2年及以上資料倉庫、報表系統等ETL開發、維護經驗;

  5、熟悉Hadoop/Spark/Hive/Hbase等大資料技術者優先;

  6、邏輯清晰、對資料敏感,良好的溝通能力和協作能力,敢於接受挑戰,能夠承受壓力;

  7、有公安相關業務經驗者優先考慮。

  4

  職責:

  1.負責業務的數倉\資料集市的建設,能提煉通用需求,數倉標準,實現高質量的資料互通共享

  2.對海量資料進行統計與分析,產品效果評估與分析,為產品策略優化迭代提供強有力的資料支援

  3.和業務團隊緊密合作推動資料產品與服務的落地,具備良好的溝通協調能力

  任職要求:

  1.計算機 數學 統計, 金融等相關專業的本科或以上學歷;從事數倉領域至少3年以上,具備海量資料的DW模型設計與ETL開發經驗 2.熟悉數倉領域知識, 包括但不侷限於:資料質量,元資料管理,主資料管理,資料開發測試工具與方法;

  3.掌握Greenplum,Oracle,Teradata,Mysql 等至少一種,靈活運用SQL實現海量資料ETL加工處理;有Greenplum經驗優先

  4.具有資料倉庫相關開發經驗,如ETL,建模,BI,資料產品等,熟悉數倉模型

  5.掌握一門或多門開發語言,不限於java/python/scala等,熟悉Linux/Unix 平臺上的開發環境

  6、主導過大型資料倉庫架構或模型設計經驗者優先;

  7、較好的溝通理解能力,性格樂觀,態度踏實,積極上進;

  5

  職責:

  1. 負責資料ETL開發,根據數倉層級結構及主題域劃分,規範清洗程式碼,提供準確資料

  2. 負責資料質量治理,發現異常業務邏輯或資料質量問題,推動業務優化及改善。

  3. 負責資料開發需求評審、結合資料分析體系制定ETL清洗方案;

  任職要求:

  1. 一年以上資料倉庫ETL設計及開發經驗,有BI經驗者優先

  2. 熟練使用 SQL,熟悉HQL常用內部函式,有一定的 HQL效能調優經驗優先

  3. 具備資料倉庫架構設計、模型設計、ETL設計,排程的相關經驗優先;

  4. 對資料敏感,有較強資料分析和解決問題能力;

  5. 積極溝通,主動了解業務需求,願意嘗試新的技術領域。