資料倉庫工程師的主要職責

  資料倉庫工程師負責資料質量問題的分析、跟進、解決,進行資料質量監測、校驗和提升。以下是小編整理的。

  1

  職責:

  1.負責企業級資料倉庫設計、規劃、建設、實施、管理,資料倉庫架構設計與資料開發,建立資料倉庫、資料集市

  2.熟悉資料倉庫領域知識,從架構和技術層面參與建設資料倉庫,包括元資料管理、資料質量、主資料管理、效能優化和調優。

  3.負責資料倉庫平臺相關資料管理工作,如研發規範、質量規範、保障規範的制定與推動實施落地

  4.配合和協助資料分析/資料探勘形成底層/中間層的業務邏輯切片

  任職資格:

  1. 本科或碩士以上學歷,計算機工程相關專業

  2. 熟悉大資料相關技術能力***Hadoop/MapReduce/Hive/Hbase等***,熟練進行數倉Hive建設和軟體架構,較強的資料抽象能力

  3.精通SQL,具備海量資料處理和Hive/Spark效能調優經驗,3年以上大規模分散式資料倉庫建設經驗

  4.熟練使用Druid/Kylin之一進行資料探勘模型設計,熟練掌握Java/Scala之一,具備良好的coding素養和習慣,瞭解指令碼語言,如Python、Shell等

  5.強烈的責任心,工作態度積極主動,有較好的團隊精神和溝通能力,工作細緻認真

  2

  職責:

  1、負責ETL開發、作業排程和資料平臺建設

  2、負責資料倉庫的設計、開發和優化,建立結構層次合理、靈活可擴充套件的資料倉庫

  3、設計並研發BI分析相關的資料產品

  4、結合對資料的理解和業務需求,對資料進行整理、分析和挖掘

  任職要求

  1、計算機相關專業本科及以上學歷,有2年以上資料倉庫、ETL工作經驗

  2、有海量資料處理、ETL及作業排程優化、資料倉庫建模等經驗

  3、熟悉Linux、SQL、Python或Java、Shell指令碼,有Hadoop/Hive/Spark/HBase/Kylin/Impala等大資料技術使用經驗

  4、邏輯清晰,對資料敏感,深入瞭解業務,具備自己獨特的想法並能提出合理的建議

  3

  職責:

  1、負責制定資料倉庫平臺技術體系架構、資料架構及規範;

  2、負責設計和實施公司業務資料的實時/離線資料ETL架構方案;

  3、負責排程架構設計與開發;

  4、負責資料倉庫平臺運維以及日常資料運營等管理;

  5、負責關鍵技術攻關;

  任職要求:

  1、5年以上資料倉庫專案開發經驗,參與過資料倉庫架構設計,對ETL開發流程、排程架構有深入理解;

  2、精通mysql、 oralce 、greenplum等至少一種資料庫,豐富的SQL效能調優經驗;

  3、熟練使用Java、Shell、Python、Perl等至少一種指令碼語言;

  4、熟悉資料治理理論,資料質量、元資料管理流程和方法;

  5、瞭解Hadoop/Hive/HBase/Spark/Storm等技術及其生態圈;

  6、溝通能力好、責任心強,具有良好的團隊合作精神和敬業精神;

  4

  職責:

  1.參與傳統數倉和大資料數倉日常開發工作;

  2.參與大資料倉庫設計、規劃和開發;

  3.參與日常工作的優化,提出建設性意見;

  4.負責管理專案,負責板塊內的資源協調、進度管理、交付管理;

  5.參與資料倉庫、資料集市體系架構的設計、規劃與開發, 參與大資料、ETL開發,sql效能優化。

  任職要求:

  1.全日制本科,計算機等相關專業。3年以上數倉開發經驗,有銀行、金融從業經驗者優先。

  2.2年以上專案管理經驗,具備PMP證書優先.

  3.熟悉oracle/hive/spark,熟悉資料處理和效能優化,有UDF自定義函式、MR開發經驗優先;

  4.熟悉常用ETL工具,熟悉常用的Linux指令,熟悉shell/python任意一種指令碼語言。

  5

  職責:

  1.建設公司級資料倉庫,並根據業務變化持續迭代和優化;

  2.對業務資料進行梳理和抽象,建設資料倉庫的資料模型;

  3.對業務資料進行採集、清洗、轉換和儲存;

  4.支撐BI、使用者資料、使用者運營、使用者畫像、房源資料、推薦系統等核心資料平臺產品;

  5.研究大資料前沿技術,不斷持續優化大資料平臺,為業務提供價值。

  任職資格:

  1.本科及以上計算機、統計學、資料庫、機器學習等相關專業,5年以上資料相關工作;

  2.對業務資料有敏銳的理解能力,並能快速梳理和分析業務資料;

  3.熟練掌握SQL語言、熟悉MySQL,對Shell、Java***主要開發語言***、Python程式設計非常熟悉;

  4.熟悉常用的ETL技術和原則;精通資料倉庫資料庫設計規範和實操;

  5.熟悉Hadoop、Hive、HBase、Spark、Storm等開源平臺者優先;

  6.具有較強的分析和解決問題的能力,良好的學習能力和團隊合作精神,追求價值實現,認同目標管理和敏捷。