大資料架構師崗位的工作職責

  大資料架構師需要負責深入理解業務需求,對業務建模,設計系統架構,滿足業務需求。以下是小編整理的。

  1

  職責:

  1.負責資料倉庫建設,基於資料驅動構建企業級資料模型,根據架構設計進行各層資料模型開發。

  2.面向PB級別超大規模資料處理和查詢需求,設計適合業務變化的合理的多維資料分析系統架構,滿足多樣性需求。

  3.構建設計良好的資料流、排程系統、查詢引擎、監控系統,保證系統穩定高效執行,以實現資料的最大價值。

  4.指導團隊成員開展資料倉庫建設。

  5.參與重點專案的評審,參與企業資料管理體系建設。

  任職要求:

  1.統招本科及以上學歷。

  2.從事資料倉庫領域至少5年以上,熟悉資料倉庫模型設計與ETL開發經驗 ,掌握Kimball的維度建模設計方法,具備海量資料加工處理***ETL***相關經驗 。

  3.具有一定資料模型和資料架構基礎,熟悉hadoop\hive和常用資料庫。

  4. 精通SQL,有一定的SQL效能調優經驗,熟悉hive sql的開發。

  5.具有管理團隊開發經驗,具備良好的組織能力、協調能力及專案管理能力。

  6.具有較好的文字功底及語言表達能力,能夠快速、準確地理解需求。

  7.具有專研、快速學習和創新精神,具備獨立分析問題和解決問題的能力。

  8.具有責任心,時間觀念強,工作獨立性強,有良好的團隊合作精神。

  9.全日制普通本科畢業。

  2

  職責:

  1、負責大資料平臺架構的規劃與設計;

  2、負責大資料平臺技術框架的選型與技術難點攻關;

  3、參與企業級大資料產品和應用規劃;

  4、研究跟進大資料架構領域新技術並分享;

  5、大資料處理和分析應用平臺的設計指導。

  任職資格:

  1、 具備深厚的分散式系統或資料庫系統的理論基礎,熟悉分散式計算系統的工作機制,具有分散式檔案系統、分散式資料庫系統、叢集儲存系統等架構設計經驗;

  2、熟悉BI平臺架構及相關專案標準,大資料解決方案包括Hadoop、Spark、Storm、機器學習等大資料平臺解決方案;

  3、熟悉MySql/Postgresql/Oracle/MongoDB/Redis等主流資料資料庫;

  4、 精通Linux/Unix環境,精通J java、scala、python、R中的一種或多種語言;

  5、 具備優秀的團隊意識和溝通能力,學習能力和主動性強,具有鑽研精神,充滿激情,樂於接受挑戰;

  6、大專及以上學歷,3年及以上工作經驗。

  3

  職責:

  1. 規劃設計大資料平臺整體架構,規劃各種元件,並且指導技術團隊完成相關係統驗證、安裝、部署、配置;

  2. 負責制定大資料平臺技術規範和介面規範,指導研發團隊按照規範進行系統開發;

  3. 配合商務人員完成售前技術支援工作;

  4. 完成其他與資料應用有關的技術工作;

  任職要求:

  1. 計算機相關專業本科學歷,5年以上工作經驗;

  2. 對大資料技術棧有非常深刻的瞭解;具備架構設計的實際經驗;

  3. 對資訊保安架構設計及實施有一定的經驗;

  4. 熟悉Linux、Windows等作業系統的安裝配置;

  5. 熟悉網際網路應用的安裝配置;熟悉常見大資料技術棧元件的安裝配置;熟悉Visio等繪圖工具的使用;

  6. 有衛生資訊化建設經驗者優先;有容器安裝部署經驗者優先。

  4

  職責:

  1.能夠帶領技術人員基於hadoop平臺進行海量資料應用系統開發;

  2.負責結構化和非結構化資料的解析和清洗,海量資料查詢和報表展現;

  3.負責超大規模資料平臺的搭建、維護和優化;

  4.負責大資料採集、儲存框架研究,參與線上或離線資料儲存模型設計;

  5.負責大資料平臺新技術的開發使用和效能優化,測試。

  任職資格:

  1.計算機相關專業本科及以上學歷;

  2. 熟悉hadoop相關各種開源專案,比如HDFS/Hive/Hbase等有實際應用。***5年以上開發經驗者優先***;

  3.兩年以上熟練編寫mapreduce程式碼經驗,有三年以上網路日誌分析、ETL經驗。熟悉日誌分析框架chukwa,flume,scribe者優先;

  4.兩年以上海量資料儲存的安裝部署、優化、二次開發經驗,對大規模資料儲存、傳輸、處理等有豐富的經驗;

  5.在資料探勘、資料密集型處理、分散式計算、網格計算領域有深入理論基礎;

  6.具有較強的文件撰寫能力,較強的團隊精神和合作精神,對工作有熱情,能承受壓力。

  5

  職責

  1、負責企業級大資料平臺、資料雲服務的設計與開發;

  2、基於大資料生態圈,支援智慧交通等大資料場景應用實現;

  3、負責公司大資料產品的設計、封裝與落地;

  4、負責學習大資料相關演算法研究、實現與應用

  任職要求

  1、統招本科及以上學歷;2年以上智慧城市建設或交通行業資訊化相關工作經驗,3年以上大資料架構設計、開發經驗;

  2、精通大資料生態圈的技術,包括但不限於MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具備原始碼級問題解決和叢集優化改造能力;

  3、熟悉常用程式語言,包括Java、Python、Scala等;

  4、具有很強的技術研發和創新能力,能有效把握技術發展方向,有較強的執行能力、學習能力、溝通能力、適應能力,責任心強;