崗位職責：
1、負責產品計算中心方案設計實施及hadoop/spark集群線上故障處理、性能調優；
2、負責基于hadoop/spark生態系統的產品研發；
3、負責基于搜索引擎（elasticsearch）的產品研發；
4、負責基于redis，kafka集群調優及產品研發；
5、參與海量數據處理和高性能分布式計算的架構設計，負責數據處理流程的設計和代碼開發，撰寫相關文檔；
6、研究大數據、ai領域最新進展，并應用到業務中。
職位要求：
1、大學本科或以上學歷，計算機相關專業，spark/hadoop全棧優先，精通任意一棧者也可；
2、擁有實際apache hadoop/spark相關系統的調優、運維、開發經驗；
3、使用hadoop及hadoop生態圈中的常用組件，如spark、hive、zookeeper、sqoop、flume、kafka、storm、redis、spark、yarn、impala、hbase、presto、solr 等全部或者部分組件,最好精通其中1-2個；
4、熟練掌握java 、scala或者python語言，熟悉并行計算或者分布式計算，理解mapreduce、hdfs原理、spark rdd/dataframe原理。