职位描述：

1、 参与公司大数据平台的功能研发，包括数据抽取、清洗、分析、处理、建模、数据质量整治等；

2、 根据公司产品需求，参与设计、开发、维护和优化相关pipeline并对需求进分析整理；

3、 基于公司大数据平台开展相应扩展开发，协助支持或直接参与基于大数据平台的应用项目。

任职要求：

1、 具备英语基本阅读能力，能进行简单英文沟通。

2、 具备较好的分布式思想，有较为丰富的数据平台架构认知，有较为系统的海量数据性能处理经验；

3、 必须：

• 熟悉Spark原理和编程知识体系，掌握Spark SQL等核心组件；

• 工作负责、态度积极主动；具备主动发现问题、解决问题的能力；

• 了解Databricks各项产品功能和模块者优先。

4、 熟练使用一门或多门编程语言，包括Scala、Java、Python；

5、 熟悉微软云大数据实时和离线组件为加分项，例如HDInsight， Azure Event Hub， Azure Machine Learning, Azure IoT等优先；

6、 拥有较好的沟通技巧、团队合作精神、较强的责任感及进取精神。