大数据工程师是一个技术含量极高的职业，核心职责涵盖海量数据的采集、清洗、分析、治理与挖掘，最终将这些原始数据转化为具有商业价值的信息资产，并负责后续的管理、维护与服务支持。

2020年5月，国家邮电通信人才交流中心发布《关于开展大数据工程师专业技术等级考试的通知》，这标志着大数据工程师岗位正式拥有了国家级的认证体系，旨在规范从业人员的理论知识和技术能力。

具体到大数据开发工程师，日常工作包括数据仓库建设、ETL开发、数据分析、指标统计、实时计算平台及业务开发、平台建设与维护等。其技术要求较高，需要熟练掌握数据仓库、Hadoop生态体系、计算框架及二次开发，同时具备开发平台工具如调度系统、元数据平台等能力。

以下是大数据开发工程师常见的岗位要求，从中可以感受到该岗位所需的知识广度与深度：

1. 本科及以上学历，计算机相关专业毕业，具备数据处理、数据建模、数据分析等方面的深厚理论功底与丰富项目实战经验。

2. 熟练掌握HiveSQL语言，并熟悉Shell、Python等常用脚本语言，能够高效进行数据处理与自动化任务。

3. 拥有Hadoop、Spark、Flink等主流大数据平台的实际使用经验，能够独立完成相关开发与调优。

4. 具备数据仓库建设、商业数据分析及增长项目的实际经验，能够从数据中驱动业务决策。

5. 至少熟练掌握Java或Scala中的一种编程语言，具备扎实的编码能力。

6. 熟练应用Hadoop及Map-Reduce进行开发，同时熟练掌握HBase、Hive、Storm、Spark等大数据开发工具。

7. 熟悉至少一种实时计算引擎如Storm、SparkStreaming、Flink，并对Hadoop生态其他组件如HBase、Hive、Druid等有一定了解。

8. 熟悉Hadoop/Spark/Hive/HBase等大数据工具，有主导大型数据平台建设经验者优先。

9. 精通SQL，熟悉常用关系型数据库、非关系型数据库及数据仓库，具备SQL性能优化实战经验。

10. 了解微服务开发理念与实现技术，熟悉常见设计模式，熟练掌握SSH开发框架，能够熟练编写Java、Python代码，并具备多线程编程经验。

11. 具有Hadoop/Hive/Spark/Storm/Zookeeper等相关开发经验，或从事分布式相关系统的开发工作。

12. 熟悉Linux/Unix系统，拥有丰富的Java开发经验。

13. 具备3年以上企业级数据仓库开发经验，有大规模集群应用开发经验者优先考虑。

14. 熟悉数据仓库理论，能够梳理复杂业务需求并转化为数据模型。

15. 熟练进行SQL开发，精通MySQL等关系型数据库。

16. 熟悉Linux系统，具备Shell、Python等脚本开发能力者优先。

17. 学习能力强，热衷于研究开源新技术，具备团队协作精神与独立解决问题的能力；计算机理论基础扎实，对数据结构与算法有深入理解和应用能力。