高级数据工程师

您的角色与使命
作为一名数据工程师，您将负责维护和运营数据仓库，并连接阿波罗的数据源。
日常工作与职责
• 开发和维护可扩展的数据管道，并构建新的集成以支持数据量和复杂性的持续增长
• 在构建消费管道时，实现自动化监控、警报、自我修复（可重启/优雅失败）功能
• 实施流程和系统以监控数据质量，确保生产数据始终准确且可用
• 编写单元/集成测试，为工程维基贡献内容并记录工作
• 定义公司数据模型，并编写作业以在数据仓库中填充数据模型
• 与所有业务部门和工程队紧密合作，为长期数据平台架构制定战略
能力
• 出色的沟通能力，能够与工程、产品和业务所有者合作，开发和定义关键业务问题，并构建回答这些问题的数据集。
• 自我激励和自我指导
• 好奇，能够提出问题并深入挖掘
• 有组织，勤奋，注重细节
• 以最高诚信行事
• 真正好奇且开放；热爱学习
• 需要批判性思维和经过验证的问题解决技能
技能与相关经验
必需：
• 拥有物理/计算机科学、工程或数学/统计学等定量领域的学士学位
• 在数据建模、数据仓库和构建ETL管道方面的经验
• 对数据仓库有深入的了解，并能够跨职能协作
优先：
• 4年以上数据工程或类似角色的经验
• 有使用Python数据栈的经验
• 在云中部署和管理数据管道的经验
• 有使用Airflow、Hadoop和Spark等技术的经验
• 了解Kafka、Spark Streaming等流媒体技术