数据科学家/工程师 - #1639

岗位介绍

我们正在寻找一位技术娴熟、积极主动的数据工程师，负责设计、开发和维护可扩展的数据平台和管道，以支持机构的数字服务、分析、报告和数据驱动决策。成功的候选人将与数据科学家、分析师、应用团队、网络安全团队和业务利益相关者密切合作，确保数据准确、可靠、安全、受治理且可供授权使用。该角色将涉及使用现代云和数据技术，同时遵守新加坡公共部门在数据治理、网络安全、隐私和信息管理方面的要求。

工作内容

• 设计、开发和维护结构化及非结构化数据的ETL/ELT数据管道。
• 构建和优化数据摄取、转换、集成和处理工作流。
• 开发可扩展的数据平台、数据仓库、数据湖和/或湖仓解决方案。
• 集成来自API、数据库、企业应用、文件和其他源系统的数据。
• 实施自动化数据验证、质量检查、监控和对账流程。
• 优化数据管道和查询的性能、可扩展性和成本效率。
• 开发可重用的数据工程组件并建立编码和开发标准。
• 确保数据管道和平台符合政府数据治理、安全、隐私和信息管理要求。
• 实施适当的访问控制、加密、审计日志和数据保护机制。
• 支持数据分类、血缘、元数据管理、保留和生命周期管理。
• 与数据治理和网络安全团队合作，识别和缓解数据相关风险。
• 维护数据集、管道、接口和数据流的适当技术文档。
• 使用云和/或本地技术开发和运营数据解决方案。
• 根据机构技术环境，使用Python、SQL、Spark、Airflow、Kafka、Databricks、Snowflake、Azure、AWS或Google Cloud等技术。
• 为数据解决方案实施CI/CD、基础设施自动化、测试和部署实践。
• 监控系统性能并排除数据管道和平台问题。
• 与业务用户和领域专家合作，理解数据需求并将其转化为技术解决方案。
• 与数据分析师和数据科学家合作，提供可靠且结构良好的数据集。
• 与应用和集成团队合作处理API和上下游系统依赖关系。
• 向技术和非技术利益相关者清晰传达技术概念。
• 参与技术架构、解决方案设计和技术评审会议。
• 监控生产数据管道并在约定的服务级别内解决事件。
• 对重复出现的问题进行根本原因分析并实施预防措施。
• 开发运营仪表板、警报和监控机制。
• 根据需要参与灾难恢复、业务连续性和技术弹性活动。
• 持续评估和采用适当的数据工程实践和技术。

任职要求

• 计算机科学、信息技术、数据工程、工程、数学、统计学或相关学科的学位或文凭。
• 3-6年数据工程、数据平台开发、ETL/ELT或相关技术角色的相关经验。
• 精通Python、Java、Scala或类似语言的编程技能。
• 强大的SQL技能和关系数据库经验。
• 设计和实施数据管道和数据集成解决方案的实践经验。
• 数据仓库、数据湖或现代数据平台的经验。
• 云技术和/或企业数据平台的经验。
• 了解数据安全、数据治理和数据质量原则。
• 强大的分析、解决问题和故障排除能力。
• 良好的书面和口头沟通能力。
• 有Apache Spark、Databricks、Airflow、Kafka、dbt、Snowflake或同等技术的经验。
• 有AWS、Microsoft Azure或Google Cloud的经验。
• 为数据平台实施CI/CD和DevOps实践的经验。
• 数据建模和维度建模的经验。
• 了解元数据管理、数据血缘、主数据管理和数据编目。
• 在受监管、公共部门、金融服务或其他高度治理环境中的工作经验。
• 云、数据工程或相关技术的相关专业认证。

福利待遇

• 职业成长支持：我们通过有意义的角色、技能发展机会和全程指导帮助您建立职业生涯。
• 优质职位空缺：我们与知名公司合作，提供IT、技术支持、项目管理、数据分析等广泛领域的职位。
• 有竞争力的薪资：我们为您争取公平、有竞争力的薪资，并确保您的技能得到重视。
• 持续关怀：从入职到薪资、绩效反馈到职业建议——我们全程陪伴您，而不仅仅是开始。
• 信任与透明：获得MOM许可，数据保护认证，并致力于您的成功。