数据科学家

岗位介绍

REG TECH INSIGHT PTE. LTD. 正在招聘数据科学家，负责设计、开发和维护大规模数据管道，构建批处理和实时数据处理解决方案，并利用云原生和AI/GenAI技术开发企业级数据平台。需与跨职能团队合作，参与敏捷开发全流程，解决复杂数据问题。

工作内容

• 设计、开发和维护大规模结构化与非结构化数据的ETL/ELT管道。
• 使用Python、PySpark、Spark、Spark SQL和Scala开发高性能数据处理方案。
• 使用Kafka、Kinesis、Spark Streaming、AWS Glue和Airflow构建批处理和实时管道。
• 开发集成RDBMS、API、文件、云存储和流平台的摄取框架。
• 设计和实现数据湖、数据仓库及基于云的数据处理平台。
• 使用Databricks、Hadoop、Hive、Cloudera、Presto和Snowflake进行大规模数据处理与分析。
• 执行数据建模、转换、质量检查、查询优化和性能调优。
• 开发和优化跨Oracle、SQL Server、PostgreSQL、Teradata、MongoDB和云数据库的SQL方案。
• 设计和实施涉及大规模企业数据集的数据迁移方案。
• 为企业的应用开发和维护实时与批处理架构。
• 将数据平台与REST API、GraphQL和企业应用集成。
• 使用Jenkins、Git、Docker、Kubernetes和OpenShift实施CI/CD和DevOps实践。
• 使用AWS和Azure开发云原生数据解决方案，包括S3、Glue、EMR、Redshift、Kinesis、Lambda、RDS和DynamoDB。
• 开发涉及LLM、NLP、RAG、Agentic AI和向量数据库的AI/GenAI数据解决方案。
• 集成LLM服务和AI平台，如Azure OpenAI、OpenAI API、Hugging Face和Google Gemini/ADK。
• 开发用于文本处理、嵌入、摘要、情感分析、语音转文本和说话人分离的NLP管道。
• 使用Redis、ChromaDB和FAISS设计和实现向量搜索与检索方案。
• 使用FastAPI、Gradio和Python开发AI驱动的API和应用。
• 与架构师、数据科学家、软件工程师、业务分析师和产品团队合作交付企业数据解决方案。
• 参与敏捷SDLC活动，包括需求分析、架构、开发、测试、部署和生产支持。
• 排查复杂的数据、应用和平台问题，并提供可扩展的技术解决方案。

任职要求

• 计算机科学、信息技术、编程与系统分析、计算机研究或相关学科的学士或硕士学位。
• 在大数据、云计算或相关技术领域拥有丰富的专业经验。
• 具有大规模企业数据平台和生产数据管道的经验。
• 强大的编程和SQL技能。
• 具有基于云的数据工程和现代数据处理框架的经验。
• 具有AI/ML、NLP或生成式AI经验者优先。