数据科学家

岗位介绍

RISKDATA CONSULTING PTE. LTD. 正在招聘数据科学家。您将负责设计、开发和维护大规模数据管道，使用 Python、Spark、Kafka 等技术构建批量和实时数据处理解决方案，并参与数据湖、数据仓库和云平台的建设。同时，您将开发 AI/GenAI 数据解决方案，集成 LLM 和 NLP 管道，并与跨职能团队合作交付企业级数据产品。

工作内容

• 设计、开发和维护可扩展的 ETL/ELT 数据管道，处理大规模结构化和非结构化数据。
• 使用 Python、PySpark、Apache Spark、Spark SQL 和 Scala 开发高性能数据处理解决方案。
• 使用 Kafka、Kinesis、Spark Streaming、AWS Glue 和 Airflow 构建批量和实时数据管道。
• 开发集成 RDBMS、API、文件、云存储和流平台的数据摄取框架。
• 设计和实现数据湖、数据仓库和基于云的数据处理平台。
• 使用 Databricks、Hadoop、Hive、Cloudera、Presto 和 Snowflake 进行大规模数据处理和分析。
• 执行数据建模、数据转换、数据质量、查询优化和性能调优。
• 开发和优化跨 Oracle、SQL Server、PostgreSQL、Teradata、MongoDB 和云数据库的 SQL 解决方案。
• 设计和实现涉及大规模企业数据集的数据迁移解决方案。
• 为企业应用开发和维护实时和批处理架构。
• 将数据平台与 REST API、GraphQL 和企业应用集成。
• 使用 Jenkins、Git、Docker、Kubernetes 和 OpenShift 实施 CI/CD 和 DevOps 实践。
• 使用 AWS 和 Azure 开发云原生数据解决方案，包括 S3、Glue、EMR、Redshift、Kinesis、Lambda、RDS 和 DynamoDB。
• 开发涉及 LLM、NLP、RAG、Agentic AI 和向量数据库的 AI/GenAI 数据解决方案。
• 集成 LLM 服务和 AI 平台，如 Azure OpenAI、OpenAI API、Hugging Face 和 Google Gemini/ADK。
• 开发用于文本处理、嵌入、摘要、情感分析、语音转文本和说话人分离的 NLP 管道。
• 使用 Redis、ChromaDB 和 FAISS 设计和实现向量搜索和检索解决方案。
• 使用 FastAPI、Gradio 和 Python 开发 AI 驱动的 API 和应用程序。
• 与架构师、数据科学家、软件工程师、业务分析师和产品团队合作，交付企业数据解决方案。
• 参与敏捷 SDLC 活动，包括需求分析、架构、开发、测试、部署和生产支持。
• 解决复杂的数据、应用程序和平台问题，并提供可扩展的技术解决方案。

任职要求

• 计算机科学、信息技术、编程与系统分析、计算机研究或相关学科的学士或硕士学位。
• 在大数据、云计算或相关技术领域拥有丰富的专业经验。
• 具有处理大规模企业数据平台和生产数据管道的经验。
• 强大的编程和 SQL 技能。
• 具有基于云的数据工程和现代数据处理框架的经验。
• 具有 AI/ML、NLP 或生成式 AI 经验者优先。