数据科学家

岗位介绍

我们正在寻找一名数据科学家，负责设计、开发和维护大规模数据管道，构建批处理和实时数据处理解决方案，并利用云平台和AI技术实现企业级数据平台。您将与架构师、数据科学家和工程师合作，交付可扩展的数据解决方案，并参与敏捷开发全流程。

工作内容

• 设计、开发并维护大规模结构化与非结构化数据的ETL/ELT管道
• 使用Python、PySpark、Spark、Scala开发高性能数据处理方案
• 使用Kafka、Kinesis、Spark Streaming、AWS Glue、Airflow构建批流管道
• 开发集成RDBMS、API、文件、云存储和流平台的数据摄取框架
• 设计并实现数据湖、数据仓库及云端数据处理平台
• 使用Databricks、Hadoop、Hive、Cloudera、Presto、Snowflake进行大规模数据处理
• 执行数据建模、转换、质量检查、查询优化和性能调优
• 开发和优化跨Oracle、SQL Server、PostgreSQL等数据库的SQL方案
• 设计并实施大规模企业数据迁移解决方案
• 开发并支持企业应用的实时与批处理架构
• 将数据平台与REST API、GraphQL及企业应用集成
• 使用Jenkins、Git、Docker、Kubernetes、OpenShift实施CI/CD和DevOps
• 使用AWS和Azure开发云原生数据解决方案
• 开发涉及LLM、NLP、RAG、Agentic AI和向量数据库的AI/GenAI数据方案
• 集成Azure OpenAI、OpenAI API、Hugging Face、Google Gemini/ADK等LLM服务
• 开发用于文本处理、嵌入、摘要、情感分析、语音转文本和说话人分离的NLP管道
• 使用Redis、ChromaDB、FAISS设计并实现向量搜索与检索方案
• 使用FastAPI、Gradio、Python开发AI驱动的API和应用
• 与架构师、数据科学家、软件工程师、业务分析师和产品团队合作交付企业数据方案
• 参与敏捷SDLC活动，包括需求分析、架构、开发、测试、部署和生产支持
• 排查复杂的数据、应用和平台问题，并提供可扩展的技术解决方案

任职要求

• 计算机科学、信息技术、编程与系统分析、计算机研究或相关专业学士或硕士学位
• 在大数据、云计算或相关技术领域拥有丰富的专业经验
• 具有大规模企业数据平台和生产数据管道的经验
• 强大的编程和SQL技能
• 具有基于云的数据工程和现代数据处理框架的经验
• 具有AI/ML、NLP或生成式AI经验者优先