数据科学家

岗位介绍

JEET ANALYTICS PTE. LTD. 正在招聘数据科学家，负责设计、开发和维护大规模数据管道，构建批量和实时数据处理解决方案，并利用云原生和AI/GenAI技术开发企业级数据平台。需与跨职能团队合作，交付可扩展的数据解决方案。

工作内容

• 设计、开发和维护大规模结构化和非结构化数据的ETL/ELT管道。
• 使用Python、PySpark、Spark、Scala开发高性能数据处理方案。
• 使用Kafka、Kinesis、Spark Streaming、AWS Glue、Airflow构建实时和批量管道。
• 开发集成RDBMS、API、文件、云存储和流平台的数据摄取框架。
• 设计并实现数据湖、数据仓库和基于云的数据处理平台。
• 使用Databricks、Hadoop、Hive、Cloudera、Presto、Snowflake进行大规模数据处理。
• 执行数据建模、转换、质量检查、查询优化和性能调优。
• 开发和优化跨Oracle、SQL Server、PostgreSQL、Teradata、MongoDB的SQL方案。
• 设计并实施涉及大型企业数据集的数据迁移方案。
• 为企业应用开发和维护实时与批量处理架构。
• 将数据平台与REST API、GraphQL和企业应用集成。
• 使用Jenkins、Git、Docker、Kubernetes、OpenShift实施CI/CD和DevOps。
• 使用AWS和Azure开发云原生数据解决方案。
• 开发涉及LLM、NLP、RAG、Agentic AI和向量数据库的AI/GenAI数据方案。
• 集成Azure OpenAI、OpenAI API、Hugging Face、Google Gemini/ADK等LLM服务。
• 开发用于文本处理、嵌入、摘要、情感分析、语音转文本的NLP管道。
• 使用Redis、ChromaDB、FAISS设计并实现向量搜索和检索方案。
• 使用FastAPI、Gradio、Python开发AI驱动的API和应用。
• 与架构师、数据科学家、软件工程师、业务分析师和产品团队合作。
• 参与敏捷SDLC活动，包括需求分析、架构、开发、测试、部署和支持。
• 排查复杂的数据、应用和平台问题，提供可扩展的技术解决方案。

任职要求

• 计算机科学、信息技术、编程与系统分析、计算机研究或相关领域的学士或硕士学位。
• 在大数据、云计算或相关技术领域有丰富的专业经验。
• 具有大规模企业数据平台和生产数据管道的经验。
• 强大的编程和SQL技能。
• 具有基于云的数据工程和现代数据处理框架的经验。
• 具有AI/ML、NLP或生成式AI经验者优先。