数据科学家

岗位介绍

UARROW PTE. LTD. 正在招聘数据科学家，负责设计、开发和维护大规模数据管道，构建批量和实时数据处理解决方案，并参与AI/GenAI数据解决方案的开发。要求具备大数据、云计算领域的丰富经验，精通Python、Spark、SQL等编程语言，熟悉AWS、Azure等云平台。

工作内容

• 设计、开发和维护可扩展的ETL/ELT数据管道，处理大规模结构化和非结构化数据。
• 使用Python、PySpark、Apache Spark、Spark SQL和Scala开发高性能数据处理解决方案。
• 使用Kafka、Kinesis、Spark Streaming、AWS Glue和Airflow构建批量和实时数据管道。
• 开发集成RDBMS、API、文件、云存储和流平台的数据摄取框架。
• 设计和实施数据湖、数据仓库和基于云的数据处理平台。
• 使用Databricks、Hadoop、Hive、Cloudera、Presto和Snowflake进行大规模数据处理和分析。
• 执行数据建模、数据转换、数据质量、查询优化和性能调优。
• 开发和优化跨Oracle、SQL Server、PostgreSQL、Teradata、MongoDB和云数据库的SQL解决方案。
• 设计和实施涉及大规模企业数据集的数据迁移解决方案。
• 为企业的应用程序开发和维护实时和批量处理架构。
• 将数据平台与REST API、GraphQL和企业应用程序集成。
• 使用Jenkins、Git、Docker、Kubernetes和OpenShift实施CI/CD和DevOps实践。
• 使用AWS和Azure开发云原生数据解决方案，包括S3、Glue、EMR、Redshift、Kinesis、Lambda、RDS和DynamoDB。
• 开发涉及LLM、NLP、RAG、Agentic AI和向量数据库的AI/GenAI数据解决方案。
• 集成LLM服务和AI平台，如Azure OpenAI、OpenAI API、Hugging Face和Google Gemini/ADK。
• 开发用于文本处理、嵌入、摘要、情感分析、语音转文本和说话人分离的NLP管道。
• 使用Redis、ChromaDB和FAISS设计和实施向量搜索和检索解决方案。
• 使用FastAPI、Gradio和Python开发AI驱动的API和应用程序。
• 与架构师、数据科学家、软件工程师、业务分析师和产品团队合作，交付企业数据解决方案。
• 参与敏捷SDLC活动，包括需求分析、架构、开发、测试、部署和生产支持。
• 解决复杂的数据、应用程序和平台问题，并提供可扩展的技术解决方案。

任职要求

• 计算机科学、信息技术、编程与系统分析、计算机研究或相关学科的学士或硕士学位。
• 在大数据、云计算或相关技术领域拥有丰富的专业经验。
• 具有处理大规模企业数据平台和生产数据管道的经验。
• 强大的编程和SQL技能。
• 具有基于云的数据工程和现代数据处理框架的经验。
• 具有AI/ML、NLP或生成式AI经验者优先。