ASUS AICS SG - 机器学习工程师

岗位介绍

ASUS Intelligent Cloud Services (AICS) 招聘机器学习工程师（ML Ops 方向），负责构建和运维支持可靠、可扩展且高效的 AI 模型部署的基础设施。您将与 ML 工程师、AI 研究员、软件工程师及产品团队紧密合作，管理 AI 模型的生产生命周期，包括模型评估、发布、部署、监控和更新。该职位重点关注 GPU 基础设施、模型服务、模型生命周期管理和 AI 平台可靠性。

工作内容

• 设计并运维 GPU 资源分配与利用的基础设施
• 在 Kubernetes 和容器化环境中管理 GPU 工作负载
• 实施资源调度、配额、优先级和工作负载隔离
• 监控 GPU 利用率、容量、性能和资源消耗
• 优化 GPU 利用率和推理效率
• 排查生产环境中的 GPU、容器、网络和基础设施问题
• 构建并维护模型版本管理、评估、发布和回滚流程
• 建立自动化工作流评估新模型版本
• 设计模型发布门禁，确保满足预定义要求
• 比较模型版本的各项指标
• 支持受控模型发布，包括金丝雀部署、A/B 测试和回滚
• 维护模型元数据、评估结果、部署历史和发布状态
• 构建并运维自托管 AI 模型推理和服务的可靠基础设施
• 使用 vLLM 或类似推理引擎部署和优化 LLM 推理服务
• 优化模型服务的延迟、吞吐量、GPU 利用率和可靠性
• 自动化模型部署和配置变更
• 实施最小化服务中断的部署策略
• 监控和排查生产推理工作负载
• 构建并维护模型网关/模型路由基础设施
• 支持模型路由、流量管理、认证、限流和可观测性
• 使应用和 AI 代理通过统一接口消费模型
• 集成不同模型提供商和自托管推理服务
• 构建 AI 工作负载的监控和可观测性
• 建立日志、指标、追踪、告警和运维仪表板
• 调查生产事故并进行根因分析
• 持续改进系统可靠性、可扩展性和运维效率

任职要求

• 4 年以上软件工程、MLOps、ML 基础设施、DevOps 或相关领域经验
• 精通 Python 和/或 Go 编程
• 具有生产 AI/ML 基础设施运维经验
• 精通 Docker 和 Kubernetes
• 深入理解 GPU 基础设施和资源管理
• 具有 GPU 调度、资源分配、监控或容量规划经验
• 具有生产环境模型服务或推理基础设施运维经验
• 熟悉 LLM 推理和服务，最好有 vLLM 使用经验
• 具有设计和运维模型评估与发布流程的经验
• 具有 CI/CD 和基础设施自动化经验
• 深入理解 Linux、网络、分布式系统和云原生基础设施
• 具有监控和可观测性经验
• 强大的故障排除和问题解决能力
• 能够与 ML 研究员、ML 工程师和软件工程师有效协作