AI 系统工程师

岗位介绍

我们正在寻找一位 AI 系统工程师（模型路由），负责设计并建设自动化模型路由与动态模型选择系统，根据任务类型、复杂度、模型能力、质量要求、延迟、成本及可靠性等因素，自动判断每个请求应由哪个底层基础模型处理。同时负责建设评估与生产基础设施，量化模型能力，将评估结果转化为路由决策，并持续优化生产环境中的路由表现。

工作内容

• 设计并实现跨多个闭源及开源基础模型的自动化模型路由及动态模型选择系统。
• 根据任务类型、复杂度、模型能力、预期质量、延迟、推理成本、可靠性及运营约束等信号，为每个请求自动选择最适合的模型。
• 针对不同生产场景建设模型选择、模型仲裁、能力升级、智能降级及多模型组合机制。
• 探索并应用分类、排序、学习型路由、Contextual Bandit 或其他数据驱动决策方法。
• 综合离线评估、线上实验、生产反馈及受控 A/B 测试，持续优化模型路由策略。
• 将路由系统与固定模型方案进行比较，量化其在质量、延迟、成本及可靠性方面的收益。
• 建立任务分类、评估维度、评分标准及验收门槛，为模型比较及路由决策提供依据。
• 设计并维护 Benchmark、Golden Dataset、标注标准及回归测试集。
• 建设自动化评估流程，综合使用确定性校验、LLM-as-a-Judge、Rubric 评分、Pairwise Comparison 及人工评估。
• 通过人工判断验证评估方法，并持续监测 Judge 的一致性、偏差及漂移。
• 针对模型、Prompt、数据及路由策略变更建立持续评估和回归机制。
• 将评估结果转化为可执行的模型选择及路由策略。
• 设计可扩展的多模型基础设施，支持闭源、开源及自托管模型的统一接入和运行。
• 建设模型网关、统一 API、版本管理、路由基础设施及模型生命周期管理能力。
• 支持流量治理、模型灰度发布、回滚、替换及受控实验。
• 针对模型调用及路由决策建设监控、日志、链路追踪、故障分析及性能诊断能力。
• 建立数据反馈闭环，持续采集模型表现、路由结果、失败案例、用户信号及人工审核结果。
• 按照可靠性、可扩展性、安全性、测试性及可维护性要求建设生产级 AI 系统。

任职要求

• 具有生产级 AI、机器学习系统或分布式系统的实际建设经验。
• 具有自动化模型路由、动态模型选择、模型仲裁、多模型组合或多模型决策系统的实际经验。
• 具有根据任务需求以及不同模型在能力、质量、延迟、成本或可靠性方面的差异进行模型选择的实际经验。
• 具有评估框架、Benchmark Dataset、评分方法、回归流程或持续评估体系的设计及建设经验。
• 深入理解模型质量、延迟、推理成本、可靠性及运营风险之间的权衡关系。
• 具有通过第三方 API、自托管部署或开源 Serving Infrastructure 接入并运行多个基础模型的经验。
• 能够将模糊的产品或业务需求转化为可量化的评估标准、技术方案、实验及生产系统。
• 较强的分析与问题解决能力。