软件质量保证工程师 – GenAI / LLM

岗位介绍

我们正在寻找一位高级GenAI质量工程师/解决方案分析师，负责在复杂的企业环境中设计、分析、测试和验证生产级生成式AI（GenAI）、大型语言模型（LLM）、RAG和Agentic AI应用程序。该角色结合了软件质量工程、GenAI/LLM测试与评估、Agentic AI/AI代理测试、UI与API测试、测试自动化、解决方案分析、企业集成测试以及可观测性与故障排除。您将参与从发现、解决方案设计、开发、测试到发布的整个过程，将业务需求转化为清晰的应用程序行为，并验证跨用户界面、API、数据流、LLM、RAG组件、AI代理和企业集成的端到端应用程序质量。

工作内容

• 定义并执行端到端质量工程和测试策略，涵盖Web/UI工作流、REST API、后端服务、企业集成、GenAI应用、LLM工作流、RAG管道、Agentic AI/AI代理接口。
• 执行GenAI/LLM测试和评估，涵盖响应质量、任务完成、接地、忠实度、相关性、一致性、引用准确性、幻觉风险、安全失败行为。
• 使用评估数据集、重复测试、质量阈值、验收标准、回归评估来测试非确定性/概率性AI系统。
• 验证RAG/检索增强生成解决方案，包括检索质量、接地和响应准确性。
• 测试端到端Agentic AI和AI代理工作流，包括多轮对话、上下文处理、代理规划、工具选择、工具调用/函数调用、工具输入输出、状态转换、记忆和状态、人工审批、交接、重试、超时、回退行为、错误恢复、终止条件、部分失败。
• 验证AI代理在成功和失败场景下的正确行为。
• 执行功能测试、集成测试、API测试、回归测试、探索性测试、负面测试、弹性测试、基本性能测试、端到端测试。
• 设计全面的REST API测试，涵盖API契约、认证、授权、输入验证、错误处理、幂等性、速率限制、下游系统故障。
• 测试跨浏览器和真实最终用户旅程的Web应用程序行为，包括加载状态、中断会话、错误消息、反馈捕获、可访问性基础。
• 开发和维护基于风险的测试自动化，以减少回归测试时间、手动测试工作量、发布周期时间和生产风险。
• 使用自动化框架和工具，如Playwright、Cypress、Selenium、pytest、REST Assured、Postman或等效的UI/API自动化框架。
• 应用务实的自动化原则，优先考虑稳定、高价值且频繁执行的测试场景。
• 验证LLM和GenAI应用程序的接地响应、幻觉、检索质量、引用准确性、提示行为、提示注入、不支持的请求、受限内容处理、安全失败行为、对抗性场景。
• 使用适当的评估数据集、质量指标和可重复的评估方法支持AI评估/LLM评估。
• 使用应用程序和GenAI可观测性来识别跨应用程序、LLM/模型、RAG/检索、数据、API/集成、平台的缺陷来源。
• 分析日志、分布式追踪、API请求/响应、有效负载、网络调用、数据库记录、代理执行追踪。
• 作为GenAI应用的实践解决方案分析师，与产品负责人、业务用户、架构师、工程师和GenAI专家合作进行发现和解决方案设计。
• 分析提议的GenAI用例，确定需求应使用常规应用程序逻辑、确定性业务规则、搜索/检索、RAG、工作流自动化、Agentic AI还是人工审批。
• 将业务需求转化为功能需求、端到端解决方案流程、用户旅程、验收标准、接口行为、决策规则、非功能需求。
• 映射跨用户界面、API、LLM/模型、提示、RAG/检索组件、企业数据源、AI代理工具、下游企业系统的交互。
• 分析涉及质量、复杂性、成本、延迟、安全性、数据访问、可维护性、运营风险的解决方案设计权衡。
• 在开发开始前识别缺失的控制、集成假设、所有权差距、失败场景和运营风险。
• 支持设计人工审批、回退流程、升级、异常处理。
• 生成实用的技术和功能工件，包括解决方案文档。