AI中高薪英文为主
$6,000 - $12,000
招聘方：KUAILU SOFTWARE (SINGAPORE) PTE. LTD.
本页内容由系统自动翻译，可能存在不准确之处，一切以英文原文为准。
工作语言英文为主
岗位介绍
KUAILU SOFTWARE (SINGAPORE) PTE. LTD. 招聘大型语言模型评估工程师，负责构建和维护自动化评估流程，涵盖通用能力、Agent 能力和角色扮演等维度。需熟悉主流评估基准和框架，精通 Python，并能部署模型进行批量推理和评估。加入我们，共同推动 AI 智能办公系统的发展。
工作内容
- 构建和维护自动化 LLM 评估流程，覆盖通用能力、Agent 能力和角色扮演等维度，支持一键评估、历史结果对比和回归测试。
- 使用 MMLU、C-Eval、HumanEval、GSM8K、MATH 和 IFEval 等基准进行通用能力评估，包括基准部署、执行和结果分析。
- 进行 Agent 能力评估，包括搭建评估环境和跟踪 BFCL、τ-bench 和 GAIA 等基准的指标。
- 设计和执行角色扮演评估框架，涵盖身份识别、角色兼容性、多轮稳定性和风格一致性等指标。
- 记录和分析训练运行的评估结果，进行比较分析和异常检测，并生成检查点评估报告。
- 在预训练阶段定期进行中间评估，跟踪模型能力的演变和改进。
任职要求
- 计算机科学、人工智能或相关领域学士学位或以上。
- 熟悉主流 LLM 评估基准和框架，如 lm-eval-harness、OpenCompass 和 EvalPlus。
- 精通 Python，能够独立构建涵盖模型推理/部署、批量评估和结果分析的评估流程。
- 熟悉 vLLM 和 SGLang 等 LLM 推理框架，能够部署模型进行批量推理和评估。
- 具备评估数据分析和可视化经验。
- 注重细节且严谨，高度重视确保评估结果的可重复性和可靠性。
公司介绍
英语介绍Details
Kuailu Technology is dedicated to building a one-stop AI-powered intelligent office system. With a low-code platform as its foundation and AI agents as the engine, it integrates a full-scenario office ecosystem encompassing AI-driven office work, collaboration, and meetings. The system covers all business scenarios, including HR, finance, procurement, administration, and CRM. By establishing a unified data foundation to replace multiple software systems, it breaks down internal information silos, enables seamless data flow across entire business processes, and activates core data assets related to people, capital, and materials. This transforms data into intelligent productivity, helping enterprises achieve low-cost, high-efficiency, and integrated smart office operations.
华语介绍详情
快鹭科技致力于打造一站式 AI 智能办公系统。以低代码平台为基础，以 AI 代理为引擎，整合了涵盖 AI 驱动办公、协作和会议的全场景办公生态系统。系统覆盖所有业务场景，包括人力资源、财务、采购、行政和 CRM。通过建立统一的数据基础替代多个软件系统，打破内部信息孤岛，实现整个业务流程的无缝数据流动，并激活与人、财、物相关的核心数据资产。将数据转化为智能生产力，帮助企业实现低成本、高效率和一体化的智能办公运营。
公司介绍为英文翻译，如有不准，请联系我们。
本页信息整理自公开来源，发布于 2026-10-02。