AI中高薪英文为主
$6,000 - $12,000
招聘方：UMELIFE (SINGAPORE) PTE. LTD.
本页内容由系统自动翻译，可能存在不准确之处，一切以英文原文为准。
工作语言英文为主
岗位介绍
UMELIFE 招聘大型语言模型评估工程师，负责构建和维护自动化评估流程，涵盖通用能力、Agent 能力和角色扮演等维度。需熟悉主流评估基准和框架，精通 Python，并能部署模型进行批量推理和评估。加入我们，共同推动智能社交平台的发展。
工作内容
- 构建和维护自动化 LLM 评估流程，支持一键评估、历史对比和回归测试。
- 使用 MMLU、C-Eval、HumanEval 等基准进行通用能力评估。
- 进行 Agent 能力评估，包括 BFCL、τ-bench、GAIA 等基准。
- 设计并执行角色扮演评估框架，涵盖身份识别、多轮稳定性等指标。
- 记录和分析训练评估结果，进行对比分析和异常检测。
- 在预训练阶段定期进行中间评估，跟踪模型能力演进。
任职要求
- 计算机科学、人工智能或相关领域学士学位及以上。
- 熟悉主流 LLM 评估基准和框架，如 lm-eval-harness、OpenCompass、EvalPlus。
- 精通 Python，能独立构建评估流程，涵盖模型推理/部署、批量评估和结果分析。
- 熟悉 LLM 推理框架如 vLLM 和 SGLang，能部署模型进行批量推理和评估。
- 具备评估数据分析和可视化经验。
- 注重细节，严谨，确保评估结果的可重复性和可靠性。
公司介绍
英语介绍Details
UMELIFE is a groundbreaking intelligent social lifestyle platform. It use intelligent socialization, emotional companionship as the starting point, redefining the concept of close friends, and ushering in a whole new lifestyle in the era of intelligence. Utilizing AI technology, we offer users five functional modules including emotional socialization, entertainment games, news updates, dynamic posting, and intelligent price comparison, all closely related to daily life, providing people of all ages and genders with a fun-filled intelligent living experience. Our platform is backed by investment from Brightoil Group, a renowned entity specializing in energy and upstream oil and gas exploration.
华语介绍详情
UMELIFE 是一个开创性的智能社交生活方式平台。它以智能社交、情感陪伴为切入点，重新定义密友概念，引领智能时代全新生活方式。利用 AI 技术，我们为用户提供情感社交、娱乐游戏、新闻更新、动态发布和智能比价五大功能模块，与日常生活紧密相关，为各年龄段和性别的人群提供充满乐趣的智能生活体验。我们的平台由光汇集团投资，该集团专注于能源和上游油气勘探。
公司介绍为英文翻译，如有不准，请联系我们。
本页信息整理自公开来源，发布于 2026-10-02。