机器学习系统工程师，ML加速

岗位介绍

我们正在寻找一名机器学习系统工程师加入ML加速团队。您将负责核心系统，使研究人员能够大规模训练前沿模型，并专注于速度、成本、可靠性和吞吐量。您将在机器学习研究与高性能系统工程的交叉领域工作，直接影响我们扩展大规模分布式模型训练的能力，并缩短下一代模型的收敛时间。

工作内容

• 性能分析与优化：使用Nsight、PyTorch Profiler等工具识别数据加载、梯度计算和通信中的瓶颈，实施内核融合、分片和分块等优化以改善步长时间。
• 分布式训练：使用PyTorch Distributed等框架优化分布式训练管道。
• 内核开发：为最先进的机器学习工作负载设计并维护高性能GPU内核，使用Triton或CUDA。
• 数据管道工程：优化稳健的数据加载管道，最大化训练吞吐量。

任职要求

• 学历：计算机科学、计算机工程或相关技术领域的学士、硕士或博士学位。
• 软件工程：精通Python。
• 机器学习框架：具有丰富的PyTorch实践经验。
• 机器学习知识：具有优化训练和推理过程中机器学习模型执行的经验，并对基本机器学习概念、架构和流程有深入理解。
• 问题解决：出色的分析和解决问题的能力，注重行动，以数据驱动的方法应对技术挑战。