写在最前：

• 小乙老师简介：AI-GPU-k8s运维开发专家
• 目前看机会，有机器学习平台岗位或者需求联系我 mxy1875
• 以下的内容都只是 <小乙老师机器学习平台运维开发课程的一小部分> : 课程在抖音账号<小乙运维杂货铺>中，购买后赠送前后端代码

• 问下deepseek什么是机器学习平台

• 01: 数据准备与管理可以理解为：为模型训练准备数据，比如自动驾驶中依赖的数据采集标注等等，其中最主要的是触发工作流cpu/gpu数据处理任务
• 02: 模型开发: 其实就是适配主流的训练框架，提供开发机环境
• 03: 训练与优化: 这点最核心，是通过平台创建训练任务，到一个具体的k8s集群上运行pod，在gpu节点上进行AI训练
• 04: 模型部署: 其实就是交付，可以理解为模型二进制如何一键部署到在线集群跑推理任务
• 05: 持续学习: 就是一些版本管理等后续流程

• 总的来说需要一个平台：
• 底层管理多个云，多个线下IDC的算力资源（注意算力不单指GPU还有CPU异构BPU等）
• 上层给让用户可以申请开发机、提交数据处理、提交多机训练的任务

• 多集群，多云，多IDC
• 集群页面需要展示 node/cpu/mem/gpu等资源分配情况
• 通过prometheus-record需要提供多集群的持久监控如资源分配率、使用率等

• 多队列列表展示
• 所谓队列核心就是资源的分割、节点池定向调度、人员和群组权限
• 队列的核心代码怎么写又是个问题，要思考的地方很多，不会写来找我啊

• 这点开发起来大同小异：无非就是场景的几种加上内部特定逻辑：比如gpu资源闲置被kill

- Queuing 队列资源排队
- Pending 过了队列排队到所有podready前的状态（这里仍然可能是没资源，没有经过gang调度）
- Succeeded 任务正常结束
- Failed 任务异常退出
- Terminated 任务异常退出
- Completed 任务结束可能是正常或者异常
- Running 正常运行
- killed  被kill组件
- killed-by-user 被用户主动kill
- zero-gpu-kill 因为gpu零利用率被kill

• 机器学习平台有哪些核心对象任务状态展示

• 机器学习平台有哪些核心对象-其实必须要依赖k8s的informer，展示下部分代码
• 

• 
• 开发机器学习平台需要你对volcano底层代码有较深的理解

• 任务-pod的关联关系如何设计，特别是对于20机160卡这种上量的pytorch多机训练任务
• 

• 这玩意的应用场景主要有两块 gpu开发机和在线推理任务
• 这些场景的特点就是长期占用1张卡浪费资源
• 如果1虚4，那么相当于多买了3倍的gpu节点
• 
• 提交开发机

解决思路：
- 开发一个纠正组件，在用户提交任务的时候根据历史真实使用值进行调整
什么是历史真实使用值
- 这里有个假定：用户周期性提交的任务资源利用率是相似的
- 我们可以计算作业的真实使用值，并且抽取信息持久化保存下来
cpu和内存资源如何计算：使用 agg_over_time横向聚合
- cpu计算逻辑，85-95 10个分位值的平均值
- 内存计算逻辑， max值 +上浮10% 避免oom
当前提交作业如何跟历史作业关联起来
- 可以根据多种方式
  - 提交人
  - 任务标签
  - 任务名称
- 目前采用任务名称计算: 前缀匹配，找到最相近的那个job

需求
1. 一个队列中区分高低优先级任务
2. 不能影响到队列外部
  1. 当队列中没有资源：已经有queuing任务时，默认按照入队时间调度
  2. 高优任务会优先调度
3. 当高优胖任务和低优瘦任务同时存在，且队列资源满足瘦任务：低优瘦任务被调度

优先级不能被滥用！！！
1. 滥用后果，没加优先级任务长期处于饥饿状态

• 上述功能只是一小部分
• 最近看机会 AI-GPU-K8s-机器学习，联系我
• 有需要完整机器学习平台go+volcano+vue运维开发代码和课程的也可以联系我