Agent 任务中:重复性、专业性的子任务;LLM:大炮射蚊子; SLM: 只要够专业,就发挥灵活经济的优点;

灵活经济:小规模的数据和GPU资源就可以快速微调得到完成子任务的能力; 也有更多的参数利用率(MoE的LLM推理时大量参数并没有被激活);

image.png

SLM努力的方向:

  1. 硬件优化;
  2. Agent 任务设计

记录当前大模型的运行数据、资源占用和请求特征 (使用模式); 【记录工厂流水线的运行流程】

请求类型和任务结构 → 识别常见子任务;【分析出岗位需求】

选择合适的小模型 迅速微调后用于子任务;【针对岗位,对普通员工进行快速培训】

但是小模型功能不够丰富、性能不够稳定;

更适合稳定的、重复性高的任务;