SLM are the future of Agentic AI

Multi-Agent-Scaling

main idea: 研究多个弱agent 通过 分配角色 和 优化结构联合起来 能够超越单一强agent？

main targets:

1. 分配角色：LLM给不同的弱agent定制profile：更细化的分配？不同的mathsolver；
2. 优化结构：LLM文本+效用优化 改善结构

workflow → 更好的plan任务；侧重divide & conqure来把复杂任务划分成简单任务；

multi-agents的senarios? how to orginize? 这个scaling是怎么的？

来源：大的模型要兼顾其他能力，小模型钻研某个方向的能力，是否能超过大的？

能力是有分类的：长文本、推理、指令遵循； math+code的任务？【不是最好的】 要找需要多种能力耦合的任务：math + 指令遵循；

面向任务？ 或者统一，要把能力划分好；

structure是可以被优化的！需要哪些能力 是可以优化的吗？

two paths:

1. inference only → rethinking 不够公平？

   单个小agent
   固定的structure 多个小agent
   （Star， Debate，Chain….）
   Swarm, Dropout,
   单个大的（若干）
   (Ours maybe)

2. 训多个小模型，让他们术业有专攻，联合起来比单个大的好； 本质是model merge；感觉更有用，更容易被接受； 一定要训吗？不可以直接选吗？