EP07 · 学习层：强化学习、探索利用与持续学习

一句话概要：学习层是智能体的新陈代谢——个体靠探索利用配比与奖励设计变强，群体靠差分奖励与纳什均衡协作竞合，时间维度上靠四条抗遗忘关口与三条知识更新路线延续生命。 时长见文末声明 ｜ 素材锚点：单58、单12、单3、单41、单32、多18、单53、多10 ｜ 所属：第一季·核心范式

一、知识框架

本集是题库中锚点最密的一集（8 题），分四个战场：

1. 个体怎么变强：探索与利用的困境——多臂赌博机算法优化的核心是动作选择策略（单58）；策略跑偏先查奖励函数，层数/维度/频率都是后话（单12）。
2. 群体怎么协作：信用分配的经典方法是差分奖励机制，看边际贡献（单3）；竞合场景用纳什均衡分析策略稳定性——谁单方面改策略谁吃亏的局面才稳（单41）。
3. 时间维度怎么延续：持续学习的主敌是灾难性遗忘（单32）；技术挑战四关——遗忘、新旧冲突、增量存储、版本管理（多18）；电源续航是硬件指标，又一次混进软件问题。
4. 知识更新走哪几条路：关键技术是在线学习，数据流一边来一边学（单53）；三条路线是在线增量、RAG 检索增强、定期全量微调（多10）；硬编码与重置让学习停摆，不管多省事都是错的。

二、题面锚点

单选 58：智能体在探索-利用困境中，多臂赌博机算法用于优化()

A. 计算资源分配　B. 动作选择策略　C. 状态空间划分　D. 通信带宽管理

单选 12：智能体在游戏测试中陷入局部最优，应优先调整()

A. 奖励函数设计　B. 神经网络层数　C. 状态空间维度　D. 动作采样频率

单选 3：多智能体协作系统中，解决信用分配问题的经典方法是()

A. 独立 Q 学习　B. 中心化训练与分布式执行　C. 差分奖励机制　D. 硬编码协作规则

单选 41：多智能体竞合场景中，纳什均衡用于分析()

A. 通信带宽需求　B. 策略稳定性　C. 模型收敛速度　D. 计算资源分配

单选 32：智能体需要持续学习新技能，需克服的主要挑战是()

A. 计算资源不足　B. 灾难性遗忘　C. 奖励函数稀疏　D. 状态空间爆炸

多选 18：智能体的持续学习技术挑战包括()

A. 灾难性遗忘　B. 新旧知识冲突　C. 增量数据存储　D. 模型版本管理　E. 电源续航时间

单选 53：实现智能体自主知识更新的关键技术是()

A. 主动学习　B. 迁移学习　C. 在线学习　D. 联邦学习

多选 10：实现智能体知识更新的技术路线包括()

A. 在线增量学习　B. RAG 检索增强　C. 定期全量微调　D. 人工规则硬编码　E. 重置初始状态

三、答案要点讲透

单选 58 答案：B（动作选择策略）

• 为什么是它：探索-利用困境=一排出奖率未知的老虎机、硬币有限，试新的还是吃老的。多臂赌博机算法专治这个困境：先每台试几轮攒估计，然后大多时候拉当前估计最优、偶尔试探没怎么试过的；估计随数据滚动更新，试得越多久估得越准。它回答的核心问题正是每一步该动哪个。
• A 计算资源分配 / C 状态空间划分 / D 通信带宽管理为什么错：回答的都是系统别处的问题，没有一个回答下一步该动哪个——考的是对算法岗位职责的识别。

单选 12 答案：A（奖励函数设计）

• 为什么是它：局部最优=智能体学会一招能拿分就再也不换招（如躲角落放冷枪），钻在小山包上蹲着。奖励是一切行为的指挥棒：只奖中间分不奖最终胜负、只奖速度不奖质量，策略就奔着缺陷跑。智能体还是钻空子高手——奖励写得歪，它就长出歪招。想让战术多样，先查奖励是否只奖了单一打法。
• B 神经网络层数为什么错：容量问题，方向没错加层数只是记得更牢，偏照偏。
• C 状态空间维度为什么错：问题定义，改它等于换一道题，不是解这道题。
• D 动作采样频率为什么错：执行快慢，跟往哪走没关系。总判据：策略跑偏先查目标定义，再查模型与执行，顺序不能反。

单选 3 答案：C（差分奖励机制）

• 为什么是它：信用分配=团队共享奖励下切分功劳。差分奖励看边际贡献：把某成员换成团队平均水平，团队收益掉多少——掉得多越不可替代、功劳越大。直白、可算、不依赖人工标注，故称经典方法。
• A 独立 Q 学习为什么错：各学各的、不管队友，团队任务里互相踩脚，协作崩。
• B 中心化训练与分布式执行为什么错：是训练架构（训练集中信息、执行各自为战），没回答功劳怎么切——最像对的混淆项。
• D 硬编码协作规则为什么错：分工写死、系统不学，违背多智能体学习本意。

单选 41 答案：B（策略稳定性）

• 为什么是它：竞合=既竞争又合作（抢份额又共建标准）。纳什均衡=谁单单方面改策略都占不到便宜、谁改谁亏于是谁都不动的局面；用来分析策略稳不稳——落在均衡附近，策略才有可预期性。价格战僵局即均衡；个人理性叠加可能出集体糟糕（经典审讯场景），所以必须分析均衡。
• A 通信带宽需求 / C 模型收敛速度 / D 计算资源分配为什么错：都是工程问题，不回答局面稳不稳。

单选 32 答案：B（灾难性遗忘）

• 为什么是它：灾难性遗忘=学了新的忘了旧的，且是一轮忘干净而非慢慢淡忘（新数据一训，旧权重被冲掉）。应对思路：定期回放旧数据防手生，或把新能力的参数与旧能力隔离。
• A 计算资源不足 / C 奖励函数稀疏 / D 状态空间爆炸为什么错：都是学习中的真实困难，但题库认定的「主要挑战」是遗忘——持续学习这个名字要克服的就是它。

多选 18 答案：A、B、C、D（E 不选）

• A 灾难性遗忘 / B 新旧知识冲突：前者忘旧，后者是旧经验与新证据打架（去年规律今年数据说它过时，信哪个）。
• C 增量数据存储：数据源源不断，存哪、怎么索引、历史留多久。
• D 模型版本管理：每学一轮一个版本，线上跑哪个、怎么回滚、新旧怎么灰度。
• E 电源续航时间为什么不选：硬件指标混进软件问题——与记忆集中「电池电量不进状态管理」「外壳温度不进记忆机制」同一错误：把设备身上的表当成脑子里的账。

单选 53 答案：C（在线学习）

• 为什么是它：在线学习=数据流一边来一边学，不等谁攒一批，不依赖人工定期触发重训，系统自己持续更新。自主知识更新的关键就在这个节奏上。代价是要配齐抗遗忘手段。
• A 主动学习 / B 迁移学习 / D 联邦学习为什么错：三者都是真实技术，但回答的不是「持续自主更新」这个关键词——主动学习挑数据学、迁移学习搬旧经验、联邦学习跨机构协作训，均非在线持续更新的主线。

多选 10 答案：A、B、C（D、E 不选）

• A 在线增量学习：流式持续喂，快，但要防遗忘，需配抗遗忘手段。
• B RAG 检索增强：模型不动，用时去外部知识库检索喂给模型；最轻量（更新知识库即可），但依赖检索质量——库里没有、检索不到，再强的模型也白搭。
• C 定期全量微调：隔段时间拿新旧数据完整重训，最彻底也最贵，需版本管理与回滚兜底。工程常态是混用：日常增量加检索兜底，定期全量做校准。
• D 人工规则硬编码为什么不选：知识固化在写死的条件里，系统不学习，与「知识更新」反义。
• E 重置初始状态为什么不选：把学到的全清零，是反学习。底线认知：知识更新的前提是系统还在学，一切让学习停摆的选项不管多省事都是错的。

四、延伸思考

1. 奖励设计是智能体产品经理的核心手艺：单12 的判据（跑偏先查奖励）可以推广成一条工作流——策略行为不符合预期时，先复盘奖励函数是否在奖励错误的东西，再查模型与执行。钻空子是智能体的天赋：凡可量化的指标都会被最大化，设计指标时就要想清楚它会被怎么钻。
2. 信用分配决定多智能体的天花板：差分奖励的思路（边际贡献）不只用于强化学习——工程上评估微服务团队、推荐系统里多个策略模块的贡献，本质都是信用分配。分不公的群体，协作一定崩。
3. 与语音链路测试的连接（作者实践注脚）：学习层的「局部最优」在测试域有镜像——自动化测试跑久了会发现通过率虚高，因为用例被系统摸透（等价类覆盖停在舒适区）；对策同样是改「奖励」：用例生成策略要奖励新路径覆盖，而不是只奖励通过率。
4. 三条知识更新路线的组合拳：本集多选 10 的三条路线不是三选一：检索增强管时效（新知识当天进库）、在线增量管持续（日常数据持续吸收）、定期全量管校准（周期性彻底重训）。工程上按知识类型分层——事实性知识走检索、行为偏好走增量、能力短板走全量。

五、术语表

*本集音频：ep07-学习层.mp3 ｜ 下一集：EP08 知识与推理：提示工程、RAG 与自我反思*