← 返回系列首页

EP20 · AI 通识:有监督与无监督两种范式

总时长 12:48 · 段数 7 · 净字 3865 · 字幕 120 条
播完后
开场有监督学习,先有答案再学规律无监督学习,没有答案找结构分水岭在标签,更在目标中间的灰色地带怎么选,看问题不看热闹这一集带走的判断

EP20 · AI 通识:有监督与无监督两种范式

一句话概要:有监督学习用带标签的数据训练模型、目标是预测输出,无监督学习用无标签数据、目标是发现数据的内在结构——表层区别是标签,本质区别是目标。 素材锚点:实操 5 | 所属:第三季·通识与治理

一、知识框架

本集是第三季开篇,讲机器学习最根本的分岔口,为后续推荐系统、人脸识别等集打底。

  1. 有监督学习:用带标签的数据训练模型,目标是预测输出(实操 5)。三个部件是带标签数据、训练逼近、预测输出;实例是垃圾邮件过滤(输入邮件特征,输出是否为垃圾邮件)。
  2. 无监督学习:用无标签数据,目标是发现数据的内在结构(实操 5)。它不是低配版有监督,而是另一套世界观——不问新样本的答案,问数据本身怎么组织;实例是客户分群(按购买行为聚类,无预定义类别)。
  3. 分水岭:表层区别是有没有标签,本质区别是目标。标签的成本结构(贵、慢、主观)决定了两者的根本权衡——有监督学得准但学得贵,无监督学得便宜但学得模糊。
  4. 灰色地带:半监督学习(少量标签加大量无标签)与自监督学习(从数据自身构造标签,大模型预训练主路);强化学习不属于这两类,它学的是决策。
  5. 选型顺序:目标、标签、规模、标准答案——风控质检用有监督,用户画像用无监督,工具和任务错配是用筛子筛水。

二、题面锚点

实操 5:简述有监督学习与无监督学习的区别,并各举一个应用实例。

三、答案讲透

实操 5 参考答案:区别:有监督学习使用带标签的数据训练模型,目标是预测输出;无监督学习使用无标签数据,目标是发现数据内在结构。有监督实例:垃圾邮件过滤(输入邮件特征,输出是否为垃圾邮件)。无监督实例:客户分群(根据购买行为将客户聚类,无预定义类别)。

有监督学习拆成三个部件:带标签数据(每笔数据带标准答案,如邮件的垃圾或正常)、训练(模型反复看带答案的例题,调参数让预测逼近标准答案)、预测输出(新样本给出判断)。垃圾邮件过滤适合有监督的三个条件是答案明确(二元对立)、历史积累充足(邮件日志里躺着几亿封已判定邮件)、反馈闭环短(用户点一下标记,新标签数据就产生,模型可持续迭代)。

无监督学习要纠正一个误解——它不是没钱标注时的将就,而是另一套世界观:有监督问「这个新样本的答案是什么」,无监督问「这批数据本身是怎么组织的」,一个向外预测、一个向内观察,没有高下之分。客户分群的价值在差异化运营:母婴人群推奶粉、数码人群推新品预售、价格敏感人群发满减券,没有分群则所有人收到一样的推送,钱花不少、转化惨淡。无监督在这里是探照灯,不直接给答案,照亮结构让人自己决策。

两者的真正分水岭是目标而非标签:同一份用户购买行为数据,已标注流失与否就是有监督(预测下一个用户会不会流失),未标注就是无监督(看用户能分成哪几群)——数据一样,目标不同,范式不同。标签的成本结构(人工标注贵、慢、有主观性)决定了根本权衡:有监督学得准但学得贵,无监督学得便宜但学得模糊(无标准答案,效果缺客观标尺,靠业务经验事后验证)。

四、延伸思考

  1. 自监督是绕开标注的暗线:从数据自身构造标签(挖词猜词),大语言模型预训练的主路。它名义上属无监督家族,实质是用无监督的数据喂出了有监督的预测能力——理解这一点,才能理解大模型为什么吃海量文本就能长本事。
  2. 第三季后续集的范式归属:下一集推荐系统,协同过滤靠用户行为相似度、本质上更靠近无监督的结构发现,基于内容推荐靠特征匹配、更靠近有监督的预测;人脸识别的四步链路里,特征提取之后的匹配环节,也是有监督与检索技术的结合。两种范式是后面每一集的底座。
  3. 标注质量是被低估的工程瓶颈:有监督的贵不只是钱,更是主观性——不同专家标同一批医学影像,结论可能不一致。EP14 评估体系讲的指标,EP15 讲的数据偏差,在这里都能落地,标注规范本身就是风控的一环。
  4. 别把强化学习混进来:有监督学映射,无监督学结构,强化学习学决策。三者分工不同,选型时张冠李戴是最常见的错误(呼应 EP07 探索利用与 EP06 规划层)。

五、术语表

白话术语一句话解释
标准答案标签带标签数据里每笔数据的已知答案
先有答案再学规律有监督学习带标签训练,目标是预测输出
没有答案找结构无监督学习无标签数据,目标是发现内在结构
数据自己长出的类别聚类客户分群这类无预定义类别的归类
自己给自己出题自监督学习从数据自身构造标签,大模型预训练主路
一半标注一半白嫖半监督学习少量标签加大量无标签的折中路线
学决策的那一家强化学习靠环境奖励试错,目标是学策略不是学结构