写程序，咱们习惯了确定、可复现性，所以始终不能彻底理解这个“涌现”，总是说不清道不明的
大家理解啥叫“涌现”吗？这个“涌现”到底是怎么来的？
也看了些文章，始终没彻底理解
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
 |
1
我理解的“涌现”就是我们人类没能发掘的文字上的统计学联系。导致从现象上，就像是 LLM“自我觉醒”一样，突破了统计学的历史过拟合。
比如阿尔法狗，是个纯的机器学习算法，从过去的机器学习理论中来讲，阿尔法狗的下法是一定不会突破他的学习资料的。 但实际与李世石的博弈中，阿尔法狗出各种怪招，李世石完全没法招架。 |
3 |
2
可能不准确，但是你可以想象一下当训练的数据量大到一定程度，训练使得模型内部自动形成一个包括大部分人类知识和习惯的结构，任何的问题对于模型来说都不是完全未知的，当你问问题，模型就像信手拈来一样能从他的结构里拿出来你想要的答案，这就是涌现。
|
 |
3
用小学生能理解的话来讲就是，训练的样本材料很多了，量变引起的质变
|
 |
4
水分子本身不“湿”，大量水分子成为“水”就涌现出“湿”
|
 |
znedyrk1 day ago
5
复杂的神经网络在宏观上表现出推理、语言理解、抽象等能力
|
 |
6
涌现最早定义的时候指的是大模型在 scaling 之后出现了在训练中从未训练过的处理某项任务的能力，所以才是“涌现”能力 / 智能
|
 |
7
不建议在 V2 讨论 AI 日常使用以外的 AI 话题。
你去问 gemini 都比问 V 友靠谱 |
 |
xiaojianghu1 day ago
9
量变引起质变
|
|
maolon1 day ago
10
|
 |
11
人脑就是涌现的典型案例。按照还原论，人脑也是一对原子的聚合物，每个原子的性质无外乎原子核电子等，但是无数原子聚合在一起，显示出单一原子从来没有的性质“意识”。意识就是大脑这个原子聚合物的涌现出来的性质。
|
 |
12
|
 |
dko1 day ago
13
|
 |
14
@strobber16
你说的太对了。论坛确实只适合吹牛逼，大部分讨论起来都是漏洞百出。 涌现本来也没什么确切的根因，它只是一种现象。 AI 炼丹师在训练大模型的时候，发现参数小的时候，训练 loss 怎么都下不去，模型学不到东西。但是当参数大到一定程度的时候，突然就能学会了，loss 急剧下降。 具体什么原因都是一些猜测分析，比如彩票假说，当你模型参数量大到一定程度的时候，内部存在多种结构，就像多张彩票，总有一张是能中奖的，也就是 loss 沿着这个计算路径能够下降。这只是其中一种，但是也有很多反对的意见。 总的来说就是，直接带着问题问 AI 就行了，比在论坛瞎吹牛逼靠谱多了。 |
 |
zuokanyunqishi1 day ago
15
结构 + 算法 + 量变 -> 质变()
|
 |
weilongs1 day ago
16
生物、动物, 那么多细胞的结合、协作也是涌现吧.
|
 |
szdosar1 day ago
17
量变积累发生质变。
|
 |
cheap1 day ago
18
你天天看美剧 看外国博主旅游视频,突然有一天你发现没有字幕你能懂其中的内容了
|
 |
MagicalCarl1 day ago
19
：嗯，这只是简单的加法、乘法和求导，拟合一个函数，插值预测，一切都说得通
（改了一种架构） ：嗯，它居然会预测下一个出现的字的概率，只是简单的数学统计罢了 （增加了亿点参数） ：卧槽怎么这么聪明了，什么原理，一切都说不通了 “涌现” |
 |
realJamespond1 day ago
20
涌现概率就是按人的意愿出现的方向的概率
|
 |
molvqingtai1 day ago
21
就像蚂蚁蜜蜂一样，个体智能并不高，但是组成群体之后就涌现出了群体智能
|
 |
zackkk1 day ago
22
就像你生活了几十年，问你学大学了什么，去年经历了什么，你一下子说不出来。 但让你讲一个什么事情，你却能讲得头头是道。 你学过的东西，顺着你的思维流到嘴边，涌现出来，变成语言。
|
 |
jinsongzhaocn1 day ago
23
涌现也会进化。解决一个问题需要 5 个知识，掌握了 4 个就不能涌现。所以回到古代，小学生就能涌现，现代就需要大学生，未来得靠 AI 。
|
 |
crackhopper1 day ago
24
好古早的术语，哈哈。我个人理解：模型玩文字接龙的时候，越来越六（仅仅是模型变大，就变六了）。随后突然表现出了有“智能”的感觉（关键是没人可以严格定义什么是智能，看起来像是 因为可以接龙更长，捕获了文字的统计关系，进而建立了概念的链接；最最重要的是，随着可以连接的概念越来越多，chain 越来越长，表现开始接近人类）
|
 |
ijammy1 day ago
25
可以看一下凯文凯利的《失控》
|
 |
iApp1 day ago
26
人学知识开窍了,你觉得人从小到大学进脑子的到底是什么
|
 |
27
这个词我最开始听的时候还是在游戏设计里,即“涌现式设计”：
创建几个简单的底层规则或系统相互交织、作用，在宏观层面上演化出开发者并未直接编写、却自然而然产生的新特性、新行为或新体验。 再通俗一点，就是要设计可能性与规则的框架，而不是做预设结局与体验。这样玩家就能创造出连开发者都惊叹的游戏体验。 举个例子：游戏里常见的“点燃”，一般的游戏会让怪物具备“点燃”特性来制造伤害，但赛尔达把“点燃”作为基本的物理规则，即可以通过火焰点燃所有物品，再进一步，不仅能点燃，还会产生“热量”，加上“风力”，就出现了“上升气流”等等....利用这个简单又合理的物理框架，能做出许多意想不到的动作。 |
 |
passion3366991 day ago
28
读书百遍其义自见的感觉吗...
|
 |
cenbiq1 day ago
29
“涌现”就是一堆微观原子的东西聚在一起，因为互相之间的关联而自然产生了某种原本不存在的宏观功能，背后可能透露着数学对微观和宏观的关系起到映射作用，个人理解
|
 |
ion1ze1 day ago
30
awake 悟了
|
 |
capCoco1 day ago
31
就像蜂群算法，每个蜜蜂自己的逻辑都很简单，但整个蜂群会表现出智能
|
 |
zthxxx1 day ago
32
https://arxiv.org/abs/2304.15004
“ 不少所谓的涌现现象，其实来自评估指标的选择问题 ... 模型的能力随着参数量一直在逐步提高，但如果用 Exact Match （完全答对才给分，否则一律 0 分）的方式评估，能力的渐进增长就会被隐藏，直到跨过某个门槛，看上去才像突然学会了某项技能 ... ” |
 |
lizongwu1 day ago
33
大力出奇迹
|
 |
archxm1 day ago
34
实际上吧，就是老中医话术，仅此而已。
狗屁涌现！ |
 |
QS0x011 day ago
36
训练集里没有包含的数据，但是在推理时表现得意外不错
|
 |
doudouisamomo1 day ago
37
@jacketma 解答完全错误
|
 |
awfe1 day ago
38
“顿悟”
|
 |
curiohuang1 day ago
39
游戏行业这个概念用得很广泛啊，暗黑 4 里三哥程序员写的屎山代码最能证明这个了，毫不相关的几个内容在某个 BUG 的穿针引线下成为了某个赛季的妙妙机制……
|
 |
CHTRCT1 day ago
40
涌现这个词是人类定义的，可以改变定义，可以语义漂移
|
 |
momocraft1 day ago
41
涌现是现象，不是理解
|
 |
paopjian1 day ago
42
GPT 1->2 不断叠加模型参数, 获得的也只是一个会完形填空的机器, 然而某一天, 训练到了 GPT3 规模, 模型突然会自己接着回答了,还具有了长对话能力, 这就是涌现
|
 |
Kaisar1 day ago
43
也许你应该看看这个
|
 |
r791351 day ago
44
这个词我最早听到其实是在塞尔达王国之泪这个游戏里面，而且我觉得非常贴切，这个游戏提供了基础的能力，然后玩家涌现出了千奇百怪的海量的玩法
类比到 AI 应该就是你提供基础的工具，AI 可以涌现出各种各样的能力之类的吧 |
 |
MindMindMax1 day ago
45
涌现（ Emergence ） 在大模型语境中的标准定义来自 Emergent Abilities of Large Language Models （ Jason Wei 等，Google Brain & DeepMind ，2022 ）
是一个人为定义的词："An ability is emergent if it is not present in smaller models but is present in larger models." —— 小模型中不存在、但大模型中突然出现的能力。 |
|
jacketma1 day ago via Android
46
@doudouisamomo 欢迎指正，哪里不对了？
|
 |
47
涌现就是 P 的 N 次方
假设解决一个问题需要解决 N 个子问题，每个子问题解决成功率为 P 当智能提升，P 从 0 -> 1 的过程，就能看到“涌现”的曲线，问题从无法解决突然变的可以解决了 |
 |
yisheyuanzhang1 day ago
48
量变产生质变
|
 |
SunShare1 day ago
49
个人理解是量变到质变的一个过渡点。
毕竟人类文明历史才 20 万多年，掌握的知识在“短暂”时间内，可以被模型“学习”完，届时会产生新知识（至少人类还掌握） |
 |
wanei1 day ago
50
我的理解是参数越多，联系的点也多，组合出有意义的概率变大，组合的角度更多更让人想不到。表现出来的就是更强更意外的能力。
|
 |
canyue78971 day ago
51
训练过大模型的都知道，大模型的智能同训练的过程并不是线性关系。刚开始训练的时候，大模型完全不懂任何的事情，回答的也是乱七八糟，但是到了训练到一个点的时候的话，模型就突然涌现出智能，这个智能就是突然就出现了，在这个点之前的话，没有任何的智能可言。
|
|
doudouisamomo10h 28m ago
52
@jacketma #46 方向错了，你直接用原子堆积来解答是不对的，脑是有功能和分区的，其实神经网络对脑功能的模拟还是挺贴近的。
首先是脑有很多类型的神经元，胶质细胞，在电生理学上，一个神经元可以接受和释放信号，信号有+/-两种，一个神经元可以对多个神经元释放和接受信号，一群神经元的共同释放会形成同步，从而放大信号等等。 每个解剖区对应着功能区，结构决定功能，每个区内有特定的排布和神经/胶质细胞组成，相当于一个模块，不痛模块直接可以进行通信，它是动态的，也有可能不同功能，比如视觉触觉运动等功能各自有一个串的模块组。 训练就是接受外界刺激（从感官），结果是导致神经元微调（可塑性），改变释放的信号强弱，频率等，还可以新增，减少神经元。 得到反馈就是接受刺激（从感官），经过内部模块解读，得出一个统一的信号值。 大概应该是这样。它不是无序的原子堆积，而是先形成有序的结构，再有功能。 结构决定功能，是生物/化学通用的道理。 |
 |
VeteranCat9h 53m ago
53
所谓涌现，只不过不断往里面增加新材料，新知识。直到出现一个临界点，即测试集结果既不会过拟合，又足够泛用。
至于智能，不是，真炼丹的还搞不懂所谓智能是怎么回事？ |
 |
ebony03199h 24m ago
54
一堆谷子，每次拿一走一粒，你说还是一堆谷子，那我不停地拿，请问在拿到什么时候突然变成了不是一堆谷子？
|
 |
luchengdst8h 58m ago
55
涌现指的是大模型出现了能回答不在训练语料里的问题
|
 |
goojia8h 23m ago
56
涌现不是大模型特有的现象。
想到一个有趣的梗，《一群男人在一起时会自动生成一个点子王！》这也是一种涌现吧。 |
 |
autumncry8h 19m ago
57
B 站有一个用 ai 生成的讲“涌现”的视频，我觉着讲挺好，分享给你
[《涌现 · 无人指挥》-哔哩哔哩] https://b23.tv/7sBGGVe |
Select Language