🧠
大模型为什么能「听懂人话」
它不是真懂，是把海量文本里的规律学成了下一句该怎么接。
先给结论大模型强在语言规律，弱在事实保证，这条边界要记牢。
先说清楚
语言模型通过预测下一个词来训练，规模变大后涌现出可用的对话与推理表现，这是理解它能力边界的起点。
语言模型通过预测下一个词来训练，规模变大后涌现出可用的对话与推理表现，这是理解它能力边界的起点。
- 训练目标很朴素：给定前文，猜下一个词
- 词被切成 token，模型算的是 token 之间的关系
- 参数里存的是统计规律，不是一本可查的百科
- 所以它会编出看起来很像、但并无出处的内容
- 上下文长度有限，聊太久前面的内容会被挤出去
- 让它给来源、自己再核一遍，是最实用的用法
再补一句
把它当会说话的线索清单，别当权威答案库。
把它当会说话的线索清单，别当权威答案库。
一句话小结
大模型强在语言规律，弱在事实保证，这条边界要记牢。
大模型强在语言规律，弱在事实保证，这条边界要记牢。