AI辅助编写

经常能看到AI指数级增长的新闻，但是AI真能永远指数级增长吗？还是说只是短暂的

1 大语言模型LLM

1.1 缩放定律

首先我们都知道芯片算力现在仍是指数增长的，物理上大语言模型是建立在芯片上的，但这并不意味着大语言模型就能够指数增长。
大语言模型的模型性能是受限于缩放定律的，随着模型规模，数据规模，计算量的增加，每单位模型规模，数据规模，计算量带来的性能增加是会递减的。

来源：OpenAI论文《Scaling Laws for Neural Language Models》 https://arxiv.org/abs/2001.08361

1.2 关联性模型

LLM的训练目标是最大化给定上下文下下一个token的条件概率，即学习 P(xt∣x

1.3 输入输出是离散的

大语言模型的输入输出是粗粒度离散的 token，而人的感知—动作系统是连续物理量加闭环反馈的混合体；这使 LLM 在连续量表达和实时闭环控制上存在结构性劣势。

1.4 多模态

大语言模型的模态只有语言一种，这就会意味着大语言模型很难有时间观念，也不能用多个模态的数据进行交叉验证提升知识的可信度。而人获取到的数据是多个模态的，看到苹果是红的、摸到是硬的、尝到是甜的、听到别人叫它"苹果"，多模态互证形成稳固概念。人获取的数据是多模态的，相比 LLM 的数据或许也并不小

1.5 主动学习

大语言模型并不能主动学习，它也不知道自己要学什么来提升自己

1.6 涌现

涌现”作为一个描述性现象部分可信，但作为一个强理论主张（规模到阈值能力突变）目前高度存疑。学界分歧的核心不在于“大模型确实做到了小模型做不到的事”，而在于这种差异是真实的质变，还是度量方式制造的错觉。

2 代码 Agent

2.1 运行时与系统直觉

运行时数据是可以被 agent 采集的：性能剖析器、内存快照、并发追踪、崩溃日志、分布式 trace、CI 反馈、线上监控。Agent 完全可以拿到这些数据，甚至比人拿得更全、更连续。人踩一次坑，那个经验会改变人的先验结构——下次看到类似模式，"不对劲"感会自动冒出来。这是经验压缩进身体/直觉的过程，不需要每次重新推理。

2.2 权衡

抽象 vs 简单、性能 vs 可读、复用 vs 解耦、现在快 vs 以后好维护。这些没有唯一正确答案，依赖情境、团队、阶段、约束。人能权衡并承担后果，

3 具身智能

3.1 开放环境的不可穷举性

真实世界的物体、光照、材质、遮挡关系近乎无限，训练数据难以覆盖所有场景。模型在实验室表现良好，一到非结构化环境（如家庭、街道）就容易失效

3.2 长尾问题突出

罕见物体、异常事件（如地面湿滑、透明物体）的处理能力弱，而这类情况恰恰是安全关键场景。