把长文章画成图——每篇一张,图为主,文为辅。
loss 随参数、数据、计算呈幂律——OpenAI 2020 这篇论文第一次把「模型能变多强」变成可预测的曲线。三条基本幂律的元素周期表、算力十亿倍该怎么花、过拟合的 N^0.74/D 边界、「收敛是低效的」资源账,以及一个常被遗忘的推论:自然语言的熵猜想。
→Stanford CS336 开篇讲座两个最值得「画」的概念:Scaling Laws(Kaplan vs Chinchilla、IsoFLOP 的 U 形曲线、scaling recipe)与 BPE Tokenizer(四方案在词汇表×压缩比平面的位置、迭代合并算法)。
→熄灯工厂(没人读代码)为什么行不通——再多的循环也抬不动天花板:好设计没有快速 oracle,RL 奖励不到它。从 RL 奖励的一维性、时间尺度错配,到四阶段前置规划的解药。
→agent 打破了"程序员停→编程停"的同步假设。把循环放进持久控制平面、把机器降级为工具,loop 即可 serverless——可用性、韧性、可扩展、效率自然落地。控制平面你也应该能拥有。
→跨公司协作的基本单元从「一个人」变成「一个人 + ta 的 agent」。Raft 的 joint channel 让两个组织共享一个房间,房间里坐着双方的人和双方的 agent——单一规范会话 + 本地投影,边界即产品。
→AGENTS.md 不再只指导 coding——现在还能指导审查。把团队隐性知识编码为可引用、可 scope 的 review 指令。
→同一个「随机数 1–100」prompt,四个模型交出四种截然不同却各自稳定的答案分布。把 LLM「答不准随机数」这个缺陷当成取证信号——一个 token 就能指纹化、归类谱系、审计 API 端点。
→你在一个角色上玩了 100 小时——这个角色是什么?不是主机、不是手柄,是存档文件。AI agent 正在撞上同一个拐点:agent 是它的 durable 事件历史,不是跑它的进程。主机起火→存档存活→新主机接续,与 worker 崩→log 存活→新 worker 重建同构。由此掉出五个性质和一个锁入论证——谁拥有 log,谁就拥有 agent。
→每篇讲解页头部链向原始来源 URL,可追溯原文。