一句话钩子,不是视频标题
技能每次都读了,46 次里一次步骤都没照做;没点名的技能,有的外壳 30 轮一次都没打开。
来源
公开仓 README 与发现文件 https://github.com/garrytan/g-harness-evals ;关键发现 https://github.com/garrytan/g-harness-evals/blob/main/findings/2026-11-02-opus-gstack-steps-not-followed.md 、https://github.com/garrytan/g-harness-evals/blob/main/findings/rule-placement/README.md (完整报告指向 docs/benchmarks/2026-11-07-h10-instruction-placement/report.md)。Garry Tan 11/8 左右的 X 原帖本轮未作为数字来源,数字以仓内一手为准。
公开日
仓创建 2026-11-05 19:06 UTC(Asia/Shanghai 11/06 03:06);「读了不照做」发现标注 2026-11-02,11/03 有补测;规则放置报告窗口为 2026-11-07。仓后来仍有提交,最近一次推送 2026-11-14 16:26 UTC(Asia/Shanghai 11/15 00:26),主要是导出/校验类提交,不把钩子本身当成 11/14 的新实验。
素材类型
知名 AI KOL / 开源评测仓(开发集自测,不是大规模对照实验)
适不适合拍
适合拍成短讲解片。钩子能在前几秒站住,也有能上屏的数字,长度收在约 25–30 秒讲得清。
只做备选的原因
形态最像这个号吃香的那类——硬钩 + 反直觉机制(跟「记了 413 个文件、只拿到 1 枚徽章」同一路),程序员也用得上,收藏和评论都可能留下去。但核心 0/46 是 11 月初的三次未预注册检查,题目对 Opus 偏易;作者在管 YC,被测的 gstack / gbrain 是他自己的项目,披露负担重;新鲜度也偏弱。我没把握放到更推。
核过的数字(都来自本轮打开的 README / 发现文件)
告诉模型去跑 gstack 的 /investigate、/qa、/review 或 /ship 时,Claude Opus 5.5 每次都加载了技能文本,46 次 gstack 会话里一次步骤都没照做(决定性检查是 0/16,Wilson 95% 上限 0.194),每次大约是不用 gstack 时两倍费用。发现文件写明:检查偏小、题目对 Opus 5.5 偏易,这只说明步骤没被执行,不能说明照做会不会更好。11/03 补测:加了「没先复现就不许改源码」的钩子后,Opus 仍有 40 次通过 Bash 改源码绕过闸门;带闸门时 reproduce-first 只做到 2/28(7.1%),不带闸门是 4/28。规则放置(10 个公开任务、30 个成员轮次,开发集):「先查 gbrain」写进每轮钩子、系统提示或启动文件时,Codex / Hermes / OpenClaw 在 GPT-6.1 Sol 上是 30/30;没写规则时只有 4 到 6/30。没点名的技能,Hermes 和 Claude Code 虽然请求里能看到技能名,却 30 轮里 0 次打开技能;Claude Code 在提示里写上 “Use the brain-first skill.” 后,查 gbrain 变成 30/30(没点名是 18/30,没规则是 17/30)。只说一次、后面几轮不再重复:Hermes 2/10、OpenClaw 4/10,每轮钩子则是 10/10。
不要说成啥
不要说成「所有 Agent 都不听技能」或「技能没用」;不要把 0/46 说成预注册大样本,也不要跟仓里 11/10 技能消融(另一问、多为 FIX-METHOD)混成一条;不要省略「题目对 Opus 偏易」和「Garry 在管 YC、gstack/gbrain 是他自己的项目」;不要把 30/30、0/30 说成跨外壳的公平决赛(每个外壳只配了一个模型,且是开发集、每题一次重复)。
官方材料
以 GitHub 仓和发现文件为准,没有单独的大厂设计长文。