Academic Proof-of-Work in the Age of LLMs

核心发现

主要内容

作者指出学术界一个众所周知的秘密：许多formalities很大程度上是proof-of-work（工作量证明）。这就是为什么存在那些昂贵流程的原因——必须有一些过滤方式，而投入的努力量通常是工作质量的好代理。

关键洞见

• 学术formalities是proof-of-work：写作、实验、引用、格式——这些很大程度是为了过滤质量
• ML论文要求 empirical experiments：即使对理论论文也要求昂贵实验，部分原因就是作为proof-of-work
• LLM使曾经昂贵的东西变得便宜：任何frontier LLM都能产生看似专业的学术产出
• 实际案例：crackpot paper通过密集的数学术语和庞大的代码库绕过了peer reviewers，reviewers因为看不懂数学假设是"自己知识不足"而非"结果错误"
• 可能的出路：回归proof-of-stake（声誉系统），基于之前已验证的成就

Proof-of-Work vs Proof-of-Stake

• Proof-of-work：允许新的、未知研究者进入领域（只要投入所需努力）
• Proof-of-stake：依赖已有声誉，但可能压制创新

悲观预测

作者表示："我不认为会有任何LLM-resistant的proof-of-work setup——因为LLM擅长复制所有认知上浅薄的人类努力。把所有输入委托给Claude让我感到悲伤，但我不知道有什么更好的解决方案。"

相关参考

• Bureaucracy as active ingredient (Slate Star Codex)
• Pain as active ingredient in dating (Slate Star Codex)