Tinybox: 离线 AI 设备
产品概述
George Hotz 的 Tiny Corp 出售的超级计算机系列，目前已上市 Red v2 和 Green v2，Exabox 将于 2027 年推出。这些设备专为深度学习设计，可能是性价比最高的 AI 计算设备。
778 TFLOPS
Red v2 FP16
3,086 TFLOPS
Green v2 FP16
~1 EXAFLOP
Exabox (2027)
规格对比
| 配置 | Red v2 | Green v2 | Exabox |
|---|---|---|---|
| GPU | 4x 9070XT | 4x RTX PRO 6000 Blackwell | 720x RDNA5 AT0 XL |
| GPU RAM | 64 GB | 384 GB | 25,920 GB |
| 系统 RAM | 128 GB | 192 GB | 23,040 GB |
| 价格 | $12,000 | $65,000 | ~$10M (2027) |
| 功耗 | 1600W | 2x 1600W | 600 kW |
| 尺寸 | 12U | 20x8x8.5 ft | ~ |
tinygrad 框架
这些设备运行 tinygrad —— 一个极简但强大的神经网络框架：
- 极简设计：将复杂网络分解为 3 种 OpType
- ElementwiseOps：UnaryOps, BinaryOps, TernaryOps
- ReduceOps：SUM, MAX 等
- MovementOps：RESHAPE, PERMUTE, EXPAND 等
- 每个操作都有自定义内核，支持极致形状特化
- 所有张量都是 lazy 的，可以激进地融合操作
tinygrad 已用于 openpilot 自动驾驶系统，在 Snapdragon 845 GPU 上运行。
为什么这重要
- commoditize petaflop：让 AI 计算民主化
- 比同等性能服务器便宜 10 倍（据 MLPerf Training 4.0 基准测试）
- 离线运行：数据不需要离开设备
- 完整训练和推理支持，不仅是推理
核心洞察："让每个人都能用上 AI 的目标正在通过硬件commoditization（商品化）实现。Tinybox 代表了 AI 硬件的新方向 —— 不是追求极致性能，而是追求最佳性价比。"