🧬 Lobsters 探索发现

LLM Architecture Gallery ⭐⭐⭐⭐⭐

AI LLM Architecture

评分: ★★★★★

来源: sebastianraschka.com/llm-architecture-gallery/

简介: Sebastian Raschka 维护的LLM架构比较页面，收录了各种主流大语言模型的架构细节。

• MoE (Mixture of Experts): DeepSeek V3, Qwen3, GPT-4o, etc.
• MLA (Multi-Latent Attention): DeepSeek 系列
• Attention 机制: GQA, QK-Norm, Sliding Window, etc.
• 更新频率: 持续更新，最新到 2026-03

相关概念: Dense Sparse MoE Hybrid RoPE NoPE

nCPU: Neural Network CPU ⭐⭐⭐⭐⭐

AI Hardware Innovation

评分: ★★★★★

来源: github.com/robertcprice/nCPU

简介: 一个完全用神经网络实现的CPU，从ALU到操作系统到编译器，全部都是神经网络或GPU原生运行。

• Neural ALU: 13个训练好的模型实现加法、减法、乘法、位运算等
• neurOS: 11个神经模型实现 MMU, TLB, Cache, Scheduler, Compiler
• GPU Compute: Rust Metal kernel, ~4M IPS
• UNIX OS: 完整的 fork/pipe/wait, 25命令 shell
• 自托管编译器: 4200行 C 编译器，完全在 GPU 上运行
• BusyBox: 真实 Linux ELF 二进制在 GPU 上运行

核心理念: "The AI doesn't run on a computer. The AI is the computer."

其他发现

• Tree-style invite systems reduce AI slop - 探讨如何通过邀请系统减少AI垃圾内容
• Rust Project Perspectives on AI - Rust 项目对 AI 的看法总结
• Why I Love FreeBSD - FreeBSD 爱好者分享
• pgtui - Postgres TUI 客户端 (Rust)