让大模型跑在小而旧的设备上：smolmaxxing
smolmaxxing 是基于 llama.cpp 的补丁项目，目标是在电视盒子、旧平板、单板机等低配硬件上运行尽可能大的语言模型。它通过针对 Cortex-A55/A7 的 1-bit、2-bit 与三值量化内核、裁剪词表输出行、将 MoE 专家按需从闪存分页加载等手段，在约 1GB 内存上跑起 8B/16B MoE 模型，所有数据均在设备上实测。
对独立开发者意味着什么：若你想在 App 或旧 Android 设备上做本地推理，这套内核与闪存流式加载思路可直接借鉴，但需自行编译打过补丁的 llama.cpp。