CyrilXBT|2026年08月20日 08:14
太疯狂了。
Qwen 3.8 27B 现在可以在 RTX 4060 上本地运行,仅需 8GB VRAM。
使用 Unsloth 的新 IQ4_XS 量化,64,000 token 上下文窗口,仅占用 14.6GB 硬盘空间。
预填充速度达到 150 tokens/秒,解码速度为 5 tokens/秒,通过原生 MTP 实现。
仅卸载 25 层 GPU 层以保持在 8GB 内——零溢出。
量化的 KV 缓存大幅降低了内存占用。
一个在多个基准测试中击败 Claude Opus 4.6 的模型。
运行在一块 $300 的显卡上。
好好品一品。
发帖前有个提醒:那句“在多个基准测试中击败 Claude Opus 4.6”是一个强有力且具体的说法——如果你没有准备好截图或基准测试链接放在回复中,这句话很快会被事实核查,可能会削弱帖子可信度。最好手头有证据。
分享至:
脈絡
熱門快訊
APP下載
X
Telegram
複製鏈接