CyrilXBT
CyrilXBT|2026年08月20日 08:14
太疯狂了。 Qwen 3.8 27B 现在可以在 RTX 4060 上本地运行,仅需 8GB VRAM。 使用 Unsloth 的新 IQ4_XS 量化,64,000 token 上下文窗口,仅占用 14.6GB 硬盘空间。 预填充速度达到 150 tokens/秒,解码速度为 5 tokens/秒,通过原生 MTP 实现。 仅卸载 25 层 GPU 层以保持在 8GB 内——零溢出。 量化的 KV 缓存大幅降低了内存占用。 一个在多个基准测试中击败 Claude Opus 4.6 的模型。 运行在一块 $300 的显卡上。 好好品一品。 发帖前有个提醒:那句“在多个基准测试中击败 Claude Opus 4.6”是一个强有力且具体的说法——如果你没有准备好截图或基准测试链接放在回复中,这句话很快会被事实核查,可能会削弱帖子可信度。最好手头有证据。
曾提及
分享至:

脈絡

熱門快訊

APP下載

X

Telegram

Facebook

Reddit

複製鏈接

熱門閱讀