量化文本编码器怎么测才靠谱?ltx-2.5-mlx-q8 的有效 token 余弦与盲测 A/B 方法论 人工智能大模型基础模型模型量化本地部署媒体生成音频视频【免费下载链接】ltx-2.5-mlx-q8项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/ltx-2.5-mlx-q8点击查看免费下载ltx-2.5-mlx-q8 是 LTX-2.5 视频生成模型的 MLX 量化组件树与基线仓库唯一的区别是把 Gemma-4 文本编码器量化为 int8体积从 23.8 GB 压到 13.6 GB其余组件逐字节一致。对新手来说这个仓库最有价值的不是权重本身而是一套量化保真度测试方法论为什么不能直接算整数组余弦相似度为什么必须只在有效 token 位置度量以及为什么最终验收要靠盲测 A/B 而不是 SSIM/PSNR。 先搞懂这个仓库到底量化了什么README.md 开门见山整棵组件树里只有文本编码器是 int8DiT扩散主干没有被量化两者是独立的技术路线——int8 编码器 bf16 DiT 可以随意组合。关键规格一览项目说明量化配方int8、group 64、affine 模式见 gemma4-12b-ltx-v1/config.json 的quantization字段模型规模约 11.9B 参数total_parameters11,907,350,272hidden_size 3840、48 层权重分片3 片 safetensors张量清单在 gemma4-12b-ltx-v1/model.safetensors.index.json特殊处理embed_tokens词表层故意排除在量化之外保留 bf16原因见下文顶层组件connector.safetensors、vae_decoder.safetensors、vocoder.safetensors 等与基线仓库完全相同⚠️ 陷阱整数组余弦为什么会骗人最直觉的测试是把 int8 和 bf16 两个编码器下称两臂的输出对齐算整数组余弦相似度。但对 LTX-2.5 这样做会被坑。编码器的输出是固定 1024 个位置而当 prompt 较短时其中大部分位置是learned registers学习出来的注册位——它们在每一个编码器版本间完全相同。把这些恒等位置算进余弦相当于用大量 1.0 的分数去稀释真实差异。README 给出了一组对照实验一个故意投毒把量化做坏的编码器臂整数组余弦 0.994316看起来几乎无损同一臂只看有效 token 位置0.829329坏得清清楚楚也就是说整数组数字可能把真实差异稀释3–30 倍一个明显失败的量化方案能在整数组指标下混过去。✅ 正确做法只在有效 token 位置算余弦LTX-2.5 里决定文本编码器去量化的数字是connector 输出在有效 token 位置上的余弦——connector 才是真正把文本条件喂给 DiT 的部件。实测结果指标int8 编码器臂bf16 基线臂connector 输出有效 token 位置余弦0.9998200.9998790.999820 紧贴 bf16 的地板值 0.999879——量化带来的偏差和 bf16 自身的运行间波动在同一量级可以认为无损。 为什么embed_tokens必须留在 bf16这不是保守而是结构决定的。hidden state 00 就是embedTokens(ids) · embedScale——它既是 connector 直接消费的 49 个状态之一也是全部 48 层的输入。一旦量化词表层这个状态本身就会移动误差被所有下游层逐级放大。仓库还留了一个很巧的指纹检验state 00 1.000000恰好成立就是词表层保持 bf16 的直接证据。测试时顺手验证它比看一堆平均指标更放心。 盲测 A/B为什么 SSIM/PSNR 是类目错误一个反直觉但关键的事实输出样本会移动。int8 编码器与 bf16 编码器产生的是不同但同样有效的视频——因为编码器变了条件信号变了扩散轨迹自然不同实测输出统计mean −0.1421 / σ 0.4253bf16 为 −0.1274 / 0.4222。对两个各自都对的视频算 SSIM/PSNR属于类目错误像素级相似度指标只适用于同一轨迹的两次执行不适用于条件不同导致的合理差异。因此最终验收采用盲测感知 A/B条件设计如下4 组配对覆盖多种 prompt包括人脸特写这种最考验细节的场景在 704×512 和钳制到 512×288 的单级几何下各测一遍排除单一分辨率的偶然盲测状态下观看不标注哪一版是 int8避免心理暗示结论判定为可接受 顺带看看收益峰值内存怎么降下来的为什么要费这个事因为 bf16 编码器是一个几何无关的内存地板实测 256×256×9 和 512×288×121 两种 clip 的峰值内存相差不到 0.01 GB——如果是解码瓶颈峰值会随几何缩放它不会。这个约 24.8 GB 的地板直接超出了 24 GB 和 32 GB 机器的预算。换上 int8 编码器后整次运行的峰值分别降到14.6 GB / 15.4 GB。注意一个前提单靠编码器替换不够常驻模式下瓶颈在 DiT替换看不见必须配合 DiT streaming 才能看到收益——两个杠杆要一起上。 可复用的检查清单把这套方法论搬到你自己的量化项目上只需要四步选对度量点测真正进入下游的条件信号这里是 connector 输出而不是编码器中间层或 logit限制到有效 token 位置剔除恒等填充位别让它们稀释真实差异给指标做一次投毒实验故意做坏一条对照臂确认你的度量能把它暴露出来本例0.994316 vs 0.829329别用像素级指标比较不同条件SSIM/PSNR 只适合同轨迹对比条件不同就用盲测 A/B多 prompt、多几何、含人脸特写量化文本编码器的测试比的不是谁指标更高而是谁的指标不会说谎。ltx-2.5-mlx-q8 给出的答案可以浓缩成一句话在有效 token 上看 connector 余弦再用盲测 A/B 收口。赞分享人工智能大模型基础模型模型量化本地部署媒体生成音频视频【免费下载链接】ltx-2.5-mlx-q8项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/ltx-2.5-mlx-q8点击查看免费下载相关推荐为什么 24.8GB 是 LTX-2.5 的隐形内存门槛ltx-2.5-mlx-q8 的 int8 编码器破局实录为什么 24.8GB 是 LTX 2.5 的隐形内存门槛ltx 2.5 mlx q8 的 int8 编码器破局实录 跑过本地视频生成模型的同学可能都遇到过这种人工智能大模型基础模型模型量化本地部署媒体生成音频视频如何选对版本ltx-2.5-mlx / ltx-2.5-mlx-q8 / ltx-2.5-mlx-ditq8 终极对比指南如何选对版本ltx 2.5 mlx / ltx 2.5 mlx q8 / ltx 2.5 mlx ditq8 终极对比指南 LTX 2.5 是 Lightri人工智能大模型基础模型模型量化本地部署媒体生成音频视频ltx-2.5-mlx-q8 速度优化Pruna 剪枝 VAE 解码器如何让视频解码提速 2 倍compact24 档实测ltx 2.5 mlx q8 速度优化Pruna 剪枝 VAE 解码器如何让视频解码提速 2 倍compact24 档实测 在 Apple Silicon人工智能大模型基础模型模型量化本地部署媒体生成音频视频上一篇OpenKore终极指南免费开源Ragnarok Online自动化助手告别手动刷怪下一篇3分钟搞定Redis 3.0从源码到生产环境的极速部署指南创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考