Z-Image-Turbo 本地部署折腾及成果展示
Z-Image-Turbo 是一款强大的图像生成模型,但原始版本体积庞大,对显存要求高。本文将介绍如何在本地部署 Z-Image-Turbo 的 FP8 精度版本,并展示其成果。
起初,作者尝试直接部署 Z-Image-Turbo 的原始版本,但由于模型本体约 30G,且官方推荐使用 BF16 精度,至少需要 16G 显存才能流畅运行,而作者手头的 RTX 4060 Laptop 仅拥有 8G 显存。运行结果显示,生成一张 768p 图片耗时长达 6 分半钟,速度极慢,几乎完全依赖系统内存。
为了解决这一问题,作者在 Civitai(C站)上发现了 FP8 精度版本和 Q 版量化模型,并决定采用 FP8 版本。该版本体积大幅缩减至约 6G,但仍需部署在 ComfyUI 或 SD (Stable Diffusion) 环境中。作者选择了 B 站秋葉aaaki 大佬的 ComfyUI 整合包,并成功搭建了运行 Z-Image-Turbo FP8 所需的环境。
经过优化,作者在 8G 显存下测试了模型性能,发现出图效果非常出色,NSFW 内容生成流畅,画质与 BF16 版本几乎无异,但速度提升了整整 26 倍!
为了进一步优化使用体验,作者还开发了一个 FastAPI 服务,将 ComfyUI 的工作流封装起来,并适配了 OpenAI API 格式。配合一个简易的测试页面,用户现在可以直接像调用 ChatGPT 一样调用这个画图模型,体验极佳。
FastAPI 服务、测试页面以及 ComfyUI 工作流均已打包,供大家下载使用。此外,作者还发现该模型默认生成美女图像,提示词简单或随意都能生成美女,颇具趣味性。
本文还提供了相关图片链接,供读者参考和体验。
评论已关闭