石ちゃんLLMでアプリ開発@Isichan_Hitori on X · Oct 11【 無検閲GLMをRTXで高速化 -Part② 】 ~Prefill 580 t/s 14倍 Decode 32 t/s 3.5倍~
GLM5.3-Flash(157GB)はStrata未対応。 なのでWindows環境でStrataを改造・高速化しました🌱
■ 構成 ・RTX 5090(32GB)+DDR5(128GB)+NVMe SSD ・Huihui-GLM-5.3-Flash-abliterated-UD-IQ4_XS(157GB)CTX 262K