运行DeepSeek-R1动态 1.58-bit 量化项目
2025-02-05 09:59
这个由Unsloth团队开发的DeepSeek-R1量化项目展现了三大技术突破: 1. 混合精度量化创新 首创1.58-bit动态量化技术,通过分层处理策略:对关键层(如MoE专家层)采用1.5-bit超低精度,其他层保留4-bit精度 开发重要性矩阵校准算法(imatrix),突破传统均匀量化限制