蚂蚁集团携手vLLM开源Humming：打造量化推理领域的性能新标杆

每经AI快讯，10月21日消息，根据蚂蚁集团官方开源平台发布的最新动态，蚂蚁集团携手vLLM开源社区共同推出了一款名为Humming的开源项目——这是一款通用性强、性能卓越的量化推理算子库。Humming的显著优势在于其广泛的设备兼容性，不仅支持多种主流GPU架构，还完美适配CUDA编程环境下的各类设备，为开发者提供了极大的灵活性和便利性。在量化支持方面，Humming通过一套统一的架构设计，能够轻松应对Dense和MoE模型中多样化的权重与激活格式组合，全面覆盖从低精度到高精度的多种整数和浮点类型、位宽选择以及缩放策略，满足了不同场景下的量化需求。尤为值得一提的是，Humming在执行性能上展现出了非凡的实力，在多种典型应用负载测试中，其性能表现均显著超越了vLLM Marlin、FlashInfer以及DeepGEMM等当前市场上的主流实现方案，为用户带来了更加高效、流畅的量化推理体验。