推理加速新选择！Xinference 1.16.0 支持瀚博 GPU 与持续批处理 XorbitsInference（Xinference）是一款高性能、全功能的分布式推理平台，广泛适配大语言模型（LLM）、语音识别模型、多模态模型等多种AI模型。借助Xinference，用户可快速... 奈飞网 2025-12-31 46 #批处理 #推理
