tensorrt-llm

使用NVIDIA TensorRT优化LLM推理以实现最大吞吐量和最低延迟。适用于在NVIDIA GPU（A100/H100）上进行生产部署，当你需要比PyTorch快10-100倍的推理速度，或需要服务量化模型（FP8/INT4）、飞行中批处理和多GPU扩展时。