llama-cpp

在没有NVIDIA硬件的情况下，在CPU、Apple Silicon和消费级GPU上运行LLM推理。适用于边缘部署、M1/M2/M3 Mac、AMD/Intel GPU或CUDA不可用的情况。支持GGUF量化（1.5-8位）以减少内存占用并实现4-10倍于PyTorch的CPU速度提升。