llama.cpp

Windows · AI 工具 · vb11556

用 C/C++ 实现的大语言模型推理引擎，支持多种模型格式，可在本地运行 LLM / VLM。

亮点

本地 LLM 推理
多模型格式
CLI / Server
内置 Web UI

在架集打开并下载 · 返回首页