程序员版

TensorSharp

高性能开源本地大语言模型推理引擎,支持 Gemma-4、Qwen、GPT-OSS 等模型,兼容 OpenAI 和 Ollama 接口,支持 Cuda/Apple Metal/Vulkan

开发者zhongkaifu状态已上线