KoboldCpp 概述
KoboldCpp：您的一站式 AI 文本和图像生成解决方案
什么是 KoboldCpp？KoboldCpp 是一款多功能、用户友好的 AI 软件，专为文本和图像生成而设计。它受到原始 KoboldAI 的启发，简化了运行 GGML 和 GGUF 模型的过程，提供了一个独立的、无需安装的可执行文件。
主要特点
- 单文件可执行程序： 无需安装或外部依赖。
- CPU 和 GPU 支持： 在 CPU 和 GPU 上高效运行，可以选择完全或部分卸载。
- LLM 文本生成： 与所有 GGML 和 GGUF 模型兼容，确保向后兼容性。
- 图像生成： 支持 Stable Diffusion 1.5、SDXL、SD3 和 Flux，用于生成高质量图像。
- 语音转文本： 集成 Whisper 用于语音识别。
- 文本转语音： 支持 OuteTTS、Kokoro、Parler 和 Dia 用于语音生成。
- API 终结点： 为流行的 Web 服务（如 KoboldCppApi、OpenAiApi、OllamaApi 等）提供兼容的 API 终结点。
- 捆绑 UI： 包括 KoboldAI Lite UI，具有编辑工具、保存格式、内存、世界信息、作者注释、角色和场景。
- 多种模式和主题： 提供聊天、冒险、指导和故事编写器模式，以及各种 UI 主题。
- 数据格式支持： 支持 Tavern 角色卡、JSON 保存文件和持久故事。
- 附加功能： 包括新的采样器、正则表达式支持、Web 搜索、通过 TextDB 实现 RAG 以及图像识别/视觉。
- 跨平台： 适用于 Windows、MacOS 和 Linux 的即用型二进制文件，并支持 Colab、Docker、Android（通过 Termux）和 Raspberry Pi。
KoboldCpp 如何工作？
KoboldCpp 利用 llama.cpp 和 stable-diffusion.cpp 的强大功能，提供无缝的 AI 体验。它的工作原理是：
- 加载 GGML 或 GGUF 模型以进行文本生成。
- 利用 Stable Diffusion 模型进行图像生成。
- 采用 Whisper 进行语音识别，并采用各种 TTS 引擎进行语音生成。
- 提供 API 终结点以与其他服务集成。
如何使用 KoboldCpp
- 下载： 从 官方发布页面 获取适用于您操作系统的最新 Koboldcpp 可执行文件。
- 运行： 只需执行下载的文件。无需安装。
- 加载模型： 从 Hugging Face 等来源获取 GGUF 模型。初学者可能会发现
L3-8B-Stheno-v3.2、Tiefighter 13B或Gemma-3-27B Abliterated适合。 - 连接： 默认情况下，您可以通过
http://localhost:5001访问 KoboldCpp。
Windows 用法
- 下载
koboldcpp.exe文件。 - 运行可执行文件以启动 GUI。
- 加载 GGUF 模型并连接到本地服务器。
Linux 用法
- 下载
koboldcpp-linux-x64二进制文件。 - 使用
chmod +x koboldcpp-linux-x64使该文件可执行。 - 使用
./koboldcpp-linux-x64运行该二进制文件。
MacOS 用法
- 下载 MacOS 二进制文件。
- 使用
chmod +x koboldcpp-mac-arm64将该文件设置为可执行。 - 使用
./koboldcpp-mac-arm64运行该二进制文件。
在 Colab 上运行
KoboldCpp 提供了一个官方 Colab GPU Notebook，方便设置和使用。
在 RunPod 上运行
KoboldCpp 可以部署在 RunPod 云 GPU 上，以实现可扩展的性能。
优化性能
- GPU 加速： 使用
--usecuda(Nvidia) 或--usevulkan(任何 GPU) 标志。 - GPU 层卸载： 使用
--gpulayers将模型层卸载到 VRAM。 - 上下文大小： 使用
--contextsize增加上下文大小。 - CPU 兼容性： 对于较旧的 CPU，使用
--noavx2。
KoboldCpp 适合哪些人？
KoboldCpp 非常适合：
- 希望获得简单、一体化文本和图像生成解决方案的 AI 爱好者。
- 寻求 API 终结点以将 AI 功能集成到其应用程序中的开发人员。
- 寻求增强其故事讲述、角色扮演和内容创作过程的工具的创意人员。
为什么选择 KoboldCpp？
KoboldCpp 的突出之处在于：
- 易于使用
- 全面的功能集
- 跨平台兼容性
- 性能优化选项
附加资源
- 模型： 在 Hugging Face 上查找 GGUF 文本模型，在 CivitAI 上查找图像模型。
- 文档： 请参阅 KoboldAI API 文档 了解终结点详细信息。
- 社区： 加入 KoboldAI Discord 服务器以获得支持和讨论。
KoboldCpp 简化了 AI 驱动的文本和图像生成，使其可供广泛的用户使用。无论您是生成故事、创建图像还是将 AI 集成到您的项目中，KoboldCpp 都能提供强大且用户友好的解决方案。通过支持各种平台并提供优化选项，它确保了流畅高效的 AI 体验。考虑探索 KoboldCpp 以进行您的下一个 AI 项目。
"KoboldCpp"的最佳替代工具
Text Generation Web UI是一个功能强大且用户友好的Gradio Web界面，适用于本地AI大型语言模型。支持多个后端、扩展，并提供离线隐私。
mistral.rs 是一个用 Rust 编写的极速 LLM 推理引擎，支持多模态工作流程和量化。提供 Rust、Python 和 OpenAI 兼容的 HTTP 服务器 API。
AI Actions 通过强大的 AI 集成如 GPT-4o、Claude 和 DALL·E 增强苹果的 Shortcuts 应用，使用您自己的 API 密钥实现 iOS 和 macOS 上的安全、可自定义自动化。
CGDream AI图像生成器：免费AI图像生成，支持文本、照片或3D模型。使用Lora风格、图像修复、放大等功能，创作精美视觉效果。
DeepMake 利用开源生成式 AI 实现快速本地内容创作。从文本生成图像、优化视觉效果、在视频中蒙版对象，并升级媒体，无云端限制或费用。
探索 OpenAI 图像生成 API，使用 GPT Image 和 DALL·E 等模型从文本提示创建和编辑精美图像。适合集成 AI 驱动视觉内容的开发者。
Dall-E Free 是一款 AI 图像生成器，可将您的文本提示转化为惊艳的视觉效果。轻松创作 AI 艺术、放大图像和编辑照片。立即尝试！
Hotpot AI 艺术生成器是一个免费、无需登录的工具，利用 Stable Diffusion 生成令人惊叹的文本到图像创作。数百万用户轻松制作艺术、插图和照片，提升营销和个人项目的创意。
使用 ImageComply 提升网站辅助功能和 SEO，这是生成图像 Alt 文本的领先平台。轻松让您的图像具有辅助功能并符合规范。
使用Canva的AI照片生成器应用，通过文本提示生成AI图像和艺术：文本到图像、OpenAI的DALL·E和Google Cloud的Imagen。
