Cheshire Cat AI：生产就绪的 AI 代理框架

Cheshire Cat AI：构建你的生产就绪型 AI 代理

Cheshire Cat AI 是一个开源 AI 代理框架，专为希望创建定制的、生产就绪型 AI 代理的开发者和组织而设计。该框架提供了一个灵活且可扩展的平台，用于将大型语言模型 (LLM)、外部 API 和自定义插件集成到一个有凝聚力的 AI 解决方案中。

什么是 Cheshire Cat AI？

Cheshire Cat AI 是一个全面的框架，简化了构建和部署 AI 代理的过程。它旨在轻松集成到现有架构中，提供一种即插即用的方法，使开发者能够专注于其 AI 代理的独特功能，而不是底层基础设施。该框架完全 Docker 化，确保在不同环境中的一致性能并简化部署。

Cheshire Cat AI 如何工作？

Cheshire Cat AI 利用微服务优先架构，使其成为向现有软件添加对话层的理想选择。主要组件和功能包括：

基于 Docker 的架构：整个框架容器化在一个 Docker 容器中，方便与反向代理、Qdrant 等向量数据库、Ollama 和 vLLM 等 LLM 运行器以及 Django 或 WordPress 等应用程序集成。
管理面板：用户友好的管理面板允许用户管理其安装，通过实时重载与其代理聊天，安装和管理插件，可视化内存内容，配置 LLM 和嵌入器，以及管理用户。
广泛的 HTTP 和 WebSocket API：该框架提供了一个全面的 API，用于与 LLM、嵌入器、向量内存、上传、设置和用户进行交互。它支持带有令牌流式传输和通知的 WebSocket 聊天，并且社区构建的客户端可以使用各种语言。
基于插件的架构： Cheshire Cat AI 采用基于插件的架构，使开发者能够轻松扩展其 AI 代理的功能。可以通过将文件夹添加到 cat/plugins 目录，在文件夹中创建一个 Python 文件，并添加 hooks、工具和表单来创建插件。

Cheshire Cat AI 的主要特性

使用你的文档进行训练：上传各种格式（PDF、TXT、Markdown、JSON、网页）的文档，以使用你的特定知识库训练你的 AI 代理。
与世界互动：轻松将你的代理连接到外部 API 和应用程序，以实现现实世界的互动。
选择你的模型：利用商业或开源 LLM 和嵌入器，从而灵活地控制你的 AI 代理的性能。
即插即用：受益于具有实时重载的 100% Docker 化环境，从而简化部署和开发。
易于扩展：从社区注册表安装插件或编写自己的插件以自定义你的 AI 代理的功能。
智能对话：使用 hooks、工具（函数调用）和表单实现前沿的对话技巧，以创建引人入胜且有效的互动。

如何使用 Cheshire Cat AI

要与 Cheshire Cat AI 互动，你可以使用提供的 HTTP 和 WebSocket API。以下是使用 JavaScript 客户端的简单示例：

import { CatClient } from 'ccat-api'

const cat = new CatClient({
    baseUrl: 'localhost',
    userId: 'user',
    //... other settings
})

cat.send('Hello kitten!')

此代码片段演示了如何向 AI 代理发送消息并接收响应。该框架支持通过 WebSocket 进行令牌流式传输和通知，从而实现实时互动。

Cheshire Cat AI 适合谁？

Cheshire Cat AI 非常适合：

开发者：开发者可以使用 Cheshire Cat AI 构建和自定义各种应用程序的 AI 代理，从而利用该框架灵活且可扩展的架构。
组织：组织可以利用 Cheshire Cat AI 创建 AI 驱动的解决方案，从而简化运营、改善客户服务和推动创新。
研究人员：研究人员可以使用 Cheshire Cat AI 作为一个平台来试验不同的 AI 模型和技术，从而探索 AI 代理在各个领域的潜力。

Cheshire Cat AI 的实际价值

简化开发： Cheshire Cat AI 抽象化了构建和部署 AI 代理的复杂性，使开发者能够专注于创建独特且有价值的 AI 驱动体验。
可扩展的架构：基于插件的架构使开发者能够轻松扩展其 AI 代理的功能，从而适应不断变化的需求和要求。
无缝集成： Docker 化环境确保与现有基础设施的无缝集成，从而简化部署和管理。
社区支持：活跃且不断增长的社区为使用 Cheshire Cat AI 构建和自定义 AI 代理提供有价值的资源、支持和灵感。

Wonderland 的最新动态

微调 Llama 3.1 8b：一篇文章详细介绍了微调 Llama 3.1 8B 模型并将其与 Cheshire Cat AI 集成的过程。
将多个 Cat 实例与同一个 Ollama 实例一起使用：一份指南，介绍如何使用同一个 Ollama 实例连接多个 Cheshire Cat AI 实例，从而节省内存和资源。
基于 Python 的 Cheshire Cat CLI： Cheshire Cat CLI 的概述，这是一个使用 Python 与 Cheshire Cat AI 互动的命令行界面。

为什么选择 Cheshire Cat AI？

Cheshire Cat AI 提供了一个强大且灵活的平台，用于构建和部署 AI 代理。凭借其 Docker 化架构、广泛的 API 和基于插件的架构，Cheshire Cat AI 简化了开发过程，并使开发者能够创建创新的 AI 驱动解决方案。无论你是开发者、组织还是研究人员，Cheshire Cat AI 都为你提供将你的 AI 愿景变为现实所需的工具和资源。

Cheshire Cat AI 是生产就绪的 AI 代理框架，可帮助你构建 AI 代理，使用你的文档进行训练，与世界互动，选择你的模型，所有这些都通过即插即用 100% Docker 化解决方案实现，该解决方案易于扩展。