gpt-prompt-engineer

什么是 gpt-prompt-engineer?

gpt-prompt-engineer 是一个开源工具，旨在自动化大型语言模型 (LLM) 的提示工程过程，例如 GPT-4、GPT-3.5-Turbo 和 Claude 3。它通过生成、测试和根据用户定义的测试用例对多个提示进行排名，帮助用户发现最佳提示。

gpt-prompt-engineer 是如何工作的？

1. 提示生成： 该工具使用 LLM 基于提供的用例描述和相关测试用例生成各种提示。
2. 提示测试： 针对提供的测试用例测试每个生成的提示，以评估其性能。
3. ELO 评分系统： 采用 ELO 评分系统根据提示的性能对其进行排名。每个提示都以初始 ELO 评分开始，并且根据提示针对测试用例的性能调整评分。这使用户能够轻松识别最有效的提示。

gpt-prompt-engineer 的主要特点

• 自动提示生成： 根据给定的用例和测试用例自动生成大量潜在提示。
• 提示测试和排名： 系统地针对测试用例测试每个提示，并使用 ELO 评分系统对其进行排名，以识别最有效的提示。
• Claude 3 Opus 支持： 一个专门的版本充分利用了 Anthropic 的 Claude 3 Opus 模型，允许自动生成测试用例和多个输入变量。
• Claude 3 Opus → Haiku 转换： 此功能允许用户利用 Claude 3 Opus 定义潜在空间，并利用 Claude 3 Haiku 实现高效的输出生成，从而降低延迟和成本。
• 分类版本： 此版本专为分类任务设计，通过将测试用例与预期输出（“true”或“false”）进行匹配来评估测试用例的正确性，并提供一个包含每个提示分数的表格。
• Weights & Biases 日志记录： 可选的 Weights & Biases 日志记录，用于跟踪配置、系统和用户提示、测试用例以及最终 ELO 评分。
• Portkey 集成： 提供与 Portkey 的可选集成，用于记录和跟踪提示链及其响应。

如何使用 gpt-prompt-engineer？

1. 设置： 在 Google Colab 或本地 Jupyter notebook 中打开所需的 notebook。根据您的用例在标准版本、分类版本或 Claude 3 版本之间进行选择。
2. API 密钥配置： 将您的 OpenAI API 密钥或 Anthropic API 密钥添加到 notebook 中的指定行。
3. 定义用例和测试用例： 对于 GPT-4 版本，定义您的用例和测试用例。用例是您希望 AI 执行的操作的描述，测试用例是您希望 AI 响应的特定提示。
4. 配置输入变量（对于 Claude 3 版本）： 除了用例描述之外，还定义输入变量，指定变量名称及其描述。
5. 生成最佳提示： 使用用例描述、测试用例和要生成的所需提示数量调用 generate_optimal_prompt 函数。
6. 评估结果： 最终 ELO 评分将以表格形式打印，按降序排序。评分越高，提示越好。对于分类版本，每个提示的分数将以表格形式打印。

gpt-prompt-engineer 适合谁？

gpt-prompt-engineer 非常适合：

• 寻求优化 LLM 提示的 AI 开发人员和研究人员。
• 希望提高 AI 驱动的应用程序性能的企业。
• 对探索提示工程技术感兴趣的个人。
• 任何希望降低基于 LLM 的应用程序的成本和延迟的人。

用例：

• 自动化生成着陆页标题。
• 创建个性化的电子邮件回复。
• 优化内容生成的提示。
• 使用 Claude 3 Opus 和 Haiku 构建经济高效的 AI 系统。

为什么选择 gpt-prompt-engineer？

• 节省时间： 自动化提示工程流程，节省大量时间和精力。
• 提高性能： 帮助发现可提高 LLM 性能的最佳提示。
• 降低成本： 通过利用 Claude 3 Haiku 等高效模型，实现经济高效的 AI 系统的创建。
• 灵活性： 支持各种 LLM 和用例，包括分类任务。

许可证

gpt-prompt-engineer 采用 MIT 许可证。

项目链接

https://github.com/mshumer/gpt-prompt-engineer