OpenAI 为开发者推出聊天机器人API重大升级，同时降低价格

网贝WebBay • 2023年06月15号 2:55 am • 人工智能 • 阅读 194

API 更新包括用于 GPT-3.5 和函数调用的 4 倍更大的对话内存。

chatgpt_superhero-800x450-1

周二，OpenAI宣布对其大型语言模型 API 产品（包括GPT-4和gpt-3.5-turbo ）进行大规模更新，包括新的函数调用功能、显着降低成本以及 gpt 的 16,000 个令牌上下文窗口选项-3.5 涡轮增压模型。

进一步阅读

Anthropic 的 Claude AI 现在可以在几秒钟内消化整本书，比如《了不起的盖茨比》

在大型语言模型 (LLM) 中，“上下文窗口”就像一个短期记忆，它存储提示输入的内容，或者在聊天机器人的情况下，存储正在进行的对话的全部内容。在语言模型中，增加上下文大小已经成为一场技术竞赛，Anthropic最近宣布为其 Claude 语言模型提供 75,000 个标记的上下文窗口选项。此外，OpenAI 开发了32,000 个代币的 GPT-4 版本，但尚未公开。

沿着这些思路，OpenAI 刚刚推出了一个新的 16,000 上下文窗口版本的 gpt-3.5-turbo，毫不奇怪地称为“gpt-3.5-turbo-16k”，它允许提示的长度高达 16,000 个令牌。gpt-3.5-turbo-16k 的上下文长度是标准 4,000 版本的四倍，可以在单个请求中处理大约 20 页文本。对于需要模型处理和生成更大文本块的响应的开发人员来说，这是一个相当大的推动力。

正如公告帖子中详细介绍的那样，OpenAI 列出了至少四个其 GPT API 的其他主要新变化：

在Chat Completions API中引入函数调用功能
GPT-4 和 gpt-3.5-turbo 的改进版和“更易于操控”的版本
“ada”嵌入模型降价 75%
gpt-3.5-turbo 的输入代币价格降低 25%。

通过函数调用，开发人员现在可以更轻松地构建能够调用外部工具、将自然语言转换为外部 API 调用或进行数据库查询的聊天机器人。例如，它可以将“给 Anya 发电子邮件，看看她下周五是否想喝咖啡”之类的提示转换为“send_email(to: string, body: string)”之类的函数调用。特别是，此功能还将允许一致的JSON格式输出，而 API 用户以前很难生成这种输出。

进一步阅读

OpenAI 的 GPT-4 在专业基准测试中表现出“人类水平的表现”

关于“可控性”，这是让 LLM 以您希望的方式运行的过程的一个奇特术语，OpenAI 表示其新的“gpt-3.5-turbo-0613”模型将包括“通过系统消息提供更可靠的可控性” ” API中的系统消息是一种特殊的指令提示，告诉模型如何表现，比如“你是鬼脸，你只说奶昔”。

除了功能改进之外，OpenAI 还大幅降低了成本。值得注意的是，广受欢迎的 gpt-3.5-turbo 输入代币的价格降低了 25%。这意味着开发人员现在可以使用此模型，每 1,000 个输入令牌大约 0.0015 美元，每 1,000 个输出令牌 0.002 美元，相当于每美元大约 700 页。gpt-3.5-turbo-16k 模型的价格为每 1,000 个输入代币 0.003 美元，每 1,000 个输出代币 0.004 美元。