openai 声称,这样定制的模型可以在某些任务上达到或超过 gpt-4 的能力。该公司还表示,gpt-4 的微调功能将于今年秋天推出。
openai公司在博客文章中写道:“自 gpt-3.5 turbo 发布以来,开发人员和企业都要求能够定制模型,为用户创造独特且差异化的体验。此更新使开发人员能够定制更适合其用例的模型,并大规模运行这些定制模型。”
通过微调,通过 openai 的 api 使用 gpt-3.5 turbo 的公司可以使模型更好地遵循指令,例如让它始终以给定的语言进行响应。或者,他们可以提高模型一致地格式化响应的能力,以及磨练模型输出的“感觉”,例如它的语气,以便它更好地适合品牌。
此外,微调使 openai 客户能够缩短文本提示词,以加快 api 调用并降低成本。openai 在博客文章中声称:“早期测试人员通过对模型本身的指令进行微调,将提示词大小减少了 90%。”
目前微调需要准备数据、上传必要的文件并通过 openai 的 api 创建微调作业。该公司表示,所有微调数据都必须通过“审核”api 和 gpt-4 支持的审核系统,以查看是否与 openai 的安全标准相冲突。但 openai 计划在未来推出一个微调 ui,其中包含一个仪表板,用于检查正在进行的微调工作负载的状态。
微调成本如下:
-
训练:0.008 美元 / 1k tokens
-
使用输入:0.012 美元 / 1k tokens
-
使用输出:0.016 美元 / 1k tokens
openai 表示,包含 100,000 个 token的训练文件的 gpt-3.5-turbo 微调工作将花费约 2.40 美元(it之家备注:当前约 18 元人民币)。
此外,openai 今天提供了两个更新的 gpt-3 基本模型,它们也可以进行微调,支持分页和“更多可扩展性”。正如之前宣布的,openai 计划于 2024 年 1 月 4 日停用初代 gpt-3 基础模型。
openai 表示,对 gpt-4 的微调支持将于今年秋季晚些时候发布,但没有提供除此之外的具体信息。
广告声明:文内含有的对外跳转链接,用于传递更多信息,节省甄选时间,结果仅供参考,it之家所有文章均包含本声明。