，今年 6 月，上海 ai 实验室发布了“书生?浦语”大模型，为104b 参数，后续又推出了7b 和 13b 规格模型。

近日，上海 ai 实验室、商汤科技、香港中文大学、复旦大学宣布推出书生?浦语 20b 版本，这是一款中量级大模型，号称基于 2.3t tokens 预训练语料从头训练，相较于 internlm-7b，其理解能力、推理能力、数学能力、编程能力等都有显著提升。

据介绍，相比于此前国内陆续开源的 7b 和 13b 规格模型，20b 量级模型具备更强大的综合能力，复杂推理和反思能力尤为突出，能为实际应用场景提供更有力的性能支持；同时，20b 量级模型可在单卡上进行推理，经过低比特量化后，可运行在单块消费级 gpu 上，因而在实际应用中更为便捷。

相比于此前的开源模型，internlm-20b 拥有几大亮点，it之家汇总如下:

  • 以不足 1/3 的参数量，测评成绩达到了 llama2-70b 的水平。

  • 支持数十类插件，上万个 api 功能，还具备代码解释和反思修正能力。

  • 实现了对长文理解、长文生成和超长对话的有效支持，同时支持 16k 语境长度。

  • 研究团队进行了基于 sft 和 rlhf 两阶段价值对齐，并通过专家红队的对抗训练大幅提高其安全性。

此外，书生?浦语开源工具链也已全新升级，形成更完善的体系，包括预训练框架 internlm-train、低成本微调框架 xtuner、部署推理框架 lmdeploy、评测框架 opencompass 以及面向场景应用的智能体框架 lagent。

书生?浦语-20b:

书生?浦语-对话-20b: