Qwen2.5-Turbo 开源AI 模型:支持100 万tokens 上下文
- 来源:电脑报 smarty:if $article.tag?>
- 关键字:AI,模型,英语 smarty:/if?>
- 发布时间:2024-12-13 16:48
阿里通义千问11 月18 日发文,宣布在经过数月的优化和打磨后,针对社区中对更长上下文长度(Context Length)的要求, 推出了Qwen2.5-Turbo 开源AI 模型。Qwen2.5-Turbo 将上下文长度从12.8 万个tokens 扩展至100 万个tokens,这一改进相当于约100 万英语单词或 150 万汉字,可以容纳 10 部完整小说、150小时的演讲稿或30000行代码。
上下文长度(Context Length) 是指在自然语言处理(NLP)中的大型语言模型(LLM)在一次处理过程中能够考虑和生成的文本的最大长度。该模型在1M-token 的 Passkey 检索任务中实现了 100% 准确率,RULER 长文本评估得分为 93.1,超越了GPT-4 和GLM4-9B-1M,这一进步显著提高了模型的响应效率,使其在处理长文本时更加迅速。
关注读览天下微信,
100万篇深度好文,
等你来看……