你是否曾对大言语模子（LLMs）下达过明确的"长度指示"？开云(中国)kaiyun网页版登录入口开云体育

比如，"写一篇 10,000 字的长文，细心分析某个议题。"看似直率的条款，实质却时时让这些模子"力不从心"：

不是生成内容不及，即是重叠啰嗦，甚而径直歇工断绝生成。

一篇最新盘考论文《LIFEBENCH: Evaluating Length Instruction Following in Large Language Models》对这一问题进行了深入洽商，淡薄了一个全新的基准测试集 LIFEBENCH，系统评估大言语模子在长度指示衔命方面的发达。

盘考效劳揭示：这些看似无所不成的模子在长度指示，相当是长文本生成任务中，发达不尽东谈主意。当模子被明确条款生成特定长度的文本时，大多数模子发达倒霉。

接下来，让咱们沿途来望望这篇论文是若何揭示这些"瓶颈"的！

LIFEBENCH：专注长度指示衔命的基准测试

LIFEBENCH，全称"Length  Instruction  Following  Evaluation  Benchmark "，是一套特地评估大言语模子在长度指示下发达的测试集。它不仅遮蔽了从短篇到长文的多种长度范围，还囊括了多种任务类型和言语，全面揭示了大模子在长度限度上的本领鸿沟。

LIFEBENCH 的三大中枢特色：

数据集的各类性

为了测试模子的全地点本领，LIFEBENCH 规划了多维度的数据集：

任务各类性：涵盖四类天然言语生成（NLG）任务，包括问答、摘要、推理和创意生成，以全面评估模子的长度指示衔命本领。

短长勾搭的输入场景：测试数据既包含短输入（2000 字），以评估模子在不同输入领域下的发达。

双语撑持：同期撑持中语和英文任务，永诀从零散数据筹商构建，以便分析模子是否存在言语偏差。

全面的长度范围与指示类型

LIFEBENCH 是首个系统性评估模子长度指示衔命本领的基准测试，它规划了三种常见的长度限度本领：

等于（Equal To）：生成长度必须等于想法长度。

不率先（At Most）：生成长度不得率先想法长度。

至少（At Least）：生成长度必须达到想法长度。

同期，长度输出范围遮蔽从漫笔本（2000 字）的任务，评测的全面性远超以往盘考。

翻新的评测方针

为了更精确地分析模子的发达，LIFEBENCH 淡薄了两项特地方针：

长度偏差（Length Deviation, LD）：掂量生成文本长度与想法长度之间的相反，包括偏差地点和偏差幅度。

长度评分（Length Score, LS）：抽象评价模子对长度指示的衔命本领，量化偏差的全体影响。

相较于直率的字数匹配，这两项方针提供了更精采的分析维度。

通过上述规划，LIFEBENCH 不仅遮蔽了现存盘考中波及的悉数长度指示评测范围，还初次系统性探索了模子在不同任务、言语和长度死心下的发达。

履行效劳：大言语模子的"长度危急"

盘考团队对 26 个主流大言语模子进行了评测，效劳揭示了它们在长度指示衔命上的要害不及，尤其是在长文本生成场景下。以下是一些要津发现：

1. 总体发达：长度指示"等于"最难达标

当模子被明确条款生成特定长度的文本时，大多数模子发达倒霉。

在 26 个模子中，有 23 个模子的长度评分（LS）低于 60 分，惟一少数模子（如 o3-mini、Claude-Sonnet-Thinking 和 Gemini-2.5-Pro）拼凑达到了 75.4 分、61.3 分和 60 分。

在"不率先"（At Most）和"至少"（At Least）指示下，由于死心更宽松，模子发达显耀改善。其中，有 19 个模子在"不率先"指示下的长度评分率先 90 分，而"至少"指示下也有 6 个模子发达优异。

2. 长文本生成：模子深刻"拉胯"

大多数模子在漫笔本死心下发达真切，如 o3-mini 和 Gemini-2.5-Pro 永诀获取了 80 分和 70 分以上的长度评分。跟着长度死心加多，模子的发达运转下落。天然 o3-mini 依然保持了较强的真切性（评分>70），但 Gemini-2.5-Pro 的评分从 81 分骤降至 37 分。

在长文本生成任务中，悉数模子的长度评分均显耀下落，深刻低于 40 分，长文本生成成为模子的最大挑战。

3. 输入特色：任务与言语的双重影响

模子在不同任务中的发达相反显耀。摘要任务的长度评分最低，有 19 个模子在这一任务中的发达显耀下落，创意生成任务的评分则最高，14 个模子发达优异。

险些悉数模子在中语任务中的发达均劣于英文任务。此外，模子在处理中语指示时，出现了彰着的"过度生成"景况，可能反馈了模子对中语数据的处理本领不及。

模子"过度宣传"了它们的最大输出长度

迎面对极限长度指示时（比如"至少生成 32,768 字"），大部分大言语模子的发达号称"过甚其实"。它们的宣传似乎流露我方是"长篇巨制众人"，但实质生见效劳却时常让东谈主失望。盘考发现：

1. 仅少数模子达标

在 26 个模子中，惟一 Claude 系列和 Qwen 系列的 7 个模子能在其 10% 最长输出中拼凑妥贴长度条款。如若将想法放宽到 25% 最长输出，情况依然不乐不雅——惟一 Qwen2.5-72B-Instruct 和 Qwen3-235B-A22B 达到了设定的长度条款。这些模子天然声明的最大输出长度较其他模子"低调"许多，但偶合因为如斯，它们的发达更接近实质本领，算得上"求实派"。

2. 大部分模子发达不符预期

其他模子则颇具"宣传艺术"。除 Gemini-2.0-Flash 和部分 Qwen 系列模子因最大 token 死心受限外，其余模子的发达远低于它们宣称的"最大输出本领"。换句话说，这些模子的不及并不是因为无法达到本事上限，而是生成本领自己存在局限性。

有些模子在宣传时或者给东谈主一种"我不错写出接触与和平"的错觉，但实质上，生成一篇"长篇一又友圈"都可能显过劲不从心。

模子衔命长度指示的三大"瓶颈"

基于上头的履行效劳，论文深入分析了这个问题，追想出以下三大中枢瓶颈：

1. 缺少准确的长度感知本领

许多模子在"分解"想法长度上显得暗昧不清：短输出任务时高估长度：想法是 100 字，模子可能"温雅过度"写到 150 字。而长输出任务时反而低估长度：想法是 5000 字，模子却生成 3000 字，仿佛在说"这样长，够用了吧？"，除此除外模子还有假衔命景况：有些模子生成后自信满满地"合计我方一经完成了任务"，但实质效劳却大相径庭：这种景况标明，模子更像是在"自我嗅觉高超"，而非信得过分解并实行了指示。

2. 对输入长度的敏锐性

输入文本的长度对模子的发达影响很大，当输入过永劫，模子就有些"浑浑噩噩"了，相当是在长输入场景（>5000 字）中。

这也诠释了为什么摘要任务尤为倒霉：面对长篇输入时，模子不仅难以索求要津内容，还会生成过短或过长的内容，严重偏离指示条款。不错说，输入越长，模子越容易"迷失在海量信息中"。

3. 懒惰生成计谋

迎濒临复杂的长文本任务时，许多模子选定了"偷懒"：

提前间隔：有些模子会在未完成任务的情况下倏得"不祥"后续部分，举例径直插入指示"（接下来还有 6000 字）"，仿佛在流露"我知谈还没写完，但背面的就不写了"。

断绝生成：在遭受超长的任务时，一些模子会径直选定消释，举例明确流露"你的条款长度一经率先了我的本领极限，无法完成"。这种情况下，模子既莫得尝试生成部天职容，也莫得提供替代决议，而是干脆断绝实行指示。

盘考发现，当想法长度率先 8192 字时，断绝生成的比例显耀高涨，悉数模子中平均率先 10% 因这种懒惰计谋而失败。显豁，越复杂的任务，模子越倾向于"消释补救"。

除了上头的三个瓶颈，有一些模子也尝试处分这个问题：

4. 动态校准的局限性：一场"低效的修补"

为了雠校长度偏差，一些推理模子尝试了动态校准：

他们会在推理经由总生成初稿后逐字统计输出长度，发现长度不符时选定从头生成，如斯往来，直至接近想法长度。

天然这个本领在漫笔本任务中相对灵验，关联词耗时耗力，因为动态校准需要消耗大批计算资源和生成 token，大幅加多时辰老本。况且动态校准在长文本场景中就会失效：由于校准经由过于低效，模子无法在长文本任务中保管相同的计谋，最终如故无法完成指定长度的内容。

换句话说，动态校准看似"智谋"，但面对长文本时，最终如故成了一场"塞翁失马"的勤劳。

从三大"瓶颈"到动态校准的局限性，咱们不错看到：大言语模子在长度指示衔命上的发达还有许多不及。要让这些模子信得过"听话"，需要在感知本领、信息处理本领和生成计谋上进行全面优化。

深挖模子长度指示衔命的荫藏问题

通过更深入的分析，盘考揭示了一些荫藏在模子长度指示衔命本领背后的意旨景况和改进可能。以下是要津发现：

1. 长文本生成质料的"滚动之路"

模子在不同长度死心下的发达如统一条"滚动的弧线"：

漫笔本（512 字）："还行"：生成质料较高。

中等长度（1024 – 2048 字）："巅峰发达"：大多数模子在这个区间发达最佳，输出逻辑明晰，内容质料真切。

长文本（4096 – 8192 字）："质料滑坡"：许多模子在此阶段运转掉链子，生成内容重叠甚而断绝生成。举例，有些模子会在生成到一半时插入"（接下来还有 6000 字）"，径直"摆烂"。

少数模子（如 Claude-3.7-Sonnet）在超长文本上偶尔"迎风翻盘"，但这类情况较为荒原。大多数模子的长文本内容，质料随长度加多而显耀下落，重叠问题尤为特别。

2. 形态化输出的"叠加挑战"

在条款衔命长度指示的同期，还需要生成特定形态（如 Markdown、HTML 或 LaTeX）时，模子的发达进一步恶化，复杂形态让模子"握狂"：形态越复杂，模子越容易出错，甚而形态和内容双双崩溃。

长文本中的额外压力：在 8192 字死心下，生成一篇带复杂形态的文档对模子来说险些是"地狱难度"。生成的内容不仅形态造作，甚而可能半途消释，输出一堆不完竣的内容片断。

3. EoS 信号的"提前商量"

在长文本生成任务中，EoS（End of Sequence，生成终局信号） token 的颠倒四肢揭示出一些意旨的景况：

漫笔本时发达乖巧：在 2000 字以下的死心下，模子的 EoS 预计较为泛泛，生成内容完竣且妥贴想法条款，EoS 信号鄙俚在内容接近想法长度时触发。

长文本时"提前商量"倾向：当想法长度达到 4096 或 8192 字时，模子的四肢变得耐东谈主寻味——它似乎在生成运转前就"打好了我方的算盘"。EoS 信号的触发概率一运转就显耀升高，导致生成的内容远远少于想法长度，甚而仅生成寥寥数百字便中道而止。这种景况标明，模子在生成之前可能一经"商量"好了要写些许，而不是在生成经由中逐要领整。

这种提前间隔的四肢可动力于模子在长文本生成中的不详情趣或自我死心，反馈了其对任务长度的商量本领仍存在局限性。模子在面对超长文本指示时，可能会倾向于"保守揣度"，提前终局生成以幸免过度消耗计算资源或偏离任务条款。

4. 预检修与后检修的"双管王人下"

模子在长文本生成中的不及，既源于预检修的死心，也不错通事后检修优化：

预检修的"偷懒基因"：由于预检修阶段长文本数据遮蔽不及，模子可能学到了一些"偷懒计谋"，比如提前间隔或断绝回报，以诡秘长文本中的复杂逻辑和连贯性问题。

后检修的"预商量计谋"：后检修提供了改进的契机。通过让模子在生成前先商量全体结构或章节大纲，生成内容更贴合长度条款，逻辑也愈加明晰。举例，模子不错先生成"目次"，再缓缓填充内容。这种本领显耀擢升了长文本的质料，且让模子对长度指示的衔命更为精确。

从生成质料的"滚动之路"到复杂形态的双重挑战，再到 EoS 信号的"提前商量"，这些荫藏的景况揭示了模子长度指示衔命本领的深脉络不及。不外，通过延伸预检修数据和引入预商量计谋，将来的模子统统有但愿已毕"字够了，内容也对了"。

追想

论文淡薄了 LIFEBENCH，用于评估大型言语模子（LLMs）在多种任务、言语和长度死心下衔命长度指示的本领。

分析标明，现时 LLMs 在长度指示实行上仍存在显耀问题，尤其在长文本死心下，生成长度常低于宣称的本领范围，甚而发达出"提前终局""的倾向。模子发达还受到任务类型、言语和输入长度等身分的显耀影响。

这些发现揭示了 LLMs 在长度指示衔命上的要津短板，标明将来需要更优的检修计谋，以及更全面的评估体系，来擢升其对长度指示的实行本领和实质发达。

github 仓库 :   https://github.com/LIFEBench/LIFEBench

huggingface 相连 :   https://huggingface.co/datasets/LIFEBench/LIFEBench

论文地址 :   https://arxiv.org/abs/2505.16234

一键三连「点赞」「转发」「严防心」

接待在驳斥区留住你的思法！

—  完  —

� � 点亮星标 � �

科技前沿进展逐日见开云(中国)kaiyun网页版登录入口开云体育