文本选录算作当然说话处理（NLP）的中枢任务万博体育，其质料评估常常需要兼顾一致性（Consistency）、连贯性（Coherence）、畅通性（Fluency）和相关性（Relevance）等多个维度。

然则，在骨子优化过程中，竖立者频频面对"移东补西"的困境：提高了相关性，一致性可能随之下跌。如何让模子在多个方针之间达成完好意思的"帕累托最优"（Pareto optimal）？

近日，Li Auto 团队一项被ICASSP 2026摄取的策画建议了HyperVolume Optimization（HVO）。这是一种全新的多方针强化学习（MORL）计谋，它基于 GRPO 框架，无需 SFT 或冷启动，就能让 7B 参数的模子在选录任务上展现出比好意思 GPT-4 的性能，且生成内容愈加浅显。

△ HVO 性能对比雷达图策画配景核肉痛点：多方针优化的"对抗衡"

文本选录生成是当然说话处理（NLP）中的一项中枢且具有挑战性的任务。为了全面评估生成选录的质料，策画东谈主员常常会练习多个维度，举例连贯性、一致性、畅通性和相关性。然则，同期优化这些维度的方针具有挑战性，因为在一个维度上的矫正可能会导致其他维度的协调，从而产生对抗衡的选录。

现在的文本选录策画多依赖单一奖励信号，难以整合多维度计算。即便给与多维度奖励，常常也仅仅浅陋地将各项得分进行加权线性组合（Weighted Linear Combination）。

传统才气的局限性

这种传统作念法存在彰着局限：

1. 东谈主工依赖：需要繁琐的手动配置权重

2. 方针突破：无法有用处理方针间的相互依赖，容易导致优化成果不完整或严重失衡

此前虽有 MDO 等才气尝试通过梯度投影缓解突破，但因策画本钱过高，难以集成到大说话模子（LLM）中。

才气先容翻新决策：引入超体积计算 HVO

为了处治上述问题，策画者将多方针优化中的超体积（Hypervolume）想法引入到了强化学习的奖励结构中。

HVO 的三大时刻亮点

1. 基于 GRPO 框架

模仿了相似 DeepSeek-R1-Zero 的西席范式，HVO 径直在基础模子上应用组相对计谋优化（GRPO），无需经过监督微调（SFT）。

其中：

2. 动态改革得分

HVO 诈欺超体积才气，在强化学习过程中动态改革不同得分组之间的权重，开荒模子迟缓靠拢帕累托前沿。

3. 长度管制机制

为处治 GRPO 西席中常见的涌现性不及和"长度坍缩"问题，HVO 建议了一种新的长度管制奖励（Rconciseness），通过限度压缩比确保模子在浅显的同期保握涌现拘谨。

才气经由图

△   HVO 举座经由暗示图。通过超体积策画替代浅陋的加权乞降，使模子倾向于遴选各维度进展更平衡的解。践诺成果：7B 模子的"降维打击"

策画团队在CNN/DailyMail（新闻类）和BillSum（法律类）两大基准数据集上对 HVO 进行了考据。践诺基座给与Qwen 2.5-7B-Instruct。

1. 抽象训诲超过 GPT-4

在多维度评估器具 UniEval 的测试中，经过 HVO 增强的 7B 模子进展惊东谈主：

在两个数据集上的 HV 得分和总分均优于悉数基准才气

对比 GPT-4：诚然 GPT-4 在连贯性和相关性上有隐微上风，但 Qwen 2.5 7B（HVO）在举座性能和维度平衡性上与 GPT-4 旗饱读尽头

2. 更平衡的雷达图进展

对比 GRPO 发现，GRPO 在西席早期会过度追求畅通性和相关性，从而扫尾了一致性的提高。而HVO 草率均匀地优化各项计算，在雷达图上展现出更富有、更涌现的笼罩区域。

3. 拒却"谣言"，愈加浅显

散点图分析露馅，HVO 在保握最高总分的同期，生成的选录长度更短，展现了极佳的浅显性（Conciseness）。

论断与掂量中枢孝顺

本文先容了超体积优化强化学习才气（HVO），这是一种用于文本选录的多方针强化学习框架，可在高维方针空间中径直优化超体积计算。通过平衡多个评预计算，HVO 达成了更涌现、更高效地向帕累托前沿靠拢的轨迹。

践诺考据

在 CNN/DailyMail 和 BillSum 上的践诺标明，HVO 赢得了来源进的超体积和举座分数，优于现存才气，且可与 GPT-4 相比好意思，无需监督微调或冷启动运行化。

策画真义

这些成果证据了 HVO 在处理复杂衡量和生成高质料选录方面的有用性，为多方针文本选录提供了一个郑重的处治决策。它解说了通过科学的优化计谋，较小限度的开源模子十足有后劲在特定任务上对标顶尖闭源大模子。

改日方针

策画团队涌现，改日将探索：

将 HVO 膨胀到更多 NLP 任务

探索更复杂的奖励结构

在更大限度模子上的应用后劲

论文标题：

Hypervolume Optimization via Multi-Objective Reinforcement Learning for Balanced Text Summarization

论文地址：

https://arxiv.org/abs/2510.19325

代码仓库：

https://github.com/ai4business-LiAuto/HVO ⭐ 已开源

收录会议：

ICASSP 2026

一键三连「点赞」「转发」「留意心」

接待在批驳区留住你的思法！

—  完  —

咱们正在招聘别称眼疾手快、关切 AI 的学术裁剪实习生  � �

感兴致的小伙伴接待关切 � �  了解确定

� � 点亮星标 � �

科技前沿进展逐日见万博体育