2025年2月7日，腾讯科技（深圳）有限公司正式公布了一项名为“大语言模型的训练方法、装置、计算机设备及存储介质”的专利。这一创新技术通过在模型训练中引入多重摘要文本的对比学习机制，实现了模型泛化能力与生成准确性的显著提升，为AI语言处理领域带来了新的突破。
据专利摘要介绍，腾讯的新方法巧妙地引入了“第一摘要文本”与“第二摘要文本”。这两种摘要文本在信息量上存在差异，且第一摘要文本中包含了正确与错误的语句混合。通过对比学习这两种摘要文本，模型能够学会区分正确与错误的表达，同时有效减少了因单一数据源而导致的过拟合问题。这一设计不仅丰富了模型的学习维度，还通过动态调整进一步优化了生成结果的可靠性。
值得注意的是，腾讯的这一专利与近年来对比学习在文本摘要领域的应用趋势高度契合。对比学习通过构造正负样本调整模型表示空间，已在提升摘要质量、缓解暴露偏差等方面取得了显著成效。而腾讯此次将对比学习框架融入大语言模型训练，无疑进一步拓展了该技术的应用边界。
媒体分析认为，腾讯的这项专利通过多样化摘要文本及对比机制，为模型提供了一个更加贴近真实应用的学习环境。这对于智能客服、内容生成等需要高精度输出的领域具有直接且重要的意义。此外，该技术还有望加速大模型的落地进程，特别是在短文本对话场景中。结合腾讯此前推出的基于混合注意力机制的对话模型专利，新训练方法有望进一步提升回复的相关性与丰富性，为用户提供更加优质的对话体验。
