企业VIP
先前的预训练语言模型已在众多自然语言理解任务中展现了其卓越的性能.然而,它们常常表现出捷径学习的问题,即学习了非鲁棒性特征与标签之间的虚假关联,导致模型在不同于训练分布的测试场景中的泛化能力不佳.近期,生成式预训练大模型在理解任务中的出色表现引起了广泛的关注,但它们是否受到捷径学习的影响尚未被充分研究.本文以LLaMA系列模型与FLAN-T5模型为代表,首次探究了生成式预训练大模型在多个自然语言理解任务中的捷径学习现象.研究结果表明,近期流行的生成式大模型仍然存在捷径学习的问题.进而,本文提出了针对生成式预训练大模型的捷径学习问题的缓解策略——基于可控性解释的混合数据增强框架.该框架以数据为中心,基于模型生成的可控性解释数据与部分原始提示性数据构造小规模混合数据集,开展模型微调.在三个具有代表性的自然语言理解任务中的大量实验结果表明,使用该框架所构造的数据集训练模型能够有效缓解模型的捷径学习问题,提升模型在分布外测试场景中的鲁棒性与泛化能力,同时不牺牲甚至提升模型在分布内测试场景中的性能.本文代码已公开发布在https://github.com/Mint9996/HEDA.
文档