资料内容：

1．2．2生成式对话聊天系统研究现状
生成式聊天对话是指由训练好的模型自动生成逼真的聊天对话内容，而非事
先编写的规则或预定的回复，它可以模拟人类的对话方式和语言能力，使计算机
能够和人类进行自然的对话。生成式聊天对话历史可以追溯到二十世纪五十年代
早期，当时人工智能研究的先驱们开始探索如何使用计算机生成自然语言。在六
十年代科学家们开始开发人工智能系统，这些系统使用推理和搜索算法来模拟人
类思维和语言生成能力。其中一个著名的例子是麻省理工学院在一九六六年开发
的Eliza【2l】程序，它是一个早期的对话系统，能够使用一些简单的规则来模仿心
理医生的对话风格。随着计算机处理能力的提高和自然语言处理技术的发展，生
成式聊天对话的应用逐渐普及。二十世纪七十年代，科学家开始尝试使用模式匹
配技术来模拟人机对话，但是这种技术受限于预先设定的模式，无法实现自由流
畅的对话。到了二十世纪八十年代，科学家开始探索基于规则和知识库【22】的对话
生成技术，利用知识库中的信息来回答用户的问题，这种方法可以实现更加自然
的对话。但是，这种方法需要大量的手工制作和维护知识库，而且对于一些复杂
的问题，知识库中的信息往往不够完整。在二十世纪九十年代，人们开始探索使
用统计模型和机器学习算法来生成自然语言。这些算法能够从大量的语料库中学
习语言模型，然后使用这些模型来预测下一个单词或短语的可能性，从而生成流
畅的对话内容。
近年来，随着深度学习的兴起，生成式聊天对话技术又取得了重大进展。通
过已有的深度学习模型，包括RNN和Transformerl23】模型，可以在不需要显式规
则或手工特征工程的情况下，从大量的对话数据中学习生成对话的模式。这些模
型能够自然地生成流畅的对话内容，并且在与人类进行对话时表现得越来越自然
和逼真。该技术已经被广泛应用于智能客服、聊天机器人、语音助手等领域。最
近几年，研究人员不仅仅考虑能否生成通顺的回复，还研究了如何使生成的回复
具有多样性。Li【24垮人从模型生成的语句对未来的影响角度出发，模拟虚拟代理
间的对话，并评估了模型的互动响应。Ludwig[25]等人提出了一种新的生成对话代
理(Generative Conversational Agents。GCA)对抗性学习方法，假设GCA是一个生
成器，目的是骗过判别器，把对话看成人类或机器生成的鉴别器，鉴别器会接收
上下文对话和当前令牌的不完整答案作为输入，作者提出的新方法验证了通过反
向传播进行端到端训练的可能性，通过自我对话，为对抗训练生成大量多样性数
据，并提高了与训练数据无关问题的性能。由于互联网上大量数据的生成和研究
人员对生成式对话模型的不断创新，迁移学习也渗透进了对话生成领域。Wolft26】
等人提出了一种新的名为TransferTransfo方法来生成数据驱动对话系统，该方法
结合了基于迁移学习的主题训练案和高容量Transformer模型，通过结合多个无
监督预测任务的多任务目标来进行微调。Csakyt271等人针对当前基于神经网络的

对话模型缺乏多样性并且对开放域对话生成没有意义的回复的问题，提出了一种
通过从训练集中去除通用对话来过滤数据集的方法，该方法使用的是简单基于熵
的方法，并且无需人工监督。之前的对话模型通常为平面模式，将对话上下文直
接串联后输入模型中来预测回复，然而这种方式却没有考虑到对话上下文之间的
动态信息流。Li[28】等人于是介绍了一种对上下文建模的动态流机制，作者通过处
理大规模预训练中每个句子带来的语义影响，提出三个训练目标来捕获对话语句
中的信息动态。Moorjanit29】等人提出在预训练语言生成模型中注入用户的风格偏
好，利用有限的人类判断来引导风格分析模型，并增加判断子集，将学习到的文
本样式添加进基于GPT-2的文本生成器中，同时平衡流畅性和样式采用。