闲聊型对话系统概述

常见的对话系统

image-20210705231356563

开放域对话系统

• 检索式系统

  • 给定用户上一句话u，从大规模语料库C中检索到一个合适的句子t，作为对用户的回复r

• 生成式系统

  • 给定对话上文c，模型生成一句合适的回复r

检索式系统

• 语料库构建：挖掘大规模 人-人 或 人-机 对话语料，构建语料库

• 英文语料：Twitter，Reddit

• 中文语料：微博、豆瓣、贴吧

如何找到最合适的回复

image-20210705232329376

生成式系统

生成模型

Sequence-to-sequence

image-20210705232634813

image-20210705232708968

image-20210705232752960

Generative Pre-training Models

image-20210705232933042

image-20210705233108902

image-20210705233322563

解码策略

Greedy Decoding

image-20210705233429524

容易选择到常用词

Sampling-based Decoding

image-20210705233523907

容易选择到不相干的词

改进

image-20210705233612085

image-20210705233730541

总结

image-20210705233845453

对话评估

自动评估

• BLUE

• Distinct

image-20210705233947703

image-20210705234030562

image-20210705234122416

人工评估

image-20210705234214017

image-20210705234346065

image-20210705234358404

image-20210705234412882

最新进展

image-20210705234449737

PLATO-2

image-20210705234532336

image-20210705234607110

image-20210705234625104

已开源

总结及展望

解决对话问题的要素

• 语料&知识：人设、背景等信息

• 记忆&小样本学习

• 多模态交互

• ...

image-20210705235027078