Unified SKG

以结构化数据为输入的任务，比如Text2SQL、KBQA、Data2Text、表格问答等。

UnifiedSKG这篇工作，简单来说就是把这类涉及结构化数据的任务统一用非结构化文本表示，用T5进行精调。

多任务效果

上面的结果，都只是在单任务上的精调结果，后面的多任务才是大招。作者分别尝试了四种精调方法：

1. ST-F：单任务精调

2. ST-P：单任务prefix-tuning

3. MT-F：多任务精调

4. MT-P：多任务prefix-tuning

MT-P效果最好：

因此作者的猜想是：不同的结构化数据领域不同，很难共享参数。

可以看到，MT-P比ST-F的效果又好上了很多，而且prefix-tuning这种freeze模型主干的方式可以更方便的进行应用。

迁移效果

从效果可以看到，这类任务只在同数据来源的情况下才有效，相同task不同结构化数据来源则不行：

少样本效果

作者在零样本和少样本上没有进行过多实验，也没有和其他的研究对比，感兴趣的同学可以看原文：

结构化数据如何编码

除了上述实验外，作者还进行对结构化数据编码的其他探索，得到了以下结论：

1. 在顺序上，先放User input（比如query），再放context，最后放结构化数据效果好一些。作者猜想固定的位置可以让decoder的注意力更加问题

2. 对于跨领域的表或者数据库，T5对字段的顺序没那么敏感，对于三元组则很敏感

3. 对于WikiSQL，把数据转成自然语言可以加速收敛，对于表格的数据则没什么效果

4. T5的生成能力很强，语法上没什么错误，主要是答案有矛盾、信息缺失

参考资料

https://mp.weixin.qq.com/s/CmVW2aQR53_rJ_OeNJ845Q