对比学习在微博内容表示的应用_张俊林

简介

对比学习：自监督版本的度量学习？

image-20210710094751516

对比学习：一个抽象的对比学习系统

image-20210710094941952

关键问题

• 正例怎么构造？负例怎么构造？

• 映射函数f怎么设计？

• 损失函数怎么设计？

典型例子-SimCLR

image-20210710095434840

关键问题：如何防止模型坍塌？即把所有点都映射到同一个点了

一个好的对比学习系统

image-20210710095822991

SimCLR怎么防止模型坍塌

image-20210710100149158

图像

图像对比学习：Batch内负例-SimCLR

图像对比学习：Batch内外负例-Moco

image-20210710100508346

图像对比学习：基于负例方法谱系

image-20210710100814206

图像对比学习：对比聚类-SwAV

image-20210710101004438

图像对比学习：非对称结构-BYOL

image-20210710101311107

图像对比学习：非对称结构-SimSiam

image-20210710101608947

图像对比学习：冗余消除Loss-Barlow Twins。设计了新的Loss Function

image-20210710101658485

经典图像对比学习模型效果对比

image-20210710101751651

NLP

SimCSE

image-20210710101811014

image-20210710101920437

多模态

CLIP

image-20210710101951421

WenLan

image-20210710102052490

微博中的应用

微博话题识别

image-20210710102125396

微博文本对比学习：CD-TOM模型。SimCLR的改进版本

image-20210710102300827

博文预测话题

image-20210710102357433

image-20210710102411949

找相似博文

image-20210710102511306

image-20210710102538912

微博多模态（文本-图片）

image-20210710102634828

image-20210710102746566

图文是对应的

如何打上靠谱的Embedding？

W-CLIP

image-20210710102833619

博文配图片

image-20210710102922867

image-20210710102952391

image-20210710103017833

image-20210710103040750

图片配博文

image-20210710103116460