​AAAI 2023 | 基于历史对比学习的时序知识图谱推理

news/2024/2/27 20:21:24

3ecc520efe4086f933537f12988d0953.gif

©PaperWeekly 原创 · 作者 | 徐奕

单位 | 上海交通大学Acemap

研究方向 | 数据挖掘

7401df1caa59bfdbb906a1bf8d6a48ec.png

论文标题:

Temporal Knowledge Graph Reasoning with Historical Contrastive Learning

论文链接:

https://arxiv.org/abs/2211.10904

代码链接:

https://github.com/xyjigsaw/CENET

089428424a5de1451a357ea264aa8960.png

时序知识图谱

知识图谱(KGs)作为人类知识的集合,在自然语言处理、推荐系统和信息检索等领域显示展现了很好的前景。传统的 KG 通常是一个静态知识库,它使用图结构数据拓扑,并以三元组(s, p, o)的形式集成事实(也称为事件),其中 s 和 o 分别表示主语(头实体)和宾语(尾实体)实体,p 作为关系类型表示谓词。

在现实世界中,由于知识不断发展,时序知识图谱(TKG)的构建和应用成为领域热点,其中三元组(s, p, o)扩展为四元组,增加了时间戳 t,即(s, p, o, t)。下图是由一系列国际政治事件组成的 TKG。

66ee2b4737c52f4c95c16afa7b01e03e.png▲ 图1. 时序知识图谱(子图)

f28f8d4d3da31d91fa06491f86d2d2cd.png

时序知识图谱推理

TKG 为许多下游应用提供了新的视角和见解,例如决策、股票预测和对话系统,从而引发了人们对 TKG 推理的强烈兴趣。在这项工作中,我们专注于在 TKG 上预测未来的事件。

为了对 TKG 的结构和时间特征进行建模以用于未来事件预测,一些主流的模型例如 RE-NET 利用自回归方法,可以很容易地预测重复或周期性事件。然而,在 TKG 数据集 ICEWS(综合危机预警系统)中,新事件约占 40%。

预测这些新事件非常具有挑战性,因为它们在历史时间轴上具有较少的交互痕迹。例如,图 2 的右侧部分显示了查询(the United States, Negotiate, ?, t+1)及其相应的新事件(the United States, Negotiate, Russia, t+1),其中大多数现有方法由于过度关注频繁的重复事件,因此在此类查询中通常会获得错误的结果。

80b90b1c117b8d1f64961407c2212a55.png

▲ 图2. 现有模型存在的问题

另一方面,在推理过程中,现有方法在对整个图中所有候选实体的概率得分进行排名时,而没有任何的 bias。我们认为,在处理不同事件的缺失实体时,这种 bias 是十分必要的,这在现实社会中也是如此,例如,对于重复或周期性事件,我们应该优先考虑一些频繁发生的实体,而对于新事件,则需更多地关注历史交互较少的实体。

e109d0869a3987c84fcfcb42283205c9.png

基于历史对比学习的时序知识图谱推理

在这项工作中,我们将超越历史信息的限制,从整个知识中挖掘潜在的时序模式。为了更清晰地阐述我们的设计,我们将与当前查询中的实体相关联的过去事件称为该查询历史事件,其他事件称为非历史事件。我们直观地认为,TKG 中的事件不仅与其历史事件相关,还与未观察到的潜在因素间接相关。我们所能看到的历史事件只是冰山一角(图2)。

我们提出了一种新的 TKG 推理模型,称为 CENET(Contrasive Event Network)。下图给出了模型的框架图。

eb29fd115cebcdd27b242f0769c81f90.png

▲ 图3. CENET模型框架:左侧部分从历史和非历史依赖关系中学习实体的分布。右侧部分是历史对比学习的两个阶段,其目的是识别高度相关的实体,输出是布尔掩码向量。中间部分是基于掩码的推理过程,它将从历史和非历史依赖关系中学习到的分布与掩码向量相结合,以生成最终结果。

给定真实的尾实体为 o 的查询(s, p, ?, t),CNENT 考虑其历史和非历史事件,并通过对比学习识别重要实体。具体而言,模型首先采用基于复制机制的评分策略来建模历史事件和非历史事件的相关性(公式 1 和 2)。

e76ae0af9b1aa133f3f789caad977cca.png

▲【公式1】

b49556d4c62fb8c441f19723e3ae0f1b.png

▲【公式2】

此外,所有查询都可以根据其真实对象实体分为两类:尾实体是历史实体或非历史实体。因此,CENET 自然采用监督对比学习损失来训练两类查询的表示(即公式 3 中的 ),进一步帮助训练输出为布尔值的分类器,以识别哪些实体应该受到更多关注。在推理过程中,CENET 结合了历史和非历史依赖性的分布,并根据分类结果进一步采用基于掩码的策略来考虑高度相关的实体。

5ab06728c274db724430d32e3335ac43.png

▲【公式3】

d6782aaf5f3d37440480f288d3d93e8d.png

▲ 图4. 历史对比学习:CENET 在第 1 阶段使用对比损失学习表示,在第 2 阶段使用交叉熵损失训练二元分类器。

7389e0fce04b9aea1e883af8326dd90f.png

实验

4.1 数据集

我们选择了五个基准数据集,包括三个基于事件的 TKG 和两个公共 KG。这两种类型的数据集以不同的方式构建。前三个基于国际政治事件的 TKG 由 ICEWS18、ICEWS14 和 GDELT 组成,事件是离散的。后两个公共 KG(WIKI 和 YAGO)中的事件可能会连续地存在很长时间。

d09206bba626abd2abf58ab77732cad3.png▲ 表1. 数据集

4.2 对比实验

我们选取了 15 个业界最新的 TKG 推理模型作为基线,并采用 Mean Reciprocal Ranks(MRR)和 Hits@1/3/10(the proportion of correct predictions ranked within top 1/3/10)作为评价指标。下表给出了结果。结果表明,CENET 在大多数指标上明显优于所有现有方法,在基于事件的数据集上,与以前最先进的基线相比,Hits@1 至少获得了 8.3% 的相对提升。

8633e59d21e3caffb41f4c7482f80263.png

▲ 表2. 基于事件的 TKG 对比实验结果

7c9c42f4089704652295c8d3c7cd65f8.png▲ 表3. 公共 KG 对比实验结果

4.3 消融实验

我们分析了模型中每一个关键组成的性能,下表给出了消融实验的结果。可以看到,同时考虑历史和非历史依赖项比只单独考虑历史依赖能取得更好的效果,历史对比学习策略以及基于掩码的推断均能取得优越的性能。

a0b0822b79c18782e5e813434fb5d9b2.png▲ 表4. 消融实验

4.4 案例分析

案例分析给出了模型在预测重复性事件与新事件上的案例。

0c06b68763ba69f53914382150497180.png▲ 图5. 案例分析

f30c6ad378f3079dc0cea9eb1a81273b.png

结论

在本文中,我们提出了一种新的用于事件预测的时序知识图谱模型——对比事件网络(CENET)。CENET 的关键思想是学习整个实体集的令人信服的分布,并在对比学习框架中从历史和非历史依赖性中识别重要实体。实验结果表明,CENET 在大多数指标上都显著优于所有现有方法,尤其是在 Hits@1 的指标上。未来工作包括探索知识图中的对比学习能力,例如找到更合理的对比学习对(contrastive pairs)。

更多阅读

9ce5ee72be186b8d06d7985d41e80df5.png

e8f313c984ae9ec5e47ac584296c151a.png

59cfc57012af51d9828d0786ce43c5e9.png

dc3748bc15077b169d56605e9d006c9f.gif

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。

总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。

📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道:

• 投稿邮箱:hr@paperweekly.site 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿

3881761009ea9bbff62a685d967b74ce.png

△长按添加PaperWeekly小编

🔍

现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·

0c8fda83b694938bf4848195ee533d1c.jpeg


http://www.ppmy.cn/news/233668.html

相关文章

G i t

Git 1、Git 概述1.1、版本控制工具 2、Git 常用命令★★★★2.1、设置用户签名★★★★2.2、初始化本地库★★★★2.3、查看本地库状态$ git status2.4、添加暂存区$ git add 文件名2.5、提交本地库2.6、修改文件$ vim 文件名2.7、历史版本 3、Git 分支操作3.1、分支的操作&am…

GATK简介

二代测序通过荧光和生物试剂等手段获得人类遗传物质基因的碱基序列,但由于这些获得的信息是大量片段性质的,而且存在一定误差,因此想要准确完整的确定其所处位置和真实的碱基类型需要我们使用计算机的手段来进行分析,这些分析就是…

TKG 1.5.1 的 BYOH 集群部署

开局一张图,Tanzu Kubernetes Grid v1.5.1 发布支持的一个重要功能是 Bring Your Own Host (简称BYOH)体验版本发布,这个解决方案突破了 TKGm 工作集群部署依赖 vSphere 或者 AWS,AZURE 等公有云的限制,TKG…

使用AKO为TKG提供LoadBalancer

本文记录了使用AKO(AVI)为TKG提供对外LoadBalancer服务的配置过程。 TKG的介绍请参考:Tanzu Kubernetes Grid介绍 TKG以及其安装配置参考:安装 Tanzu Kubernetes Grid Tanzu Kubernetes Grid基本操作 环境 项目内容备注VMware …

【RE-GCN_2021.04】基于进化表示学习的时态知识图谱推理

提示: 文章目录 摘要一、引言二、相关工作三、问题表述四、RE-GCN模型4.1 进化单元4.1.1 并发事实之间的结构依赖性4.1.2 跨时间邻近事实的序列模式4.1.3 静态特性 4.2 针对不同任务的评分函数4.3 参数学习4.4 计算复杂度分析 五、实验5.1 实验设置5.1.1 数据集5.1.…

一文了解 TKG 如何使用 GPU 资源池

相关文章: 有了这个办法,跑AI任务再也不用在机器上插GPU卡了 随着科技进步和产业变革的加速演进,人工智能(AI)已经成为兵家必争之地。在政府、学术机构、企业等各个层面,AI都受到高度重视,其在学…

云桌面参数相关

涉及到云桌面选型,首先要考虑到云桌面的客户机配置与服务器参数之间的关系。(一个小白的折腾!) 例如:客户机配置:2vCPU6GB300GB 无显卡。 一台服务器支持50个用户! 虚拟CPU:物理CPU5:1 则服…

iQOOU1x和iQOOU3x的区别 iQOOU1x和iQOOU3x参数对比

iQOO U1x这款手机采用6.51英寸IPS材质的全面屏,支持60Hz刷新频率,屏幕分辨率为1600x720像素 vivoU3x采用了正面这块6.35英寸的水滴全面屏 vivo手机爆降600这活动太给力了 机会不容错过 https://www.vivo.com.cn iQOOU1x搭载了后置1300万200万200万像素…

红米note9pro和红米10x 参数对比 哪个好

红米note9pro采用了一块6.67英寸的LCD挖孔屏,2400x1080像素的屏幕分辨率,支持90Hz的屏幕刷新率。 红米手机爆降500这活动太给力了 机会不容错过 https://www.xiaomi.com.cn 红米10x采用6.57英寸的AMOLED屏幕是支持2400x1080像素分辨率但是没有高刷。 红米…

chrome启动参数

序号参数解释1–报告伪分配跟踪。伪跟踪从当前活动的跟踪事件派生。2–/prefetch:1/prefetch:启动各种流程类型时使用的#arguments。已经观察到,当文件读取与具有相同/prefetch:#参数的3个进程启动一致时,Windows预取器开始在进程…

结合Sklearn的网格和随机搜索进行自动超参数调优

什么是超参数? 今天,隐藏着数学世界的算法只需要几行代码就可以训练出来。它们的成功首先取决于训练的数据,然后取决于用户使用的超参数。这些超参数是什么? 超参数是用户定义的值,如kNN中的k和Ridge和Lasso回归中的alpha。它们严格控制模…

oppok7x可以用鸿蒙系统吗,oppok7x支持nfc吗_oppok7x手机怎么样

在双十一期间,OPPO发布了一款性价比极高的千元机——oppo k7x,这款手机主打续航,使用时间非常久,适合家里的老人和小孩使用,最近看到有人好奇oppok7x支持nfc吗? 一、oppok7x支持nfc吗 首先要说的就是oppok7…

GhostScript命令参数详解

常用参数解释 这是一个测试的命令:gs -dQUIET -dNOSAFER -r300 -dBATCH -sDEVICEpngalpha -dNOPAUSE -dNOPROMPT -sOutputFile/opt/shanhy/testpng/%d.png /opt/shanhy/test.pdf Linux 中,到文件gs所在目录执行。 Windows 中,到GhostScrip…

MySQL集群节点参数说明

1. 定义MySQL集群管理服务器 [NDB_MGMD]部分(或其别名[MGM])用于配置管理服务器的行为。下面列出的所有参数均能被忽略,如果是这样,将使用其默认值。注释:如果ExecuteOnComputer和HostName参数均未出现,会为…

英特尔服务器主板型号参数对照表,Intel主板芯片组参数速查表(201805版)

2018年5月6日更新 注:以上主板频率是intel的规范,而实际工厂在制造的时候,可以让主板支持到更高的频率,这称为内存频率的OC支持。 2016年底,intel200系列芯片组发布了,主要有:Z270、H270、B250三…

Chrome 启动参数

常用参数 常用参数请参考下表。 序号参数说明1--allow-outdated-plugins不停用过期的插件。2--allow-running-insecure-content默认情况下,https 页面不允许从 http 链接引用 javascript/css/plug-ins。添加这一参数会放行这些内容。3--allow-scripting-gallery允…

android获取carema所有参数,android相机Camera.Parameters所有的参数值

最近两天一直在看android相机的参数设置,Camera.Parameters中属性值非常的多,我索性就把就调用的flatten()方法,将设置的参数值都打印出来了,方便以后查看,如果想要修改那个属性,使用set方法,比如设置缩放 if(parameters.isZoomSupported()){//tenDesiredZoom取值在para…

当switch遇到null

当switch遇到null,会报空指针异常。所以,在使用switch前加上非null判断,单独处理或赋值(方便走default)。

可以作为switch参数数据类型

可以作为switch参数数据类型的有:int、type、short、char、String、枚举(整数、枚举、字符、字符串)

关于Java中Switch支持的数据类型

Java中Switch支持byte、short、char、int四种基本类型,在JDK1.5中支持了枚举类型以及byte、short、char、int四种基本数据类型的包装类,在JDK1.7中支持了String类型,不支持long类型以及long的包装类。 一、底层实现 java中switch是将所有类…
最新文章