NLP | SimKGC论文详解及项目实现

news/2023/11/28 16:45:58

本文主要讲解了论文SimKGC：基于预训练语言模型的简单对比知识图谱补全的论文总结以及项目实现。

论文题目：2022_SimKGC: Simple Contrastive Knowledge Graph Completion with Pre-trained Language Models

论文地址：2022.acl-long.295.pdf (aclanthology.org)

代码地址：intfloat/SimKGC: ACL 2022, SimKGC: Simple Contrastive Knowledge Graph Completion with Pre-trained Language Models (github.com)

1.论文主要内容

更多可参考【1】

KG通常由三元组(h,r,t)组成，其中h是头实体，r是关系，t是尾实体。
受对比学习的启发，引入三种类型的负采样来提升基于文本的KGC方法
- 批内负采样(IB)
- 批前负采样(PB)
- 自我负采样(SN)
如果两个实体在知识图谱中通过一条短路径连接，两个实体更有可能相互关联。但是基于文本的KGC方法严重依赖语义匹配，而在一定程度上忽略了这种拓扑偏差，因此本文提出一种简单的重排策略(提高头实体的k跳邻居的分数)，来缓解此类现象。

2.项目实现

2.0.环境配置

[我的：Ubuntu20.04+torch2.0.0+cuda11.6]

git clone https://github.com/intfloat/SimKGC
cd SimKGC
pip install scipy

2.1.下载数据集

代码中使用了三种数据集

本文只使用一种，也就是wn18rr。项目中提供了脚本文件进行下载并进行数据处理。

bash scripts/preprocess.sh WN18RR

会生成json文件

其中entities.json为实体字典，relations.json为关系，

2.2.训练模型

训练模型并指定输出目录

OUTPUT_DIR=./checkpoint/wn18rr/ bash scripts/train_wn.sh

如果运行出错请参考【PS1】,成功的话会打印模型结构参数等

默认是50个epoch,

checkpoint 保存为mdl文件

2.3.验证

bash scripts/eval.sh ./checkpoint/wn18rr/model_last.mdl WN18RR

评价标准为MRR【3】

只训练了18个epoch,结果与论文中相似~

3.代码详解

3.1.models.py

使用模型CustomBertModel

使用bert的预训练权重，微调模型，返回知识图谱三要素的向量（logits，labels，hr_vector, tail_vector,head_vector）

3.2.trainer.py

输入：head_id, relation, tail_id

round()

使用方法：round(number,digits)

digits>0，四舍五入到指定的小数位
digits=0, 四舍五入到最接近的整数
digits<0 ，在小数点左侧进行四舍五入
如果round()函数只有number这个参数，等同于digits=0
四舍五入规则：

要求保留位数的后一位<=4，则舍去3，如5.214保留小数点后两位，结果是5.21
要求保留位数的后一位“=5”，且该位数后面没有数字，则不进位，如5.215，结果为5.21
要求保留位数的最后一位“=5”，且该位数后面有数字，则进位，如5.2151，结果为5.22
要求保留位数的最后一位“>=6”，则进位。如5.216，结果为5.22

3.3.evaluate.py

定义平均秩和mrr的算法

3.4.triplet.py

知识图谱中三元组定义，实体id,实体名，实体描述都为字符串。

在实体字典中，包含了EntityDict，LinkGraph的基础定义。

3.5.proprocess.py

定义了三个数据集的数据预处理方法

过程中遇到的问题与解决【PS】

【PS1】RuntimeError: Failed to import transformers.models.bert.modeling_bert because of the following error (look up to see its traceback):too many values to unpack (expected 4)

系统默认模型

修改/SimKGC/scripts/train_wn.sh 脚本文件后

显示ValueError: too many values to unpack (expected 4)

参考CUDA setup · Issue #95 · TimDettmers/bitsandbytes (github.com)

#先查看自己nvcc版本
nvcc --version#根据自己的版本去修改
git clone https://github.com/TimDettmers/bitsandbytes
cd bitsandbytes
CUDA_VERSION=116 make cuda11x
python setup.py install