SAC-KG – 通用知识图谱构建框架，能构建超百万节点的领域知识图谱

SAC-KG是什么

SAC-KG是一个基于大型语言模型（LLMs）的通用框架，旨在自动构建特定领域的知识图谱。该框架由生成器、验证器和剪枝器三个核心组件组成，能够从原始领域语料库中自动生成一级知识图谱，并确保生成的三元组准确无误。SAC-KG能够创建超过百万节点规模的知识图谱，实际应用中精度高达89.32%，相比于现有先进方法提升了20%以上。这一框架利用LLMs的专业能力，生成专业且准确的多层次知识图谱。

SAC-KG的主要功能

• 自动化知识图谱构建：SAC-KG通过其核心组件，能够从原始领域语料库中自动构建特定领域的单层知识图谱，并具备迭代构建多层级知识图谱的能力。
• 提升构建精度：借助验证器和剪枝器的协同作用，SAC-KG能够纠正生成过程中的错误，并评估新生成的尾部是否需要迭代，从而确保高达89.32%的精度，超越现有方法20%以上。
• 领域专业化：基于LLMs作为领域专家的特性，SAC-KG生成的知识图谱体现出高度的专业性，能够准确生成与特定领域相关的三元组。
• 控制生成流程：通过引入开放知识检索器和剪枝器，SAC-KG能够有效管理生成过程，确保生成的三元组格式正确且符合领域需求。
• 大规模构建能力：SAC-KG可以在超过一百万个节点的范围内自动构建领域知识图谱，充分展示了其处理大规模数据集的优势。
• 无监督学习方法：SAC-KG采用无监督的方法，适用于任何拥有大量非结构化文本语料库的领域，无需依赖标记数据。
• 一致性评估：通过与GPT-4及人类评估进行比较，验证了SAC-KG生成的知识图谱在质量和可靠性方面的高一致性。

SAC-KG的技术原理

• 生成器（Generator）：生成器负责从原始领域语料库和开源知识图谱中提取相关信息，作为输入传递给LLMs，从而生成特定领域的一级知识图谱。该模块分为两个子模块：
  • 领域语料库检索器：将领域语料库分割为句子，按实体出现频率排序，最后将排序后的句子连接为固定长度文本输入到LLMs。
  • 开放知识检索器：为开源知识图谱中的实体提供相关三元组示例；对于未包含在开源知识图谱中的实体，将其进行分词并重新检索；如果仍未匹配，则随机选择十个三元组作为提示。
• 验证器（Verifier）：验证器的职责是检测和过滤生成器输出中的错误三元组，主要包括两个步骤：
  • 错误检测：利用RuleHub中提炼的7000多条规则，对生成的三元组进行数量、格式和冲突等方面的检查。
  • 错误校正：依据检测到的错误类型，提供相应的提示，以便LLMs重新生成正确的三元组。
• 剪枝器（Pruner）：剪枝器与验证器紧密协作，通过判断新生成的尾部是否需要进行下一层级知识图谱的迭代，确保构建的知识图谱具备可控性。该组件基于开源知识图谱DBpedia进行微调的T5二分类器模型，输入为每个正确三元组的尾实体，输出为“growing”或“pruned”，表示该实体是否继续生成下一层知识图谱。

SAC-KG的项目地址

• 技术论文链接：https://arxiv.org/html/2410.02811v1

SAC-KG的应用场景

• 专业领域知识图谱的构建：SAC-KG适用于医学、生物学、社交网络等多个领域，助力构建专业化的知识图谱。
• 自动化与精确性提升：通过全面自动化的构建过程，SAC-KG显著提高了知识图谱构建的效率与精度，达到89.32%的高精度，超越现有先进方法20%以上。
• 领域专业化：SAC-KG利用大型语言模型（LLMs）作为领域专家，生成与具体领域紧密相关的三元组，从而赋予知识图谱高度的专业化特征。
• 大规模数据处理能力：在超过一百万个节点的规模上，SAC-KG展示了其在处理大规模数据集方面的显著优势。