用python构建知识图谱的核心是准确抽取“实体-关系-实体”三元组,关键在数据清洗、本体设计与三元组抽取;需用pandas、re、beautifulsoup清洗数据,以字典定义轻量本体,结合规则、spacy或jieba抽取三元组,再存入图数据库。

用Python构建知识图谱,核心是把结构化或半结构化数据转换成“实体-关系-实体”三元组,再存入图数据库或生成可视化图谱。关键不在工具多炫酷,而在数据清洗、模式设计和三元组抽取是否准确。
数据准备与清洗:别跳过这步
原始数据常混杂噪声,比如网页爬取的文本含广告、html标签,csv里有空值或格式不统一。先做基础清洗:
- 用pandas读取并去重、填充缺失主键(如ID、名称)
- 用re或BeautifulSoup提取干净文本,保留关键命名实体(人名、地名、产品名等)
- 统一编码(UTF-8)、标准化大小写和空格(如“北京 ”→“北京”)
定义本体与抽取三元组:图谱的骨架
本体不是必须用OWL写,小项目可用Python字典定义核心类和关系,例如:
schema = { "Person": ["name", "birth_year"], "Organization": ["name", "founded_year"], "works_at": {"domain": "Person", "range": "Organization"}, "located_in": {"domain": "Organization", "range": "Place"} }
三元组抽取方式灵活:
立即学习“Python免费学习笔记(深入)”;
- 规则法:正则匹配“张三_任职于_腾讯” → (张三, works_at, 腾讯)
- 模板法:用spacy识别命名实体+依存关系,找“主语-谓语-宾语”结构
- 轻量NER:用jieba+词典(如自建公司名库)提升中文识别准召率
存储与查询:选对工具省一半力
小规模图谱(NetworkX建图+matplotlib可视化;中大型推荐:
- Neo4j:用neo4j-driver批量插入,Cypher语句直观,如
CREATE (p:Person {name:$n}) - RDF方案:用rdflib生成Turtle/N-Triples,适合需要语义推理的场景
- 别一上来就存全量——先抽100条样例跑通流程,验证节点类型、关系方向、属性字段是否合理
简单可视化与迭代优化
用py2neo连Neo4j后,导出子图JSON,再用ECharts或PyVis画交互图。重点看:
- 有没有孤立节点(没关系边)?可能是抽取漏了或数据本身无关联
- 某类关系爆炸增长(如“has_tag”出现上万次)?检查是否该归为属性而非关系
- 用户查“马云”,能顺“works_at→阿里巴巴”“founder_of→蚂蚁集团”连出来吗?这是检验路径逻辑的关键
基本上就这些。不复杂但容易忽略:图谱不是建完就结束,要从真实查询需求倒推哪些实体必须存在、哪些关系必须可导航。边建边问“用户想怎么查”,比追求节点数量重要得多。