最近在帮实验室的师弟处理文献数据他抱怨说用 CiteSpace 做关键词共现图时导出的 Web of Science 数据经常格式错乱节点标签挤成一团根本看不清调整参数又特别耗时。这让我想起自己以前也踩过同样的坑。其实用 Python 自己写一套流程不仅更灵活还能把数据清洗、分析和可视化完全掌控在自己手里。今天就来分享一下我的实战经验从原始数据到一张清晰、美观的关键词共现图手把手带你走一遍。背景痛点为什么不用 CiteSpace 而选择 Python很多刚开始做文献计量的同学会直接使用 CiteSpace、VOSviewer 这类图形化工具。它们上手快但深入使用时痛点也很明显数据格式“黑箱”Web of Science 导出的纯文本或 Excel 文件CiteSpace 在导入时经常出现编码错误、字段识别混乱特别是包含多语言如中英文混合关键词时处理起来非常头疼。可视化调整繁琐生成的网络图节点和边一多默认的布局就会重叠严重。虽然工具提供了调整参数但往往需要反复手动拖拽效率低下且难以实现批量、一致的优化。分析流程不透明从原始数据到最终图形中间的数据清洗、关键词合并如单复数、同义词、阈值筛选等步骤在图形界面中操作不直观也不利于复现和审计。定制化能力弱如果想在图上添加特定的标注、按非标准的属性如文献发表年份区间着色或者将网络数据导出进行更深度的统计分析如社区发现、中心性计算原生工具支持有限。相比之下采用 Python 的PandasNetworkXMatplotlib或Seaborn、Plotly技术栈就像从“傻瓜相机”换成了“单反”虽然需要一些学习成本但能获得完全的创作自由度和可重复性。技术方案Python 三件套搭建分析流水线我们的核心思路是构建一个可编程的数据流水线Pandas负责数据 I/O 和清洗。它能轻松处理 CSV、Excel 等格式进行缺失值填充、文本规范化、关键词拆分与统计。NetworkX负责构建和分析网络。我们将关键词视为“节点”其共同出现在同一篇文献中的关系视为“边”边的权重可以是共现次数。NetworkX可以方便地计算网络密度、节点中心性等指标。Matplotlib / Plotly负责可视化。Matplotlib基础强大结合NetworkX的绘图函数和力导向布局算法可以生成静态图。Plotly则能创建交互式图表便于探索。这套方案的优点在于高度可控、可复用、可扩展。一次编写脚本后续只需替换数据文件即可快速生成新图。所有中间数据如共现矩阵、网络图对象都可以保存下来供后续深度分析使用。核心实现从数据到图形的完整代码下面我们分步骤用代码实现整个流程。假设我们有一个从 Web of Science 导出的 CSV 文件wos_data.csv其中有一列叫做Keywords。1. 数据清洗与关键词提取这一步的目标是将原始数据中的关键词字符串处理成干净的、可用于统计的列表。import pandas as pd import re from typing import List, Dict, Any import ast def load_and_clean_keywords(file_path: str, keyword_column: str Keywords) - pd.DataFrame: 加载数据并清洗关键词列。 Args: file_path: 数据文件路径CSV或Excel。 keyword_column: 存储关键词的列名。 Returns: 包含清洗后关键词列表的DataFrame。 # 读取数据注意编码问题常见的有 utf-8, gbk, latin-1 try: df pd.read_csv(file_path, encodingutf-8-sig) except UnicodeDecodeError: df pd.read_csv(file_path, encodinggbk) # 确保关键词列存在 if keyword_column not in df.columns: raise ValueError(f列 {keyword_column} 在数据中未找到。) # 清洗函数处理分隔符转换为小写去除多余空格 def clean_keyword_string(keyword_str: str) - List[str]: if pd.isna(keyword_str): return [] # 替换常见分隔符为分号并分割 # Web of Science 常用分号分隔但也可能用逗号、空格等 keyword_str str(keyword_str) # 先将多个分隔符统一替换为分号 keyword_str re.sub(r[;,\s], ;, keyword_str) keywords [kw.strip().lower() for kw in keyword_str.split(;) if kw.strip()] # 可选进一步去除停用词如“and”, “of”, “the”等需根据领域自定义 # stop_words {and, of, the, in, on, for, a, an} # keywords [kw for kw in keywords if kw not in stop_words] return keywords df[cleaned_keywords] df[keyword_column].apply(clean_keyword_string) # 过滤掉没有关键词的记录 df df[df[cleaned_keywords].apply(len) 0].reset_index(dropTrue) return df # 使用示例 df load_and_clean_keywords(wos_data.csv, Keywords) print(f共加载 {len(df)} 篇有效文献。) print(df[[cleaned_keywords]].head())2. 构建关键词共现矩阵与网络接下来我们需要统计每对关键词在同一篇文章中出现的频率并以此构建网络。import itertools from collections import defaultdict import networkx as nx def build_cooccurrence_network(cleaned_keywords_list: List[List[str]], min_cooccurrence: int 2) - nx.Graph: 根据清洗后的关键词列表构建共现网络。 Args: cleaned_keywords_list: 每篇文章的关键词列表的列表。 min_cooccurrence: 边的最小共现次数阈值低于此值的边将被过滤。 Returns: 一个NetworkX的Graph对象节点为关键词边权重为共现次数。 cooccurrence_counts: Dict[tuple, int] defaultdict(int) node_occurrence: Dict[str, int] defaultdict(int) # 记录每个关键词出现的文章数 for keywords in cleaned_keywords_list: # 统计每个关键词的出现频次用于后续节点大小 for kw in set(keywords): # 使用set避免一篇文章内重复计数 node_occurrence[kw] 1 # 统计两两共现组合 for kw1, kw2 in itertools.combinations(sorted(set(keywords)), 2): # 排序以确保 (kw1, kw2) 和 (kw2, kw1) 被视为同一条边 edge (kw1, kw2) cooccurrence_counts[edge] 1 # 创建无向图 G nx.Graph() # 添加节点并设置节点属性如出现频次 for kw, freq in node_occurrence.items(): G.add_node(kw, weightfreq) # 添加边并过滤掉低于阈值的边 for (kw1, kw2), weight in cooccurrence_counts.items(): if weight min_cooccurrence: G.add_edge(kw1, kw2, weightweight) # 可选移除孤立节点没有任何连接的节点 G.remove_nodes_from(list(nx.isolates(G))) print(f网络构建完成。包含 {G.number_of_nodes()} 个节点{G.number_of_edges()} 条边。) return G # 使用示例 keyword_lists df[cleaned_keywords].tolist() G build_cooccurrence_network(keyword_lists, min_cooccurrence3)3. 网络可视化与优化这是最关键也最需要技巧的一步。我们将使用力导向布局算法来让图形自动排列并通过调整参数优化可读性。import matplotlib.pyplot as plt import numpy as np def draw_cooccurrence_network(G: nx.Graph, top_n_nodes: int 50, layout_algorithm: str spring, figsize: tuple (15, 12)) - None: 绘制关键词共现网络图。 Args: G: 构建好的网络图。 top_n_nodes: 仅展示出现频次最高的前N个节点避免图形过于拥挤。 layout_algorithm: 布局算法spring (力导向) 或 kamada_kawai。 figsize: 图形大小。 # 1. 节点筛选按出现频次选择最重要的节点 node_weights nx.get_node_attributes(G, weight) if len(node_weights) top_n_nodes: # 按权重排序取前 top_n_nodes 个 top_nodes sorted(node_weights.items(), keylambda x: x[1], reverseTrue)[:top_n_nodes] top_node_names [node for node, _ in top_nodes] # 创建子图 H G.subgraph(top_node_names).copy() else: H G # 2. 计算布局 (Node Positioning) print(正在计算节点布局这可能需要一些时间...) if layout_algorithm spring: # 力导向布局调整 k节点间斥力强度和 iterations迭代次数以获得更好布局 pos nx.spring_layout(H, k2, iterations100, seed42) # seed 保证可重复性 elif layout_algorithm kamada_kawai: # Kamada-Kawai 布局通常能产生更均衡的布局适合中小型网络 pos nx.kamada_kawai_layout(H) else: pos nx.spring_layout(H, seed42) # 3. 准备绘图数据 # 节点大小根据出现频次权重映射可以非线性缩放如取对数避免差异过大 node_sizes [np.log(H.nodes[node].get(weight, 1)) * 100 for node in H.nodes()] # 节点颜色可以根据度中心性、介数中心性等上色这里简单用频次 node_weights_sub [H.nodes[node].get(weight, 1) for node in H.nodes()] # 边宽度根据共现次数权重映射 edge_weights [H.edges[edge].get(weight, 1) for edge in H.edges()] edge_widths [w / max(edge_weights) * 3 for w in edge_weights] # 归一化并缩放 # 4. 绘制图形 plt.figure(figsizefigsize) # 先画边 nx.draw_networkx_edges(H, pos, alpha0.5, widthedge_widths, edge_colorgray) # 再画节点 # 使用散点图绘制节点以便更好地控制颜色和大小 nodes nx.draw_networkx_nodes(H, pos, node_sizenode_sizes, node_colornode_weights_sub, cmapplt.cm.viridis, # 颜色映射 alpha0.8) # 5. 标签处理避免重叠 # 只给权重较大的节点添加标签 label_dict {} for node in H.nodes(): if H.nodes[node].get(weight, 0) np.percentile(list(node_weights_sub), 70): # 例如只显示前30%的节点标签 label_dict[node] node if label_dict: # 可以使用 nx.draw_networkx_labels但这里用文本标注以便微调 for node, label in label_dict.items(): x, y pos[node] plt.text(x, y0.02, label, # 轻微偏移避免压在节点上 fontsize9, hacenter, vabottom, bboxdict(boxstyleround,pad0.3, facecolorwhite, alpha0.7, edgecolornone)) plt.title(Keyword Co-occurrence Network, fontsize16) plt.axis(off) # 关闭坐标轴 plt.tight_layout() # 添加颜色条说明节点颜色意义 sm plt.cm.ScalarMappable(cmapplt.cm.viridis, normplt.Normalize(vminmin(node_weights_sub), vmaxmax(node_weights_sub))) sm.set_array([]) cbar plt.colorbar(sm, shrink0.8) cbar.set_label(Keyword Occurrence Frequency, rotation270, labelpad15) plt.show() # 使用示例 draw_cooccurrence_network(G, top_n_nodes80, layout_algorithmspring)避坑指南与进阶技巧在实际操作中你可能会遇到以下问题这里提供一些解决方案中文编码与显示问题数据读取如果 CSV 文件包含中文尝试encodinggbk或utf-8-sig。图形显示确保你的系统安装了中文字体并在 Matplotlib 中设置。可以在代码开头添加import matplotlib matplotlib.rcParams[font.sans-serif] [SimHei, DejaVu Sans] # 指定默认字体 matplotlib.rcParams[axes.unicode_minus] False # 解决负号显示问题大规模网络图性能优化节点过滤这是最有效的方法。除了按频次筛选还可以设置节点最小出现次数、边最小权重阈值。布局算法选择对于节点数 500 的大网络spring_layout会非常慢。可以尝试nx.sparse_layout或使用fa2ForceAtlas2库它针对大型图进行了优化。或者先使用spring_layout的scale和k参数进行粗略布局再用kamada_kawai_layout进行局部优化。简化绘图绘制时关闭抗锯齿 (antialiasedFalse)不使用复杂的节点形状和阴影。学术伦理与数据去敏在使用公开数据集或从数据库导出的数据时确保你拥有相应的使用权限并遵守数据库的使用条款。如果分析涉及特定作者或机构在公开发布研究成果时应注意数据的聚合和匿名化处理避免泄露未公开的审稿信息或个人隐私。延伸思考方法的迁移与应用这套基于 Python 的文献计量分析流水线具有很强的通用性。只需稍作修改就可以应用到其他常见的知识图谱构建场景中作者合作网络将数据中的Author列作为处理对象统计作者之间的合作发表关系。构建网络后可以识别核心研究团队和学术共同体。机构合作网络分析Address或Organization字段构建机构间的合作网络常用于研究区域或机构的科研合作模式。文献共被引网络利用Cited References字段分析文献之间的共被引关系这是探究学科知识基础和研究前沿的经典方法。期刊/类别共现分析分析Source Title或Research Areas可以观察期刊或学科领域之间的关联强度。其核心逻辑是一致的从文本数据中提取实体 - 定义实体间的关系 - 构建并分析网络 - 可视化呈现。掌握了这个范式你就拥有了应对多种文献计量和复杂网络分析任务的工具箱。通过这次从 CiteSpace 到 Python 的“迁移”最大的感受是“掌控感”的提升。虽然前期需要编写一些代码但一旦流程搭建完成它就变成了一个高效、可定制、可复用的自动化工具。下次当图形化工具让你束手无策时不妨打开 Python自己动手绘制一张理想中的知识图谱吧。