1. 稀疏张量入门为什么需要特殊存储格式第一次接触稀疏张量这个概念时我也曾疑惑为什么普通的张量存储方式不够用直到处理一个自然语言处理的词向量矩阵时我才真正理解它的价值。想象一下一个包含10万词汇的词向量矩阵每个句子实际用到的单词可能不到50个——这意味着99.95%的空间都在存储无意义的零值稀疏张量的核心思想很简单只存储有意义的数据。PyTorch中把非零值称为specified elements而零值或其他填充值称为fill value。但实现方式却很有讲究这就引出了COO和CSR两种主流格式。我在实际项目中发现当稀疏度零值比例超过90%时使用稀疏格式通常能带来显著的内存节省。举个例子一个1000x1000的矩阵如果只有100个非零元素普通张量需要存储1,000,000个值COO格式只需存储100个坐标100个值CSR格式通过压缩行索引存储效率更高# 普通密集矩阵的内存占用 dense torch.zeros(1000, 1000) print(dense.element_size() * dense.nelement()) # 输出: 4000000字节 # COO稀疏矩阵的内存占用 indices torch.tensor([[0, 1, 5], [2, 3, 4]]) values torch.tensor([1, 2, 3]) sparse_coo torch.sparse_coo_tensor(indices, values, (1000, 1000)) print(values.element_size() * values.nelement() indices.element_size() * indices.nelement()) # 输出: 56字节2. COO格式深度解析灵活但耗内存的坐标清单2.1 基本结构与创建方法COOCoordinate Format是我最早接触的稀疏格式它的设计非常直观——就像列购物清单一样记录每个非零值的位置和数值。具体由两个核心部分组成indices一个(ndim, nse)的张量记录每个非零元素的坐标values长度为nse的张量存储对应的数值构造COO张量时有个坑我踩过多次indices的输入格式。PyTorch接受两种形式坐标对格式[[行1,行2,...], [列1,列2,...]]坐标列表格式[[行1,列1], [行2,列2],...]需要转置# 方法1直接坐标对 i torch.tensor([[0, 1, 1], [2, 0, 2]]) # 第一行是行号第二行是列号 v torch.tensor([3, 4, 5]) s1 torch.sparse_coo_tensor(i, v, (2, 3)) # 方法2坐标列表转置 i_list [[0, 2], [1, 0], [1, 2]] # 每个子列表是一个坐标 s2 torch.sparse_coo_tensor(torch.tensor(i_list).t(), v, (2, 3))2.2 混合稀疏张量当数值也是张量在实际的推荐系统项目中我遇到了一个有趣的需求每个用户-商品交互不仅需要记录点击次数还要附带一个30维的特征向量。这就是Hybrid sparse COO tensors的用武之地——它允许values不是标量而是张量。# 用户(3人) x 商品(5种)的交互矩阵每个交互有2维特征 indices torch.tensor([[0, 1, 2], [2, 3, 1]]) # 3个交互 values torch.randn(3, 2) # 每个交互对应2维特征 hybrid torch.sparse_coo_tensor(indices, values, (3, 5, 2)) print(f稀疏维度: {hybrid.sparse_dim()}) # 输出: 2 print(f密集维度: {hybrid.dense_dim()}) # 输出: 1这种结构特别适合图神经网络中的节点特征存储其中稀疏维度表示图的连接关系密集维度存储节点特征。2.3 合并与未合并状态性能的双刃剑COO格式有个独特特性允许同一坐标出现多次uncoalesced。这在构建动态图时很有用但会导致性能问题。我曾在图卷积网络训练中因为忽略这点导致内存暴涨。# 未合并状态同一位置(1,1)有两个值 i torch.tensor([[1, 1], [1, 1]]) v torch.tensor([3, 4]) s torch.sparse_coo_tensor(i, v, (3, 3)) # 合并后相同位置值相加 s_coalesced s.coalesce() print(s_coalesced.values()) # 输出: tensor([7])经验法则在重复执行可能产生重复索引的操作如加法后记得调用coalesce()。3. CSR格式揭秘为矩阵运算而生的压缩格式3.1 CSR的核心数据结构CSRCompressed Sparse Row是我在处理大规模文本分类任务时的救星。与COO不同CSR使用三个一维数组crow_indices行指针数组长度为行数1col_indices列索引数组长度为非零元个数values非零值数组这种结构特别适合行操作多的场景。比如在TF-IDF矩阵乘法时CSR格式比COO快3-5倍。# 构造CSR矩阵 crow torch.tensor([0, 2, 4]) # 第一行2个元素第二行2个元素 col torch.tensor([0, 1, 0, 1]) # 列索引 val torch.tensor([1, 2, 3, 4]) # 对应值 csr torch.sparse_csr_tensor(crow, col, val, dtypetorch.float64) # 转换为密集矩阵 print(csr.to_dense()) # 输出: # tensor([[1., 2.], # [3., 4.]], dtypetorch.float64)3.2 CSR的独特优势与限制CSR的最大优势在于内存效率更高相比COO节省约30%空间矩阵乘法等线性运算更快行切片操作高效但需要注意仅支持二维矩阵构造成本较高需要预先排序不支持动态修改非零模式# 从普通矩阵转换 dense torch.tensor([[0, 0, 1], [2, 0, 0], [0, 3, 0]]) csr dense.to_sparse_csr() # 高效矩阵乘法 vec torch.randn(3, 1) result csr.matmul(vec) # 比先转密集再乘快5倍4. 实战选择指南COO vs CSR的场景对决4.1 何时选择COO格式根据我的经验COO更适合这些场景高维稀疏数据如3D体素网格动态构建的稀疏结构如实时更新的图需要频繁修改稀疏模式增加/删除边非行主导的访问模式# 动态构建COO矩阵的典型模式 indices_list [] values_list [] # 模拟流式数据 for i in range(100): row random.randint(0, 99) col random.randint(0, 99) value random.random() indices_list.append([row, col]) values_list.append(value) # 最后统一构建 final_coo torch.sparse_coo_tensor( torch.tensor(indices_list).t(), torch.tensor(values_list), (100, 100) )4.2 何时选择CSR格式CSR在这些场景表现更优二维矩阵运算如线性代数操作行切片频繁如TF-IDF特征提取静态稀疏模式构建后不再修改内存敏感型应用# 文本分类中的典型应用 from sklearn.feature_extraction.text import TfidfVectorizer corpus [apple banana, banana orange, orange apple] vectorizer TfidfVectorizer() X vectorizer.fit_transform(corpus) # 将scipy的csr_matrix转为PyTorch CSR crow torch.from_numpy(X.indptr) col torch.from_numpy(X.indices) val torch.from_numpy(X.data) csr torch.sparse_csr_tensor(crow, col, val, sizeX.shape)4.3 性能对比实测我在10000x10000矩阵稀疏度99.9%上做了对比测试操作COO时间CSR时间内存占用比(COO:CSR)矩阵构建1.2ms3.8ms1:0.7矩阵向量乘4.5ms1.2ms-行切片15ms0.1ms-转置操作0.3ms6.2ms-这个结果印证了之前的观点CSR在运算和行访问上优势明显但构建成本和灵活性不如COO。