词向量Word Embedding是自然语言处理NLP领域的基石技术它的核心思想是将人类语言中的词汇转换为计算机能够理解和计算的数学形式——即稠密的低维实数向量。简单来说词向量技术让机器不再把词语看作孤立的符号而是将其映射到一个连续的语义空间中在这个空间里词语之间的距离和方向能够反映它们之间的语义和语法关系。 发展历史从符号到语义的三次范式跃迁词向量技术的发展并非一蹴而就它经历了从静态表示到动态感知再到指令优化的三次重大飞跃。1. 静态嵌入时代一词一向量这一阶段的里程碑是2013年Google提出的Word2Vec模型它将词向量技术推向了主流。核心理念基于分布式假设Distributional Hypothesis即“一个词的语义由其上下文决定”。通过在海量的文本数据上训练模型学习到语义相似的词如“猫”和“狗”在向量空间中的距离会更近。技术特点低维稠密将传统One-Hot编码的超高维稀疏向量维度等于词汇表大小可能上万每个的信息量的维度有上万个压缩为50-300维的稠密向量极大地提升了计算效率。捕捉关系能够捕捉词汇间的类比关系例如著名的vec(国王) - vec(男人) vec(女人) ≈ vec(女王)。代表模型除了Word2Vec包含CBOW和Skip-gram两种架构还有斯坦福大学提出的GloVe结合全局统计信息和Facebook提出的FastText引入子词信息能处理未登录词。主要局限无法处理一词多义。一个词无论出现在什么语境下都只有一个固定的向量表示虽然词向量是训练出来的但一旦训练好某个词的词向量就确定了了无法根据上下文动态调整。例如“苹果”这个词在水果公司和水果本身两种含义下向量是完全相同的。2. 上下文感知嵌入时代一词多向量以2018年BERT模型的提出为标志词向量技术进入了动态感知的新阶段。核心理念词的向量表示应该由其所在的整个句子上下文有输入信息共同决定。同一个词在不同的句子中应该有不同的向量表示一词多义。技术特点动态生成基于强大的Transformer架构和自注意力机制模型能够为同一个词在不同语境下生成不同的向量。例如“bank”在“river bank”和“investment bank”中会得到完全不同的向量表示。深层语义能够更深刻地理解复杂的语言现象如指代消解、语义歧义等在问答、文本摘要等下游任务上表现卓越。代表模型BERT、ELMo、GPT系列等预训练语言模型。主要局限计算开销巨大生成的向量不适合直接用于大规模语义检索等场景。3. 专用嵌入模型时代为任务而生这是当前词向量技术发展的最新趋势旨在解决特定任务尤其是检索的需求。核心理念不再追求通用的语义表示而是针对检索、聚类等具体任务进行专门优化并支持指令Instruction和多语言能力。技术特点指令优化模型可以接收指令作为输入的一部分例如“为搜索引擎生成嵌入”或“为聚类任务生成嵌入”从而生成更适合特定任务的向量效率更高空间利用更高。多语言与长文本在多个国际基准测试如MTEB中表现出色能够高效处理多种语言和超长文本。代表模型BGE-M3开源多语言模型、通义千问text-embedding-v3等。 未来发展趋势词向量技术仍在不断演进未来的发展方向主要集中在以下几个方面多模态融合将文本、图像、音频等不同模态的信息编码到同一个向量空间中实现跨模态的语义理解和检索例如“以文搜图”。知识增强将外部的知识图谱信息融入词向量的学习过程中使向量表示不仅包含上下文信息还具备结构化的世界知识。低资源与跨语言迁移提升模型在数据稀缺的低资源语言上的表现通过跨语言迁移学习让模型能够将在一种语言上学到的知识应用到另一种语言上。可解释性研究如何理解和解释词向量所学习到的语义信息让模型的决策过程更加透明。