Transformers 系列文章目录第一章 Transformers 简介第二章 Transformers 模型推理第三章 Tokenizer 与 Embedding文章目录Transformers 系列文章目录前言Tokenizer与Embedding一、Tokenizer分词器和Embedding词嵌入1.Tokenizer分词器和Embedding词嵌入是在自然语言处理中常用的两种技术用于将文本转换为计算机可以处理的数字表示。2.Tokenizer分词器3.Embedding词嵌入4.高维度稀疏向量与低维度稠密向量5.分词器和词嵌入技术联合使用6.Tokenizer/Embedding数据处理流程二、Tensorflow使用Tokenizer和Padding1.使用tensorflow.keras.preprocessing.text里的Tokenizer()方法将句子分词并以数值代替词。2.使用tensorflow.keras.preprocessing.sequence里的pad_sequences()方法将token补全。3.实例三、Hugging Face的Tokenizer1.Tokenizer定义2.Tokenizer的主要功能3.Tokenizer其中的词汇化功能4.Hugging Face模型内置Embedding层5.Tokenizer与Model的数据流向四、transformers报错1.模型损坏报错总结前言本文主要整理 Transformers 中 Tokenizer 与 Embedding 的基础概念、两者的数据处理流程、TensorFlow 中 Tokenizer/Padding 的使用方式、Hugging Face Tokenizer 的功能、Tokenizer 与模型的数据流向以及常见 transformers 模型损坏报错的原因。Tokenizer与Embedding一、Tokenizer分词器和Embedding词嵌入1.Tokenizer分词器和Embedding词嵌入是在自然语言处理中常用的两种技术用于将文本转换为计算机可以处理的数字表示。2.Tokenizer分词器Tokenizer是将文本转换为一个个单词的过程。在自然语言处理中文本通常是由一系列单词组成的而分词器的任务就是将这些单词从文本中分离出来。例如在英文中可以使用空格或标点符号将单词分开在中文中需要使用中文分词技术将连续的汉字分成词语。分词器可以使用基于规则、基于统计或基于神经网络的方法来实现。Tokenizer将文本转换为多个单词后还有一步骤可能不属于Tokenizer将每个单词根据Embedding提供的词汇表转换为数字便于电脑理解。词汇表一般是tokenizer.json文件定义单词到token_id的映射规则。如果没有词汇表比如直接使用keras提供tokenizer方法会按顺序定义token_id。3.Embedding词嵌入Embedding是将单词转换为向量表示的过程。其实不是单词而是tokenizer输出的token_id数字索引Embedding训练时也是通过索引来训练的而非文字。所以Embedding能够理解tokenizer输出的token_id数字Embedding模型和词汇表是对应的。如果没有词汇表Embedding模型是不能使用的。在自然语言处理中单词通常被表示为一个高维度的稀疏向量其中每个维度对应一个单词的特征。例如在一个包含10000个单词的词表中每个单词可以表示为一个大小为10000的稀疏向量其中只有一个维度为1其余维度都为0。这种高维度的稀疏表示不仅浪费存储空间而且难以计算单词之间的相似度。因此词嵌入技术被用来将单词或子词映射到一个低维度的稠密向量空间中从而可以更有效地表示和计算单词之间的相似度。词嵌入模型通常使用神经网络例如Word2Vec、GloVe和FastText等。高维度的稀疏向量与低维度的稠密向量所说的维度就是向量数据库里的维度数4.高维度稀疏向量与低维度稠密向量高维度稀疏向量High-Dimensional Sparse Vectors如[0,0,0,0,...,1,0,0,0]维度为1000有1000个数据低维度稠密向量Low-Dimensional Dense Vectors如[0.2548,-0.2215,0.8522,...,0.7458]维度为128有128个数据5.分词器和词嵌入技术联合使用在自然语言处理任务中分词器和词嵌入技术通常是联合使用的目的是将文本转换为计算机可以处理的向量数字。例如在文本分类任务中可使用分词器将文本分成单词序列然后使用词嵌入技术将每个单词表示为一个向量最后将这些向量输入到神经网络中进行分类。这种联合使用的技术被广泛应用于文本分类、文本生成、机器翻译、问答系统等自然语言处理任务中。6.Tokenizer/Embedding数据处理流程二、Tensorflow使用Tokenizer和Padding1.使用tensorflow.keras.preprocessing.text里的Tokenizer()方法将句子分词并以数值代替词。使用tensorflow.keras.preprocessing.text里的Tokenizer()方法将句子分词并以数值代替词。返回分词器对象。公式tokenizer Tokenizer(num_wordsNone, oov_tokenNone)参数num_words设置最频繁使用的数值数量比如一共有100个数值但是num_words值为5那么只有最频繁的5个会被使用。oov_token当对没有设数值的词时使用的代替符号默认为None为空。返回分词器对象后使用tokenizer.fit_on_texts(texts)根据texts句子内容建立对应的分词列表索引。返回分词器对象后使用tokenizer.word_index返回分词列表索引返回分词器对象后使用tokenizer.texts_to_sequences(texts)对texts句子做分词并以数值代替。2.使用tensorflow.keras.preprocessing.sequence里的pad_sequences()方法将token补全。公式padded pad_sequences(sequences, maxlenNone, paddingpre, value0.)参数sequences句子内容字符串maxlen句子最长的长度数值过长会被截断。默认None不限制长度。padding补充方式默认’pre’为前补全。post’为后补全value补全的内容默认为数值03.实例代码fromtensorflow.keras.preprocessing.textimportTokenizerfromtensorflow.keras.preprocessing.sequenceimportpad_sequences sentences[I love my dog,I love my cat,You love my dog!,Do you think my dog is amazing?]tokenizerTokenizer(num_words100,oov_tokenOOV)tokenizer.fit_on_texts(sentences)word_indextokenizer.word_index sequencestokenizer.texts_to_sequences(sentences)print(word_index)print(sequences)test_data[I really love my dog,My dog loves my manatee]test_seqtokenizer.texts_to_sequences(test_data)print(test_seq)paddedpad_sequences(sequences,paddingpost,maxlen6)print(padded)结果{OOV: 1, my: 2, love: 3, dog: 4, i: 5, you: 6, cat: 7, do: 8, think: 9, is: 10, amazing: 11} [[5, 3, 2, 4], [5, 3, 2, 7], [6, 3, 2, 4], [8, 6, 9, 2, 4, 10, 11]] [[5, 1, 3, 2, 4], [2, 4, 1, 2, 1]] [[ 5 3 2 4 0 0] [ 5 3 2 7 0 0] [ 6 3 2 4 0 0] [ 6 9 2 4 10 11]]三、Hugging Face的Tokenizer1.Tokenizer定义在Hugging Face的Transformers框架中Tokenizer是一个用于将文本转换为输入模型所需的tokens子词序列的工具。Tokenizer的主要作用是将文本分解为模型能够处理的基本单元。2.Tokenizer的主要功能分词将输入文本拆分为单个的词或子词。这可能包括去除标点符号、数字和其他非字母字符将剩余的字母字符拆分为单词。词汇化根据Embedding提供的词汇表将单词转换为模型已知的索引。这意味着每个单词都会映射到一个唯一的整数该整数表示在词汇表中的位置。添加特殊标记将文本中的特殊标记如开头标记、结尾标记和分隔符添加到输入序列中以便模型能够识别文本结构。添加Padding和Masking将输入序列padding填充到最长序列的长度以便所有输入样本都有相同的形状。此外它会将输入序列中的填充位置标记为0以便模型能够区分实际的单词和填充位置。Masking掩码侧将过长的序列忽略掉多余的单词。3.Tokenizer其中的词汇化功能当有输入到模型时Tokenizer会将文本转换为输入序列tokens再将这些tokens转换为词汇表中的索引。词汇表索引是生成预训练模型时同时生成的就是说生成预训练模拟的同时使用Embedding层生成这个索引表。然后Embedding层就是将这些索引转换为一个具有固定大小的向量表示。Embedding层的作用是将离散的词汇表索引映射到连续的向量空间中。这有助于解决词汇表中的词汇之间在语义和语法上的关系使模型能够捕捉到这些关系。Embedding向量通常具有较低的维度例如128或256这使得模型能够在训练过程中学习这些向量之间的相互作用。在传递给Transformer模型的输入序列中Embedding层为每个token生成一个固定大小的向量表示。这些向量表示将被模型的各个层处理以生成最终的预测。因此Tokenizer和Embedding层在将文本转换为模型能够处理的形式方面起到关键作用。4.Hugging Face模型内置Embedding层在Hugging Face的Transformers框架中大多数预训练模型包括语言模型和视觉模型都包含内置的Embedding层。这意味着在使用模型时Embedding层已经设置好了无需自行添加Embedding层。当使用AutoModel、AutoTokenizer和AutoModelForSequenceClassification等自动化构建模型时Embedding层已经在模型的底层构建好无需添加Embedding层。使得使用Hugging Face的Transformers框架更加简单和直观查看输入文本对应的词汇索引实例代码fromtransformersimportAutoTokenizer,AutoModel# 加载预训练模型和对应的Tokenizermodel_namebert-base-uncasedtokenizerAutoTokenizer.from_pretrained(model_name)modelAutoModel.from_pretrained(model_name)# 输入文本input_textHello, how are you?# 使用 Tokenizer 将文本转换为模型输入input_idstokenizer.encode(input_text,add_special_tokensTrue)# 将输入传递给模型outputsmodel(torch.tensor([input_ids]))5.Tokenizer与Model的数据流向四、transformers报错1.模型损坏报错报错内容safetensors_rust.SafetensorError: Error while deserializing header: MetadataIncompleteBuffer原因错误是指在解析预训练模型文件的头部信息时出现了问题。这通常由模型文件损坏引起预训练模型的文件可能在下载或保存时损坏了。总结提示这里对文章进行总结本文整理了 Tokenizer 与 Embedding 的核心关系Tokenizer 负责把文本切分并转换为 token/token_idEmbedding 负责把 token_id 映射为向量表示。对于 Transformers 模型来说Tokenizer、词汇表、Embedding 层和模型结构通常是配套使用的因此在实际推理或训练时需要保持模型文件、Tokenizer 文件和词汇表文件的一致性。