5.28 孔老师 nlp讲座

news2025/6/1 4:02:12

本次讲座主要介绍了语言模型的起源、预训练模型以及大语言模型（需要闫老师后讲）等内容。首先，语言模型的起源可以追溯到语音识别中的统计语言模型，通过估计声学参数串产生文字串的概率来找到最大概率的文字串。然后，介绍了语言模型的基本概念，即给定一个文字串S，用P(w1, w2, …, WN)表示其概率。最后，提到了预训练模型在大语言模型中的应用，以及如何在语料库中解决条件概率稀疏的问题。

1 语言模型与条件概率估计方法

主要讨论了如何估计条件概率，通过语言模型来反映句子出现的可能性。语言模型通常用于估计给定上文条件下，下一个词出现的概率。 通过最大似然估计方法，利用语料库中的数据来计算概率。但在实际应用中，可能会遇到分子概率为零的情况，此时需要采用平滑方法进行处理。此外，随着语料库的扩大，可能会出现一些新词或罕见词汇，导致分子和分母的数目减少，影响概率估计的准确性。

2 N元语言模型及其应用

为了解决语言模型中的问题，可以通过平滑策略和假设任意单词的出现只与过去出现的 N-1 个词相关，从而得到 N 元语言模型。N 元语言模型的概率估计会简化为只考虑当前词前面出现的 N-1 个词。例如，一元语言模型中每个词的出现与它前面零个词相关，二元语言模型中每个词的出现只与它前面一个词出现相关，以此类推。在垃圾邮件过滤中，可以使用字符级别的语言模型，通过联合一元、二元、三元、四元、五元等特征，使用逻辑回归模型进行邮件分类。

3 解决语言模型零概率问题的方法

讨论了语言模型中的零概率问题，提出了数据平滑技术来解决这个问题。以二元语言模型为例，通过拉普拉斯法则和加法平滑方法，可以合理估计出句子出现的概率，避免了零概率问题。然后讨论了传统语言模型的缺点，指出传统语言模型在信息检索和纠错等领域仍然有广泛应用，但可能存在一些问题。

4 平滑技术及其在语言模型中的应用

为解决零概率问题，引入了平滑技术，但这种方法设计规则复杂且可能出现规则冲突。传统语言模型的缺点在于维度灾难和数据稀疏性，难以处理上下文泛化问题。提出了一种基于人工设计规则的方法，通过将句子展开成由各个词组成的联合概率，用条件概率展开。同时，尝试将词W出现的概率建模成一个函数，通过输入词W的上下文来估计词W出现的概率。

5 神经网络在语言模型中的应用

讨论了如何使用神经网络建模语言模型，特别是前向神经语言模型。首先，研究者们将概率估计转化为建模问题。2003年，Bingo等人提出了神经概率语言模型，引入了词向量的概念，用低维或固定位数的实数向量表示单词，代替了高维离散变量。这种表示方法降低了模型的复杂性，提高了学习效率。

6 前向神经网络在语言模型中的应用与改进

讲述了前向神经网络在语言模型估计中的应用，以及循环神经网络在解决语言模型问题时的优势。前向神经网络通过将词嵌入到固定空间向量中，然后通过多层神经网络进行学习，但存在输入长度固定、无法处理变长上下文信息等问题。为解决这些问题，2010年研究者提出了循环神经网络，通过考虑多个时间步上的信息来建模语言模型，使得输入长度不受限制。

7 自然语言处理中的预训练模型与语言模型

介绍了学习词向量的方法，如CBOW和skip gram，并提到了基于循环神经网络的语言模型。同时，提到了计算机视觉领域的研究受到自然语言处理的启发，以及预训练微调在图像处理中的应用。此外，还介绍了基于transformer的大规模预训练语言模型，如GPT、BERT等，以及动态词向量算法。最后，提到了后续将针对各种任务进行讲座。

8 大模型学习与实验进展的规划建议

主要讲述了BERT模型的发展历程，以及预训练模型在自然语言处理领域的应用。闫老师建议同学们在开学前了解这些基本概念，以便更好地跟进项目组的研究工作，帮助师兄完成实验，加快论文发表。闫老师还鼓励同学们在研究生阶段多提问，多交流，提高自己的学术水平。同时，闫老师会在技术方面带领大家解决问题，无论是谁名下的学生有问题，都可以向导师请教。