1. 自然语言处理基础概念与核心考点自然语言处理NLP是让计算机理解、解释和生成人类语言的技术。期末复习首先要掌握三大核心模块词法分析、句法分析和语义分析。举个实际例子当你的手机语音助手回答明天会下雨吗时背后就经历了这三个步骤先分析每个词的词性词法再理解句子结构句法最后结合天气数据生成回答语义。词法分析就像语言中的原子拆分。以句子我爱自然语言处理为例分词[我, 爱, 自然语言处理]词性标注[我/代词, 爱/动词, 自然语言处理/名词]词义消歧确定爱在此处是情感动词而非名词如我的爱常见考题会要求用**条件随机场CRF**实现中文分词。这里有个实战技巧CRF通过特征函数建模字的标签依赖关系比如当前字是语时下一个字是言的概率较高。考试时若遇到相关编程题记得BIES标签Begin, Inside, End, Single的转换逻辑。2. 句法分析核心算法与解题技巧句法分析是理解句子结构的钥匙主要分为成分句法树和依存句法树两种形式。去年某高校真题就出现了这样的题目分析句子研究人员设计了一种新算法的依存关系。解题分三步走找核心动词设计建立主谓关系研究人员→设计建立动宾关系设计→算法对于**隐马尔可夫模型HMM**的考题记住这三个关键公式初始概率π_i P(q1Si)转移概率a_ij P(qtSj|qt-1Si)发射概率b_j(k) P(Otvk|qtSj)有个记忆口诀HMM三板斧初始转移加发射。去年有考生在维特比算法题上丢分主要问题是没写清楚递推公式 δ_t(j) max[δ_{t-1}(i)*a_ij] * b_j(o_t)3. 预训练模型重点与高频题型Transformer结构是当前NLP的基石其核心多头注意力机制的计算一定要会推导。典型考题如计算head_i Attention(QW_i^Q, KW_i^K, VW_i^V)。BERT和GPT的对比是必考题总结这个表格能帮你快速答题特性BERTGPT结构Transformer EncoderTransformer Decoder预训练任务MLM NSP自回归语言模型注意力方向双向单向典型应用文本分类、NER文本生成去年某校的压轴题是用PyTorch实现Transformer的位置编码。核心代码如下class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len5000): super().__init__() pe torch.zeros(max_len, d_model) position torch.arange(0, max_len).unsqueeze(1) div_term torch.exp(torch.arange(0, d_model, 2) * (-math.log(10000.0)/d_model)) pe[:, 0::2] torch.sin(position * div_term) pe[:, 1::2] torch.cos(position * div_term) self.register_buffer(pe, pe)4. 信息抽取与前沿应用考点预测命名实体识别NER的最新趋势是使用Span-based方法处理嵌套实体。考试可能出现这样的对比题比较BIO标注和Span标注的优劣。我的建议是BIO标注适合平面实体存储效率高但无法处理嵌套Span标注通过(start,end)标记可处理嵌套但计算复杂度O(n^2)在关系抽取方面要掌握这两种范式流水线方法先NER再关系分类联合抽取如CasRel模型同时提取实体和关系去年有道真题是设计一个基于BERT的关系抽取模型。关键点在于用[CLS]标记做关系分类实体位置信息通过位置嵌入或标记注入损失函数组合实体识别和关系分类损失5. 语言模型与文本生成实战要点n-gram语言模型的平滑技术是常考点。这道经典题你一定会遇到用Add-k平滑计算P(w3|w1w2)公式是 P_addk(w3|w1w2) (count(w1w2w3)k)/(count(w1w2)kV)对于文本生成任务务必掌握Beam Search的细节。常见陷阱题比较Beam Search和贪心搜索的优劣。参考答案要点贪心搜索每次选最优可能陷入局部最优Beam Search保留Top K候选生成质量更高但速度慢需要配合长度归一化避免偏向短文本下面这段代码展示了Beam Search的核心逻辑def beam_search(model, input_ids, beam_width3, max_len50): sequences [([], 0, input_ids)] for _ in range(max_len): all_candidates [] for seq, score, ids in sequences: outputs model(ids) next_token_logits outputs.logits[:, -1, :] next_tokens torch.topk(next_token_logits, beam_width) for token, log_prob in zip(next_tokens.indices[0], next_tokens.values[0]): candidate (seq [token], score - log_prob, torch.cat([ids, token.unsqueeze(0)])) all_candidates.append(candidate) ordered sorted(all_candidates, keylambda x: x[1]) sequences ordered[:beam_width] return sequences[0][0]6. 语义分析与篇章理解关键突破点词义消歧的经典方法是Lesk算法其核心思想是一个词在不同语境下的含义取决于其周围词的词典释义重叠度。考试可能给出一组句子让你判断多义词的具体含义。在语义角色标注方面PropBank框架是重点。记住这些核心语义角色ARG0施事者ARG1受事者ARG2间接宾语/工具ARGM-TMP时间修饰语去年有考生在篇章连贯性分析题上失分因为没有区分这两种关系指代衔接如李华...他...词汇衔接重复词、同义词、上下位词7. 机器翻译与问答系统深度解析神经机器翻译的注意力机制是高频考点。这个公式必须会推导 Attention(Q,K,V) softmax(QK^T/√d_k)V智能问答系统的架构对比是常见题型检索式QA基于文档检索速度快但精度有限生成式QA用Seq2Seq生成答案灵活但可能不准确混合式结合两者优势当前主流方案遇到比较BERT和BiLSTM在QA任务中的表现这类题时可以从这些角度展开BERT能捕捉更长距离依赖BiLSTM计算效率更高BERT的MLM预训练更适合理解问题8. 期末实战高频题型与解题模板公式推导题如HMM的前向算法有固定套路定义前向变量α_t(i)写出初始化公式α_1(i)π_i b_i(o1)递推公式α_t(j)[∑α_{t-1}(i)a_ij]b_j(o_t)终止公式P(O|λ)∑α_T(i)编程题常考Transformer或CRF实现。记住这些关键点Transformer的位置编码要正弦余弦交替CRF的转移矩阵需要随机初始化损失函数包含发射分数和转移分数对于开放论述题如NLP的未来趋势建议结构现状预训练模型主导挑战能耗、偏见、可解释性方向多模态、小样本学习、绿色AI