title: LLM前夜–NLP范式转变

LLM前夜–NLP范式转变

NLP发展的三个主要阶段

自然语言处理技术经历了三次重要的范式转变：

从规则到统计

"自然语言处理研究应该重视统计方法，而非规则。" —— Frederick Jelinek (IBM研究员)

早期NLP系统主要依靠语言学家和领域专家手动编写的规则。这种方法存在明显局限性：

• 规则覆盖有限，难以应对语言的复杂性和多样性
• 维护和扩展规则库成本高昂
• 不同语言间的规则迁移困难

统计方法的引入解决了部分问题，但仍依赖于人工特征工程：

# 简单的n-gram语言模型示例
def calculate_probability(text, n=2):
    ngrams = [text[i:i+n] for i in range(len(text)-n+1)]
    freq = {}
    for ngram in ngrams:
        if ngram in freq:
            freq[ngram] += 1
        else:
            freq[ngram] = 1
    return freq

深度学习时代的开启

2013年，Word2Vec的出现标志着深度学习正式进入NLP领域。词嵌入技术使得单词可以被表示为稠密向量，捕捉语义关系。

随后，几个关键技术进步加速了NLP范式的转变：

1. 循环神经网络(RNN)及其变种：能够处理序列数据，但存在长距离依赖问题
2. 注意力机制：解决了长距离依赖问题，为Transformer架构铺平道路
3. Transformer架构：完全基于注意力机制，并行计算能力强，成为现代NLP的基石

预训练-微调范式的兴起

2018年前后，NLP领域形成了新的"预训练-微调"工作流程：

1. 预训练阶段：在大规模无标注文本上训练模型学习通用语言表示
2. 微调阶段：在特定任务的有标注数据上调整模型参数

这一范式的优势在于：

• 知识迁移：预训练模型捕获的语言知识可迁移到下游任务
• 数据效率：下游任务只需少量标注数据即可取得良好效果
• 计算资源共享：昂贵的预训练计算只需进行一次

自监督学习的重要性

自监督学习成为预训练的主要范式，主要预训练任务包括：

• 掩码语言模型(MLM)：预测被遮蔽的词，由BERT引入
• 自回归语言模型：预测序列中的下一个词，由GPT系列采用
• 去噪自编码：恢复被破坏的输入，如T5模型

# MLM任务的简化示例
def create_masked_input(text, mask_token="[MASK]", mask_prob=0.15):
    tokens = text.split()
    masked_tokens = tokens.copy()
    masked_positions = []
    
    for i in range(len(tokens)):
        if random.random() < mask_prob:
            masked_tokens[i] = mask_token
            masked_positions.append(i)
    
    return " ".join(masked_tokens), masked_positions

统一框架的出现

随着研究的深入，NLP领域开始出现统一的框架，使得不同类型的任务可以在相同架构下解决：

• 编码器模型(如BERT)：擅长理解任务
• 解码器模型(如GPT)：擅长生成任务
• 编码器-解码器模型(如T5)：擅长转换任务

LLM时代的前夜

在大型语言模型正式崛起前，NLP领域已经具备了必要的技术基础：

1. 架构基础：Transformer提供了强大的并行处理能力
2. 训练范式：自监督学习解决了数据标注瓶颈
3. 规模探索：GPT-2、T5等模型已经初步探索了扩大规模带来的能力增长

"语言模型越大，表现越好，而且还没有看到天花板。" —— OpenAI研究人员

小结

NLP范式的转变是一个渐进的过程，每一次转变都解决了前一阶段的关键问题，并为后续发展奠定基础。从规则到统计，再到深度学习和预训练-微调范式，NLP技术不断进步，最终为大型语言模型的崛起创造了必要条件。