一、Transformer模型
Transformer模型是一种基于自注意力机制的架构，由Vaswani等人在2017年的论文《Attention Is All You Need》中首次提出。它主要用于处理序列到序列的任务，如机器翻译、文本摘要等。
案例：机器翻译
假设我们想将英文句子 “The quick brown fox” 翻译成法语。在传统的序列到序列模型中，这通常涉及到编码器-解码器架构。Transformer模型首先将句子中的每个单词转换为嵌入向量，然后通过多头自注意力机制来处理这些向量，允许模型同时关注句子中的所有单词。接着，模型生成法语翻译 “Le renard brun rapide”。
特点：
- 多头注意力：允许模型在不同的表示子空间中捕捉信息。
- 并行处理：由于自注意力不依赖于序列的先前状态，可以并行处理序列中的所有元素，这大大提高了训练速度。
二、词汇切分（Tokenization）
词汇切分是将文本分割成更小的单元，通常是单词、子词或字符的过程。这是自然语言处理中的一个关键步骤，因为它允许模型以一种标准化的方式处理文本。
案例：子词切分
考虑英文单词 “university”，在不同的语言模型中可能被切分为 [“uni”, “vers”, “ity”] 或 [“un”, “iv”, “ers”, “ity”]。这种切分允许模型更灵活地处理未见过的单词或罕见词汇。
特点：