个人技术分享

NLP预训练模型-GPT-3

它是GPT系列的第三代模型，采用了Transformer架构，并具有独特的规模和能力。GPT-3被广泛认为是目前最先进的预训练模型之一，能够在各种NLP任务上取得卓越的成果。由于模型的庞大规模，它需要庞大的计算资源和昂贵的成本来进行训练和部署。一旦预训练完成，GPT-3可以在特定任务上进行微调，以适应不同的应用场景。在这些任务中，GPT-3可以根据输入的提示生成连贯、有逻辑的文本。随着技术的发展和模型的改进，我们可以期待未来更先进的NLP模型的出现，进一步推动自然语言处理领域的发展。

TinyChat: Visual Language Models & Edge AI 2.0

了解TinyChat和AWQ最新的技术发展。在边缘部署语言理解模型(LSTM)后，借助于视觉语言模型(VLM)，可以为LLM提供更好地处理图像输入的能力，从而极大方便了文字对话问答、图片标题生成等图形内容解读任务。TinyChat最新版支持先进VLM技术 VILA，可通过AWQ轻松实现量化操作，从而为用户提供了完美的使用体验来应对图片内容处理等任务。

检索模型预训练方法：RetroMAE

1.一种新的MAE工作流，编码器和解器输入进行了不同的掩码。编码器编码的句子向量和解码器的掩码输入通过语言模型进行重构问句。2.非对称的模型结构，编码器拥有像BERT一样全尺寸的transformer，解码器只有一层的transformer。3.非对称的掩码比例，编码器：15%-30%，解码器：50%-70%。retroMAE这样设计的原因：1.auto-encoding对于编码质量的要求更高，传统的自回归更关注前缀，传统的MLM只掩盖一小部(15%)的输入。

NLP与训练模型-GPT-3：探索人工智能语言生成的新纪元

GPT-3（Generative Pre-trained Transformer 3）是由OpenAI推出的一种基于Transformer架构的语言生成模型，被认为是迄今为止规模最大、功能最强大的语言模型之一。GPT-3的出现引起了广泛的关注和讨论，被誉为人工智能领域的一次里程碑式的突破。综上所述，GPT-3模型的工作原理可以概括为通过预训练和微调两个阶段实现自然语言处理任务。在预训练阶段，模型通过大规模的无监督文本数据进行预训练，学习文本序列的语言模式和结构特征；

图解 BERT 模型

用最简单的话语概括 BERT 的重要思想1.BERT 模型架构利用 Transformer 编码器堆栈结构，是一种能进行文本双向嵌入的语言模型。2.BERT的 tokenization 采用的是 WordPiece 的方式，Embedding 是 Token Embeddings、Segment Embeddings、Position Embeddings 三者的叠加。3.BERT 使用“预训练+微调”的方式用于分类、问答、NER 等 NLP 下游任务；

图解 BERT 模型

用最简单的话语概括 BERT 的重要思想1.BERT 模型架构利用 Transformer 编码器堆栈结构，是一种能进行文本双向嵌入的语言模型。2.BERT的 tokenization 采用的是 WordPiece 的方式，Embedding 是 Token Embeddings、Segment Embeddings、Position Embeddings 三者的叠加。3.BERT 使用“预训练+微调”的方式用于分类、问答、NER 等 NLP 下游任务；

不用从头训练，通过知识融合创建强大的统一模型

在模拟了多个具有相同基础模型结构但训练数据不同的LLMs的场景中，FUSELLM在所有测试域中都实现了最低的平均困惑度（perplexity），这表明其在整合多样化模型知识方面的有效性超过了传统的集成和合并方法。知识融合的目标是将多个预训练的LLMs的能力结合起来，形成一个统一的模型，这个模型能够继承所有源模型的优势，并在广泛的任务上表现出色。实验结果表明，尽管知识蒸馏能够提升模型性能，但FUSELLM通过结合三个7B模型的持续训练，相比于从单一13B模型中提取知识的蒸馏方法，取得了更显著的性能提升。

基于transformers框架实践Bert系列6-完形填空

本系列用于Bert模型实践实际场景，分别包括分类器、命名实体识别、选择题、文本摘要等等。（关于Bert的结构和详细这里就不做讲解，但了解Bert的基本结构是做实践的基础，因此看本系列之前，最好了解一下transformers和Bert等）本篇主要讲解应用场景。本系列代码和数据集都上传到GitHub上：https://github.com/forever1986/bert_task。

2024-05-19 问AI: 大语言模型的BPE方向是什么意思？

BBPE的优势在于能够处理更大的字符集，特别是对于那些字符量庞大的语言（如中文和日文），BBPE可以有效地避免未登录词（Out-Of-Vocabulary, OOV）的问题，因为它使用256个可能的字节作为基础词汇表，这样可以覆盖几乎所有的字符。在大语言模型的上下文中，BPE的方向或者说其应用意图，主要是为了应对文本数据的多样性与词汇的长尾分布问题，通过学习数据中最频繁出现的字符对并逐步合并它们来构建一个自适应的词典或词汇表。然后，BPE算法选择出现频率最高的字符对，并将其合并为一个新的子词单元。

【论文阅读】要使用工具！《Toolformer: Language Models Can Teach Themselves to Use Tools》

语言模型（LMs）表现出了从极少量的示例或文本指令中解决新任务的显著能力，尤其是在模型规模较大时表现的更加显著。矛盾的是，它们也在与基本功能作斗争，如算术或事实查找，在这些功能中，更简单、更小的模型脱颖而出。在本文中，我们展示了LMs可以通过简单的API自学使用外部工具，从而实现两全其美。我们介绍了Toolformer，这是一个经过训练的模型，用于决定调用哪些API，何时调用它们，传递什么参数，以及如何将结果最好地结合到未来的Token预测中。这是以一种自监督的方式完成的，只需要为每个API进行少量的演示。