个人技术分享

超越 Transformer开启高效开放语言模型的新篇章

在人工智能快速发展的今天，对于高效且性能卓越的语言模型的追求，促使谷歌DeepMind团队开发出了RecurrentGemma这一突破性模型。这款新型模型在论文《RecurrentGemma：超越Transformers的高效开放语言模型》中得到了详细介绍，它通过结合线性递归和局部注意力机制，承诺重新定义语言处理的标准。

Llama模型家族之Stanford NLP ReFT源代码探索（一）数据预干预

代码定义了多个类和函数，用于处理自然语言处理（NLP）任务中的干预（intervention）机制

大神出新品，吴恩达开源机器翻译智能体项目

通过使用 LLM 作为翻译引擎的核心，该系统具有高度可控性。例如：通过更改 prompt，这种工作流比传统的机器翻译（MT）系统更容易实现以下功能：修改输出的风格，如正式 / 非正式。指定如何处理习语和特殊术语，如名字、技术术语和缩写。例如，在 prompt 中包含术语表，可以确保特定术语（如开源、H100 或 GPU）翻译的一致性。指定特定区域的语言使用或特定方言，以服务目标受众。例如，拉丁美洲的西班牙语与西班牙的西班牙语不同；加拿大的法语与法国的法语不同。

德克萨斯大学奥斯汀分校自然语言处理硕士课程汉化版(第九周) - 可解释性

这时，我们可以看到，例如“收入”对预测结果的正面影响最大，“年龄”对预测结果的负面影响最大等信息，从而更好地理解模型在这个特定示例中的决策依据。在图像分类任务中，如果大部分图像数据集中包含的某个类别背景一致（例如，猫的照片总是在室内），模型可能会将背景与类别关联起来，导致在不同背景下的图像分类效果不佳。在机器学习和自然语言处理中，标注伪影(Annotation Artifacts)指的是在数据标注过程中引入的非预期或有偏的特征，这些特征在训练模型时可能导致模型学到了不应有的模式或偏差。

Llama模型家族之Stanford NLP ReFT源代码探索（一）数据预干预

代码定义了多个类和函数，用于处理自然语言处理（NLP）任务中的干预（intervention）机制

拒绝Token焦虑，盘点可白嫖的6款LLM大语言模型API~

本文将系统盘点：目前市面上都有哪些**可以免费调用的云端API**？方便大家开发基于LLM的应用，快速实现自己的想法，让创意起飞~🚀

[论文笔记]Query Rewriting for Retrieval-Augmented Large Language Models

⭐ 作者提出了可在查询之前先应用LLM作为重写器对问题进行重写，然后再走RAG的流程。同时也提出了可以训练一个小模型来作为重写器。但博主对该小模型的泛化能力存疑。建议还是通过在提示词中给一些示例，让LLM进行重写。

Llama模型家族之Stanford NLP ReFT源代码探索（一）数据预干预

代码定义了多个类和函数，用于处理自然语言处理（NLP）任务中的干预（intervention）机制

2024-06-10 问AI: 在大语言模型中，ReAct Agents的理论基础是什么

通过与易慧智能和面壁智能的合作，清华大学自然语言处理实验室能够将先进的群体智能理论框架和AI Agent技术应用于实际的汽车行业场景中，开发出具有针对性的AI应用产品，从而提升整个汽车行业全链路经营的效果和效率。综上所述，ReAct Agents的理论基础在于其能够有效地结合大规模语言模型的强大推理能力与实际的行动执行，通过一系列精心设计的模块和流程，实现对复杂任务的高效处理。这种性能的提升主要归因于推理和行为的结合，使得模型能够生成类似人类的解决任务的步骤，比没有推理痕迹的基线更容易解释。

Python记忆组合透明度语言模型

测试bert_base不同并行方式下的推理性能

本文测试了bert_base模型在不同并行方式下的推理性能。

构建LangChain应用程序的示例代码：31、连接大型语言模型与机器学习社区的系统-HuggingGPT教程

本文介绍了HuggingGPT系统，这是一个将大型语言模型（如ChatGPT）与机器学习社区（如Hugging Face）连接起来的系统。通过设置Transformers Agent提供的工具库和一些定制工具，HuggingGPT能够执行多种任务，包括文档问答、图像描述、图像问答等。通过创建HuggingGPT实例并使用ChatGPT作为控制器，可以管理和调度这些工具来执行复杂的任务。它包括由Transformers支持的工具库以及一些定制工具，如图像生成器、视频生成器、文本下载器等。

浅谈提示词发展现状，Prompt 自动优化是未来。

封面手绘于本科期间，当年在知乎上写的第一篇关于 AI 的文章就用的这个封面，聊表纪念。这次我们来聊聊 Prompt. 本来想取一个类似“提示词不存在了…”，或是“再见，Prompt 课程…”的标题，但最近很多大佬的谬赞让我感到诚惶诚恐，后来想想还是算了。从 2022 年 11 月起，刚刚入门 NLP 的我开始研究大模型，期间也学习过一些论文，以及一些提示词书写框架。以下是我这一年半以来，混迹大模型上中下游，沉淀出的一些思考。我整理了一个流程图，概括了这一年多我看到的 Prompt 的一些发展。

Llama模型家族之Stanford NLP ReFT源代码探索（四）Pyvene论文学习

本文介绍了一个名为pyvene的Python库，支持干预研究在神经模型上的应用。支持自定义干预类型和不同类型的模型架构。支持复杂的干预方案，并且可以共享干预后的模型。可以通过在线模型中心（如HuggingFace）与他人分享干预后的模型。

大语言模型RAG-将本地大模型封装为langchain的chat model（三）

这个类就是本地llm的langchain封装，需要定义以下方法或属性。这是后面构建RAG应用的基础。模型为例，演示最基础使用方法。还在0.1时代，这期使用的。已经与之前不兼容了。

【教程】从0开始搭建大语言模型：文本预处理

从0开始搭建大语言模型：文本预处理

构建大型语言模型（LLM）产品的实战指南

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/使用大型语言模型（LLM）进行开发的时代令人兴奋。过去的一年中，LLM在实际应用中的表现已经达到“足够好”的水平，并且每年都在变得更好且更便宜。

Monaco Editor系列（六）Range详解、Uri 自动匹配语言模型、缩略图 miniMap 配置

前情回顾：一鼓作气，再鼓，再鼓！！哈哈哈。争取早日占领 Monaco 领地。上一篇文章讲到的三个功能分别是 Position 类型、设置 markers、指定位置插入或替换内容涉及到的知识点：⛈️ 获取光标位置：⛈️ 获取某个位置处的单词：这一篇文章继续来探索更多的功能吧！遨游在 monaco editor 的世界里是不是很快乐啊哈哈哈哈（bushi，大佬写的非常好，是少有的成系列的学习 Monaco Editor 的学习资料，并且有很多总结性的东西都给总结好了。

语言模型解构——手搓BPE算法

BPE 的全称是 Byte Pair Encoding，以语料库作为输入，通过学习训练得到一个词库;基于训练出来的词库，对文本进行tokenize;让数据告诉我们如何去tokenize，而不是人工标注;subword tokenizer不是以单词为单位，而是以子词为单位，英语上可以理解成词根词缀;