个人技术分享

大模型微调之 在亚马逊AWS上实战LlaMA案例（四）

Llama 2 是一种使用优化的 Transformer 架构的自回归语言模型。Llama 2 旨在用于英语商业和研究用途。它具有一系列参数大小（70 亿、130 亿和 700 亿）以及预训练和微调的变量。根据 Meta 的说法，调整后的版本使用监督微调（SFT）和带有人类反馈的强化学习（RLHF）来符合人类对帮助和安全的偏好。Llama 2 使用来自公开来源的 2 万亿个标记数据进行了预训练。调整后的模型旨在用于类似助理的聊天，而预训练的模型可适用于各种自然语言生成任务。

llama.cpp制作GGUF文件及使用

llama.cpp是一个开源项目，由Georgi Gerganov开发，旨在提供一个高性能的推理工具，专为在各种硬件平台上运行大型语言模型（LLMs）而设计。这个项目的重点在于优化推理过程中的性能问题，特别是针对CPU环境。高性能推理引擎：llama.cpp使用C语言编写的机器学习张量库ggml，这使得它能够高效地处理大规模的张量运算，从而加速模型推理。模型量化工具。

【大模型】LLaMA-1 模型介绍

Hoffmann 等人（2022）最近的工作表明了，在给定的计算预算下，最佳性能不是由最大的模型实现的，而是基于更多数据上的训练较小模型实现的。和之前的工作相比，本论文的重点是基于更多 tokens 的训练集，在各种推理预算下，训练出性能最佳的一系列语言模型，称为 LLaMA，参数范围从 7B 到 65B 不等，与现有最佳 LLM 相比，其性能是有竞争力的。比如，LLaMA-13B 在大多数基准测试中优于 GPT-3，尽管其尺寸只有 GPT-3 的十分之一。

LLaMA 羊驼系大语言模型的前世今生

Llama3作为最新版本，以其逼近 GPT-4 的性能、大规模数据驱动的学习以及高效训练流程，巩固了 Meta 在开源大模型领域的领先地位，并推动了人工智能在社交、商业和其他领域的广泛应用。LLaMA是由Meta AI发布的大语言系列模型，完整的名字是Large Language Model Meta AI，直译：大语言模型元AI。作为该系列的初代模型，Llama 是一个纯粹的基座语言模型，设计目标是提供一个开放且高效的通用语言理解与生成平台。许可的情况下发布了LLaMA的模型权重，供研究人员参考和使用。