前言
本文将按以下几个部分进行叙述：
- 全参 SFT
- Lora SFT
- Lora 继续预训练
- Llama pro 预训练 + SFT
数据说明：
- 预训练数据：由SFT数据的Query 与 Answer 的拼接
- SFT数据：由GPT4根据垂域文档抽取问答对+人工挑选而来，大概20000条，其中包括公司的介绍
- 自我认知数据：大概200条，从公开的自我认知数据整理而来
- 通用数据：匠数科技大模型sft数据集
显卡
4 * A100 (40G)
训
本文将按以下几个部分进行叙述：
数据说明：
显卡
4 * A100 (40G)
训