邀请方：国家超算互联网（www.scnet.cn）

活动名称主题：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动

谁是下一个“AI”跃人？- 算力体验_超算互联网

1、运行的商品名称。

Llama3-8B-Chinese-Chat

2、运行的过程记录。

1. 解压商品

2. Clone开源的Llama3 Chinese （https://github.com/LlamaFamily/Llama-Chinese）

直接拉会拉不下来代码（提示Index相关问题）

这里使用mirror.ghproxy.com这个代理解决问题

3.使用本机环境创建虚拟环境

python -m venv llama3 –system-site-packages

4.安装开源项目的依赖

pip install -r requirements.txt

5.验证torch是否可以使用

不可用户

6.解决该开源项目 依赖问题

使用社区提供的pytorch相关 3.10依赖

7. 再次验证torch

8. 更新deepspeed

pip install deepspeed-0.12.3+gita724046.abi1.dtk2404.torch2.1.0-cp310-cp310-manylinux_2_31_x86_64.whl --force-reinstall

9. 检查pytorch使用Numpy是1.0的，deepspeed是2.0版本，需要更换成1.0最后一个版本

pip install --force-reinstall numpy===1.26.4

10. 修改LORA模型微调脚本

/root/private_data/Llam3-CN/Llama-Chinese/train/sft/finetune_lora.sh

修改显卡为0号

deepspeed --include localhost:0 finetune_clm_lora.py

模型改为商城下载的模型

--model_name_or_path /root/private_data/Llam3-CN/Llama3-8B-Chinese-Chat

使用带的开源数据集

--train_files ../../data/train_sft.csv \

更改数据格式为fp16

11. 运行训练脚本

12. 模型推理脚本修改

如下标红部分有修改：

其中位置1，2替换为商品基模型和训练出来的微调模型

位置3修改从8Bit修改为4Bit（这里不清楚为什么）

位置4删除use_flash_attention_2=True

位置5 Token数量由512调整为为128

个人活动体验感受:

这次活动让我们离大模型更近了一点，强烈推荐大家去参加，社区群也很活跃

免费领更多算力方式：AI算力不够用？参与 谁是下一个“AI”跃人 -AI体验推介活动，赢取千元算力券！（https://www.scnet.cn/home/subject/modular/index270.html）