这段时间看到了国家超算互联网（www.scnet.cn）发起的活动：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动

（https://www.scnet.cn/home/subject/modular/index272.html），正好需要一些算力来做一些大模型方面的训练工作，也借此机会体验一下此次活动的重点部分——国产异构加速卡。 

1、参与活动
进入活动后，点击【AI计算】即可进入平台页面。

在平台页面中我们可以看到国产异构加速卡相关信息

可以看到使用国产异构加速卡搭建的算力服务器租赁费用只需要0.01元每小时，几乎可以算是免费了。

点击异构加速卡，如果之前未登录则会进入登录页面，注册登录之后便可以看到如下界面

点击去使用之后便可以进行算力服务器的配置，整个服务器的搭建过程非常简单，官方已经提前准备好了环境镜像，甚至一些常用的模型镜像也一并具有，这样在选择了想要的模型镜像之后，就可以省去下载模型的时间，非常方便。比如我这次使用到的大模型是chatglm3-6b，因此我选择了pytorch2.10，python3.10，centos7.6的镜像，后面的dtk为异构加速卡的架构版本，如果选择了像A800、L20的显卡，则会显示cuda。

点击右下角的创建后就可以跳转到如下界面

点击JupyterLab后可以进入到我们熟悉的Lab界面。工具面板可以监控gpu的使用情况。自定义服务可以实现向外暴露端口，使得我们本地可以访问服务器上已经开放的API。下图是点击JupyterLab后跳转的页面。

在此我们就可以进行chatglm3-6b的微调与推理了。

2、个人体验

在模型微调过程中，我选择了AdvertiseGen广告词数据集来进行微调

AdvertiseGen 的部分数据如下：

使用AdvertiseGen 中的问题，对模型进行提问“类型#裤*风格#英伦*风格#简约”。

预期回答为“裤子是简约大方的版型设计，带来一种极简主义风格而且不乏舒适优雅感，是衣橱必不可少的一件百搭单品。标志性的logo可以体现出一股子浓郁的英伦风情，轻而易举带来独一无二的<UNK>体验。”

可以看到模型回答并不像预期那样，下面进行微调。

现在根据AdvertiseGen 数据集进行微调，首先把数据转为微调需要的对话格式。转换后的格式如下：

接下来使用转换后的数据进行lora微调，微调完成后如下：

整个微调过程包含训练和预测两个部分，一共使用52分钟。

读取微调后的模型，使用相同的问题对其提问

可以看到模型的回答符合预期，且对训练集之外的提问有良好的泛化能力。

至此，整个微调与推理过程结束，可以看出异构卡在模型训练方面支持的还是很不错的，在训练过程中没有遇到错误，用起来也没有感觉到与cuda版本的pytorch有什么区别。后面我也针对异构卡的性能与L20进行了对比，发现异构卡的性能能够达到L20的60%左右，还是很有性价比的，0.01元每小时的卡，还要啥自行车啊。

3、领取更多算力
算力不够的小伙伴可以参与此活动可领取更多算力：AI算力不够用？参与 谁是下一个“AI”跃人 -AI体验推介活动，赢取千元算力券！（https://www.scnet.cn/home/subject/modular/index270.html）