1、模型名称:
chatglm2-6b
2、运行过程记录:
创建虚拟环境,由于权限问题,首先需要创建虚拟环境,可以在命令行中输入python -m venv tutorial-env,也可以在新建启动页,创建一个终端窗口,安装好环境后再启动notebook
激活虚拟环境,创建虚拟环境后,左侧的文件目录中会出现一个tutorial-env文件夹,在命令行窗口输入source tutorial-env/bin/activate即可激活虚拟环境,可选择在命令行窗口运行模型,也可尝试在notebook中运行模型
安装依赖,在命令行输入pip install protobuf transformers==4.30.2 cpm_kernels torch>=2.0 gradio mdtex2html sentencepiece accelerate
运行模型,新建启动页,点击python3(ipykernel),应该是指在当前环境下启动notebook(不理解旁边的python3.8和python3.9是什么意思,重新启动一个新环境的意思吗?)
运行模型示例:
(这些权重本地都有缓存,改代码应该可以本地加载,这里每次都下载模型的权重,需要等待很长一段时间,并且第一次加载得时候,网速还是很快的,但是第二次再使用,就很慢,两个小时的体验时间内都没有加载完所有权重)
对话过程:
Me:你好
ChatGLM2-6B:你好👋!我是人工智能助手 ChatGLM2-6B,很高兴见到你,欢迎问我任何问题。
Me:9.7和9.11哪个更大
ChatGLM2-6B:9.7比9.11大。
前段时间,几乎所有模型的回答都是错误的,时至今日,chatgpt的回答仍然是错误的,ChatGLM2-6B在这个问题上表现还不错
Me:找不到工作咋办
ChatGLM2-6B:
找不到工作时,可以尝试以下几个步骤:
1. 检查简历和求职信,确保它们充分展示自己的技能和经验。
2. 联系前雇主或同事,了解他们是否可以提供有用的建议或推荐。
3. 搜索招聘信息,确保自己不会错过任何有用的机会。
4. 扩大社交圈子,了解更多的行业和公司,增加找到合适工作的机会。
5. 调整期望,有些工作可能需要花费时间来寻找,不要放弃。
找不到工作并不意味着自己没有能力,只是需要更多时间和努力来找到适合自己的机会。
Me:你可以说得更仔细一点吗
ChatGLM2-6B:
当你找工作时,你可以按照以下步骤来逐步推进:
1. 检查你的简历和求职信,确保它们充分展示你的技能和经验。如果你的简历和求职信不够完善,那么你需要继续努力。
2. 联系你的前雇主或同事,了解他们是否可以提供有用的建议或推荐。如果你曾经在某个公司工作,那么他们可能会成为你的有用的联系人。
3. 搜索招聘信息,确保你自己不会错过任何有用的机会。你可以在招聘网站、社交媒体或公司网站上查找招聘信息。
4. 扩大你的社交圈子,了解更多的行业和公司,增加找到合适工作的机会。你可以参加职业展会、加入行业协会或参加社区活动。
5. 调整你的期望。有些工作可能需要花费时间来寻找,但是不要放弃。继续寻找机会,并且保持积极的心态。
最重要的是,不要害怕寻求帮助。你可以寻求职业顾问或招聘专家的建议,他们会帮助你制定更好的求职计划,并提供有用的技巧和指导。
反馈:
总体体验还不错,尽管遇到了一些问题,但是也能够解决,并顺利跑起来了。从操作流程来看,模型试用和买计算资源试用是不同的,模型试用这里好像是根据不同模型来创建不同的环境,这点和使用anaconda来管理环境有点区别,而买计算卡使用就和用anaconda来管理环境一样,如果两种能统一感觉可能会更好,很多同类型的模型运行环境都差不多,也不用每试一个模型都得重新弄一遍环境。
个人反馈:
AI算力性能反馈(图像分类模型):由于本人计算设备的局限性,只能针对简单的图像模型做微调,因此这里采用ImageNet数据集上预训练的ResNet50模型,在Tiny-ImageNet数据集上完成微调。
使用的计算卡分别为:异构加速卡AI和NVIDIA RTX 4060,batchsize设置为64,初始学习率为0.001,momentum=0.9,weight_decay=1e-4,学习率每20个epoch衰减一次,衰减系数为0.2。
以下为训练和测试的对比:
从整个过程来看,NVIDIA RTX 4060要更加稳定,基本能够保证每个训练epoch的耗时在606秒左右,每个测试epoch的耗时在21秒左右。
而异构计算卡的计算速度更快,能够保证每个训练epoch的耗时在376秒秒左右,相当于性能强大概40%,每个测试epoch的耗时在23秒左右,测试性能大致差不多。验证的准确率在60个epoch完成后基本都差不多,没有什么明显的区别。