在运行下面的命令之前,请先保证你安装了Python3.10及以上版本,计算机中有Nvidia显卡,并且安装了CUDA和cuDNN。
pip install -r requirements.txt
- 模型:Qwen2.5-0.5B(注意是Base模型,而非Instruct模型)
- 数据集:GSM8K_zh
python download_model.py
python download_data.py
在开启训练之前,如果你还没有使用过SwanLab,请先注册一个账号,登录后在设置页面复制你的API Key,然后执行:
swanlab login
将你的API Key粘贴进去,然后按回车完成登录。
ps:如果你对命令行登录不习惯,也可以使用
swanlab.login()
函数进行登录,指引
然后就可以开始训练了:
python train.py