单GPU运行

actor-model运行过程中：单A100使用deepspeed运行chatglm-6b会OOM,新增quantization,解决OOM问题

python train.py --actor-model chatglm-6b --reward-model facebook/opt-350m --deployment-type single_gpu

chatglm-6b和opt-350m 因为tokenizer不同会出现冲突

python train.py --actor-model chatglm-6b --reward-model chatglm-6b --deployment-type single_gpu

quantization 8 之后 step3 不同模块会抢占launch地址

单节点运行

python train.py --actor-model chatglm-6b --reward-model chatglm-6b --deployment-type single_node

最少需要5张A100或者A800

可以修改成deepspeed step 3 DeepSpeed-Chat-ChatGLM/training/step3_rlhf_finetuning/training_scripts/single_node /run_chatglm-6b.sh

sh inference.sh

基于Gradio的网页Demo，您可以运行本仓库中的web_demo.py：

python web_demo.py

Name		Name	Last commit message	Last commit date
Latest commit History 56 Commits
assets		assets
inference		inference
training		training
README.md		README.md
chat.py		chat.py
inference.sh		inference.sh
requirements.txt		requirements.txt
run_test.py		run_test.py
train.py		train.py
web_demo.py		web_demo.py