建议使用4.31.0。
答:别着急,先检查你的代码是不是更新到最新版本,然后确认你是否完整地将模型checkpoint下到本地。
这个是我们的tokenizer的merge文件,你必须下载它才能使用我们的tokenizer。注意,如果你使用git clone却没有使用git-lfs,这个文件不会被下载。如果你不了解git-lfs,可点击官网了解。
运行如下命令:pip install -r requirements.txt
。相关依赖库在https://github.com/QwenLM/Qwen-VL/blob/main/requirements.txt 可以找到。
web_demo_mm.py
提供了Web UI。请查看README相关内容了解更多。
Qwen-VL当前不支持流式推理。
请检查是否加载的是Qwen-VL-Chat模型进行推理,Qwen-VL模型是未经align的预训练基模型,不期望具备响应用户指令的能力。我们在模型最新版本已经对chat
接口内进行了检查,避免您误将预训练模型作为SFT/Chat模型使用。
目前Qwen-VL不支持量化,后续我们将支持高效的量化推理实现。
请确认是否开启ntk。若要启用这些技巧,请将config.json
里的use_dynamc_ntk
和use_logn_attn
设置为true
。最新代码默认为true
。
在训练过程中,我们仅使用<|endoftext|>这一token作为sample/document之间的分隔符及padding位置占位符,你可以将bos_id, eos_id, pad_id均指向tokenizer.eod_id。请阅读我们关于tokenizer的文档,了解如何设置这些id。