当prompt_token 超过模型支持的最大长度时, 程序就恢复不了, 一直返回报错信息

[yejunjin]

在dashinfer集成进fastchat过程中，当prompt token超过engine_max_length时 当.generation_config.max_length < prompt token < .engine_config.engine_max_length，程序恢复不了。

[yejunjin]

当config.json文件中，.engine_config.engine_max_length = 128, .generation_config.max_length = 64, 输入提问长度80左右，就会复现。

复现日志如下：

原因：主要是

dash-infer/csrc/core/model/model.cpp

Line 403 in 40cddfd

runDecoderContext();

这段代码没有进行status判断，返回了错误状态也继续执行了。

[chuanzhubin]

赞