关于InternVL TurbomindEngine 的疑惑

[chenzhengda]

据我了解 TurbomindEngine 推理InternVL时VIT和VLM部分应该是共享（抢占）GPU资源的，想请教一下这是否会影响TTFT？实际benchmark下来也有部分请求的TTFT会很长，这是正常的表现吗？

[lvhan028]

从目前 profile 的情况来看，对于 VLM 模型的推理，LMDeploy对请求的调度处理的不好，会导致 TTFT 变挺长的。我们觉得和 VIT 部分的关系没有多大。