Sample采样时，遇到超长数据报错，如何避免

[DogeWatch]

Describe the bug
复用的rft.py的代码，采用命令行方式启动sample

sample_cmd = (f'{conda_prefix} CUDA_VISIBLE_DEVICES={device} swift sample '
                      f'--model {model} --model_type {model_type} '
                      f'--dataset {" ".join(dataset)} '
                      f'--data_range {device} {device_count} '
                      f'--max_length 8192 '
                      # f'--system "You are a math model, you should **think step by step** carefully, '
                      # f'and always consider the basic math principles to avoid making calculating mistakes.'
                      # f'Give the final answer wrapped with \\boxed{{}}" '
                      f'--load_args false '
                      f'--sampler_engine lmdeploy '
                      f'--max_new_tokens 1024 '
                      f'--override_exist_file true '
                      f'--num_sampling_per_gpu_batch_size 2 '
                      f'--num_return_sequences 4 '
                      f'--cache_files sample_output/iter_{iter}_proc_{device}_cache.jsonl '
                      f'--output_file iter_{iter}_proc_{device}_cache.jsonl '
                      f'--top_p 1.0 '
                      f'--temperature 1.0 ')

其中指定了 max_length=8192，但是运行时遇到超长数据报错

这里的疑问是 max_length(32768) 怎么来的，以及怎样才能对这种超长数据做截断或者丢弃？

Your hardware and system info
swift==v3.1.0

[DogeWatch]

另外我在启动时加上了 --truncation_strategy delete 好像也没有用？依然报相同的错误
以及在日志里看到这句话：[TM][WARNING] [LlamaTritonModel] max_context_token_num is not set, default to 32768. 不知道是不是有关系

[Jintao-Huang]

稍等下