DeepSeekV3模型，没有进行web_search，直接输出报告

[simplew2011]

• 模型配置：

  BASIC_MODEL:
    base_url: http://10.24.9.4:8000/v1
    # base_url: http://10.24.73.24:8111/v1
    base_url: https://ark.cn-beijing.volces.com/api/v3
    model: deepseek-v3-250324，没有网页搜索，直接生成报告
    # model: doubao-1-5-pro-32k-250115，有出现网页搜索
    # model: doubao-1-5-lite-32k-250115，有出现网页搜索
    api_key: xxxx-xxxx
  

• 前端参数配置：

• 现象
  • 没有进行网页搜索--活动页面为空，直接由模型生成报告（数据都是虚构的）

• 模型信息
  • doubao-1-5-pro-32k-250115和deepseek-v3-250324，上下文是一样的长度

[simplew2011]

• deepseekv3-0324，不搜网页的话，引用也是瞎编的

[simplew2011]

• 异常现象
  • 在上面回答结束后，继续问同一问题，直接输出json，没有plan

2025-08-22 15:59:54,715 - src.graph.nodes - WARNING - Coordinator response contains no tool calls. Terminating workflow execution.

• 刷新网页，再问又正常

[simplew2011]

• 本地vllm部署的deepseek-v3-0324，现象一致，没有web_search过程
  • 参考：https://docs.vllm.ai/en/stable/features/tool_calling.html?h=function+call#deepseek-v3-models-deepseek_v3

vllm serve /root/.cache/huggingface --tensor-parallel-size 16 --trust-remote-code  \
--max-model-len 131072 --enforce-eage \
--served-model-name DeepSeek-V3-0324 \
--enable-auto-tool-choice --tool-call-parser deepseek_v3 --chat-template /opt/code/tool_chat_template_deepseekv3.jinja

[changxubo]

@simplew2011
多个可能原因：
1） 输入的问题过于简单了，不需要经过联网搜索，模型可以直接回答。
比较好的研究课题比如： 分析开源大模型趋势，机遇和挑战。

2）使用了本地私有化部署的开源模型，使用vllm或sglang引擎提供模型服务， 不同的启动参数配置，跟标准OpenAI兼容接口存在差异，导致工具调用，结构化输出等存在差异，Agent框架可能存在不兼容。

3） 使用DeerFlow框架实测Deepseek-v3和Deepseek-R1模型，使用效果不佳，可能原因DeepSeek系列基座是MoE架构，对Tools调用指令遵循不是很好。

建议选择商用的豆包推理模型，或者阿里云开源的Qwen3系列推理模型，也期待DeepSeek系列有新的版本发布，以更好适用Agent生态。

[simplew2011]

@simplew2011 多个可能原因： 1） 输入的问题过于简单了，不需要经过联网搜索，模型可以直接回答。 比较好的研究课题比如： 分析开源大模型趋势，机遇和挑战。

2）使用了本地私有化部署的开源模型，使用vllm或sglang引擎提供模型服务， 不同的启动参数配置，跟标准OpenAI兼容接口存在差异，导致工具调用，结构化输出等存在差异，Agent框架可能存在不兼容。

3） 使用DeerFlow框架实测Deepseek-v3和Deepseek-R1模型，使用效果不佳，可能原因DeepSeek系列基座是MoE架构，对Tools调用指令遵循不是很好。

建议选择商用的豆包推理模型，或者阿里云开源的Qwen3系列推理模型，也期待DeepSeek系列有新的版本发布，以更好适用Agent生态。

能否限制必须经过web_search

[simplew2011]

• 测试火山引擎里的DeepSeek-V3.1

BASIC_MODEL:
  base_url: https://ark.cn-beijing.volces.com/api/v3
  model: deepseek-v3-1-250821
  api_key: 8c848c4a-394e-4465-821b-53b704478268

  File "/home/wzp/code/deer-flow/.venv/lib/python3.12/site-packages/openai/_base_client.py", line 1037, in request
    raise self._make_status_error_from_response(err.response) from None
openai.BadRequestError: Error code: 400 - {'error': {'code': 'InvalidParameter', 'message': 'The parameter `response_format.type` specified in the request are not valid: `json_schema` is not supported by this model. Request id: 021755959837118857c9984e4f4205442a7c3f62fe8d614105ecf', 'param': 'response_format.type', 'type': 'BadRequest'}}
During task with name 'planner' and id '097021c7-9119-2464-860b-13312f783a36'

[simplew2011]

• 本地vllm部署Qwen3-30B-A3B-Instruct-2507-FP8

  • 前端默认参数配置
  • 在plan阶段跑了40分钟后，开始前端计划有输出，后面越来越多就不输出了，卡住似的，最后网页变得全黑，控件全失
  • 后端报超长报错

• vllm服务

vllm-v0.10.1.1
# https://qwen.readthedocs.io/zh-cn/latest/framework/function_call.html
vllm serve data/wzp/llm/Qwen3-30B-A3B-Instruct-2507-FP8 \
--tensor-parallel-size 2 --trust-remote-code \
--max-model-len 262144 \
--served-model-name Qwen3-30B-A3B-Instruct-2507-FP8 \
--enable-auto-tool-choice --tool-call-parser hermes

(APIServer pid=3188177) INFO 08-23 23:25:50 [loggers.py:123] Engine 000: Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 84.9 tokens/s, Running: 1 reqs, Waiting: 0 reqs, GPU KV cache usage: 23.7%, Prefix cache hit rate: 0.6%
(APIServer pid=3188177) INFO 08-23 23:26:00 [loggers.py:123] Engine 000: Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 84.8 tokens/s, Running: 1 reqs, Waiting: 0 reqs, GPU KV cache usage: 23.8%, Prefix cache hit rate: 0.6%
(APIServer pid=3188177) INFO 08-23 23:26:10 [loggers.py:123] Engine 000: Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 84.4 tokens/s, Running: 1 reqs, Waiting: 0 reqs, GPU KV cache usage: 23.9%, Prefix cache hit rate: 0.6%
(APIServer pid=3188177) INFO 08-23 23:26:20 [loggers.py:123] Engine 000: Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 84.5 tokens/s, Running: 1 reqs, Waiting: 0 reqs, GPU KV cache usage: 24.0%, Prefix cache hit rate: 0.6%
(APIServer pid=3188177) INFO 08-23 23:26:30 [loggers.py:123] Engine 000: Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 51.7 tokens/s, Running: 0 reqs, Waiting: 0 reqs, GPU KV cache usage: 0.0%, Prefix cache hit rate: 0.6%
(APIServer pid=3188177) INFO 08-23 23:26:40 [loggers.py:123] Engine 000: Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 0.0 tokens/s, Running: 0 reqs, Waiting: 0 reqs, GPU KV cache usage: 0.0%, Prefix cache hit rate: 0.6%

• deer-flow后端

  File "/home/wzp/code/deer-flow/.venv/lib/python3.12/site-packages/openai/lib/streaming/chat/_completions.py", line 432, in _accumulate_chunk
    raise LengthFinishReasonError(completion=completion_snapshot)
openai.LengthFinishReasonError: Could not parse response content as the length limit was reached
During task with name 'planner' and id 'e4f3fa8a-ead3-0c9f-f2cd-b78f0aa9543b'

[simplew2011]

2025-08-24 08:08:46,172 - src.graph.nodes - WARNING - Coordinator response contains no tool calls. Terminating workflow execution.

[changxubo]

@simplew2011 超长的推理时间通常由于模型服务本身性能不佳或不稳定导致，特别是本地部署模型，另外这由于模型本身能力和使用工具的局限性导致持续搜索没有Findings，Qwen3系列实际测试Planner和Reasearcher用Thinking模型效果比较好。

[simplew2011]

@simplew2011 超长的推理时间通常由于模型服务本身性能不佳或不稳定导致，特别是本地部署模型，另外这由于模型本身能力和使用工具的局限性导致持续搜索没有Findings，Qwen3系列实际测试Planner和Reasearcher用Thinking模型效果比较好。

Thinking类型的模型，看docs/configuration_guide.md说不能用于Reasearcher步骤，实际可以么？