Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

重排使用的reRankQuery变量处理有误导致带有历史对话的场景下数据召回失败 #1495

Closed
6 of 7 tasks
mn325 opened this issue May 15, 2024 · 5 comments
Closed
6 of 7 tasks
Labels
bug Something isn't working

Comments

@mn325
Copy link

mn325 commented May 15, 2024

例行检查

  • 我已确认目前没有类似 issue
  • 我已完整查看过项目 README,以及项目文档
  • 我使用了自己的 key,并确认我的 key 是可正常使用的
  • 我理解并愿意跟进此 issue,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • 公有云版本
  • 私有部署版本, 具体版本号:

问题描述, 日志截图
image
同样的问题在第一次问的时候能召回数据,第二次却无法召回数据

复现步骤

预期结果
无论第几次询问都应召回数据

相关截图
查看源码rewriteQuery变量处理有问题,拼接的字符串是个js对象如下图,导致rerank后的分数很低
image
image

@mn325 mn325 added the bug Something isn't working label May 15, 2024
@c121914yu
Copy link
Collaborator

c121914yu commented May 15, 2024

同一个对话,给模型发相同内容本身就是严重错误。
没有问题优化情况下,需要通过上下文进行重排,不然连续对话重排就没用了。

@mn325
Copy link
Author

mn325 commented May 15, 2024

同一个对话,给模型发相同内容本身就是严重错误。
没有问题优化情况下,需要通过上下文进行重排,不然连续对话重排就没用了。

但是拼接的上下文信息不对,如图二,item.value是object,应该取item.value下面的text.content

@c121914yu
Copy link
Collaborator

c121914yu commented May 15, 2024

同一个对话,给模型发相同内容本身就是严重错误。
没有问题优化情况下,需要通过上下文进行重排,不然连续对话重排就没用了。

但是拼接的上下文信息不对,如图二,item.value是object,应该取item.value下面的text.content

你的版本问题把。这个我记得一个来月前已经有人提修复了

@mn325
Copy link
Author

mn325 commented May 15, 2024

同一个对话,给模型发相同内容本身就是严重错误。
没有问题优化情况下,需要通过上下文进行重排,不然连续对话重排就没用了。

但是拼接的上下文信息不对,如图二,item.value是object,应该取item.value下面的text.content

你的版本问题把。这个我记得一个来月前已经有人提修复了

4.8的版本

@c121914yu
Copy link
Collaborator

c121914yu commented May 16, 2024

同一个对话,给模型发相同内容本身就是严重错误。
没有问题优化情况下,需要通过上下文进行重排,不然连续对话重排就没用了。

但是拼接的上下文信息不对,如图二,item.value是object,应该取item.value下面的text.content

你的版本问题把。这个我记得一个来月前已经有人提修复了

4.8的版本

确实是,他只修改了问题补全的地方,你可以参考 https://github.com/labring/FastGPT/blob/main/packages/service/core/ai/functions/queryExtension.ts 进行修改,增加一个 value 解析函数。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bug Something isn't working
Projects
None yet
Development

No branches or pull requests

2 participants