希望AI专家能支持使用自定义prompt“总结主题”字段

[n2yt584v2t4nh7y]

最近大模型API价格下降，首token延迟降低，一次发送网页上几万token并在数秒内获得简短的一句话主题总结在经济性和用户体验方面都已经具备实用性

希望能增加一个字段，允许用自定义prompt提取网页所有（或足量的）文本内容，在翻译页面剩余内容前先对页面主题做一个总结，然后将总结出的主题内容赋值给字段，在后续专家prompt里结合字段内存储的网页主题进行翻译

预计效果和准确率会比目前仅提供网页标题和域名好上很多，因为很多网站的标题和域名并没有提供有关正文主题的有效信息。
这个功能在目前AI专家的提示词设计下无法实现，需要开发者支持，希望能够考虑加入

[n2yt584v2t4nh7y]

@theowenyoung 希望能够考虑一下

[n2yt584v2t4nh7y]

更进一步的，可以对于要翻译的文本范围采用多层次大小的scope，
顶层scope是整个网页的主题，然后局部scope是分块（比如20段或500字为一块（或者根据文本元素在网页中的坐标距离、DOM树距离（可能不准确）来动态判断是否属于同一块），每块用网页主题+块正文分别总结简短的局部主题）

在翻译单句时候，把总主题和对应块的局部主题注入每句的system prompt
当然总结局部主题对于后续动态加载出的内容不好处理，只是提供一个在总结整体页面内容之后更进一步的思路

总结模型可以用与主翻译模型不同的更小型快速的模型，提高响应速度和经济性（目前翻译用gemini 1.5 pro，总结就可以用1.5 flash 或者1.5 flash 8b）

[theowenyoung]

目前 AI智能上下文正是用这个思路实现的，大概是抓取正文的前15000字去总结，且提取术语，然后再后续的请求中把上下文告知大模型，目前用于总结的模型是我们自己训练的，我们再研究下使用其他模型的可能：