feat: proxy Tavily web search through API server #1576
There are no files selected for viewing
| Original file line number | Diff line number | Diff line change | ||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| @@ -0,0 +1,75 @@ | ||||||||||||||||||||||
| import { auth } from "@superset/auth/server"; | ||||||||||||||||||||||
| import { tavily } from "@tavily/core"; | ||||||||||||||||||||||
| import { Ratelimit } from "@upstash/ratelimit"; | ||||||||||||||||||||||
| import { Redis } from "@upstash/redis"; | ||||||||||||||||||||||
| import { env } from "@/env"; | ||||||||||||||||||||||
|
|
||||||||||||||||||||||
| const ratelimit = new Ratelimit({ | ||||||||||||||||||||||
| redis: new Redis({ | ||||||||||||||||||||||
| url: env.KV_REST_API_URL, | ||||||||||||||||||||||
| token: env.KV_REST_API_TOKEN, | ||||||||||||||||||||||
| }), | ||||||||||||||||||||||
| limiter: Ratelimit.slidingWindow(1000, "1 d"), | ||||||||||||||||||||||
| prefix: "ratelimit:web-search", | ||||||||||||||||||||||
| }); | ||||||||||||||||||||||
|
|
||||||||||||||||||||||
| export async function POST(request: Request): Promise<Response> { | ||||||||||||||||||||||
| const session = await auth.api.getSession({ | ||||||||||||||||||||||
| headers: request.headers, | ||||||||||||||||||||||
| }); | ||||||||||||||||||||||
|
|
||||||||||||||||||||||
| if (!session?.user) { | ||||||||||||||||||||||
| return new Response("Unauthorized", { status: 401 }); | ||||||||||||||||||||||
| } | ||||||||||||||||||||||
|
coderabbitai[bot] marked this conversation as resolved.
|
||||||||||||||||||||||
|
|
||||||||||||||||||||||
| const { success } = await ratelimit.limit(session.user.id); | ||||||||||||||||||||||
| if (!success) { | ||||||||||||||||||||||
| return Response.json( | ||||||||||||||||||||||
| { error: "Rate limit exceeded. Try again later." }, | ||||||||||||||||||||||
| { status: 429 }, | ||||||||||||||||||||||
| ); | ||||||||||||||||||||||
| } | ||||||||||||||||||||||
|
|
||||||||||||||||||||||
| let body: { query?: string; maxResults?: number }; | ||||||||||||||||||||||
| try { | ||||||||||||||||||||||
| body = await request.json(); | ||||||||||||||||||||||
| } catch { | ||||||||||||||||||||||
| return Response.json({ error: "Invalid JSON body" }, { status: 400 }); | ||||||||||||||||||||||
| } | ||||||||||||||||||||||
|
|
||||||||||||||||||||||
| if (!body.query || typeof body.query !== "string") { | ||||||||||||||||||||||
| return Response.json( | ||||||||||||||||||||||
| { error: "Missing or invalid 'query' field" }, | ||||||||||||||||||||||
| { status: 400 }, | ||||||||||||||||||||||
| ); | ||||||||||||||||||||||
| } | ||||||||||||||||||||||
|
|
||||||||||||||||||||||
| const rawMax = body.maxResults; | ||||||||||||||||||||||
| const maxResults = | ||||||||||||||||||||||
| typeof rawMax === "number" && Number.isFinite(rawMax) | ||||||||||||||||||||||
| ? Math.min(Math.max(rawMax, 1), 10) | ||||||||||||||||||||||
| : 5; | ||||||||||||||||||||||
|
Comment on lines
+47
to
+51
Contributor
There was a problem hiding this comment. 🧩 Analysis chain🌐 Web query:
💡 Result: I couldn’t find any public docs/source for That said, in TypeScript there is no distinct
and rely on runtime validation (or the API) to enforce “must be an integer”. Practical guidance: await tavily.search("query", { maxResults: 10 }); // pass an integer numberIf you want to enforce integer-ness yourself: const maxResults = 10;
if (!Number.isInteger(maxResults)) throw new Error("maxResults must be an integer");🏁 Script executed: # Check for package.json files
fd -t f 'package.json' | head -5
# Look for `@tavily/core` in lock files
rg '@tavily/core' --type json -A 3 2>/dev/null | head -30Repository: superset-sh/superset Length of output: 395 🏁 Script executed: # Search for uses of tavily client.search
rg 'client\.search' --type ts --type tsx -B 2 -A 3
# Look for TypeScript type definitions related to tavily
fd -e 'd.ts' | xargs rg 'maxResults|Tavily' 2>/dev/null | head -20Repository: superset-sh/superset Length of output: 91 🏁 Script executed: # Search for uses of tavily client.search properly
rg 'client\.search' -A 3 -B 2
# Also check for type definitions in node_modules
find . -path ./node_modules -prune -o -name '*tavily*' -type f -print | head -20Repository: superset-sh/superset Length of output: 576 🌐 Web query:
💡 Result: In the official Tavily Search API, the parameter is named
If you’re seeing Sources:
🛠️ Proposed fix const rawMax = body.maxResults;
const maxResults =
- typeof rawMax === "number" && Number.isFinite(rawMax)
+ Number.isInteger(rawMax)
? Math.min(Math.max(rawMax, 1), 10)
: 5;📝 Committable suggestion
Suggested change
🤖 Prompt for AI Agents |
||||||||||||||||||||||
|
|
||||||||||||||||||||||
| if (!env.TAVILY_API_KEY) { | ||||||||||||||||||||||
| return Response.json( | ||||||||||||||||||||||
| { error: "Web search is not configured" }, | ||||||||||||||||||||||
| { status: 503 }, | ||||||||||||||||||||||
| ); | ||||||||||||||||||||||
| } | ||||||||||||||||||||||
|
|
||||||||||||||||||||||
| try { | ||||||||||||||||||||||
| const client = tavily({ apiKey: env.TAVILY_API_KEY }); | ||||||||||||||||||||||
| const response = await client.search(body.query, { maxResults }); | ||||||||||||||||||||||
|
|
||||||||||||||||||||||
| return Response.json({ | ||||||||||||||||||||||
| results: response.results.map((r) => ({ | ||||||||||||||||||||||
| title: r.title, | ||||||||||||||||||||||
| url: r.url, | ||||||||||||||||||||||
| content: r.content, | ||||||||||||||||||||||
| })), | ||||||||||||||||||||||
| }); | ||||||||||||||||||||||
| } catch (error) { | ||||||||||||||||||||||
| const message = error instanceof Error ? error.message : "Search failed"; | ||||||||||||||||||||||
| return Response.json({ error: message }, { status: 502 }); | ||||||||||||||||||||||
| } | ||||||||||||||||||||||
|
Comment on lines
+60
to
+74
Contributor
There was a problem hiding this comment. Tavily client instantiated on every request; raw Tavily error text forwarded to caller. Two separate concerns here:
♻️ Proposed refactor+// Module-level singleton — initialised once per cold start
+let _client: ReturnType<typeof tavily> | null = null;
+function getClient() {
+ if (!_client) _client = tavily({ apiKey: env.TAVILY_API_KEY! });
+ return _client;
+}
+
export async function POST(request: Request): Promise<Response> {
// ... auth / body parsing ...
try {
- const client = tavily({ apiKey: env.TAVILY_API_KEY });
- const response = await client.search(body.query, { maxResults });
+ const response = await getClient().search(body.query, { maxResults });
return Response.json({ results: response.results.map(...) });
} catch (error) {
- const message = error instanceof Error ? error.message : "Search failed";
- return Response.json({ error: message }, { status: 502 });
+ console.error("[web-search] Tavily error:", error);
+ return Response.json({ error: "Search failed" }, { status: 502 });
}
}🤖 Prompt for AI Agents
Comment on lines
+71
to
+74
Contributor
There was a problem hiding this comment. Tavily error messages forwarded verbatim to the client may leak internal details.
🛡️ Proposed fix } catch (error) {
- const message = error instanceof Error ? error.message : "Search failed";
- return Response.json({ error: message }, { status: 502 });
+ console.error("[web-search] Tavily error:", error);
+ return Response.json({ error: "Search failed" }, { status: 502 });
}📝 Committable suggestion
Suggested change
🤖 Prompt for AI Agents |
||||||||||||||||||||||
| } | ||||||||||||||||||||||
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
🧩 Analysis chain
🌐 Web query:
@tavily/core npm package latest version💡 Result:
The latest published version of the
@tavily/corenpm package is0.5.11. [1]Update
@tavily/coreto a valid published version — 0.7.1 does not exist.The latest published version of
@tavily/coreis 0.5.11. Specifying^0.7.1will cause npm install to fail due to an unresolvable dependency. Update the version constraint to^0.5.11or lower.🤖 Prompt for AI Agents