-
Notifications
You must be signed in to change notification settings - Fork 613
feat: clickhouse-buffer #2672
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
feat: clickhouse-buffer #2672
Changes from all commits
File filter
Filter by extension
Conversations
Jump to
Diff view
Diff view
There are no files selected for viewing
| Original file line number | Diff line number | Diff line change |
|---|---|---|
| @@ -0,0 +1,37 @@ | ||
| FROM node:lts AS base | ||
|
|
||
| RUN npm i -g pnpm turbo bun | ||
| RUN corepack enable | ||
chronark marked this conversation as resolved.
Show resolved
Hide resolved
|
||
|
|
||
|
|
||
| FROM base AS builder | ||
|
|
||
| # Set working directory | ||
| WORKDIR /unkey | ||
|
|
||
| COPY . . | ||
| RUN turbo prune chproxy --docker | ||
|
|
||
| # Add lockfile and package.json's of isolated subworkspace | ||
| FROM base AS installer | ||
| WORKDIR /unkey | ||
|
|
||
| # First install dependencies (as they change less often) | ||
| COPY .gitignore .gitignore | ||
| COPY --from=builder /unkey/out/json/ . | ||
| COPY --from=builder /unkey/out/pnpm-lock.yaml ./pnpm-lock.yaml | ||
| RUN pnpm install | ||
|
|
||
| # Build the project and its dependencies | ||
| COPY --from=builder /unkey/out/full/ . | ||
| COPY turbo.json turbo.json | ||
|
|
||
| RUN pnpm turbo build --filter=chproxy... | ||
|
|
||
| FROM base AS runner | ||
| WORKDIR /unkey | ||
|
|
||
| COPY --from=installer /unkey . | ||
|
|
||
| WORKDIR /unkey/apps/chproxy | ||
| CMD bun run ./src/main.ts | ||
chronark marked this conversation as resolved.
Show resolved
Hide resolved
chronark marked this conversation as resolved.
Show resolved
Hide resolved
|
||
| Original file line number | Diff line number | Diff line change |
|---|---|---|
| @@ -0,0 +1,14 @@ | ||
| { | ||
| "name": "chproxy", | ||
| "version": "1.0.0", | ||
| "description": "", | ||
| "main": "src/main.ts", | ||
| "keywords": [], | ||
| "author": "Andreas Thomas", | ||
| "license": "ISC", | ||
| "dependencies": { | ||
| "@types/bun": "^1.1.13", | ||
| "@unkey/clickhouse": "workspace:^", | ||
| "zod": "^3.23.8" | ||
| } | ||
| } |
| Original file line number | Diff line number | Diff line change | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| @@ -0,0 +1,127 @@ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| import { z } from "zod"; | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| const MAX_BATCH_SIZE = 10000; | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| const MAX_BATCH_TIME = 3000; // milliseconds | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| type Batch = { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| createdAt: number; | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| rows: string[]; | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| params: URLSearchParams; | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| }; | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| const env = z | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| .object({ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| // url including basic auth | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| // ie: https://user:password@xxx.clickhouse.cloud | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| CLICKHOUSE_URL: z.string(), | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| PORT: z | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| .string() | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| .optional() | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| .default("7123") | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| .transform((s) => Number.parseInt(s)), | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| // user:pass | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| // We receive a base64 of this in the authorization header ie: `Basic ZGVmYXVsdDo=` | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| BASIC_AUTH: z.string(), | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| }) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| .parse(process.env); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| const requiredAuthorization = `Basic ${btoa(env.BASIC_AUTH)}`; | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
chronark marked this conversation as resolved.
Show resolved
Hide resolved
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| const buffer = new Map<string, Batch>(); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| async function flush(force?: boolean): Promise<void> { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| const now = Date.now(); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| for (const [key, batch] of buffer.entries()) { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| if (force || now >= batch.createdAt + MAX_BATCH_TIME) { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| await persist(key); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| // persist inserts the data into clickhouse and removes it from the buffer | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| async function persist(key: string): Promise<void> { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| const batch = buffer.get(key); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| if (!batch) { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| return; | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| const url = new URL(env.CLICKHOUSE_URL); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| batch.params.forEach((v, k) => { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| url.searchParams.set(k, v); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| }); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| const res = await fetch(url, { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| method: "POST", | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| headers: { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| "Content-Type": "text/plain", | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Authorization: `Basic ${btoa([url.username, url.password].join(":"))}`, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
chronark marked this conversation as resolved.
Show resolved
Hide resolved
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| }, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| body: batch.rows.join("\n"), | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| }); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Comment on lines
+54
to
+61
Contributor
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 🛠️ Refactor suggestion Enhance error handling in fetch request The fetch request should handle different types of errors (network, timeout, etc.) and provide more detailed error information. - const res = await fetch(url, {
- method: "POST",
- headers: {
- "Content-Type": "text/plain",
- Authorization: `Basic ${btoa([url.username, url.password].join(":"))}`,
- },
- body: batch.rows.join("\n"),
- });
+ try {
+ const res = await fetch(url, {
+ method: "POST",
+ headers: {
+ "Content-Type": "text/plain",
+ Authorization: `Basic ${btoa([url.username, url.password].join(":"))}`,
+ },
+ body: batch.rows.join("\n"),
+ // Add timeout to prevent hanging requests
+ signal: AbortSignal.timeout(5000),
+ });
+ if (res.ok) {
+ buffer.delete(key);
+ console.info(`persisted ${batch.rows.length} rows`);
+ } else {
+ console.error(
+ `Failed to persist: ${res.status} ${res.statusText}`,
+ await res.text(),
+ JSON.stringify(batch)
+ );
+ }
+ } catch (error) {
+ if (error.name === 'TimeoutError') {
+ console.error('Request timed out while persisting batch');
+ } else {
+ console.error('Network error while persisting batch:', error);
+ }
+ }📝 Committable suggestion
Suggested change
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| if (res.ok) { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| buffer.delete(key); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| console.info(`persisted ${batch.rows.length} rows`); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| } else { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| console.error("unable to persist", await res.text(), JSON.stringify(batch)); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Comment on lines
+65
to
+67
Contributor
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 🛠️ Refactor suggestion Implement retry mechanism for failed batch persistence Currently, if persisting a batch fails ( Consider implementing a retry mechanism with exponential backoff or setting a maximum retry count. This ensures data is eventually persisted or appropriately handled if persistence continually fails. |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| setInterval(flush, 1000); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| const server = Bun.serve({ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| port: env.PORT, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| fetch: async (req: Request): Promise<Response> => { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| const url = new URL(req.url); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| if (url.pathname === "/v1/liveness") { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| return new Response("I'm alive"); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| if (req.headers.get("Authorization") !== requiredAuthorization) { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| return new Response("unauthorized", { status: 401 }); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| const query = url.searchParams.get("query"); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| if (!query || !query.toLowerCase().startsWith("insert into")) { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| return new Response("wrong query", { status: 400 }); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Comment on lines
+85
to
+88
Contributor
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 🛠️ Refactor suggestion Enhance query validation The current query validation is basic and case-sensitive. Consider using a more robust approach: - if (!query || !query.toLowerCase().startsWith("insert into")) {
- return new Response("wrong query", { status: 400 });
+ if (!query) {
+ return new Response("missing query parameter", { status: 400 });
+ }
+ const normalizedQuery = query.toLowerCase().trim();
+ if (!normalizedQuery.startsWith("insert into")) {
+ return new Response("only INSERT queries are allowed", { status: 400 });
+ }
+ // Optional: Add more validation like table name whitelist
+ const allowedTables = ["events", "metrics"]; // configure via env
+ const tableMatch = normalizedQuery.match(/insert into\s+([^\s(]+)/i);
+ if (!tableMatch || !allowedTables.includes(tableMatch[1])) {
+ return new Response("invalid table name", { status: 400 });📝 Committable suggestion
Suggested change
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| const params = url.searchParams; | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| params.delete("query_id"); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| params.sort(); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| const key = params.toString(); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| const rows = (await req.text()).split("\n"); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| const existing = buffer.get(key); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| if (existing) { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| const size = existing.rows.push(...rows); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| if (size >= MAX_BATCH_SIZE) { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| await persist(key); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| } else { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| buffer.set(key, { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| createdAt: Date.now(), | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| params, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| rows, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| }); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Comment on lines
+98
to
+110
Contributor
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 🛠️ Refactor suggestion Monitor and limit total buffer size The buffer size should be monitored and limited to prevent memory issues: + const currentBufferSize = Array.from(buffer.values()).reduce((sum, batch) => sum + batch.rows.length, 0);
+ const MAX_TOTAL_ROWS = Number(process.env.MAX_TOTAL_ROWS ?? "1000000");
+
+ if (currentBufferSize + rows.length > MAX_TOTAL_ROWS) {
+ return new Response("buffer full", { status: 503 });
+ }
+
const existing = buffer.get(key);
if (existing) {
const size = existing.rows.push(...rows);📝 Committable suggestion
Suggested change
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| return new Response("ok"); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| }, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| error: (err) => { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| console.error(err); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| return new Response("internal server error", { status: 500 }); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| }, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| }); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| console.info("listening on", server.hostname, server.port); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| process.on("SIGTERM", async (s) => { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| console.warn("Received signal", s); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| server.stop(); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| await flush(true); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| process.exit(0); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| }); | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Original file line number | Diff line number | Diff line change | ||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| @@ -0,0 +1,108 @@ | ||||||||||||||||||||||||||||||||||||||||||
| { | ||||||||||||||||||||||||||||||||||||||||||
| "compilerOptions": { | ||||||||||||||||||||||||||||||||||||||||||
| /* Visit https://aka.ms/tsconfig to read more about this file */ | ||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||
| /* Projects */ | ||||||||||||||||||||||||||||||||||||||||||
| // "incremental": true, /* Save .tsbuildinfo files to allow for incremental compilation of projects. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "composite": true, /* Enable constraints that allow a TypeScript project to be used with project references. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "tsBuildInfoFile": "./.tsbuildinfo", /* Specify the path to .tsbuildinfo incremental compilation file. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "disableSourceOfProjectReferenceRedirect": true, /* Disable preferring source files instead of declaration files when referencing composite projects. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "disableSolutionSearching": true, /* Opt a project out of multi-project reference checking when editing. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "disableReferencedProjectLoad": true, /* Reduce the number of projects loaded automatically by TypeScript. */ | ||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||
| /* Language and Environment */ | ||||||||||||||||||||||||||||||||||||||||||
| "target": "es2016" /* Set the JavaScript language version for emitted JavaScript and include compatible library declarations. */, | ||||||||||||||||||||||||||||||||||||||||||
| // "lib": [], /* Specify a set of bundled library declaration files that describe the target runtime environment. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "jsx": "preserve", /* Specify what JSX code is generated. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "experimentalDecorators": true, /* Enable experimental support for legacy experimental decorators. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "emitDecoratorMetadata": true, /* Emit design-type metadata for decorated declarations in source files. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "jsxFactory": "", /* Specify the JSX factory function used when targeting React JSX emit, e.g. 'React.createElement' or 'h'. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "jsxFragmentFactory": "", /* Specify the JSX Fragment reference used for fragments when targeting React JSX emit e.g. 'React.Fragment' or 'Fragment'. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "jsxImportSource": "", /* Specify module specifier used to import the JSX factory functions when using 'jsx: react-jsx*'. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "reactNamespace": "", /* Specify the object invoked for 'createElement'. This only applies when targeting 'react' JSX emit. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "noLib": true, /* Disable including any library files, including the default lib.d.ts. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "useDefineForClassFields": true, /* Emit ECMAScript-standard-compliant class fields. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "moduleDetection": "auto", /* Control what method is used to detect module-format JS files. */ | ||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||
| /* Modules */ | ||||||||||||||||||||||||||||||||||||||||||
| "module": "commonjs" /* Specify what module code is generated. */, | ||||||||||||||||||||||||||||||||||||||||||
| // "rootDir": "./", /* Specify the root folder within your source files. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "moduleResolution": "node10", /* Specify how TypeScript looks up a file from a given module specifier. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "baseUrl": "./", /* Specify the base directory to resolve non-relative module names. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "paths": {}, /* Specify a set of entries that re-map imports to additional lookup locations. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "rootDirs": [], /* Allow multiple folders to be treated as one when resolving modules. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "typeRoots": [], /* Specify multiple folders that act like './node_modules/@types'. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "types": [], /* Specify type package names to be included without being referenced in a source file. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "allowUmdGlobalAccess": true, /* Allow accessing UMD globals from modules. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "moduleSuffixes": [], /* List of file name suffixes to search when resolving a module. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "allowImportingTsExtensions": true, /* Allow imports to include TypeScript file extensions. Requires '--moduleResolution bundler' and either '--noEmit' or '--emitDeclarationOnly' to be set. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "resolvePackageJsonExports": true, /* Use the package.json 'exports' field when resolving package imports. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "resolvePackageJsonImports": true, /* Use the package.json 'imports' field when resolving imports. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "customConditions": [], /* Conditions to set in addition to the resolver-specific defaults when resolving imports. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "resolveJsonModule": true, /* Enable importing .json files. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "allowArbitraryExtensions": true, /* Enable importing files with any extension, provided a declaration file is present. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "noResolve": true, /* Disallow 'import's, 'require's or '<reference>'s from expanding the number of files TypeScript should add to a project. */ | ||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||
| /* JavaScript Support */ | ||||||||||||||||||||||||||||||||||||||||||
| // "allowJs": true, /* Allow JavaScript files to be a part of your program. Use the 'checkJS' option to get errors from these files. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "checkJs": true, /* Enable error reporting in type-checked JavaScript files. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "maxNodeModuleJsDepth": 1, /* Specify the maximum folder depth used for checking JavaScript files from 'node_modules'. Only applicable with 'allowJs'. */ | ||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||
| /* Emit */ | ||||||||||||||||||||||||||||||||||||||||||
| // "declaration": true, /* Generate .d.ts files from TypeScript and JavaScript files in your project. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "declarationMap": true, /* Create sourcemaps for d.ts files. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "emitDeclarationOnly": true, /* Only output d.ts files and not JavaScript files. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "sourceMap": true, /* Create source map files for emitted JavaScript files. */ | ||||||||||||||||||||||||||||||||||||||||||
|
Contributor
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 🛠️ Refactor suggestion Enable source maps and specify output directory for better debugging and organization. For a production service handling database operations, proper debugging support is crucial. Apply these changes: - // "sourceMap": true, /* Create source map files for emitted JavaScript files. */
- // "outDir": "./", /* Specify an output folder for all emitted files. */
+ "sourceMap": true, /* Create source map files for emitted JavaScript files. */
+ "outDir": "./dist", /* Specify an output folder for all emitted files. */Also applies to: 58-58 |
||||||||||||||||||||||||||||||||||||||||||
| // "inlineSourceMap": true, /* Include sourcemap files inside the emitted JavaScript. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "outFile": "./", /* Specify a file that bundles all outputs into one JavaScript file. If 'declaration' is true, also designates a file that bundles all .d.ts output. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "outDir": "./", /* Specify an output folder for all emitted files. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "removeComments": true, /* Disable emitting comments. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "noEmit": true, /* Disable emitting files from a compilation. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "importHelpers": true, /* Allow importing helper functions from tslib once per project, instead of including them per-file. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "downlevelIteration": true, /* Emit more compliant, but verbose and less performant JavaScript for iteration. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "sourceRoot": "", /* Specify the root path for debuggers to find the reference source code. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "mapRoot": "", /* Specify the location where debugger should locate map files instead of generated locations. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "inlineSources": true, /* Include source code in the sourcemaps inside the emitted JavaScript. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "emitBOM": true, /* Emit a UTF-8 Byte Order Mark (BOM) in the beginning of output files. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "newLine": "crlf", /* Set the newline character for emitting files. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "stripInternal": true, /* Disable emitting declarations that have '@internal' in their JSDoc comments. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "noEmitHelpers": true, /* Disable generating custom helper functions like '__extends' in compiled output. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "noEmitOnError": true, /* Disable emitting files if any type checking errors are reported. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "preserveConstEnums": true, /* Disable erasing 'const enum' declarations in generated code. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "declarationDir": "./", /* Specify the output directory for generated declaration files. */ | ||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||
| /* Interop Constraints */ | ||||||||||||||||||||||||||||||||||||||||||
| // "isolatedModules": true, /* Ensure that each file can be safely transpiled without relying on other imports. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "verbatimModuleSyntax": true, /* Do not transform or elide any imports or exports not marked as type-only, ensuring they are written in the output file's format based on the 'module' setting. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "isolatedDeclarations": true, /* Require sufficient annotation on exports so other tools can trivially generate declaration files. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "allowSyntheticDefaultImports": true, /* Allow 'import x from y' when a module doesn't have a default export. */ | ||||||||||||||||||||||||||||||||||||||||||
| "esModuleInterop": true /* Emit additional JavaScript to ease support for importing CommonJS modules. This enables 'allowSyntheticDefaultImports' for type compatibility. */, | ||||||||||||||||||||||||||||||||||||||||||
| // "preserveSymlinks": true, /* Disable resolving symlinks to their realpath. This correlates to the same flag in node. */ | ||||||||||||||||||||||||||||||||||||||||||
| "forceConsistentCasingInFileNames": true /* Ensure that casing is correct in imports. */, | ||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||
| /* Type Checking */ | ||||||||||||||||||||||||||||||||||||||||||
| "strict": true /* Enable all strict type-checking options. */, | ||||||||||||||||||||||||||||||||||||||||||
| // "noImplicitAny": true, /* Enable error reporting for expressions and declarations with an implied 'any' type. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "strictNullChecks": true, /* When type checking, take into account 'null' and 'undefined'. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "strictFunctionTypes": true, /* When assigning functions, check to ensure parameters and the return values are subtype-compatible. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "strictBindCallApply": true, /* Check that the arguments for 'bind', 'call', and 'apply' methods match the original function. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "strictPropertyInitialization": true, /* Check for class properties that are declared but not set in the constructor. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "noImplicitThis": true, /* Enable error reporting when 'this' is given the type 'any'. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "useUnknownInCatchVariables": true, /* Default catch clause variables as 'unknown' instead of 'any'. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "alwaysStrict": true, /* Ensure 'use strict' is always emitted. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "noUnusedLocals": true, /* Enable error reporting when local variables aren't read. */ | ||||||||||||||||||||||||||||||||||||||||||
|
Comment on lines
+84
to
+93
Contributor
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 🛠️ Refactor suggestion Enable additional strict checks for better type safety. Given that this service handles database operations, enabling additional strict checks would help catch potential issues early. Enable these specific checks: "strict": true /* Enable all strict type-checking options. */,
- // "noImplicitAny": true, /* Enable error reporting for expressions and declarations with an implied 'any' type. */
- // "strictNullChecks": true, /* When type checking, take into account 'null' and 'undefined'. */
- // "strictFunctionTypes": true, /* When assigning functions, check to ensure parameters and the return values are subtype-compatible. */
- // "strictBindCallApply": true, /* Check that the arguments for 'bind', 'call', and 'apply' methods match the original function. */
- // "strictPropertyInitialization": true, /* Check for class properties that are declared but not set in the constructor. */
- // "noImplicitThis": true, /* Enable error reporting when 'this' is given the type 'any'. */
- // "useUnknownInCatchVariables": true, /* Default catch clause variables as 'unknown' instead of 'any'. */
- // "alwaysStrict": true, /* Ensure 'use strict' is always emitted. */
- // "noUnusedLocals": true, /* Enable error reporting when local variables aren't read. */
+ "noImplicitAny": true, /* Enable error reporting for expressions and declarations with an implied 'any' type. */
+ "strictNullChecks": true, /* When type checking, take into account 'null' and 'undefined'. */
+ "strictFunctionTypes": true, /* When assigning functions, check to ensure parameters and the return values are subtype-compatible. */
+ "strictBindCallApply": true, /* Check that the arguments for 'bind', 'call', and 'apply' methods match the original function. */
+ "strictPropertyInitialization": true, /* Check for class properties that are declared but not set in the constructor. */
+ "noImplicitThis": true, /* Enable error reporting when 'this' is given the type 'any'. */
+ "useUnknownInCatchVariables": true, /* Default catch clause variables as 'unknown' instead of 'any'. */
+ "alwaysStrict": true, /* Ensure 'use strict' is always emitted. */
+ "noUnusedLocals": true, /* Enable error reporting when local variables aren't read. */📝 Committable suggestion
Suggested change
|
||||||||||||||||||||||||||||||||||||||||||
| // "noUnusedParameters": true, /* Raise an error when a function parameter isn't read. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "exactOptionalPropertyTypes": true, /* Interpret optional property types as written, rather than adding 'undefined'. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "noImplicitReturns": true, /* Enable error reporting for codepaths that do not explicitly return in a function. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "noFallthroughCasesInSwitch": true, /* Enable error reporting for fallthrough cases in switch statements. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "noUncheckedIndexedAccess": true, /* Add 'undefined' to a type when accessed using an index. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "noImplicitOverride": true, /* Ensure overriding members in derived classes are marked with an override modifier. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "noPropertyAccessFromIndexSignature": true, /* Enforces using indexed accessors for keys declared using an indexed type. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "allowUnusedLabels": true, /* Disable error reporting for unused labels. */ | ||||||||||||||||||||||||||||||||||||||||||
| // "allowUnreachableCode": true, /* Disable error reporting for unreachable code. */ | ||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||
| /* Completeness */ | ||||||||||||||||||||||||||||||||||||||||||
| // "skipDefaultLibCheck": true, /* Skip type checking .d.ts files that are included with TypeScript. */ | ||||||||||||||||||||||||||||||||||||||||||
| "skipLibCheck": true /* Skip type checking all .d.ts files. */ | ||||||||||||||||||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||||||||||||||||||
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
🛠️ Refactor suggestion
Add URL validation for ClickHouse configuration.
Both
CLICKHOUSE_URLandCLICKHOUSE_INSERT_URLshould validate that they are proper URLs for consistency and to catch configuration errors early.📝 Committable suggestion