fix(sse): preserve Perplexity stream failures by diegosouzapw · Pull Request #12465 · cheaper-inference/OmniRoute

diegosouzapw · 2026-09-02T11:04:11Z

Status

OWN SCOPE: PASS · RECONCILED · CI: PASS

The branch is reconciled with the current release/v3.8.51 tip. No merge, automerge, deploy, or release action is requested.

Summary

Perplexity Web could turn an upstream HTTP 200 stream failure into a successful Chat Completions turn. The executor emitted an assistant role before real output, rendered upstream errors as assistant text, then emitted finish_reason:"stop" and [DONE]. That suppressed readiness fallback and could persist a failed session.

This change establishes a producer-side failure boundary and makes the shared readiness replay backpressure-driven, so legitimate partial output survives even when the upstream failure arrives while onRequestSuccess() is still running.

Case	Before	After
Failure before content	Eager assistant role made the stream look ready; raw error could become assistant text	No role/content; sanitized error-only frame stays unready and `handleChatCore` returns fallback-eligible HTTP 502 (`STREAM_EARLY_EOF`)
Failure after content	Error became normal assistant content followed by `stop`/`[DONE]`	Legitimate role/content/reasoning prefix is preserved, then the Chat pipeline emits only `finish_reason:"error"` + `[DONE]`
Delayed readiness handoff	A later `controller.error()` could erase the queued prefix while `onRequestSuccess()` awaited bookkeeping	`prependBufferedChunks()` replays one chunk per pull, honoring backpressure; the prefix survives the delayed success hook
Client cancellation	Iterator return could remain blocked in the raw SSE reader	Abort owns/cancels the raw reader exactly once and downstream cancellation remains bounded even if upstream cancel never settles
Session continuity	Failed/cancelled streams could reach the normal completion path	`sessionStore()` runs only after an actual successful completion

RED → GREEN evidence

Probe	RED	GREEN
Pre-content error or thrown reader	Readiness reported success after the eager role	Handler returns sanitized 502 and remains fallback-eligible
Partial content plus terminal error	Downstream finalized a normal stop	Prefix is followed by canonical Chat error terminal; no normal stop
Immediate stream error after prefix	Web Streams error state could discard queued output	Guarded propagation preserves the legitimate prefix
Delayed success bookkeeping	Error could win while the prefix was still buffered	Backpressure-driven replay preserves role/content ordering
Downstream cancel with stalled reader	Raw upstream cancellation could remain blocked	Full pipeline cancels the raw reader exactly once without persisting a session

Reconciliation

Item	Result
Current base	`e243b04de22da2d78900c27fde5f83f4fbc3d7f9`
Candidate	`75ab23bc7eb864ab59f9215f205af501679a7262`
Merge	PASS: clean, no conflict
Material overlap	`open-sse/executors/perplexity-web.ts` auto-merged cleanly; no manual resolution
Final delta	7 owned files: executor/protocol/readiness, isolated fixture/tests, changelog

Final-candidate validation

Gate	Result	Evidence
Isolated full-pipeline harness plus readiness suite	PASS	`20/20`, `0` failures, explicit `/tmp` `DATA_DIR`
Inner Perplexity fixture	PASS	outer harness confirms `8/8`, `0` failures
Stream readiness regression suite	PASS	`19/19`, `0` failures
Open-SSE TypeScript gate	PASS	`openSseTypecheckErrors=0`
Owned-path Prettier	PASS	all seven changed paths formatted
Owned-path ESLint excluding inherited suppressed line	PASS	no candidate-specific violation
Raw `protocol.ts` lint	BASE-INHERITED	unused `randomUUID` import is byte-identical on the current base and is covered by the repository suppression inventory; this PR does not reclassify it as a candidate regression
Patch integrity	PASS	`git diff --check origin/release/v3.8.51..HEAD`
GitHub checks	PASS	`9` successful, `0` failed, `0` pending; skipped and neutral results are not counted as passes
First concurrent local run	HOLD-LOAD, then PASS	the 90 s subprocess guard expired only while competing with lint/typecheck; isolated rerun passed in ~29–37 s

Test isolation and security

All upstream traffic is stubbed through the Perplexity TLS test seam; no network request or real provider credential is used.
The full handler/persistence suite runs in a subprocess under tests/fixtures/.
The subprocess receives synthetic secrets plus isolated DATA_DIR and OMNIROUTE_PLUGINS_DIR under /tmp.
Teardown waits for call-log saves before closing the child writer and resetting its DB.
Hostile upstream paths, tokens, stack-like text, and api_key details are asserted absent from the public response.

HOLDs / not claimed

No live Perplexity account, cookie, TLS/WAF path, or provider endpoint was exercised.
The full repository release matrix was not run locally; focused stream behavior, readiness, typecheck, formatting, lint attribution, and patch integrity are recorded above.
This PR remains OPEN / DRAFT for remote CI and maintainer review.

…perplexity-stream-error-boundary

Validado em lote numa worktree combinada com os 14 PRs desta campanha de error-boundary sobre o tip de `release/v3.8.51`: `typecheck:core` limpo e **120/120** nos 23 arquivos de teste que os PRs trazem. Um ponto que só apareceu no tree combinado: **#12465 e #12466 criam o mesmo arquivo novo** `open-sse/utils/streamReadiness.ts` (que não existe no tip) com desenhos divergentes de cancelamento — `cancelled` + `releaseLock` imediato num, `readInFlight`/`cancelRequested` com `cancelReader` fire-and-forget no outro. Adotei a versão do #12466, que difere e defere o release do lock para quando a leitura em voo termina, e validei a escolha rodando as suítes dos **dois** PRs contra ela: 21/21 no readiness compartilhado e 22/22 incluindo o boundary do Perplexity.

…2458) Validado em lote numa worktree combinada com os 14 PRs desta campanha de error-boundary sobre o tip de `release/v3.8.51`: `typecheck:core` limpo e **120/120** nos 23 arquivos de teste que os PRs trazem. Um ponto que só apareceu no tree combinado: **#12465 e #12466 criam o mesmo arquivo novo** `open-sse/utils/streamReadiness.ts` (que não existe no tip) com desenhos divergentes de cancelamento — `cancelled` + `releaseLock` imediato num, `readInFlight`/`cancelRequested` com `cancelReader` fire-and-forget no outro. Adotei a versão do #12466, que difere e defere o release do lock para quando a leitura em voo termina, e validei a escolha rodando as suítes dos **dois** PRs contra ela: 21/21 no readiness compartilhado e 22/22 incluindo o boundary do Perplexity.

Validado em lote numa worktree combinada com os 14 PRs desta campanha de error-boundary sobre o tip de `release/v3.8.51`: `typecheck:core` limpo e **120/120** nos 23 arquivos de teste que os PRs trazem. Um ponto que só apareceu no tree combinado: **#12465 e #12466 criam o mesmo arquivo novo** `open-sse/utils/streamReadiness.ts` (que não existe no tip) com desenhos divergentes de cancelamento — `cancelled` + `releaseLock` imediato num, `readInFlight`/`cancelRequested` com `cancelReader` fire-and-forget no outro. Adotei a versão do #12466, que difere e defere o release do lock para quando a leitura em voo termina, e validei a escolha rodando as suítes dos **dois** PRs contra ela: 21/21 no readiness compartilhado e 22/22 incluindo o boundary do Perplexity.

#12465 landed first and created the same new open-sse/utils/streamReadiness.ts with a different cancellation design (a `cancelled` flag and an immediate releaseLock swallowed in try/catch). This branch's version defers the release until the in-flight read completes and fire-and-forgets reader.cancel(), so a provider promise that never settles cannot make cancellation unbounded. The choice was validated against BOTH PRs' suites rather than by preference: 21/21 on the shared readiness tests and 22/22 including #12465's own Perplexity boundary test.

Validado após reconciliar com o #12465, que entrou primeiro e criou o mesmo arquivo novo `open-sse/utils/streamReadiness.ts` com desenho divergente de cancelamento. Mantive a versão desta branch, que defere o release do lock para quando a leitura em voo termina e faz `reader.cancel()` fire-and-forget — assim uma promise de provider que nunca resolve não torna o cancelamento ilimitado. A escolha não foi por preferência: rodei as suítes dos **dois** PRs contra ela, 21/21 no readiness compartilhado e **22/22** incluindo o boundary do Perplexity do próprio #12465. typecheck:core limpo.

…nference#12431) Validado em lote numa worktree combinada com os 14 PRs desta campanha de error-boundary sobre o tip de `release/v3.8.51`: `typecheck:core` limpo e **120/120** nos 23 arquivos de teste que os PRs trazem. Um ponto que só apareceu no tree combinado: **cheaper-inference#12465 e cheaper-inference#12466 criam o mesmo arquivo novo** `open-sse/utils/streamReadiness.ts` (que não existe no tip) com desenhos divergentes de cancelamento — `cancelled` + `releaseLock` imediato num, `readInFlight`/`cancelRequested` com `cancelReader` fire-and-forget no outro. Adotei a versão do cheaper-inference#12466, que difere e defere o release do lock para quando a leitura em voo termina, e validei a escolha rodando as suítes dos **dois** PRs contra ela: 21/21 no readiness compartilhado e 22/22 incluindo o boundary do Perplexity.

Validado em lote numa worktree combinada com os 14 PRs desta campanha de error-boundary sobre o tip de `release/v3.8.51`: `typecheck:core` limpo e **120/120** nos 23 arquivos de teste que os PRs trazem. Um ponto que só apareceu no tree combinado: **cheaper-inference#12465 e cheaper-inference#12466 criam o mesmo arquivo novo** `open-sse/utils/streamReadiness.ts` (que não existe no tip) com desenhos divergentes de cancelamento — `cancelled` + `releaseLock` imediato num, `readInFlight`/`cancelRequested` com `cancelReader` fire-and-forget no outro. Adotei a versão do cheaper-inference#12466, que difere e defere o release do lock para quando a leitura em voo termina, e validei a escolha rodando as suítes dos **dois** PRs contra ela: 21/21 no readiness compartilhado e 22/22 incluindo o boundary do Perplexity.

…#12454) Validado em lote numa worktree combinada com os 14 PRs desta campanha de error-boundary sobre o tip de `release/v3.8.51`: `typecheck:core` limpo e **120/120** nos 23 arquivos de teste que os PRs trazem. Um ponto que só apareceu no tree combinado: **cheaper-inference#12465 e cheaper-inference#12466 criam o mesmo arquivo novo** `open-sse/utils/streamReadiness.ts` (que não existe no tip) com desenhos divergentes de cancelamento — `cancelled` + `releaseLock` imediato num, `readInFlight`/`cancelRequested` com `cancelReader` fire-and-forget no outro. Adotei a versão do cheaper-inference#12466, que difere e defere o release do lock para quando a leitura em voo termina, e validei a escolha rodando as suítes dos **dois** PRs contra ela: 21/21 no readiness compartilhado e 22/22 incluindo o boundary do Perplexity.

…2455) Validado em lote numa worktree combinada com os 14 PRs desta campanha de error-boundary sobre o tip de `release/v3.8.51`: `typecheck:core` limpo e **120/120** nos 23 arquivos de teste que os PRs trazem. Um ponto que só apareceu no tree combinado: **cheaper-inference#12465 e cheaper-inference#12466 criam o mesmo arquivo novo** `open-sse/utils/streamReadiness.ts` (que não existe no tip) com desenhos divergentes de cancelamento — `cancelled` + `releaseLock` imediato num, `readInFlight`/`cancelRequested` com `cancelReader` fire-and-forget no outro. Adotei a versão do cheaper-inference#12466, que difere e defere o release do lock para quando a leitura em voo termina, e validei a escolha rodando as suítes dos **dois** PRs contra ela: 21/21 no readiness compartilhado e 22/22 incluindo o boundary do Perplexity.

…nference#12457) Validado em lote numa worktree combinada com os 14 PRs desta campanha de error-boundary sobre o tip de `release/v3.8.51`: `typecheck:core` limpo e **120/120** nos 23 arquivos de teste que os PRs trazem. Um ponto que só apareceu no tree combinado: **cheaper-inference#12465 e cheaper-inference#12466 criam o mesmo arquivo novo** `open-sse/utils/streamReadiness.ts` (que não existe no tip) com desenhos divergentes de cancelamento — `cancelled` + `releaseLock` imediato num, `readInFlight`/`cancelRequested` com `cancelReader` fire-and-forget no outro. Adotei a versão do cheaper-inference#12466, que difere e defere o release do lock para quando a leitura em voo termina, e validei a escolha rodando as suítes dos **dois** PRs contra ela: 21/21 no readiness compartilhado e 22/22 incluindo o boundary do Perplexity.

Validado em lote numa worktree combinada com os 14 PRs desta campanha de error-boundary sobre o tip de `release/v3.8.51`: `typecheck:core` limpo e **120/120** nos 23 arquivos de teste que os PRs trazem. Um ponto que só apareceu no tree combinado: **cheaper-inference#12465 e cheaper-inference#12466 criam o mesmo arquivo novo** `open-sse/utils/streamReadiness.ts` (que não existe no tip) com desenhos divergentes de cancelamento — `cancelled` + `releaseLock` imediato num, `readInFlight`/`cancelRequested` com `cancelReader` fire-and-forget no outro. Adotei a versão do cheaper-inference#12466, que difere e defere o release do lock para quando a leitura em voo termina, e validei a escolha rodando as suítes dos **dois** PRs contra ela: 21/21 no readiness compartilhado e 22/22 incluindo o boundary do Perplexity.

…12456) Validado em lote numa worktree combinada com os 14 PRs desta campanha de error-boundary sobre o tip de `release/v3.8.51`: `typecheck:core` limpo e **120/120** nos 23 arquivos de teste que os PRs trazem. Um ponto que só apareceu no tree combinado: **cheaper-inference#12465 e cheaper-inference#12466 criam o mesmo arquivo novo** `open-sse/utils/streamReadiness.ts` (que não existe no tip) com desenhos divergentes de cancelamento — `cancelled` + `releaseLock` imediato num, `readInFlight`/`cancelRequested` com `cancelReader` fire-and-forget no outro. Adotei a versão do cheaper-inference#12466, que difere e defere o release do lock para quando a leitura em voo termina, e validei a escolha rodando as suítes dos **dois** PRs contra ela: 21/21 no readiness compartilhado e 22/22 incluindo o boundary do Perplexity.

…eaper-inference#12458) Validado em lote numa worktree combinada com os 14 PRs desta campanha de error-boundary sobre o tip de `release/v3.8.51`: `typecheck:core` limpo e **120/120** nos 23 arquivos de teste que os PRs trazem. Um ponto que só apareceu no tree combinado: **cheaper-inference#12465 e cheaper-inference#12466 criam o mesmo arquivo novo** `open-sse/utils/streamReadiness.ts` (que não existe no tip) com desenhos divergentes de cancelamento — `cancelled` + `releaseLock` imediato num, `readInFlight`/`cancelRequested` com `cancelReader` fire-and-forget no outro. Adotei a versão do cheaper-inference#12466, que difere e defere o release do lock para quando a leitura em voo termina, e validei a escolha rodando as suítes dos **dois** PRs contra ela: 21/21 no readiness compartilhado e 22/22 incluindo o boundary do Perplexity.

Validado em lote numa worktree combinada com os 14 PRs desta campanha de error-boundary sobre o tip de `release/v3.8.51`: `typecheck:core` limpo e **120/120** nos 23 arquivos de teste que os PRs trazem. Um ponto que só apareceu no tree combinado: **cheaper-inference#12465 e cheaper-inference#12466 criam o mesmo arquivo novo** `open-sse/utils/streamReadiness.ts` (que não existe no tip) com desenhos divergentes de cancelamento — `cancelled` + `releaseLock` imediato num, `readInFlight`/`cancelRequested` com `cancelReader` fire-and-forget no outro. Adotei a versão do cheaper-inference#12466, que difere e defere o release do lock para quando a leitura em voo termina, e validei a escolha rodando as suítes dos **dois** PRs contra ela: 21/21 no readiness compartilhado e 22/22 incluindo o boundary do Perplexity.

…er-inference#12466) Validado após reconciliar com o cheaper-inference#12465, que entrou primeiro e criou o mesmo arquivo novo `open-sse/utils/streamReadiness.ts` com desenho divergente de cancelamento. Mantive a versão desta branch, que defere o release do lock para quando a leitura em voo termina e faz `reader.cancel()` fire-and-forget — assim uma promise de provider que nunca resolve não torna o cancelamento ilimitado. A escolha não foi por preferência: rodei as suítes dos **dois** PRs contra ela, 21/21 no readiness compartilhado e **22/22** incluindo o boundary do Perplexity do próprio cheaper-inference#12465. typecheck:core limpo.

diegosouzapw added 3 commits September 2, 2026 08:02

fix(sse): preserve Perplexity stream failures

ec0ccb2

Merge remote-tracking branch 'origin/release/v3.8.51' into fix/v3851-…

0317752

…perplexity-stream-error-boundary

Merge remote-tracking branch 'origin/release/v3.8.51' into fix/v3851-…

75ab23b

…perplexity-stream-error-boundary

diegosouzapw marked this pull request as ready for review September 4, 2026 00:00

diegosouzapw merged commit 627fcba into release/v3.8.51 Sep 4, 2026
21 checks passed

diegosouzapw mentioned this pull request Sep 4, 2026

chore(quality): rebaseline file-size caps the error-boundary campaign grew past #12654

Merged

This was referenced Sep 24, 2026

refactor(stream-recovery): drop unreachable empty-continuation block in tryContinue #14789

Merged

fix(sse): share hardened replay cancel with JSON-to-SSE path #14790

Merged

diegosouzapw deleted the fix/v3851-perplexity-stream-error-boundary branch October 18, 2026 23:51

Navigation Menu

Repository navigation

fix(sse): preserve Perplexity stream failures - #12465

fix(sse): preserve Perplexity stream failures#12465
diegosouzapw merged 3 commits into
release/v3.8.51from
fix/v3851-perplexity-stream-error-boundary

diegosouzapw commented Sep 2, 2026 •

edited

Loading

Uh oh!

Uh oh!

Reviewers

Uh oh!

Assignees

Labels

Projects

Milestone

Development

Uh oh!

1 participant

Conversation

diegosouzapw commented Sep 2, 2026 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Status

Summary

RED → GREEN evidence

Reconciliation

Final-candidate validation

Test isolation and security

HOLDs / not claimed

Uh oh!

Uh oh!

Reviewers

Uh oh!

Assignees

Labels

Projects

Milestone

Development

Uh oh!

1 participant

diegosouzapw commented Sep 2, 2026 •

edited

Loading