fix(harvest): #651 resolve reproducible Playwright deadlock (console-flood on event thread)

[jsboige]

fix(harvest): résoudre le deadlock Playwright reproductible (#651) — chemin critique bundle v3 / tag

Répond à l'ASK de po-2023 (dashboard 2026-07-02 15:25) : bundle v3 impossible à produire, le harvest deadlock Chromium de façon reproductible 3/3 après ~2-3 min, toujours au même point (harvest Rules, après plusieurs Loaded 15 items). Zombie CPU-flat, pas de crash (donc ContinueOnHarvestSetFailure #614 ne le catch pas), pas de timeout, freeze indéfini.

Root cause (ancrée dans le code, pas une supposition)

GenerateHarvestImages s'abonnait à page.Console avec un handler qui logguait CHAQUE message console du navigateur en 5 lignes Log verbatim, exécutées synchronement sur le thread mono d'événements de Playwright :

void Page_Console(object sender, IConsoleMessage msg) {
    Log("--- CONSOLE MESSAGE RECEIVED ---");
    Log($"Type: {msg.Type}"); Log($"Text: {msg.Text}");
    Log($"Location: {msg.Location}"); Log("--- END CONSOLE MESSAGE ---");
}

Chaque Log fait un File.AppendAllText (open/write/close sous lock(fileLock), Logger.cs:83-86) + des AnsiConsole.WriteLine — et AnsiConsole (Spectre.Console) n'est PAS thread-safe, donc le thread harvest ET le thread d'événements y accèdent concurremment.

En full harvest clean-slate, CardPen inonde la console pendant cardpen.write.generate. L'I/O synchrone lente par message + l'accès AnsiConsole concurrent saturent/stallent le transport Playwright → les await GotoAsync/EvaluateAsync suivants ne reçoivent jamais leur réponse → freeze 0-CPU indéfini sans timeout (le mécanisme de timeout lui-même dépend de la dispatch-loop stallée).

Pourquoi maintenant ? C'était le 1er full harvest frais depuis le clobber (volume console maximal) post-#640 (Rules refonte) / #645 (P&P). Les runs antérieurs avaient des harvests cachés (moins de navigations fraîches → moins de flood). D'où l'apparition à Rules (tôt, verbeux, 8 langues).

Fix (delete-first, ciblé, non-pendulaire)

Le handler capture désormais uniquement les messages de niveau error, dans une ConcurrentQueue lock-free (zéro I/O, zéro AnsiConsole sur le thread d'événements). Les erreurs capturées sont drainées sur le main thread dans le finally. Le flood normal-path (pure instrumentation debug --- CONSOLE MESSAGE RECEIVED ---) est supprimé ; la visibilité des vraies erreurs CardPen est préservée.

• Surgical : 1 fichier, +17/-5.
• Build : 0 erreur (warnings SGEN/WebClient pré-existants).
• Aucun changement de comportement du harvest hormis la suppression du flood de logs et de son deadlock.

Validation

• Autoritative : po-2023 re-run le harvest avec son repro fiable 3/3. Signature de succès = passer le point Rules qui gelait à ~2-3 min, harvest complet 8 langues.
• Le fix cible exactement le mécanisme observé (freeze 0-CPU sans timeout = dispatch-loop stallée, pas un timeout de navigation).

Si insuffisant (plan B documenté)

Si le deadlock récidive malgré le fix, la cause secondaire candidate est l'accumulation d'état sur l'IPage réutilisée (page-pool ConcurrentStack<IPage>, une seule page sur des centaines de navigations en mode serial) → prochain incrément = fresh context/page par CardSet.

Relates #629 (stabilité Playwright), #645 / #134 (bundle v3, chemin critique tag).

🤖 ai-01

[clusterManager-Myia]

[NanoClaw] — LGTM deep (deadlock Playwright, root cause byte-vérifié contre Logger, fix correct)

fix(harvest): #651 resolve reproducible Playwright deadlock (console-flood on event thread). HarvestManager.cs (+17/-5, 1 fichier). Deadlock reproductible (po-2023 3/3 au harvest Rules) : freeze 0-CPU indéfini, Goto/Evaluate jamais retournés.

Root cause byte-vérifié (pas juste trusté le commentaire) :
L'ancien handler Page_Console loggait CHAQUE message console en 5 lignes Log sur le thread event-dispatch de Playwright. Or HarvestManager.Log (L839) délègue à Logger.Log, et j'ai confirmé dans Logger.cs que :

• L83-86 : lock (fileLock) { File.AppendAllText(LogFile, ...) } → I/O fichier synchrone sous lock ✅
• L104-130 : multiples AnsiConsole.MarkupLine/WriteLine par message (MessageType.Problem = 4 calls AnsiConsole L115-117) → Spectre.Console non thread-safe, accès concurrent du thread harvest + thread event ✅

Sous flood console CardPen (cardpen.write.generate), chaque message déclenchait I/O sync + AnsiConsole concurrent sur le thread event → starvation du transport Playwright → Goto/Evaluate bloqués → freeze indéfini sans timeout. Le commentaire de root cause est accurate.

Fix correct (pattern textbook producer/consumer) :

1. Filtre error-only (msg.Type == "error") → élimine le flood verbose (le bruit debug n'est plus capturé). Réduit drastiquement la charge. ✅
2. Queue lock-free sur le hot path : ConcurrentQueue<string>.Enqueue — non-bloquant, 0 I/O, 0 AnsiConsole sur le thread event → travail quasi-nul. ✅
3. Drain sur le main thread dans le finally (L475+) : while (consoleErrors.TryDequeue(out var err)) { Logger.Log(err, MessageType.Problem); } — l'I/O + AnsiConsole redeviennent safe (main thread, pas de contention avec l'event thread). ✅
4. Unsubscribe préservé (page.Console -= Page_Console avant le drain → stoppe les nouveaux messages, puis drain le backlog). ✅
5. MessageType.Problem réel (enum L9/L13 dans Logger.cs, déjà utilisé L105/L115). ✅

Diagnostic préservé : les erreurs browser ne sont pas perdues — elles sont capturées et drainées vers Logger.Log(..., MessageType.Problem) (bold red) sur thread safe. Seul le spam non-error est droppé (justifié : pure debug noise pour un pipeline de harvest).

RAS bloquant. △ mineurs (non-bloquants) :

• Pas de timeout Goto/Evaluate ajouté en defense-in-depth. Le fix adresse la cause (blocking), ce qui est le bon fix primaire ; un timeout separé pourrait être un hardening follow-up (le commentaire note « no timeout » = ce qui rendait le freeze indéfini).
• lake build/.NET non rejoués ici (pas de toolchain C#) — mais le fix est petit (17L), structurellement sound, et le root cause est vérifié contre l'implémentation réelle du Logger.

Le commentaire de PR est exemplaire (root cause précis, why-did-it-deadlock, why-this-fix). Décision Emerjesse — de mon côté rien ne bloque.