[BUGFIX] Rafraichir le cache LCMS en asynchrone (pgboss)

[bpetetot]

🦄 Problème

Lors d'un rafraîchissement du cache du référentiel de contenu (LCMS) - via Pix Admin par exemple - le conteneur traitant la requête consomme l'intégralité de sa RAM et finit par crasher.
Cela est du au fait que la taille de la release de référentiel est devenue trop importante pour en mettre 2 dans la RAM du même conteneur.

🤖 Proposition

La mise à jour du cache n'est pas une opération qui nécessite d'être synchrone.
On met donc en place un job asynchrone (en utilisant pgboss) pour la mise à jour du cache.
Le cache-controller appelle désormais un usecase dont la responsabilité est d'ajouter un job de mise à jour du cache à la file de job asynchrone.

🌈 Remarques

💯 Pour tester

Se connecter à Pix Admin.
Lancer une mise à jour du cache.
Voir que cette mise à jour s'effectue sans soucis.

[pix-bot-github]

Une fois les applications déployées, elles seront accessibles via les liens suivants :

• App (.fr)
• App (.org)
• Orga (.fr)
• Orga (.org)
• Certif (.fr)
• Certif (.org)
• Junior
• Admin
• API
• Audit Logger

Les variables d'environnement seront accessibles via les liens suivants :

• scalingo front
• scalingo api
• scalingo audit-logger

[nlepage]

Ça marche à merveille 👌

[nlepage]

question: Il n'y a pas de propriété statique name sur LcmsRefreshCacheJob, ça fonctionne quand même ?

[VincentHardouin]

C'est JobPgBoss qui stocke la variable, dans le super de LcmsRefreshCacheJob

[dlahaye]

@nlepage c'est pas une propriété de JobPgBoss ?

[bpetetot]

En Javascript, la propriété statique name d'une classe ou fonction retourne son nom:

class LcmsRefreshCacheJob {}
console.log(LcmsRefreshCacheJob.name) // returns 'LcmsRefreshCacheJob'

Ce qui n'est pas top c'est qu'on initialise également une propriété name du job dans le constructeur (qui peut potentiellement différer). Et il est probable que si elle est différente, le job ne se lance pas. C'est le cas pour tous les jobs. 🤔

class LcmsRefreshCacheJob extends JobPgBoss {
  constructor(queryBuilder) {
    super({ name: 'LcmsRefreshCacheJob', retryLimit: 0 }, queryBuilder);
  }
}

Ça serait potentiellement un point à améliorer pour l'équipe "Évènementiel" des tech days.

[VincentHardouin]

LGTM, je me demande juste si c'est pas un BUGFIX : réparer le rafraichissement du cache depuis l'interface, WDYT ?

[dlahaye]

pourquoi on fait pas de la "vraie" inversion de dépendance ici ? (en déclarant les usecases en argument du controller)

[bpetetot]

Dans tous les controllers de Pix API, on importe les usecases en dépendance node il me semble. Aujourd'hui il n'y a que les serializers injecté en argument des controlleurs.

[dlahaye]

il y a des exemples dans le code où les usecases sont injectés

https://github.com/1024pix/pix/blob/dev/api/src/devcomp/application/modules/controller.js
https://github.com/1024pix/pix/blob/dev/api/src/devcomp/application/passages/controller.js

mais oui après avoir checké j'ai l'impression qu'on fait ça seulement chez devcomp

[bpetetot]

Ah ^^ Injecter les usecases comme le reste me semble bien vis-à-vis de notre archi, peut-être qu'on devrait avoir une guideline globale là-dessus.

[dlahaye]

En fait l'ADR 46 dit bien que c'est une volonté de ne pas injecter les usecases dans les controller mais ce n'est pas dit pourquoi (@frinyvonnick ?)

[dlahaye]

@nlepage c'est pas une propriété de JobPgBoss ?

[MathieuGilet]

Bérengère vient de penser à un truc concernant cette PR: est ce qu'on ne devrait pas modifier aussi le script api/scripts/refresh-cache.js qui est appelé lorsque l'on fait un node run cache:refresh ?

[bpetetot]

Bérengère vient de penser à un truc concernant cette PR: est ce qu'on ne devrait pas modifier aussi le script api/scripts/refresh-cache.js qui est appelé lorsque l'on fait un node run cache:refresh ?

Le script est déjà exécuté dans un conteneur dédié (qu'on peut sizer comme on le souhaite). Je ne pense pas que ça soit nécessaire de le lancer dans un job. Il faut voir le script comme un autre moyen de faire le refresh. Si on le met dans un job comme via l'interface d'admin, dans ce cas il ne sert plus à rien, autant toujours passer via l'interface.