Pilotage : Chiffres clés dynamiques dans le tableau de bord #4589

rsebille · 2024-08-21T10:14:40Z

🤔 Pourquoi ?

[Chiffres clés dynamiques TB privés] - Institutions : intégrer les chiffres clés dynamiques et à jour sur la page statistique privée des emplois

🍰 Comment ?

Récupération des données via l'API Metabase, elles sont ensuite stockées dans le cache (un redis avec une expiration très longue)

🏝️ Comment tester

Se connecter avec un compte institution lié à l'IAE

[Optionnel] Pour avoir des données :

Configurer METABASE_API_KEY
Lancer ./manage.py metabase_data fetch --wet-run

💻 Captures d'écran

github-actions · 2024-08-21T10:33:34Z

🥁 La recette jetable est prête ! 👉 Je veux tester cette PR !

hellodeloo

Je t'ai pushé un petit commit d'ajustement ui 😘

hellodeloo · 2024-09-03T16:19:27Z

@rsebille si t'es chaud, y'a le même besoin sur pilotage qui attend que j'ai le temps et que j'en sois capable ;)

hellodeloo

LGTM

xavfernandez · 2024-09-04T08:53:20Z

clevercloud/cron.json

@@ -17,6 +17,7 @@
  "1 0 * * * $ROOT/clevercloud/run_management_command.sh update_prescriber_organization_with_api_entreprise --verbosity 2",
  "30 0 * * * $ROOT/clevercloud/run_management_command.sh collect_analytics_data --save",
  "30 1 * * * $ROOT/clevercloud/run_management_command.sh new_users_to_mailjet --wet-run",
+  "30 2 * * * $ROOT/clevercloud/run_management_command.sh metabase_data fetch --wet-run",


Est-ce qu'on ne voudrait pas l'appeler plus souvent (quitte à ne pas appeler metabase si les données du redis ont moins de 24h) ?
Parce que si le redis tombe, on aura 0 donnée pendant 24h

J'ai pas fait de fioriture car c'est vraiment pas critique comme information, si on n'a rien ça affichera juste N/A dans les 4 blocs et la date de MAJ mais les TB complets seront OK eux.
Mais effectivement on pourrais faire ça aussi, surtout que le breakout a permis de bien optimiser le nombre de requête à faire donc c'est moins lourd que ma première version qui utilisais filter pour chaque bucket.

itou/utils/apis/metabase.py

calummackervoy · 2024-09-04T16:00:57Z

itou/templates/dashboard/includes/stats_kpi_labor_inspector_iae.html

+                            <a href="https://pilotage.inclusion.beta.gouv.fr/tableaux-de-bord/bilan-candidatures-iae/"
+                               target="_blank"
+                               rel="noopener"
+                               aria-title="En savoir plus sur ces données"


Je pense il devrait être aria-label (le WAI ne recommande pas utiliser title sans label)

Suggested change

aria-title="En savoir plus sur ces données"

aria-label="En savoir plus sur ces données (ouverture dans un nouvel onglet)"

aria-title="En savoir plus sur ces données"

calummackervoy · 2024-09-04T16:02:29Z

itou/templates/dashboard/includes/stats_kpi_labor_inspector_iae.html

+                            <p>C’est le nombre de fiches de poste en tension chez les SIAE de votre territoire à l’instant.</p>
+                        </div>
+                        <div>
+                            <a href="{% url "stats:redirect" "tension" %}" target="_blank" rel="noopener" aria-title="En savoir plus sur ces données" class="btn btn-link ps-0 has-external-link">Consulter ces données</a>


Suggested change

<a href="{% url "stats:redirect" "tension" %}" target="_blank" rel="noopener" aria-title="En savoir plus sur ces données" class="btn btn-link ps-0 has-external-link">Consulter ces données</a>

<a href="{% url "stats:redirect" "tension" %}" target="_blank" rel="noopener" aria-label="En savoir plus sur ces données (ouverture dans un nouvel onglet)" aria-title="En savoir plus sur ces données" class="btn btn-link ps-0 has-external-link">Consulter ces données</a>

calummackervoy · 2024-09-04T16:03:50Z

itou/templates/dashboard/includes/stats_kpi_labor_inspector_iae.html

+                            </p>
+                        </div>
+                        <div>
+                            <a href="{% url "stats:redirect" "ph_prescription" %}" target="_blank" rel="noopener" aria-title="En savoir plus sur ces données" class="btn btn-link ps-0 has-external-link">Consulter ces données</a>


Suggested change

<a href="{% url "stats:redirect" "ph_prescription" %}" target="_blank" rel="noopener" aria-title="En savoir plus sur ces données" class="btn btn-link ps-0 has-external-link">Consulter ces données</a>

<a href="{% url "stats:redirect" "ph_prescription" %}" target="_blank" rel="noopener" aria-label="En savoir plus sur ces données (ouverture dans un nouvel onglet)" aria-title="En savoir plus sur ces données" class="btn btn-link ps-0 has-external-link">Consulter ces données</a>

calummackervoy · 2024-09-04T16:04:08Z

itou/templates/dashboard/includes/stats_kpi_labor_inspector_iae.html

+                            </p>
+                        </div>
+                        <div>
+                            <a href="{% url "stats:redirect" "state" %}" target="_blank" rel="noopener" aria-title="En savoir plus sur ces données" class="btn btn-link ps-0 has-external-link">Consulter ces données</a>


Suggested change

<a href="{% url "stats:redirect" "state" %}" target="_blank" rel="noopener" aria-title="En savoir plus sur ces données" class="btn btn-link ps-0 has-external-link">Consulter ces données</a>

<a href="{% url "stats:redirect" "state" %}" target="_blank" rel="noopener" aria-label="En savoir plus sur ces données (ouverture dans un nouvel onglet)" aria-title="En savoir plus sur ces données" class="btn btn-link ps-0 has-external-link">Consulter ces données</a>

Pour infos, aria-title n'existe pas. C'est soit aria-label, soit title. Il est recommandé d'utiliser aria-label car mieux interprété par les screen reader.

Ah, OK! J'ai lu que title fait le tooltip (et aria-label non) donc je pense les deux ensemble est mieux ici ?

Si on a vraiment besoin d'un tooltip, on mettra plutot celui de BS5

C'est pas moi chef ! J'ai fait que copier/coller 😁
https://github.com/gip-inclusion/pilotage/blob/799c0e3d7423cf2cb18404387a0109056ab40755/pilotage/templates/partials/home_section_apercu.html#L23

Ça t'apprendra à reprendre le code des autres ;) Je corrige sur pilotage 🙈

calummackervoy · 2024-09-04T16:12:24Z

itou/www/stats/utils.py

+def get_stats_for_institution(institution: Institution, datum_key: DatumKey, *, is_percentage=False):
+    match institution.kind:
+        case (
+            InstitutionKind.DGEFP_GEIQ
+            | InstitutionKind.DGEFP_IAE
+            | InstitutionKind.DIHAL
+            | InstitutionKind.IAE_NETWORK
+        ):
+            grouped_by = None
+        case InstitutionKind.DREETS_GEIQ | InstitutionKind.DREETS_IAE | InstitutionKind.DRIHL:
+            grouped_by = "region"
+        case InstitutionKind.DDETS_GEIQ | InstitutionKind.DDETS_IAE | InstitutionKind.DDETS_LOG:
+            grouped_by = "department"
+        case _:
+            raise ValueError
+
+    datum_key_to_fetch = DatumKey[f"{datum_key.name}_BY_{grouped_by.upper()}S"] if grouped_by else datum_key
+    data = caches["stats"].get(datum_key_to_fetch)
+    value = data.get(getattr(institution, grouped_by)) if grouped_by and data else data
+    return value * 100 if is_percentage and value else value


calummackervoy · 2024-09-04T16:13:58Z

itou/metabase/models.py

+import enum
+
+
+class DatumKey(enum.StrEnum):


calummackervoy · 2024-09-04T16:17:53Z

itou/metabase/management/commands/metabase_data.py

+        metabase_data = {DatumKey.DATA_UPDATED_AT: timezone.now()}
+        for datum_key, metabase_informations in self.DATA_TO_FETCH.items():
+            self.logger.info("Fetching datum_key=%s", datum_key)
+            converter = metabase_informations.get("converter", lambda x: x)


J'aime bien le converter :)

calummackervoy · 2024-09-04T16:19:35Z

itou/metabase/management/commands/metabase_data.py

+            # Fetch the "group_by" data
+            for name, fields in metabase_informations.get("group_by", {}).items():
+                self.logger.info("Fetching datum_key=%s group_by=%s", datum_key, name)
+                metabase_data[DatumKey[f"{datum_key.name}_BY_{name.upper()}S"]] = converter(


f"{datum_key.name}_BY_{name.upper()}S" est partagé avec get_stats_for_institution. Il pourrait être une méthode sur DatumKey?

Totalement !

rsebille

PI, la PR passe en stand by pour le moment car il y a un problème métier avec les deux derniers indicateurs donc j’attends la décision sur le sujet : soit suppression, soit remplacement

rsebille · 2024-09-05T14:54:46Z

itou/templates/dashboard/includes/stats_kpi_labor_inspector_iae.html

+                            </p>
+                        </div>
+                        <div>
+                            <a href="{% url "stats:redirect" "state" %}" target="_blank" rel="noopener" aria-title="En savoir plus sur ces données" class="btn btn-link ps-0 has-external-link">Consulter ces données</a>


C'est pas moi chef ! J'ai fait que copier/coller 😁
https://github.com/gip-inclusion/pilotage/blob/799c0e3d7423cf2cb18404387a0109056ab40755/pilotage/templates/partials/home_section_apercu.html#L23

rsebille · 2024-09-05T15:07:42Z

itou/metabase/management/commands/metabase_data.py

+            # Fetch the "group_by" data
+            for name, fields in metabase_informations.get("group_by", {}).items():
+                self.logger.info("Fetching datum_key=%s group_by=%s", datum_key, name)
+                metabase_data[DatumKey[f"{datum_key.name}_BY_{name.upper()}S"]] = converter(


Totalement !

github-actions · 2024-11-21T16:00:19Z

🥁 La recette jetable est prête ! 👉 Je veux tester cette PR !

rsebille added 1-recette-jetable [Payé à l’heure] Crée une recette jetable sur CC ajouté Ajouté dans le changelog. labels Aug 21, 2024

rsebille self-assigned this Aug 21, 2024

rsebille force-pushed the rsebille/c2/kpi-in-dashboard branch from 134df89 to 2c65d14 Compare August 29, 2024 08:32

rsebille requested review from hellodeloo and calummackervoy September 3, 2024 13:59

rsebille force-pushed the rsebille/c2/kpi-in-dashboard branch from 2c65d14 to 141745d Compare September 3, 2024 14:06

rsebille marked this pull request as ready for review September 3, 2024 14:06

hellodeloo reviewed Sep 3, 2024

View reviewed changes

hellodeloo self-requested a review September 3, 2024 16:28

hellodeloo approved these changes Sep 3, 2024

View reviewed changes

xavfernandez reviewed Sep 4, 2024

View reviewed changes

rsebille force-pushed the rsebille/c2/kpi-in-dashboard branch 3 times, most recently from a942fb7 to 4695868 Compare September 4, 2024 15:13

calummackervoy reviewed Sep 4, 2024

View reviewed changes

rsebille commented Sep 5, 2024

View reviewed changes

rsebille force-pushed the rsebille/c2/kpi-in-dashboard branch 2 times, most recently from 9cd5095 to 83990c8 Compare September 11, 2024 13:36

rsebille mentioned this pull request Sep 12, 2024

Tableau de bord : Déplacer le contenu de l'onglet "Statistique" dans sa propre vue #4740

Merged

rsebille added the pilotage label Sep 24, 2024

rsebille removed the 1-recette-jetable [Payé à l’heure] Crée une recette jetable sur CC label Oct 15, 2024

rsebille marked this pull request as draft October 15, 2024 13:00

rsebille force-pushed the rsebille/c2/kpi-in-dashboard branch 2 times, most recently from eb9d130 to 7a5a314 Compare November 20, 2024 16:59

rsebille mentioned this pull request Nov 20, 2024

Tableau de bord : Utilisation de _snapshots_ pour tester le contenu de l'onglet "Statistiques" #5134

Merged

rsebille force-pushed the rsebille/c2/kpi-in-dashboard branch 2 times, most recently from 155bb71 to 15f688c Compare November 21, 2024 15:48

rsebille added the 1-recette-jetable [Payé à l’heure] Crée une recette jetable sur CC label Nov 21, 2024

rsebille added 2 commits December 2, 2024 23:07

utils.metabase: Add the API client

7fc6683

metabase: Retrieve data using the API and cache them locally

9525fe1

rsebille force-pushed the rsebille/c2/kpi-in-dashboard branch from 15f688c to a9e0f58 Compare December 2, 2024 22:13

www.dashboard.stats: Display curated KPI to some institutions

cc614a2

rsebille force-pushed the rsebille/c2/kpi-in-dashboard branch from a9e0f58 to cc614a2 Compare December 2, 2024 22:25

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Pilotage : Chiffres clés dynamiques dans le tableau de bord #4589

Pilotage : Chiffres clés dynamiques dans le tableau de bord #4589

rsebille commented Aug 21, 2024

github-actions bot commented Aug 21, 2024

hellodeloo left a comment

hellodeloo commented Sep 3, 2024

hellodeloo left a comment

xavfernandez Sep 4, 2024

rsebille Sep 4, 2024

calummackervoy Sep 4, 2024

calummackervoy Sep 4, 2024

calummackervoy Sep 4, 2024

calummackervoy Sep 4, 2024

hellodeloo Sep 4, 2024

calummackervoy Sep 5, 2024

hellodeloo Sep 5, 2024

rsebille Sep 5, 2024

hellodeloo Sep 5, 2024

calummackervoy Sep 4, 2024

calummackervoy Sep 4, 2024

calummackervoy Sep 4, 2024

calummackervoy Sep 4, 2024

rsebille Sep 5, 2024

rsebille left a comment

rsebille Sep 5, 2024

rsebille Sep 5, 2024

github-actions bot commented Nov 21, 2024

	aria-title="En savoir plus sur ces données"
	aria-label="En savoir plus sur ces données (ouverture dans un nouvel onglet)"
	aria-title="En savoir plus sur ces données"

	<a href="{% url "stats:redirect" "tension" %}" target="_blank" rel="noopener" aria-title="En savoir plus sur ces données" class="btn btn-link ps-0 has-external-link">Consulter ces données</a>
	<a href="{% url "stats:redirect" "tension" %}" target="_blank" rel="noopener" aria-label="En savoir plus sur ces données (ouverture dans un nouvel onglet)" aria-title="En savoir plus sur ces données" class="btn btn-link ps-0 has-external-link">Consulter ces données</a>

	<a href="{% url "stats:redirect" "ph_prescription" %}" target="_blank" rel="noopener" aria-title="En savoir plus sur ces données" class="btn btn-link ps-0 has-external-link">Consulter ces données</a>
	<a href="{% url "stats:redirect" "ph_prescription" %}" target="_blank" rel="noopener" aria-label="En savoir plus sur ces données (ouverture dans un nouvel onglet)" aria-title="En savoir plus sur ces données" class="btn btn-link ps-0 has-external-link">Consulter ces données</a>

	<a href="{% url "stats:redirect" "state" %}" target="_blank" rel="noopener" aria-title="En savoir plus sur ces données" class="btn btn-link ps-0 has-external-link">Consulter ces données</a>
	<a href="{% url "stats:redirect" "state" %}" target="_blank" rel="noopener" aria-label="En savoir plus sur ces données (ouverture dans un nouvel onglet)" aria-title="En savoir plus sur ces données" class="btn btn-link ps-0 has-external-link">Consulter ces données</a>

		import enum


		class DatumKey(enum.StrEnum):

Pilotage : Chiffres clés dynamiques dans le tableau de bord #4589

Are you sure you want to change the base?

Pilotage : Chiffres clés dynamiques dans le tableau de bord #4589

Conversation

rsebille commented Aug 21, 2024

🤔 Pourquoi ?

🍰 Comment ?

🏝️ Comment tester

💻 Captures d'écran

github-actions bot commented Aug 21, 2024

hellodeloo left a comment

Choose a reason for hiding this comment

hellodeloo commented Sep 3, 2024

hellodeloo left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

rsebille left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

github-actions bot commented Nov 21, 2024