Ce repository s'inscrit dans le cadre d'un projet conjoint OPT-NC et l'UNC.
- Le sujet est fourni par l'OPT-NC
- La réalisation est assurée par les étudiants avec en support l'OPT
L'OPT utilise Kafka pour partager et transformer un volume toujours plus important entre ses métiers. Nous souhaitons maintenant nous attaquer à diverses manières de consommer ces données à moindre effort... puis de les valoriser via des solutions dédiées à la chose.
Les résultats de cette expérimentation seront recyclés de manière opérationelle, tant sur les méthodes utilisées que sur les analyses de données produites.
- Data Engineering
- Data Scientist
- 🧑🤝🧑 Antoine GINDRE (aka.
@AntoineArthurG): développeur - 🧑🤝🧑 Kenneth WINCHESTER (aka.
@Kenneth-OPT) : développeur - 👨🎨 Adrien SALES : Product Owner, Architecte
- 👩 Michèle Barré : Senior DEVOPS & Full Stack Dev
Via des outils existants et industriels, configurer une intégration idéalement basée sur de la configuration de données qui :
- Via Apache Camel Consomme les donées de l'API des temps d'attente en agence
- Via une route Camel, pousser les données du Poll dans un
csv - Via un Poll régulier depuis Camel, pousser les données dans un topic dédié Kafka
- Via Camel, consommer les messages et les pousser dans une instance OpenSearch
- Construire un ou des tableaux de bord, utiliser les fonctionnalités de géolocalisation, et explorer les fonctionnalités IA et ML d'OpenSearch
- BONUS* : Via Camel, consommer les messages Kafka et les pousser dans une instance Apache Spark
- Investiguer les capacités de Open Search Data Prepper 2.0
Un draft macro de l'architecture cible envisagée :
- Les interactions avec Camel passeront idéalement par JBang!
- Une démo KillerCoda sera livrée et intégrée aux cours de l'OPT-NC... et pourra servir de support lors des démos, voire lors de la soutenance
- Les images Docker ou docker-compose seront utilisées pour dépoyer Kafka, OpenSearch, Spark, ...
