Comment j'ai divisé le temps de calcul de mes traitements par 20 ?
Enfin, votre application est en production, ça fonctionne, et plutôt bien ! Tellement bien que votre client, tel un flash Gordon Gekko, enchaîne les signatures de contrat, et par conséquent votre volumétrie explose... Votre œuvre dépasse maintenant le maître et se fracasse aux contraintes du monde réel, susnommé RAM et CPU... Pas d'autre solution, il va falloir changer les règles du jeu et penser différemment : Diviser pour mieux régner calculer. Et pour cela, il va nous falloir un coup de main, de l'orchestrateur des Pipelines et des PCollection, alias maître Beam de la contrée DataFlow, ainsi que du célèbre gardien des entrepôts et des requêtes, le sage BigQuery. Direction les nuages !
Dans cette présentation, je vous expliquerai comment changer de paradigme de calcul pour gagner en performance, tout en limitant les coûts. La solution s’appuie sur les services cloud : DataFlow et BigQuery, ainsi que l'outil Apache Beam. Nous détaillerons le cas métier et la solution technique avec des exemples de codes et une démonstration, accessible au plus grand nombre.
Morgan Renou
Développeur depuis une quinzaine d'années, j'ai eu l'occasion de vivre plusieurs aventures, autour de la JVM, du web, du devops et de la performance. Toujours à la recherche de challenges et de partages, je trouve actuellement mon compte au sein de 4sh, à Bordeaux, où j'ai la chance d'encadrer une équipe sur un projet avec les technos Kotlin, Angular, Kubernetes, Kafka...
