CONCEPTION D’UN PIPELINE DE DONNÉES ETL EFFICACE POUR DES RAPPORTS EN LIBRE-SERVICE EN PRESQUE TEMPS RÉEL
ÉTUDE DE CAS
UNE ÉTUDE DE CAS SUR L’INGÉNIERIE DES DONNÉES ET L’ANALYSE COMMERCIALE
Une société de crédit à la consommation de premier plan avec plus de 500 succursales dans vingt-deux États à travers les États-Unis voulait un tableau de bord automatisé des opérations commerciales principales jusqu’à chaque succursale pour améliorer l’agilité et l’efficacité dans l’allocation des ressources.
L’objectif du client était de repenser l’architecture de données interne pour une solution futuriste qui offre une visibilité commerciale à 360 degrés pour une prise de décision rapide.
UNE ÉTUDE DE CAS SUR L’INGÉNIERIE DES DONNÉES ET L’ANALYSE COMMERCIALE
Une société de crédit à la consommation de premier plan avec plus de 500 succursales dans vingt-deux États à travers les États-Unis voulait un tableau de bord automatisé des opérations commerciales principales jusqu’à chaque succursale pour améliorer l’agilité et l’efficacité dans l’allocation des ressources.
L’objectif du client était de repenser l’architecture de données interne pour une solution futuriste qui offre une visibilité commerciale à 360 degrés pour une prise de décision rapide.
Notre client est une société financière fondée en 2002 pour offrir aux clients des options de prêt créatives, flexibles et pratiques. Elle fournit des prêts personnels, du financement de réparation automobile, des cartes de crédit et d’autres services financiers à des clients dans tout le pays.
La société est connue pour son accès rapide aux fonds, ses conditions transparentes et son service client exceptionnel.
À PROPOS DU CLIENT
À PROPOS DU CLIENT
Notre client est une société financière fondée en 2002 pour offrir aux clients des options de prêt créatives, flexibles et pratiques. Elle fournit des prêts personnels, du financement de réparation automobile, des cartes de crédit et d’autres services financiers à des clients dans tout le pays.
La société est connue pour son accès rapide aux fonds, ses conditions transparentes et son service client exceptionnel.
ÉNONCÉ DU PROBLÈME
Le client souhaitait améliorer sa capacité à proposer à ses clients des options de prêt créatives, flexibles et pratiques. Pour ce faire, elle devait innover de deux manières : premièrement, en développant ses canaux numériques, et deuxièmement, en créant une vue holistique des données clients de ces canaux numériques qui lui permettrait de développer de meilleurs produits et services.
Mais deux problèmes s’opposaient à cet objectif.
Le premier était des problèmes de latence :
Le processus existant de génération de rapports était extrêmement manuel et prenait quelques heures à générer. En conséquence, les données n’étaient mises à jour qu’une seule fois tous les 30 à 60 jours, ce qui les limitait à tirer le meilleur parti des informations sur la campagne.
ÉNONCÉ DU PROBLÈME
Le client souhaitait améliorer sa capacité à proposer à ses clients des options de prêt créatives, flexibles et pratiques. Pour ce faire, elle devait innover de deux manières : premièrement, en développant ses canaux numériques, et deuxièmement, en créant une vue holistique des données clients de ces canaux numériques qui lui permettrait de développer de meilleurs produits et services.
Mais deux problèmes s’opposaient à cet objectif.
Le premier était des problèmes de latence :
Le processus existant de génération de rapports était extrêmement manuel et prenait quelques heures à générer. En conséquence, les données n’étaient mises à jour qu’une seule fois tous les 30 à 60 jours, ce qui les limitait à tirer le meilleur parti des informations sur la campagne.
Le second concernait les problèmes de performances :
Lors de l’actualisation des pages ou du traitement des données en temps réel sur les tableaux de bord et les rapports existants, le client a constaté que le système n’était pas assez rapide pour les exigences de rythme élevé pour la prise de décision concurrentielle. Ce problème a été causé par l’utilisation par notre client d’une base de données NoSQL (MongoDB), qui utilise des documents de type JSON avec des schémas facultatifs. Une solution utile pour stocker des données mais difficile lorsqu’il s’agit de créer des tableaux de bord métier et des couches de reporting par-dessus.
Notre client savait qu’il avait besoin d’une meilleure solution qui lui permettrait de répondre aux besoins de ses clients tout en maintenant l’agilité dans ses capacités de reporting. Ils avaient besoin d’une infrastructure de données hautement efficace pour une plate-forme d’analyse commerciale unifiée en temps réel afin de générer des informations sur les entreprises et les clients.
To overcome these challenges, they turned to Zuci Systems, an intelligent automation solutions provider that helps businesses transform digitally through smart data engineering solutions.
ÉNONCÉ DU PROBLÈME
ÉNONCÉ DU PROBLÈME
Le second concernait les problèmes de performances :
Lors de l’actualisation des pages ou du traitement des données en temps réel sur les tableaux de bord et les rapports existants, le client a constaté que le système n’était pas assez rapide pour les exigences de rythme élevé pour la prise de décision concurrentielle. Ce problème a été causé par l’utilisation par notre client d’une base de données NoSQL (MongoDB), qui utilise des documents de type JSON avec des schémas facultatifs. Une solution utile pour stocker des données mais difficile lorsqu’il s’agit de créer des tableaux de bord métier et des couches de reporting par-dessus.
Notre client savait qu’il avait besoin d’une meilleure solution qui lui permettrait de répondre aux besoins de ses clients tout en maintenant l’agilité dans ses capacités de reporting. Ils avaient besoin d’une infrastructure de données hautement efficace pour une plate-forme d’analyse commerciale unifiée en temps réel afin de générer des informations sur les entreprises et les clients.
Pour surmonter ces défis, ils se sont tournés vers Zuci Systems, un fournisseur de solutions d’automatisation intelligentes qui aide les entreprises à se transformer numériquement grâce à des solutions d’ingénierie de données intelligentes.
OBJECTIFS D’AFFAIRES
Architecture de données centralisée pour des analyses plus rapides et en temps quasi réel et des rapports automatisés.
Développer une source unique de vérité pour la surveillance et le diagnostic de toutes les fonctions de la succursale.
Analyse quotidienne, mensuelle, trimestrielle et annuelle du processus métier global sous la forme de visualisations faciles à comprendre.
Filtres détaillés pour le suivi des ressources, la conformité et l'analyse des performances en fonction des événements de traitement des prêts.
Ingestion automatisée des données à partir de plusieurs sources et accélération de l'obtention d'informations.
OBJECTIFS D’AFFAIRES
Architecture de données centralisée pour des analyses plus rapides et en temps quasi réel et des rapports automatisés.
Développer une source unique de vérité pour la surveillance et le diagnostic de toutes les fonctions de la succursale.
Analyse quotidienne, mensuelle, trimestrielle et annuelle du processus métier global sous la forme de visualisations faciles à comprendre.
Filtres détaillés pour le suivi des ressources, la conformité et l'analyse des performances en fonction des événements de traitement des prêts.
Ingestion automatisée des données à partir de plusieurs sources et accélération de l'obtention d'informations.
Lorsque le client a contacté Zuci Systems, il a rencontré des problèmes de latence et de performances. Le traitement des données en temps réel retardait leurs rapports. La base de données NoSQL qu’ils utilisaient (MongoDB, qui utilise des documents de type JSON avec des schémas facultatifs) rendait difficile la création de tableaux de bord et de rapports commerciaux.
Zuci Systems a compris les besoins du client et a développé un pont entre MongoDB et le serveur SQL à l’aide de notre solution de hub de données d’entreprise interne ZIO. Les pipelines de données ETL ont aidé à stocker les données au format JSON dans un format de ligne et de colonne et à les vider dans le serveur SQL pour un tableau de bord à grande vitesse et un temps de traitement des requêtes plus rapide. En tirant parti de ZIO, nous avons automatisé l’ingestion de données, intégré plusieurs sources de données avec des API et mis à l’échelle les couches de rapport et de prévision dans Power BIpour obtenir des informations en temps quasi réel.
Cela a permis au client de réduire la latence de 90 % et d’accéder rapidement à des données précises sur la performance de ses prêts, d’augmenter les taux de fidélisation des clients et d’améliorer les taux de croissance de 11 %.
LA SOLUTION
LA SOLUTION
Lorsque le client a contacté Zuci Systems, il a rencontré des problèmes de latence et de performances. Le traitement des données en temps réel retardait leurs rapports. La base de données NoSQL qu’ils utilisaient (MongoDB, qui utilise des documents de type JSON avec des schémas facultatifs) rendait difficile la création de tableaux de bord et de rapports commerciaux.
Zuci Systems a compris les besoins du client et a développé un pont entre MongoDB et le serveur SQL à l’aide de notre solution de hub de données d’entreprise interne ZIO. Les pipelines de données ETL ont aidé à stocker les données au format JSON dans un format de ligne et de colonne et à les vider dans le serveur SQL pour un tableau de bord à grande vitesse et un temps de traitement des requêtes plus rapide. En tirant parti de ZIO, nous avons automatisé l’ingestion de données, intégré plusieurs sources de données avec des API et mis à l’échelle les couches de rapport et de prévision dans Power BI pour obtenir des informations en temps quasi réel.
Cela a permis au client de réduire la latence de 90 % et d’accéder rapidement à des données précises sur la performance de ses prêts, d’augmenter les taux de fidélisation des clients et d’améliorer les taux de croissance de 11 %.
SCHÉMA BLOC DE SOLUTIONS
SCHÉMA BLOC DE SOLUTIONS
Étudier la conception et les défis du système de tableau de bord interne et rédiger le BRD (Business Requirement Document) global.
Après avoir compris le flux de travail et les systèmes de données, notre équipe a analysé l'infrastructure de données existante pour fournir la solution optimale et a préparé un calendrier pour le déploiement de la solution.
Exigences techniques finalisées sur les besoins de développement et les outils tiers pour le projet.
Après la phase d'analyse globale, notre équipe de projet a commencé par la conception et l'architecture globales du projet, qui sont faciles à utiliser, sécurisées et évolutives.
COMMENT ZUCI SYSTEMS A AIDÉ
COMMENT ZUCI SYSTEMS A AIDÉ
Étudier la conception et les défis du système de tableau de bord interne et rédiger le BRD (Business Requirement Document) global.
Après avoir compris le flux de travail et les systèmes de données, notre équipe a analysé l'infrastructure de données existante pour fournir la solution optimale et a préparé un calendrier pour le déploiement de la solution.
Exigences techniques finalisées sur les besoins de développement et les outils tiers pour le projet.
Après la phase d'analyse globale, notre équipe de projet a commencé par la conception et l'architecture globales du projet, qui sont faciles à utiliser, sécurisées et évolutives.
COMMENT ZUCI SYSTEMS A AIDÉ
Étant donné que les données étaient stockées dans MongoDB, une base de données NoSQL, nous avons construit un pont (pipelines de données) entre MongoDB et le serveur SQL à l'aide de notre solution interne de hub de données d'entreprise, ZIO.
Déplacement de toutes les données d'une base de données non structurée vers un serveur SQL.
En tirant parti de ZIO, nous avons intégré plusieurs sources de données avec des API et une ingestion automatisée des données pour des informations en temps quasi réel.
Connexion de la base de données SQL à Power BI et création de tableaux de bord facilement compréhensibles grâce à un effort cumulé du client et de l'équipe d'intelligence d'affaires de Zuci.
COMMENT ZUCI SYSTEMS A AIDÉ
Étant donné que les données étaient stockées dans MongoDB, une base de données NoSQL, nous avons construit un pont (pipelines de données) entre MongoDB et le serveur SQL à l'aide de notre solution interne de hub de données d'entreprise, ZIO.
Déplacement de toutes les données d'une base de données non structurée vers un serveur SQL.
En tirant parti de ZIO, nous avons intégré plusieurs sources de données avec des API et une ingestion automatisée des données pour des informations en temps quasi réel.
Connexion de la base de données SQL à Power BI et création de tableaux de bord facilement compréhensibles grâce à un effort cumulé du client et de l'équipe d'intelligence d'affaires de Zuci.
Création d'un ensemble de 12 tableaux de bord exécutifs pour l'analyse des demandes, des prêts, des émissions et des paiements sur une base quotidienne, mensuelle, trimestrielle et annuelle. Suivez les principales fonctions de la succursale, le suivi des ressources et bien plus encore pour différentes équipes commerciales.
Déploiement et test de la solution sur l'environnement de staging du client et remise des directives d'application.
Après l'acceptation des parties prenantes, notre équipe est passée à la production, suivie d'un support continu pour les nouvelles exigences avec des ateliers et des sessions de questions-réponses.
COMMENT ZUCI SYSTEMS A AIDÉ
COMMENT ZUCI SYSTEMS A AIDÉ
Création d'un ensemble de 12 tableaux de bord exécutifs pour l'analyse des demandes, des prêts, des émissions et des paiements sur une base quotidienne, mensuelle, trimestrielle et annuelle. Suivez les principales fonctions de la succursale, le suivi des ressources et bien plus encore pour différentes équipes commerciales.
Déploiement et test de la solution sur l'environnement de staging du client et remise des directives d'application.
Après l'acceptation des parties prenantes, notre équipe est passée à la production, suivie d'un support continu pour les nouvelles exigences avec des ateliers et des sessions de questions-réponses.
RÉSULTAT COMMERCIAL
Visibilité en temps quasi réel sur
Indicateurs opérationnels et KPI
RÉSULTAT COMMERCIAL
Visibilité en temps quasi réel sur
Indicateurs opérationnels et KPI
PILE TECHNIQUE
PILE TECHNIQUE
