Introduction
Le client développe une plateforme de gestion immobilière avec des modules spécialisés adaptés aux différents rôles du secteur. Les propriétaires et les gestionnaires d'actifs obtiennent des informations pour maximiser la rentabilité, tandis que les gestionnaires immobiliers, les administrateurs et les spécialistes du marketing utilisent cet outil pour améliorer l'efficacité et stimuler la croissance de l'entreprise. Les utilisateurs importent leurs données dans ce logiciel PropTech propriétaire, où elles sont stockées dans les bases de données MongoDB et SQL, tandis que le système ERP Abacus fournit les données comptables des utilisateurs.
Afin de renforcer encore leurs capacités d'analyse, icCube a été sollicité pour les aider à développer un modèle de données qui consolide les données issues de ces trois sources hétérogènes.
L'objectif était de fusionner ces sources en un modèle de données unique et cohérent, permettant des analyses puissantes pour une gamme de tableaux de bord tels que :
- occupation
- gestion des appareils (par exemple, machines à laver des bâtiments)
- assurance des bâtiments et des biens
- marketing (propriétés répertoriées en ligne pour la location ou la vente)
- rapports sur le budget
et bien plus encore.
Architecture technique et processus ETL
Le projet était centré sur la consolidation des données de MongoDB, SQL et Abacus en un seul schéma multidimensionnel cohérent (OLAP) dans icCube. Un processus ETL (Extract, Transform, Load) sophistiqué a été utilisé pour gérer la complexité inhérente à la fusion de ces sources disparates, en particulier pour répondre au défi du modèle de données Abacus.
La complexité d'Abacus ne se limite pas aux tableaux et aux colonnes, elle est également liée au fait que chaque client de cette société PropTech possédait une base de données différente (URL, utilisateur et mot de passe différents).
- Extraction de données
- Avec les connecteurs existants pour MongoDB et SQL, un nouveau connecteur icCube pour l'ERP Abacus a été développé pour naviguer dans son modèle de données complexe, garantissant que même ses structures non standard étaient capturées et intégrées avec précision.
- Transformation des données
- La phase de transformation reposait sur des jointures ETL avancées et un code Java personnalisé pour harmoniser les données. Les principales tâches étaient les suivantes :
- Réconcilier les différences entre les schémas flexibles de MongoDB et les schémas rigides de SQL et Abacus. Cela a nécessité un alignement approfondi des clés et des types de données sur l'ensemble des systèmes.
- Standardiser les formats de données et corriger les incohérences, y compris la gestion des valeurs manquantes ou anormales, c'est-à-dire le nettoyage des données.
- La phase de transformation reposait sur des jointures ETL avancées et un code Java personnalisé pour harmoniser les données. Les principales tâches étaient les suivantes :
- Couche sémantique
- La couche sémantique traduit les noms de domaines techniques et leurs relations en termes complets faciles à comprendre pour les utilisateurs professionnels. Une configuration minutieuse de cette couche fournit aux utilisateurs finaux des étiquettes intuitives et riches en contexte sur les tableaux de bord et les rapports, garantissant ainsi que les informations relatives aux données sont facilement interprétables par les parties prenantes de l'entreprise, éliminant ainsi le besoin de connaissances techniques en matière de données.
- Agrégation et dérivation de métriques
- Pré-calculer les métriques et effectuer des agrégations pour prendre en charge des requêtes rapides, ce qui permet un slicing and dicing robustes sur de multiples dimensions.
Le modèle a été méticuleusement conçu pour prendre en charge les requêtes analytiques complexes et garantir des performances élevées. L'exactitude est garantie par le modèle et une couche de contrôles lors du chargement des données. L'intégration de ces diverses sources de données a abouti à un modèle complet qui offre une source unique de vérité pour les informations opérationnelles et financières.
Intégration
L'intégration visuelle est totalement fluide : elle est directement intégrée à l'application du client. Les utilisateurs interagissent avec des tableaux de bord intuitifs qui s'intègrent naturellement à l'apparence générale du logiciel PropTech, sans être conscients de la complexité du traitement analytique qui se déroule en coulisse.
Sécurité spécifique à l'utilisateur
Dans une configuration analytique intégrée typique, l'authentification est gérée par le logiciel PropTech, tandis que l'autorisation (des fonctionnalités d'analyse et de données) est gérée par icCube via des paramètres envoyés par l'application hôte. Le système prend en compte les mesures de sécurité spécifiques à la source provenant des trois sources de données brutes, garantissant que chaque utilisateur accède uniquement aux données pertinentes à son rôle. Cette approche de sécurité à plusieurs niveaux s'intègre parfaitement à la plate-forme existante du client, mais permet également de maintenir un contrôle strict des données sensibles au niveau de l'application et des couches de données.
Par exemple, chaque utilisateur peut voir une liste différente de propriétés et a accès à un ensemble donné de tableaux de bord (portant sur l'occupation, le marketing, les assurances, les finances, etc.) avec ses propres données.
Diversité des tableaux de bord
Chaque tableau de bord regroupe une combinaison de données provenant du modèle MongoDB, SQL et Abacus, offrant ainsi une vue globale des opérations du client. L'application PropTech propose désormais une variété de tableaux de bord standard, couvrant l'assurance, les appareils, le marketing, l'occupation, etc. Les utilisateurs peuvent slice and dice les données en fonction de dimensions telles que l'heure, la géographie, le type d'appareil, le type d'assurance, etc.
En outre, le client a la possibilité de créer de nouveaux tableaux de bord en s'appuyant sur le modèle d'analyse avancé avec ses propres indicateurs, ce qui lui donne la liberté de personnaliser et de différencier son activité.
Conclusion
L'intégration de MongoDB, SQL et des données complexes de l'ERP Abacus dans un modèle de données unique dans icCube constitue une solution robuste pour répondre aux besoins analytiques d'un client PropTech. Grâce à un processus ETL rigoureusement conçu et à un connecteur spécialisé pour Abacus, la solution permet de réaliser des analyses de données puissantes et flexibles. Ce modèle simplifie non seulement l'accès et l'analyse des données, mais respecte également les normes de sécurité critiques, fournissant une base évolutive pour les améliorations futures dans le domaine de la PropTech.
Pourquoi faire tout ça ? Le Doggy bag
Les avantages de la création d'un tel modèle :
- Connexion aux données: Intégrez directement les données de MongoDB, Abacus et MySQL dans un schéma unique
- ETL: Effectuez des transformations et des vérifications complexes des données
- Sécurité à la volée: s'assurer que chaque utilisateur puisse voir ses données
- Analyses avancées: créez des métriques en mélangeant les données
- Tableaux de bord: créez des tableaux de bord personnalisés avec lesquels les utilisateurs peuvent interagir, découper et découper les données
- Intégration: intégration fluide des tableaux de bord dans leur application