Erweiterte Analytik für Abacus-, MongoDB- und SQL-Daten

Einführung

‍

Der Kunde entwickelt eine webbasierte Immobilienverwaltungsplattform mit speziellen Modulen, die auf verschiedene Branchenrollen zugeschnitten sind. Immobilienbesitzer und Vermögensverwalter erhalten Einblicke, um die Rentabilität zu maximieren, während Immobilienverwalter, Treuhänder und Vermarkter das Tool nutzen, um die Effizienz zu steigern und das Geschäftswachstum voranzutreiben. Benutzer importieren ihre Daten in diese proprietäre PropTech-Software, wo sie in MongoDB- und SQL-Datenbanken gespeichert werden, während das Abacus ERP-System die Buchhaltungsdaten der Benutzer liefert.

‍

Um ihre Analysefähigkeiten weiter zu stärken, wurde ICCube hinzugezogen, um bei der Entwicklung eines Datenmodells zu helfen, das konsolidiert Daten aus diesen drei heterogenen Quellen.

‍

Ziel war es, diese Quellen zu einem einzigen, zusammenhängenden Datenmodell zusammenzuführen, das leistungsstarke Analysen für eine Reihe von Dashboards ermöglicht, wie z. B.:

• Belegung
• Gerätemanagement (z. B. Gebäudewaschmaschinen)
• Gebäude-/Sachversicherung
• Marketing (Immobilien, die online zur Vermietung oder zum Verkauf angeboten werden)
• Haushaltsberichte

und mehr.

‍

Technische Architektur und ETL-Prozess

Das Projekt konzentrierte sich auf die Konsolidierung von Daten aus MongoDB, SQL und Abacus ERP in einem einzigen, zusammenhängenden multidimensionalen OLAP-Schema in ICCube. Ein ausgeklügelter ETL-Prozess (Extract, Transform, Load) wurde eingesetzt, um die inhärente Komplexität der Zusammenführung dieser unterschiedlichen Quellen zu bewältigen, insbesondere im Hinblick auf das herausfordernde Abacus-Datenmodell.

‍

Die Komplexität von Abacus beschränkt sich nicht nur auf Tabellen und Spalten, es hängt auch damit zusammen, dass jeder Kunde dieses PropTech-Unternehmens eine andere Datenbank hatte (andere URL, Benutzer und Passwort).

‍

• Datenextraktion
  
  • Da bereits bestehende Konnektoren zur Verwaltung von MongoDB und SQL verwendet werden, wurde ein neuer ICCube-Konnektor für Abacus ERP entwickelt, um das komplizierte Datenmodell zu steuern und sicherzustellen, dass auch die nicht standardmäßigen Strukturen präzise erfasst und integriert wurden.

• Datentransformation
  
  • Die Transformationsphase beruhte auf fortschrittlichen ETL-Joins und benutzerdefiniertem Java-Code, um die Daten zu harmonisieren. Zu den wichtigsten Aufgaben gehörten:
    
    • Ausgleich der Unterschiede zwischen den flexiblen Schemata von MongoDB und den starren Schemata von SQL und Abacus ERP. Dies erforderte eine tiefgreifende Abstimmung der Schlüssel und Datentypen zwischen den Systemen.
    • Standardisierung von Datenformaten und Behebung von Inkonsistenzen, einschließlich der Verwaltung fehlender oder anomaler Werte, d. h. Datenbereinigung.

• Semantische Ebene
  
  • Die semantische Ebene übersetzt technische Feldnamen und Relationen in umfassende Begriffe, die für einen Geschäftsanwender leicht verständlich sind. Durch die sorgfältige Einrichtung dieser Ebene erhalten Endbenutzer intuitive, kontextreiche Beschriftungen auf Dashboards und Berichten. So wird sichergestellt, dass die Erkenntnisse aus den Daten von den Beteiligten im Unternehmen leicht interpretiert werden können, sodass keinerlei technisches Datenwissen erforderlich ist.

• Aggregation und Metrikableitung
  
  • Vorberechnung von Metriken und Durchführung von Aggregationen zur Unterstützung schneller Abfragen, wodurch robustes Slicing and Dicing über mehrere Dimensionen hinweg ermöglicht wird.

‍

Das Modell wurde sorgfältig entworfen, um komplexe analytische Abfragen zu unterstützen und eine hohe Leistung zu gewährleisten. Die Richtigkeit wird durch das Modell und eine Reihe von Kontrollen beim Laden von Daten gewährleistet. Die Integration dieser unterschiedlichen Datenquellen führte zu einem umfassenden Modell, das eine einzige Informationsquelle für betriebliche und finanzielle Erkenntnisse bietet.

‍

Integration

Die visuelle Integration ist völlig nahtlos — sie ist direkt in die Anwendung des Kunden eingebettet. Die Benutzer interagieren mit intuitiven Dashboards, die sich auf natürliche Weise in das allgemeine Erscheinungsbild der PropTech-Software einfügen, ohne sich der komplexen Analyseverarbeitung im Hintergrund bewusst zu sein.

‍

Benutzerspezifische Sicherheit

Im typischen Embedded-Analytics-Setup wird die Authentifizierung von der PropTech-Software übernommen, während die Autorisierung — der Analyse- und Datenfunktionen — von ICCube über Parameter verwaltet wird, die von der Host-Anwendung gesendet werden. Das System berücksichtigt quellenspezifische Sicherheitsmaßnahmen aus allen drei Rohdatenquellen und stellt so sicher, dass jeder Benutzer nur auf Daten zugreift, die für seine Rolle relevant sind. Dieser mehrschichtige Sicherheitsansatz lässt sich nicht nur nahtlos in die bestehende Plattform des Kunden integrieren, sondern gewährleistet auch eine strenge Kontrolle über sensible Daten sowohl auf Anwendungs- als auch auf Datenebene.

‍

Beispielsweise kann jeder Benutzer eine andere Liste von Immobilien sehen und hat Zugriff auf eine bestimmte Reihe von Dashboards (von Belegung über Marketing, Versicherung, Finanzen usw.) mit seinen eigenen Daten.

‍

Diversität im Dashboard

Jedes Dashboard aggregiert eine Kombination von Daten aus dem MongoDB-, SQL- und Abacus-ERP-Modell und bietet so einen ganzheitlichen Überblick über die Abläufe des Kunden. Die PropTech-Anwendung bietet jetzt eine Vielzahl von Standard-Dashboards, die Versicherungen, Geräte, Marketing, Belegung und mehr abdecken. Benutzer können Daten nach Dimensionen wie Zeit, Geografie, Gerätetyp, Versicherungstyp usw. aufteilen.

Darüber hinaus hat der Kunde die Möglichkeit, neue Dashboards zu erstellen, indem er das erweiterte Analytics-Modell mit seinen eigenen Kennzahlen nutzt, sodass er sein Unternehmen individuell anpassen und sich von anderen abheben kann.

‍

Fazit

Die Integration von MongoDB, SQL und den komplexen Abacus ERP-Daten in ein einziges Datenmodell in ICCube zeigt eine robuste Lösung für die analytischen Anforderungen eines PropTech-Kunden. Durch einen rigorosen ETL-Prozess und einen speziellen Konnektor für Abacus ermöglicht die Lösung leistungsstarke und flexible Datenanalysen. Dieses Modell vereinfacht nicht nur den Datenzugriff und die Datenanalyse, sondern gewährleistet auch wichtige Sicherheitsstandards und bietet eine skalierbare Grundlage für zukünftige Verbesserungen im PropTech-Bereich.

‍

Warum das alles tun? Die Doggy bag

Die Vorteile der Erstellung eines solchen Modells:

• Datenverbindung: Integrieren Sie Daten aus MongoDB, Abacus und MySQL direkt in ein einziges Schema
• ETL: Führen Sie komplexe Datentransformationen und Überprüfungen durch
• Sicherheit im Handumdrehen: sicherstellen, dass jeder Benutzer seine Daten sehen kann
• Fortgeschrittene Analytik: Erstellen Sie Metriken, indem Sie die Daten zusammenmischen
• Dashboards: Erstellen Sie benutzerdefinierte Dashboards, mit denen Benutzer interagieren und die Daten aufteilen und aufteilen können
• Integration: nahtlose Einbettung der Dashboards in ihre Anwendung

‍