Industrie 4.0 – (Near-) Real-Time Analyse von Sensordaten bei großen Datenraten und Datenvolumen

Moderne Sensortechnologie ermöglicht heutzutage eine immer bessere Beschreibung von Maschinenzuständen und das in Echtzeit. Produktions-, Qualitäts- oder Instandhaltungsprozesse sind dabei Nutznießer dieser Daten, indem Produktionsabläufe optimiert, die Qualität erhöht oder Wartungszyklen reduziert werden. Um diese Verbesserungspotenziale heben zu können, muss die zugrunde liegende IT-Architektur einerseits in der Lage sein, große und schnelle Datenströme effizient zu verarbeiten und anderseits die verarbeiteten Daten den Prozessverantwortlichen in einer Form zur Verfügung zu stellen, die eine bestmögliche Entscheidungsunterstützung bietet.

Aktuelle Business Intelligence (BI) Lösungen, wie bspw. SAP oder Qlik Sense, bieten einem Entscheider umfangreiche Möglichkeiten die verarbeiteten Daten selbst zu untersuchen, was als Self-Service BI bezeichnet wird. Allerdings weisen diese BI Lösung eine limitierte Real-Time-Fähigkeit auf. Die Gründe dafür sind vor allem in der Speicherung und in der Aufbereitung der Daten zusehen, die „signifikante Zeit“ in Anspruch nehmen kann. Hinzukommt, dass in der Regel mehrere unterschiedliche Systeme mit eignen Konzepten bzw. Prämissen zum Einsatz kommen, die die Komplexität der Architektur erhöhen und die serielle Verarbeitung der Daten somit weiter verzögern.

Moderne Big Data Tools, wie bspw. Spark, Flink, Storm oder Kafka, sind in der Lage große Datenströme in Echtzeit zu analysieren. Diesen Big Data Tools fehlen jedoch häufig tiefer gehende Self-Service Fähigkeiten. So können die Ergebnisse externe BI-Systeme nicht in Near-Real-Time bereitgestellt werden oder Entscheider können keine live Drilldowns durchführen.

Lösungskonzept für eine Roboterumgebung

Abbildung 1 IT-Architektur

Im Rahmen verschiedener Verbundprojekte im Bereich Industrie 4.0 hat SALT Solutions einen Proof-of-Concept (POC) entwickelt der versucht, die Self-Service Fähigkeiten aktueller BI Lösungen mit der Echtzeitfähigkeit moderner Big Data Tools zu kombinieren. Dabei wurden folgende Ziele verfolgt:

  • Volle Self-Service Fähigkeit in Near-Real-Time inklusive historisierten Daten.
  • Deutlich bessere Self-Service Fähigkeit als vergleichbare Lösungen in Real-Time.
  • Eine schlanke Architektur.
  • Vorhalten neuer Daten in-memory oder in einem stark optimierten Cache.
  • Anwendbarkeit auch für kleine bis mittlere Projektgrößen.

Für die Realisierung dieses POCs wurde ein Anwendungs-Szenario gewählt, bei dem Statusmeldungen verschiedener Roboter echtzeitnah analysiert werden sollen. Dabei kamen Apache Kafka als Big Data Tool und Qlik Sense als BI System zum Einsatz, deren Architektur in Abbildung 1 dargestellt ist.

Zusammenspiel bewährter Komponenten

Die Entscheidung für Apache Kafka fiel aufgrund der bestehenden Vielseitigkeit, Skalierbarkeit und Flexibilität. Wie aus Abbildung 1 zu erkennen ist, übernimmt Kafka die Datenakquisition, die Datenspeicherung und die Datenanalyse. Qlik Sense übernimmt die Visualisierung und Analyse im Sinne eines BI-Systems. Die realisierte Architektur überzeugt somit nicht nur durch ein sehr schlankes Design, sondern trägt auch zur Erhöhung der Datenqualität sowie Robustheit aufgrund der geringen Anzahl an Schnittstellen bei. Mit Hilfe der Kafka Streams API wurden die erzeugten Daten (siehe Abbildung 1 links unten) in Echtzeit analysiert (siehe Abbildung 1 rechts unten) und Qlik Sense zur Verfügung gestellt. Eine Near-Real-Time Versorgung wurde mittels Web Services und eine Real-Time Versorgung mittels sogenannter Topics in Kafka erzielt. Apache Kafka dient somit Qlik als Datenbank.

Bei Qlik Sense handelt es sich um ein Self-Service BI Tool, das durch seine umfangreichen Analysefähigkeiten, erweiterte Webfähigkeit durch Mashups und responsives Design für diesen Anwendungsfall sehr gut geeignet ist. Die ersten drei Kacheln der Abbildung 2 zeigen einen Echtzeitmonitor, in dem Meldungen zu den Zuständen der Maschinen angezeigt werden. Es ist möglich, bei dieser Anzeige durch Filter einen bestimmten Roboter anzuzeigen und somit nähere Analysen zu tätigen. Das Balkendiagram in der Mitte der Abbildung 2 steht stellvertretend für die Stärken der gewählten Architektur, da es eine Kombination aus historischen und Echtzeitdaten enthält. Qlik Sense liefert dabei die historischen Daten. Apache Kafka kümmert sich um die Echtzeitversorgung und lässt so den letzten Balken im Diagramm im Zeitverlauf und in Abhängigkeit der Datenlage stetig wachsen. Das letzte Kreisdiagramm fasst die Daten zusammen und aktualisiert sich alle 5 Minuten, was die Kriterien von Near-Real-Time erfüllt. Durch diesen Ansatz ist es möglich Echtzeitdaten Live auszuwerten, Ausprägungen in wirkungsvollen Visualisierungen zu zeigen und Drilldowns zu tätigen. Auch durch die Einschließung der historischen Daten in den Echtzeitvisualisierungen werden dem Anwender Daten mit zeitlichem Bezug zur Verfügung gestellt.

Abbildung 2 Frontend

Zusammenfassung

Es zeigt sich, dass beide Komponenten dieser Lösungen ihre Vorteile ausspielen. Kafka sorgt für die Verteilung der Echtzeit-Datenstreams aus der Quelle über die bewährte Kafka-Topic-Funktionalität, Kafka Streams für die klassischen ETL-Prozesse wie Daten-Bereinigung, Verdichtung von Rohdaten und Verarbeitung der Geschäftslogik. Dabei verbleiben die Daten je nach implementierter Geschäftslogik und KPI nur so lange wie nötig im System. So wird beispielsweise die Berechnung der Tageszähler nach 24 Stunden gelöscht. Vorteil: Die Datenbestände wachsen nicht. Qlik Sense lädt die von Kafka optimiert verarbeiteten Daten 1:1 ein. Dabei werden historisierte Datenbestände über das eigene, sehr performante QVD-Format geladen. Letztendlich steuert Qlik Sense die BI Oberfläche und verbindet so Real-Time- und Nicht-Real-Time-Daten.

 

 


Weiterführende Informationen:

Hinterlassen Sie einen Kommentar

Nach oben