Durchgängige Datenpipeline von der Produktionsmaschine in die Azure Cloud

Im proto_lab wurde eine durchgängige Datenpipeline für den Transfer von Sensordaten aus Fertigungsmaschinen in die Azure Cloud konzipiert. Bei der Auswahl geeigneter Tools und Services wurden die speziellen Bedürfnisse eines Lehr- und Forschungslaborbetriebs berücksichtigt, um eine vielfältige Nutzung zu ermöglichen. Das Ergebnis ist eine maßgeschneiderte und kostengünstige Lösung für das proto_lab!

Der Aufbau ermöglicht die Erprobung neuester Produkte in der Cloud. So können z.B. die Leistungsdaten einer Produktionsanlage über das Event Grid, das seit kurzem das MQTT-Protokoll unterstützt, ausgetauscht werden. Vom Event Grid gelangen die Daten in den Event Hub, eine Pufferstation für große Datenmengen, die Nachrichten ressourcenschonend bündelt und als Batches an Azure Function weiterleitet. Dort werden die Nachrichten ausgelesen, verarbeitet und schließlich im Azure Storage, einem kostengünstigen Speicherort für riesige Datenmengen, systematisch abgelegt. Hier können Sensorrohdaten in der untersten Bronze-Ebene den jeweiligen Produktionsmaschinen zunächst einmal zugeordnet werden. In der nächsthöheren Silver-Ebene liegen dann bereits aufbereitete, zusammengeführte Daten, die auch schon grafisch dargestellt werden können. Möglich wird die Datenaufwertung über eine Pipeline zu Azure Synapse, die Daten aus dem Azure Storage heranzieht, bearbeitet und in unterschiedlichen Aufbereitungsstufen (Bronze, Silver oder Gold) wieder dort ablegt. In der höchsten Gold-Ebene werden die Daten schließlich in eine SQL-Datenbank geschrieben, wodurch gezielte Datenabfragen möglich werden. So können über die Auswertung von Leistungsdaten beispielsweise Maschinenzustände (An, Aus, Leerlauf, Bearbeitung) ermittelt oder der Energieverbrauch von Maschinen bzw. einzelnen Verfahren analysiert und optimiert werden.