Die technologische Herausforderung: Personen, Aktivität und Raumbezug zusammenführen

Im ZIM-Projekt MatrixLotse haben wir eine KI-basierte Softwarelösung zur Analyse und Optimierung manueller Matrixmontageprozesse entwickelt. Ziel war es, Personen und Körperbewegungen kamerabasiert zu erkennen, Aktivitäten zu klassifizieren, Laufwege und Prozessdaten auszuwerten sowie daraus automatisierte Optimierungsvorschläge für Arbeitsplatzlayouts abzuleiten.

Robuste Kamera- und 3D-Basis

Die technische Basis bildet ein Stereo-Vision-Setup aus GenICam-Kameras. Nach Tests unterschiedlicher Auflösungen und Optiken wurden 5-Megapixel-Kameras mit 4-mm-Objektiven ausgewählt. Die Kameras wurden parallel auf einer gemeinsamen Achse mit 124 Zentimetern horizontalem Abstand montiert und um 30 Grad nach unten geneigt. Überlappende Sichtfelder vermeiden tote Winkel und stellen sicher, dass relevante Bereiche mindestens aus zwei Perspektiven erfasst werden können.

Für die Kalibrierung nutzt das System ein Schachbrettmuster und etwa 15 Aufnahmen aus unterschiedlichen Positionen. Die gewonnenen Kameraparameter ermöglichen die Korrektur perspektivischer Verzerrungen und die Überführung der Bilddaten in ein gemeinsames Koordinatensystem. Damit bleibt der Aufbau auch auf neue Montagebereiche übertragbar.

‍

Abbildung 1: Kalibrierung des Stereo-Vision-Setups mit Schachbrettmuster

Mehrpersonen- und Tiefenerkennung

Bei der Posenerkennung zeigte sich früh, dass MediaPipe für industrielle Szenarien mit mehreren Personen nicht ausreichend skalierbar war. Das Projekt wechselte daher auf YOLO v11. Das Modell erkennt mehrere Personen gleichzeitig, unterstützt echtzeitfähiges Streaming und liefert 17 Körper-Keypoints. In den Tests blieb die Erkennung auch bei Arbeitskleidung, ungünstigen Lichtverhältnissen und zeitweisen Verdeckungen stabil.

‍

Abbildung 2: Multi-Personen-Erkennung mit Bounding Boxes und Skelett-Keypoints

‍

Für die Tiefenschätzung wurden Depth Anything und Depth Anything v2 integriert. Die Modelle erzeugen Tiefenkarten direkt aus den Kamerabildern. Gemeinsam mit der Stereo-Rekonstruktion und den YOLO-Skelettpunkten entsteht eine 3D-Repräsentation der Personen im Arbeitsraum. Fehlende Skelettpunkte können über Zeitreihen rekonstruiert werden, um Sprünge und Aussetzer zu reduzieren.

Von der Körperpose zur Aktivitätserkennung

Das zweite KI-Modell klassifiziert die Aktivitäten Stehen, Gehen und Arbeiten. Grundlage sind synchronisierte Stereo-Videos, die entlang der Zeitleiste in zusammenhängenden Aktivitätssegmenten annotiert wurden. Die rekonstruierten 3D-Posen werden anschließend in ein personenzentriertes Koordinatensystem transformiert. Dadurch werden globale Positionsverschiebungen entfernt und Bewegungsmuster verschiedener Personen besser vergleichbar.

‍

Abbildung 3: Vergleich zwischen kamerazentrierter 3D-Pose und personenzentrierter Normalisierung

‍

Bei der Modellauswahl wurden rekurrente und graphbasierte Architekturen untersucht. Als Zielarchitektur setzte sich ein Temporal Convolutional Network durch. TCNs verarbeiten zeitliche Sequenzen parallel, erfassen kurz- und langfristige Bewegungsmuster und lassen sich effizient auf Hardware der Industrieserver-Klasse ausführen.

Eine heuristische Nachbearbeitung stabilisiert die Vorhersagen zusätzlich. Zeitliche Glättung, Hysterese-Regeln und konfidenzbasiertes Gating reduzieren Label-Flackern und kurzzeitige Fehlklassifikationen. Ergänzend werden interpretierbare Merkmale wie Gelenkgeschwindigkeiten und Torso-Biegewinkel berücksichtigt.

Der Lösungsansatz: durchgängige Software- und Datenpipeline

Für das Training wurden leistungsfähige GPUs auf firmeneigener Hardware genutzt. Die Bereitstellung der Modelle erfolgt in einer containerisierten Umgebung mit Docker Compose. Gegenüber einer Kubernetes-Orchestrierung reduzierte dieser Ansatz die Komplexität und erleichterte Wartung und Konfiguration.

Ein in Python und Django entwickeltes Deployment-Tool verwaltet Modelle und Kameraperspektiven. Es unterstützt die Planung überlappender Sichtfelder und die Skalierung auf größere Montagebereiche. Eine automatisierte Schnittstelle stellt sicher, dass aktuelle Modellversionen in die Produktionspipeline übernommen werden können.

Zusätzlich wurde eine generische REST-Schnittstelle mit OpenAPI-Spezifikation entwickelt. Im JSON-Format können unter anderem Produktvarianten, Fertigungsschritte, Prozesszeiten, Arbeitsstationen, verfügbare Mitarbeitende und Stückzahlen aus einem MES übergeben werden. Bewegungs- und Aktivitätsdaten lassen sich dadurch mit dem jeweiligen Produktionskontext verknüpfen.

Konkrete Ergebnisse: von Laufwegen bis zur Zonen-Aktions-Matrix

Die Analysepipeline liefert mehrere unmittelbar nutzbare Auswertungen:

• Laufwege werden aus der 3D-Position der Hüftmitte berechnet und als Top-Down-Trajektorie einschließlich Gesamtstrecke in Metern dargestellt.
• Arbeitsstationen und Prozesszellen werden als räumliche Zonen modelliert; Verweildauern lassen sich je Zone berechnen und als Heatmap visualisieren.
• Eine Zonen-Aktions-Matrix zeigt, wie viel Zeit innerhalb einer Zone mit Arbeiten, Gehen oder Stehen verbracht wird.
• Variantenbezogene Auswertungen ermöglichen den Vergleich räumlicher Arbeitsmuster zwischen unterschiedlichen Produktvarianten.

‍

Abbildung 4: Heat map der räumlichen Belegung mit definierten Arbeitszonen und Verweildauern

‍

Diese Kennzahlen unterstützen die Interpretation realer Montageabläufe. Eine hohe Arbeitszeitkonzentration kann auf einen Engpass hindeuten, erhöhte Gehzeiten auf Layoutineffizienzen und längere Standzeiten auf Warte- oder Leerlaufphasen.

Automatisierte Layoutoptimierung mit Reinforcement Learning

Für das dritte KI-Modell wurde ein politikbasierter Reinforcement-Learning-Ansatz ausgewählt. Das Arbeitsplatzlayout wird als rasterbasierte Konfiguration dargestellt. Der Agent verschiebt Stationen schrittweise und bewertet jede Änderung über eine Kostenfunktion, die räumliche Bedingungen, Workflow-Abhängigkeiten und realistische Weglängen berücksichtigt. Ungültige Konfigurationen – etwa überlappende Stationen oder Grenzverletzungen – werden ausgeschlossen beziehungsweise bestraft.

Im Modelltest reduzierte das System die interne Layoutkostenfunktion bei einem kleinen Layout mit drei Arbeitsplätzen um etwa 99,94 Prozent. Bei einem größeren Layout mit vier Arbeitsplätzen wurde eine Verbesserung von rund 56,89 Prozent erreicht. Die Ergebnisse zeigen zugleich die aktuelle Grenze: Mit wachsender Anzahl von Stationen steigt der Suchraum deutlich und das Konvergenzverhalten wird weniger stabil.

‍

Abbildung 5: Initiales und optimiertes Drei-Stationen-Layout sowie Verlauf der modellinternen Kostenfunktion

‍

Das entwickelte Frontend ermöglicht es Anwendern, Raumabmessungen, Stationen und Workflow-Sequenzen grafisch zu konfigurieren und die Optimierung ohne Detailwissen über das zugrunde liegende Reinforcement Learning zu starten. Ursprüngliches und optimiertes Layout sowie Kostenverläufe werden strukturiert gespeichert und können nachvollzogen werden.

Abbildung 6: Frontend zur Konfiguration des Layouts und zum Start des Optimierungsprozesses

‍

Mehrwert für die industrielle Fertigung

MatrixLotse verbindet Analyse und Optimierung in einem System. Daraus ergeben sich insbesondere folgende Vorteile:

• Objektivierbare Auswertung von Laufwegen, Tätigkeiten und Zonenbelegung,
• Reproduzierbare Analysen durch gespeicherte Modelle, Parameter und Ergebnisartefakte,
• Flexible Integration über Kameras, Container-Deployment und standardisierte MES-Schnittstellen,
• Transparente Optimierungsvorschläge mit visualisierbaren Layoutänderungen,
• DSGVO-konformer Einsatz, da keine personenbezogenen Daten gespeichert werden und keine Rückschlüsse auf einzelne Mitarbeitende vorgesehen sind.

‍

Die Meilensteine des Projekts wurden erreicht: Für die Erkennung und Verfolgung von Körperbewegungen wurde eine Konfidenz von 99 Prozent bestätigt. Das Aktivitätsmodell erreichte bereits ohne heuristische Stabilisierung eine Modellperformance von 92 bis 96 Prozent; mit den Korrekturmechanismen wurde auf dem vorliegenden Testdatensatz ebenfalls die geforderte Konfidenz von mindestens 99 Prozent erreicht.

Fazit und Ausblick

MatrixLotse zeigt, wie sich kamerabasierte Prozessanalyse von einer reinen Beobachtung zu einer belastbaren Entscheidungsgrundlage weiterentwickeln lässt. Multi-Kamera-Tracking, 3D-Skelettdaten, Aktivitätserkennung, MES-Kontext und Reinforcement Learning greifen in einer durchgängigen Pipeline ineinander.

Das Ergebnis ist ein funktionsfähiges Gesamtsystem, dessen Nutzen von Testpersonen aus dem Kundenkreis für die automatisierte Erfassung und Optimierung manueller Montageprozesse bestätigt wurde. Der nächste Entwicklungsschritt ist die Überführung zur Serienreife. Im Fokus stehen dabei insbesondere die Skalierung auf größere und komplexere Layouts, vielfältigere Trainingsszenarien sowie zusätzliche ergonomische, sicherheitstechnische und domänenspezifische Randbedingungen.

‍