In einem riesigen autonomen Lagerhaus flitzen Hunderte von Robotern durch die Gänge, während sie Artikel sammeln und verteilen, um einen stetigen Strom an Kundenbestellungen zu erfüllen. In dieser geschäftigen Umgebung können selbst kleine Staus oder kleinere Kollisionen zu massiven Verzögerungen führen.
Um eine solche Lawine von Ineffizienzen zu vermeiden, haben Forscher des MIT und des Technologieunternehmens Symbotic eine neue Methode entwickelt, die automatisch dafür sorgt, dass eine Roboterflotte reibungslos läuft. Ihre Methode lernt anhand der Staubildung, welche Roboter zu jedem Zeitpunkt zuerst fahren sollten, und passt sich an, um Robotern Priorität einzuräumen, die kurz davor stehen, stecken zu bleiben. Auf diese Weise kann das System Roboter im Voraus umleiten, um Engpässe zu vermeiden.
Das Hybridsystem nutzt Deep Reinforcement Studying, eine leistungsstarke Methode der künstlichen Intelligenz zur Lösung komplexer Probleme, um herauszufinden, welche Roboter priorisiert werden sollten. Anschließend übermittelt ein schneller und zuverlässiger Planungsalgorithmus den Robotern Anweisungen, sodass sie auf sich ständig ändernde Bedingungen schnell reagieren können.
In Simulationen, die von tatsächlichen E-Commerce-Lagerlayouts inspiriert waren, erzielte dieser neue Ansatz eine Durchsatzsteigerung von rund 25 Prozent gegenüber anderen Methoden. Wichtig ist, dass sich das System schnell an neue Umgebungen mit unterschiedlichen Robotermengen oder unterschiedlichen Lagerlayouts anpassen kann.
„Es gibt viele Entscheidungsprobleme in der Fertigung und Logistik, bei denen Unternehmen auf Algorithmen angewiesen sind, die von menschlichen Experten entwickelt wurden. Aber wir haben gezeigt, dass wir mit der Kraft des Deep Reinforcement Studying eine übermenschliche Leistung erzielen können. Das ist ein sehr vielversprechender Ansatz, denn in diesen riesigen Lagerhäusern kann selbst eine Steigerung des Durchsatzes um 2 oder 3 Prozent enorme Auswirkungen haben“, sagt Han Zheng, Doktorand am Laboratory for Data and Resolution Programs (LIDS) am MIT und Hauptautor einer Arbeit über diesen neuen Ansatz.
Zheng wird bei der Arbeit von Yining Ma, einem LIDS-Postdoktoranden, begleitet; Brandon Araki und Jingkai Chen von Symbotic; und leitende Autorin Cathy Wu, außerordentliche Professorin für Karriereentwicklung im Jahrgang 1954 für Bau- und Umweltingenieurwesen (CEE) und Institut für Daten, Systeme und Gesellschaft (IDSS) am MIT sowie Mitglied von LIDS. Die Forschung erscheint heute im Zeitschrift für künstliche Intelligenzforschung.
Roboter umleiten
Hunderte von Robotern gleichzeitig in einem E-Commerce-Lager zu koordinieren, ist keine leichte Aufgabe.
Das Downside ist besonders kompliziert, da das Lager eine dynamische Umgebung ist und Roboter ständig neue Aufgaben erhalten, nachdem sie ihre Ziele erreicht haben. Sie müssen beim Verlassen und Betreten der Lagerhalle schnell umgeleitet werden.
Unternehmen nutzen häufig von menschlichen Experten geschriebene Algorithmen, um zu bestimmen, wohin und wann sich Roboter bewegen sollten, um die Anzahl der Pakete zu maximieren, die sie verarbeiten können.
Kommt es jedoch zu einer Überlastung oder einer Kollision, bleibt einem Unternehmen möglicherweise keine andere Wahl, als das gesamte Lager stundenlang herunterzufahren, um das Downside manuell zu beheben.
„In dieser State of affairs haben wir keine genaue Vorhersage der Zukunft. Wir wissen nur, was die Zukunft bringen könnte, in Bezug auf die eingehenden Pakete oder die Verteilung zukünftiger Bestellungen. Das Planungssystem muss sich im Laufe des Lagerbetriebs an diese Änderungen anpassen können“, sagt Zheng.
Diese Anpassungsfähigkeit erreichten die MIT-Forscher durch maschinelles Lernen. Sie begannen mit der Entwicklung eines neuronalen Netzwerkmodells, um Beobachtungen der Lagerumgebung zu erfassen und zu entscheiden, wie die Roboter priorisiert werden sollten. Sie trainieren dieses Modell mithilfe von Deep Reinforcement Studying, einer Versuch-und-Irrtum-Methode, bei der das Modell lernt, Roboter in Simulationen zu steuern, die tatsächliche Lagerhäuser nachahmen. Das Modell wird dafür belohnt, dass es Entscheidungen trifft, die den Gesamtdurchsatz steigern und gleichzeitig Konflikte vermeiden.
Mit der Zeit lernt das neuronale Netzwerk, viele Roboter effizient zu koordinieren.
„Durch die Interaktion mit Simulationen, die von realen Lagerlayouts inspiriert sind, erhält unser System Suggestions, das wir nutzen, um seine Entscheidungsfindung intelligenter zu gestalten. Das trainierte neuronale Netzwerk kann sich dann an Lager mit unterschiedlichem Structure anpassen“, erklärt Zheng.
Es ist darauf ausgelegt, die langfristigen Einschränkungen und Hindernisse auf dem Weg jedes Roboters zu erfassen und gleichzeitig dynamische Interaktionen zwischen Robotern bei ihrer Bewegung durch das Lager zu berücksichtigen.
Durch die Vorhersage aktueller und zukünftiger Roboterinteraktionen plant das Modell, Staus zu vermeiden, bevor sie auftreten.
Nachdem das neuronale Netzwerk entschieden hat, welche Roboter Vorrang haben sollen, verwendet das System einen bewährten Planungsalgorithmus, um jedem Roboter mitzuteilen, wie er sich von einem Punkt zum anderen bewegen soll. Dieser effiziente Algorithmus hilft den Robotern, schnell auf die sich ändernde Lagerumgebung zu reagieren.
Diese Methodenkombination ist entscheidend.
„Dieser hybride Ansatz baut auf der Arbeit meiner Gruppe auf, wie man das Beste aus beiden Welten zwischen maschinellem Lernen und klassischen Optimierungsmethoden erreichen kann. Rein maschinelle Lernmethoden haben immer noch Schwierigkeiten, komplexe Optimierungsprobleme zu lösen, und dennoch ist es für menschliche Experten äußerst zeit- und arbeitsintensiv, effektive Methoden zu entwerfen. Aber zusammen kann die richtige Verwendung von Experten entwickelten Methoden die Aufgabe des maschinellen Lernens enorm vereinfachen“, sagt Wu.
Komplexität überwinden
Nachdem die Forscher das neuronale Netzwerk trainiert hatten, testeten sie das System in simulierten Lagerhäusern, die sich von denen unterschieden, die es während des Trainings gesehen hatte. Da Industriesimulationen für dieses komplexe Downside zu ineffizient waren, entwarfen die Forscher ihre eigenen Umgebungen, um die Vorgänge in tatsächlichen Lagerhäusern nachzuahmen.
Im Durchschnitt erreichte ihr hybrider, lernbasierter Ansatz einen um 25 Prozent höheren Durchsatz als herkömmliche Algorithmen sowie eine Zufallssuchmethode, gemessen an der Anzahl der professional Roboter zugestellten Pakete. Ihr Ansatz könnte auch realisierbare Roboterpfadpläne generieren, die die durch herkömmliche Methoden verursachten Staus überwinden.
„Besonders wenn die Roboterdichte im Lager zunimmt, nimmt die Komplexität exponentiell zu und diese traditionellen Methoden beginnen schnell zu versagen. In diesen Umgebungen ist unsere Methode viel effizienter“, sagt Zheng.
Auch wenn ihr System noch weit von einem realen Einsatz entfernt ist, verdeutlichen diese Demonstrationen die Machbarkeit und die Vorteile der Verwendung eines auf maschinellem Lernen basierenden Ansatzes in der Lagerautomatisierung.
In Zukunft möchten die Forscher Aufgabenzuweisungen in die Problemformulierung einbeziehen, da sich die Festlegung, welcher Roboter welche Aufgabe erledigen wird, auf die Überlastung auswirkt. Sie planen außerdem, ihr System auf größere Lager mit Tausenden von Robotern auszudehnen.
Diese Forschung wurde von Symbotic finanziert.