Sprache

Robotik trifft Inklusion: Die Technologie von VIRAS

VIRAS vereint verschiedenste Technologien zu einem innovativen, intelligenten Assistenzsystem für blinde und sehbehinderte Menschen in Supermärkten. 

VIRAS (Visually Impaired Robot-Assisted Shopping) ist ein autonom fahrender Einkaufswagen, welcher mithilfe von KI-gestützter Objekterkennung, 3D-Mapping und barrierefreier Navigation Nutzerinnen und Nutzer sicher durch Supermärkte steuert und Produkte selbstständig identifiziert. 

Mensch-Maschine-Interaktion

  • Smartphonebedienung
  • Audiofeedback
  • Geschwindigkeitsregulierung

Stereokameras

  • 3D-Kartierung
  • Produktidentifikation
  • Handtracking

Autonomes Fahren

  • Motorisierter Einkaufswagen
  • Zielführung zu Produkten/Kassen
  • Hindernis- und Personenerkennung

Die Systemstruktur

Die technische Grundlage von VIRAS bildet ein adaptiertes Einkaufswagensystem, welches für den Einsatz autonomer Assistenzfunktionen optimiert wurde. Hierbei ist eine modulare Plattform integriert. Diese zentralisiert die Steuerungs-, Navigations- und Interaktionsfunktionen. Die Fortbewegung des Wagens erfolgt motorisiert, wobei die Steuerung nur bei aktivem Benutzereingriff reagiert. Dieses sicherheitsrelevante Prinzip gewährleistet, dass der Wagen ausschliesslich dann in Bewegung ist, wenn die Nutzerin oder der Nutzer dies explizit wünschen. Zudem stellt dies ein zentrales Element für Vertrauen und Kontrolle im Umgang mit dem System dar. 

Für die räumliche Orientierung nutzt VIRAS ein Lokalisierungs- und Kartierungsverfahren, welches auf stereoskopischer Tiefenwahrnehmung basiert. Die Umgebung wird dabei kontinuierlich in Form von Punktwolken erfasst und in einer dynamischen 3D-Karte abgebildet. Diese Karte wird in Echtzeit aktualisiert und ermöglicht eine präzise Lokalisierung des Wagens ohne externe Infrastruktur innerhalb der Verkaufsfläche. Das System ist darauf ausgelegt, sich in hochdynamischen Umgebungen wie Supermärkten zuverlässig zu bewegen. Wechselnde Lichtverhältnisse, variable Kundenströme und temporäre Hindernisse werden dabei ebenfalls berücksichtigt. 

Ergänzt wird das System durch eine barrierefreie Smartphone-App, welche als zentrale Benutzerschnittstelle dient. Über sie erfolgt die Eingabe der Einkaufsliste, Steuerung des Einkaufswagens sowie die weitere Interaktion. 

Validierung und Weiterentwicklung

VIRAS wird derzeit unter realen Bedingungen in einer Migros-Filiale in Hinwil getestet. Ziel ist die Evaluation und Weiterentwicklung des Systems unter praxisnahen Bedingungen. Dabei werden zentrale Leistungskennzahlen wie Navigationsgenauigkeit, Produkterkennungsrate, Systemlatenz und Nutzerakzeptanz kontinuierlich erfasst und analysiert. 

Die modulare Systemarchitektur von VIRAS erlaubt eine flexible Skalierung auf weitere Filialen sowie eine technische Erweiterung für zusätzliche Zielgruppen, wie mobilitätseingeschränkte Personen oder ältere Menschen. Auch infrastrukturell komplexere Umgebungen lassen sich perspektivisch erschliessen. 

Für unverpackte Ware wie Obst oder Gemüse wird der Einkaufswagen mit einer integrierten Waage ausgestattet. Die Gewichtserfassung erfolgt automatisch und der Preis wird über die App mitgeteilt. Der gesamte Einkaufsprozess soll optional mit einem Self-Checkout abgeschlossen werden können. Die im Wagen befindlichen Produkte sollen hierfür durch die Kameras automatisch erkannt, mit der Einkaufsliste abgeglichen und digital abgerechnet werden. 

Zukünftig wird das System um eine dynamische Warenbestandskontrolle ergänzt. Durch die Verknüpfung von Produkterkennung und digitalem Zwilling kann die Verfügbarkeit von Artikeln in Echtzeit erfasst und an das System zurückgemeldet werden. Auch die Integration von standortbasierten Werbeaktionen oder personalisierten Produkthinweisen ist vorgesehen, um ein inklusives, effizientes und intelligentes Einkaufserlebnis zu ermöglichen. 

Prof. Dr. Dario Schafroth

ILT Institut für Laborautomation und Mechatronik OST, ILT, Leiter Kompetenzbereich Autonome Systeme, Professor

+41 58 257 42 18 dario.schafroth@ost.ch

Chantal Keller

ILT Institut für Laborautomation und Mechatronik Entwicklungsingenieurin, MSc OST in Mechatronics and Automation

+41 58 257 31 34 chantal.keller@ost.ch