VIRAS: Barrierefreies Einkaufen im Supermarkt

Einkaufen in Supermärkten stellt blinde und sehbehinderte Menschen vor grosse Herausforderungen. Ohne fremde Hilfe ist es schwierig, sich im Geschäft zu orientieren und Produkte im Regal zu finden, insbesondere bei Änderungen des Sortiments oder der Platzierung. Uneinheitliche Lichtverhältnisse erschweren zusätzlich die Orientierung. Das Wiegen von Gemüse und Obst ist nahezu unmöglich. Eine Umfrage des ILT bei Blindenverbänden in Deutschland und der Schweiz zeigt, dass es viele Betroffene deshalb vermeiden, selbst einzukaufen.

Hier setzt das Projekt VIRAS an: In enger Zusammenarbeit mit Betroffenen entwickelt das ILT einen autonomen Einkaufswagen, der blinde und sehbeeinträchtigte Menschen mithilfe von KI-gestützter Objekterkennung, 3D-Mapping und barrierefreier Navigation sicher durch Supermärkte führt und Produkte identifiziert. VIRAS steht für Visually Impaired Robot-Assisted Shopping. 

Ziel des Projekts ist die nachhaltige Verbesserung der Lebensqualität und die Förderung der gesellschaftlichen Teilhabe der Betroffenen. In der Umfrage stiess der VIRAS-Einkaufswagen bei 87 Prozent auf Anklang. Adressiert werden dabei über 4 Prozent der Schweizer Bevölkerung, die von starken Sehbeeinträchtigungen betroffen sind –Tendenz steigend.

So funktioniert der smarte Einkaufswagen VIRAS

VIRAS begleitet Betroffene im gesamten Einkaufsprozess, vom Erfassen der Einkaufsliste bis zum selbständigen Check-out und der Bezahlung. Als autonomes System führt der motorisierte Wagen die Nutzerin oder den Nutzer selbstfahrend durch das Geschäft. Anderen Kundinnen und Kunden sowie Hindernissen weicht der Wagen aus. 

• Vor Einkaufsbeginn wird die Einkaufsliste mit der VIRAS-App entweder manuell eingeben oder per Barcodescanner direkt von Verpackungen oder Haushaltsvorräten übertragen.
• Auf Knopfdruck startet die autonome Navigation. Der Einkaufswagen lokalisiert sich präzise innerhalb der Supermarktumgebung. Die Pfadfindung erfolgt adaptiv und priorisiert effiziente, kollisionsfreie Routen zu den gewünschten Produkten.
• Beim Erreichen eines gesuchten Produkts aktiviert das System die Produkterkennung. Zwei seitlich montierte, schwenkbare Stereokameras erfassen das Regalbild aus unterschiedlichen Perspektiven. Ein KI-Modul analysiert die Bilddaten und identifiziert das gesuchte Produkt anhand visueller Merkmale. Die genaue Position des Produkts im Regal wird akustisch beschrieben.
• Parallel dazu wird die Hand der Nutzerin oder des Nutzers durch ein Handtracking-Modul verfolgt. Das System gibt akustische Hinweise, bis das Produkt korrekt gegriffen wurde.
• Nachdem das Produkt in den Wagen gelegt wurde, erfolgt eine akustische Bestätigung.
• Die Navigation führt zum nächsten Produkt oder zur Kasse.

Robotik trifft Inklusion: Die Technologie hinter VIRAS

Die technische Grundlage von VIRAS bildet ein adaptiertes Einkaufswagensystem, welches für den Einsatz autonomer Assistenzfunktionen optimiert wurde. Hierbei ist eine modulare Plattform integriert. Diese zentralisiert die Steuerungs-, Navigations- und Interaktionsfunktionen. Die Fortbewegung des Wagens erfolgt motorisiert, wobei die Steuerung nur bei aktivem Benutzereingriff reagiert. Dieses sicherheitsrelevante Prinzip gewährleistet, dass der Wagen ausschliesslich dann in Bewegung ist, wenn die Nutzerin oder der Nutzer dies explizit wünschen. Das stellt ein zentrales Element für Vertrauen und Kontrolle im Umgang mit dem System dar.

Technische Komponenten von VIRAS:

• Kamerasysteme zur Umgebungswahrnehmung
• Sprachsteuerung und haptisches Feedback für eine intuitive Interaktion
• Echtzeit-Datenverarbeitung für dynamische Routenplanung

Mehr zu den technischen Details von VIRAS

Weiterentwicklung auch für Menschen mit eingeschränkter Mobilität

VIRAS wird derzeit unter realen Bedingungen in einer Migros-Filiale in Hinwil getestet. Ziel ist die Evaluation und Weiterentwicklung des Systems unter praxisnahen Bedingungen. Das VIRAS-Team strebt eine Reihe spannender Entwicklungen an.

Darüber hinaus soll der Benutzerkreis erweitert werden: Neben blinden und sehbehinderten Menschen könnte der Einkaufswagen auch älteren Menschen, Menschen mit kognitiven Einschränkungen sowie mobilitätseingeschränkten Personen Unterstützung bieten. 

Aber auch Supermarkt-Kundinnen und Kunden ohne Einschränkungen können den Einkaufswagen als Navigationshilfe verwenden, um Produkte schnell und effizient zu finden. Zudem sollen Funktionen zur Warenbestandskontrolle implementiert werden. Dazu zählt die Möglichkeit, die Produktverfügbarkeit in Echtzeit abzurufen. Auch Werbeaktionen können über den Einkaufswagen bereitgestellt werden. 

Kooperationspartner

Der Schweizerische Zentralverein für das Blindenwesen, der Schweizerische Blindenbund, die Schweizerische Caritasaktion der Blinden und der Schweizerische Blinden- und Sehbehindertenverband fördern die Entwicklung und Realisierung des Projekts mit finanzieller und ideeller Unterstützung. Der Genossenschaftsbund Migros Ostschweiz ist Partner von VIRAS. 

Zudem konnten wir bereits auf die Unterstützung verschiedener Firmen aus der Industrie setzen. 

Herzlichen Dank an alle Partner und Sponsoren. 

Zur Übersichtsseite ILT Institute for Lab Automation and Mechatronics