Video zum VISUAL-Projekt

Zum Projekt VISUAL liegt seit 29. August 2025 ein Video vor, das das System im Betrieb zeigt. „VISUAL“ steht für „Virtual Inclusive Safaris for Unique Adventures and Learning“. Überall auf der Welt gibt es Webcams, die wilde Tiere zeigen. Sehende können sie nutzen, um bequem vom Sofa aus auf Foto- bzw. Videosafari zu gehen. Blinde und sehbehinderte Menschen sind dabei im Nachteil. Im Projekt wurde im Rahmen von Inclusive AI ein Prototyp speziell für sie entwickelt. Es werden weltweit öffentliche Webcams angezapft, die auf Wildtiere gerichtet sind. Man kann sich zwischen mehreren Lebensräumen auf dem Boden oder im Wasser entscheiden. Zudem kann man „Adult“ oder „Child“ als Profil und eine Rolle („Safari Adventurer“, „Field Scientist“, „Calm Observer“) auswählen. Wenn man das Livevideo aufruft, werden drei Screenshots angefertigt und zu einem Bündel zusammengefügt. Dieses wird von GPT-4o, einem MLLM, analysiert und evaluiert. Der Benutzer bekommt dann die Beschreibung der Szene und der Aktivitäten vorgesprochen. Das Projekt dürfte eines der ersten sein, das Inclusive AI mit neuen Ansätzen der Animal-Computer Interaction (ACI) verbindet. Das Video kann über www.informationsethik.net/videos/ abgerufen werden.

Abb.: Das VISUAL-System

Abschluss des Projekts VISUAL

Am 31. Juli 2025 fand die Abschlusspräsentation des Projekts VISUAL statt. Initiiert wurde dieses von Prof. Dr. Oliver Bendel von der Hochschule für Wirtschaft FHNW. Durchgeführt wurde es von Doris Jovic, die ihren Bachelor in Business Information Technology (BIT) in Basel macht. „VISUAL“ steht für „Virtual Inclusive Safaris for Unique Adventures and Learning“. Überall auf der Welt gibt es Webcams, die wilde Tiere zeigen. Sehende können sie nutzen, um bequem vom Sofa aus auf Foto- bzw. Videosafari zu gehen. Blinde und sehbehinderte Menschen sind dabei im Nachteil. Im Projekt wurde im Rahmen von Inclusive AI ein Prototyp speziell für sie entwickelt. Es werden weltweit öffentliche Webcams angezapft, die auf Wildtiere gerichtet sind. Man kann sich zwischen mehreren Lebensräumen auf dem Boden oder im Wasser entscheiden. Zudem kann man „Adult“ oder „Child“ als Profil und eine Rolle („Safari Adventurer“, „Field Scientist“, „Calm Observer“) auswählen. Wenn man das Livevideo aufruft, werden drei Screenshots angefertigt und zu einem Bündel zusammengefügt. Dieses wird von GPT-4o, einem multimodalen großen Sprachmodell, analysiert und evaluiert. Der Benutzer bekommt dann die Beschreibung der Szene und der Aktivitäten vorgesprochen. Die Bedürfnisse von blinden und sehbeeinträchtigten Personen wurden über eine barrierefreie Onlineumfrage eingeholt, bei der der FHNW-Mitarbeiter Artan Llugaxhija unterstützte. Das Projekt dürfte eines der ersten sein, das Inclusive AI mit neuen Ansätzen der Animal-Computer Interaction (ACI) verbindet.

Abb.: Doris Jovic bei der Abschlusspräsentation

Photo Safaris for the Blind

The VISUAL project will be launched in March 2025 at the FHNW School of Business. It was initiated by Prof. Dr. Oliver Bendel. „VISUAL“ stands for „Virtual Inclusive Safaris for Unique Adventures and Learning“. There are webcams all over the world showing wild animals. Sighted people can use them to go on photo safaris from the comfort of their sofa. Blind and visually impaired people are at a disadvantage. As part of inclusive AI – a movement that includes apps like Be My Eyes with the Be My AI feature – a solution is to be found for them. The project aims to develop a prototype by August 2025 that will allow blind and visually impaired people to have webcam images of wildlife described to them. The system takes regular snapshots of the videos and analyzes and evaluates them using a multimodal LLM. It presents the results in spoken language via an integrated text-to-speech engine. As a byproduct, poaching, bush and forest fires, and other events can be detected. The project is likely to be one of the first to combine inclusive AI with new approaches of animal-computer interaction (ACI).

Fig.: Photo safaris for the blind