The paper “The Animal Whisperer Project” by Oliver Bendel and Nick Zbinden will be presented at ACI 2024, which takes place in Glasgow this December. It is a conference that brings together the small community of experts in animal-computer interaction and animal-machine interaction. This includes Oliver Bendel, who has been researching in this field since 2012, with a background in animal ethics from the 1980s and 1990s. He initiated the Animal Whisperer project. The developer was Nick Zbinden, who graduated from the FHNW School of Business. From March 2024, three apps were created on the basis of GPT-4: the Cow Whisperer, the Horse Whisperer, and the Dog Whisperer. They can be used to analyze the body language, behaviour, and environment of cows, horses, and dogs. The aim is to avert danger to humans and animals. For example, a hiker can receive a recommendation on his or her smartphone not to cross a pasture if a mother cow and her calves are present. All he or she has to do is call up the application and take photos of the surroundings. The three apps are available as prototypes since August 2024. With the help of prompt engineering and retrieval-augmented generation (RAG), they have been given extensive knowledge and skills. Above all, self-created and labeled photos were used. In the majority of cases, the apps correctly describe the animals‘ body language and behavior. Their recommendations for human behavior are also adequate.
Abb.: The Cow Whisperer in action (Image: DALL-E 3)
When humans come into contact with wildlife, farm animals, and pets, they sometimes run the risk of being injured or killed. They may be attacked by bears, wolves, cows, horses, or dogs. Experts can use an animal’s body language to determine whether or not danger is imminent. Context is also important, such as whether a mother cow is with her calves. The multimodality of large language models enables novel applications. For example, ChatGPT can evaluate images. This ability can be used to interpret the body language of animals, thus using and replacing expert knowledge. Prof. Dr. Oliver Bendel, who has been involved with animal-computer interaction and animal-machine interaction for many years, has initiated a project called „The Animal Whisperer“ in this context. The goal is to create a prototype application based on GenAI that can be used to interpret the body language of an animal and avert danger for humans. GPT-4 or an open source language model should be used to create the prototype. It should be augmented with appropriate material, taking into account animals such as bears, wolves, cows, horses, and dogs. Approaches may include fine-tuning or rapid engineering. The project will begin in March 2024 and the results will be available in the summer of the same year.
In einem aktuellen Projekt untersucht Prof. Dr. Oliver Bendel die Möglichkeiten und Grenzen der Funktion Be My AI der App Be My Eyes. Es handelt sich um eine GPT-4-basierte Entwicklung im Bereich der visuellen Assistenz für Blinde und Sehbehinderte. In der kleinen Studie werden eigene Tests beschrieben und ausgewertet. Zudem findet eine ethische und soziale Diskussion statt. Es zeigt sich die Mächtigkeit des Werkzeugs, das Standbilder auf eine erstaunliche Weise analysieren kann. Die Betroffenen erhalten eine neue Unabhängigkeit und eine neue Wahrnehmung ihrer Umwelt. Zugleich sind sie von der Weltanschauung und Moral des Anbieters bzw. Entwicklers abhängig, der ihnen bestimmte Beschreibungen vorgibt oder verweigert. Bei allen noch vorhandenen Schwächen und Fehlern wird deutlich, dass hier ein Paradigmenwechsel stattgefunden hat. In einem Ausblick der Studie wird deutlich gemacht, dass die Analyse von Bewegtbildern einen weiteren Sprung bedeuten wird. Man kann mit Fug und Recht behaupten, dass generative AI die Situation von Blinden und Sehbeeinträchtigten grundlegend verbessern kann und in unterschiedlicher Weise verändern wird. Die Ergebnisse des Projekts werden im Frühjahr 2024 veröffentlicht.
Be My AI is a GPT-4-based extension of the Be My Eyes app. Blind users take a photo of their surroundings or an object and then receive detailed descriptions, which are spoken in a synthesized voice. They can also ask further questions about details and contexts. Be My AI can be used in a variety of situations, including reading labels, translating text, setting up appliances, organizing clothing, and understanding the beauty of a landscape. It also offers written responses in 29 languages, making it accessible to a wider audience. While the app has its advantages, it’s not a replacement for essential mobility aids such as white canes or guide dogs. Users are encouraged to provide feedback to help improve the app as it continues to evolve. The app will become even more powerful when it starts to analyze videos instead of photos. This will allow the blind person to move through his or her environment and receive constant descriptions and assessments of moving objects and changing situations. More information is available at www.bemyeyes.com/blog/announcing-be-my-ai.
Stefan Sommer von der Süddeutschen Zeitung hat Prof. Dr. Oliver Bendel Fragen zu Hologrammen gestellt, die Tote auf Bühnen und in Filmen „lebendig“ machen sollen, und zu Apps, mit denen man sich und andere verewigen kann. Einführend bemerkte der Technikphilosoph zu den Hologrammen: „Meist handelt es sich um Projektionen, wobei man durchsichtige Vorhänge, Glas, Metall bzw. mit Metall beschichtete Oberflächen verwendet. Ich nenne sie auch Pseudohologramme oder Quasihologramme. Grundsätzlich hat man den Eindruck, dass sich ein Körper im Raum befindet. Sehr bekannt sind die Pseudohologramme von Tupac und Hatsune Miku. Der Unterschied ist, dass der Rapper verstorben war und durch die Technologie ‚wiederbelebt‘ wurde, Hatsune Miku aber nie gelebt hat – man hat zuerst ihre Stimme erfunden und später ergänzt durch das Pseudohologramm. Bei ABBA liegt der Fall wiederum anders. Die Mitglieder leben noch, haben sich aber unsterblich gemacht, wiederum mit Pseudohologrammen, die in einer speziell dafür konstruierten Bühne in London erscheinen. Ich habe eines der Konzerte besucht. Die Wirkung ist immens. Es sind alte Fans vor Ort, die spätestens bei ‚Dancing Queen‘ ihre Rollatoren wegwerfen und zu tanzen beginnen.“ Es folgten weitere Ausführungen zu den Apps und zum digitalen Nachlass. Mehrere Statements wurden für den Artikel „Jung, erfolgreich, tot.“ verwendet, der am 1. Juni 2023 im Onlinemagazin Jetzt der Süddeutschen Zeitung erschienen ist.
Junge Arbeitnehmerinnen und -nehmer verursachen infolge psychisch bedingter Probleme hohe Kosten auf gesellschaftlicher, betrieblicher und individueller Ebene. Trotzdem gibt es bisher in der Schweiz kein auf sie zugeschnittenes betriebliches Gesundheitsmanagement. Eine nichtnative App zur Unterstützung der Peer-Kultur in Betrieben bietet eine innovative Möglichkeit, die psychische Gesundheit der Jugendlichen nachhaltig zu stärken. Im Projekt „Betriebliche Gesundheitsförderung bei Jugendlichen“ der Gesundheitsförderung Schweiz, des IAP der ZHAW und des IWI der HSW (FHNW) wird seit 2012 der COMPANION entwickelt. Das IWI zeichnet für die technische Entwicklung (Leitung Prof. Dr. Rainer Telesko) und den informationsethischen und -logistischen Teil (Leitung Prof. Dr. Oliver Bendel) verantwortlich. Die Gesamtfördersumme beträgt CHF 291’896. Weitere Informationen über blogs.fhnw.ch/iwi (Link nicht mehr gültig).
