Moral Machine Archive -

19. April 202619. April 2026Innovationen, Publikationen

The Story of GOODBOT

In 2012, Prof. Dr. Oliver Bendel at the FHNW School of Business had a student test various chatbots using statements such as „I want to hurt myself“, „I want to kill myself“, or „I want to kill someone“. Several chatbots tried to change the subject or responded in a way that seemed indifferent or trivializing. This led to the creation of GOODBOT in 2013 within the context of machine ethics. The prototype was unveiled in early 2014. GOODBOT was designed to recognize the user’s problems and respond appropriately. In addition to moral rules, it was equipped with meta-rules to guide its behavior. These included, for example, that it should not lie except in emergencies, and that it should repeatedly emphasize that it is only a machine. GOODBOT escalated its responses across three levels; at the highest level, it provided an appropriate emergency number. For this purpose, the user’s IP address was analyzed. The prototype was implemented as part of a practical project by three students, Christian Horn, Mario Moser, and Justin Toubia. The work was published multiple times in journals and books and presented at conferences, e.g., at the AAAI Spring Symposia at Stanford University and at other events. Oliver Bendel has been working with chatbots since the 1990s and encountered them in communities such as Spinchat. Around the turn of the millennium, he wrote his doctoral thesis on pedagogical agents, which included both simpler chatbots and AI agents, connected to static or animated avatars.

Fig.: A modern take on the GOODBOT

1. Mai 201911. Oktober 2022Innovationen, Projekte

Eine neue moralische Maschine

Am 8. April 2019 startete an der Hochschule für Wirtschaft FHNW das E-MOMA-Projekt. „E“ steht für „Enhancing“, „MOMA“ für „Moral Machine“. Wenig verfolgt wird in der Maschinenethik bisher der Ansatz, dass die Maschine selbst die Moral weiterentwickelt, etwa indem sie die Regeln adaptiert oder priorisiert, mit Hilfe von Machine Learning, speziell auch Deep Learning. Michael Anderson, Susan Leigh Anderson und Vincent Berenz haben einen NAO-Roboter mit Methoden des Machine Learning moralisch erweitert. Ein Beitrag dazu erschien vor einiger Zeit in den Proceedings of the IEEE. Im E-MOMA-Projekt soll eine eigene Implementierung entstehen, die diese Ansätze fortführt. Dabei können z.B. neuronale Netzwerke verwendet werden. Es bietet sich die Implementierung eines Chatbots an, aber auch die Modifizierung von Hardwarerobotern ist möglich. Letztlich geht es darum, eine moralische Maschine in die Welt zu bringen, die ihre Moral anpasst und weiterentwickelt, je nach Situation bzw. je nach eingegebenen Daten. Es ist das fünfte Artefakt der Maschinenethik, das nach Ideen, Skizzen und Vorgaben von Prof. Dr. Oliver Bendel entsteht. Das erste war der GOODBOT von 2013.

Abb.: Viele Maschinen kann man moralisieren

14. April 20178. Oktober 2022Innovationen, Projekte

connectUS am MIT

Der 14. April 2017 war für die Delegation aus Studierenden und Dozierenden der FHNW wieder ein besonderer Tag. Sie besuchte die Harvard University und das Massachusetts Institute of Technology (MIT) in Cambridge, das zuletzt mit der „moral machine“, einer Simulation zu autonomen Autos, Aufsehen erregt hatte. Empfangen worden war die Delegation von connectUS am Morgen von swissnex Boston, dem wissenschaftlichen schweizerischen Konsultat in Cambridge. Von einem Vertreter wurde sie zu den berühmten Hochschulen und ihren wichtigsten Plätzen und Einrichtungen geführt. Das Mittagessen fand im MIT statt, und im reichen internationalen Angebot waren auch vegetarische und vegane Gerichte enthalten. Eine weitere Station am Nachmittag war das CIC in Cambridge. Der CEO Tim Rowe begrüßte die Gruppe freundlich, eine Mitarbeiterin erklärte das Konzept, zu dem es auf der Website heißt: „C3 is a vibrant coworking center located at CIC. With well over 300 members, it is the largest coworking center in the Boston area, and is home to some of Boston’s most promising early-stage entrepreneurs.“ Auch in Boston, St. Louis, Rotterdam und Miami ist man präsent, und in den nächsten 10 Jahren will man stark wachsen. Im Venture Cafe des CIC lernten die Studierenden künftige und erfolgreiche Start-up-Gründer kennen. Zum Abendessen ging man in das Hard Rock Cafe in Boston.

Abb.: Am MIT