Entlarvt! «Du siehst traurig aus.»

Dieser Bot erkennt, wie es Ihnen geht. Er liest Ihre Emotionen. Ein Dialog machts vor.

Feedback

Tragen Sie mit Hinweisen zu diesem Artikel bei oder melden Sie uns Fehler.

Das US-amerikanische Marktforschungsunternehmen Gartner hat 2016 eine erstaunliche Prognose gemacht: Chatbots – also text- oder sprachbasierte Dialogsysteme – würden im Jahr 2020 an 85 Prozent aller Interaktionen zwischen Unternehmen und Kunden beteiligt sein. In Zukunft würden Durchschnittspersonen sogar mehr Unterhaltungen mit einem Chatbot führen als mit ihrem Ehepartner.

Ob das wirklich so kommt, soll hier nicht beurteilt werden. Sicher ist, dass Chatbots immer weitere Fähigkeiten erlangen, was neue Einsatzgebiete eröffnet. Dank dem Zugriff auf umfangreiche Datenbanken, Sprachverständnis und künstlicher Intelligenz sind die Fähigkeiten digitaler Assistenten wie Siri, und Cortana oder von Chatbots im engeren Sinne wie Sergeant Star von der US-Armee durchaus beachtlich. Der Maschinenethiker Oliver Bendel von der Fachhochschule Nordwestschweiz (FHNW) in Brugg-Windisch lotet die Möglichkeiten und Grenzen solcher Systeme aus – und macht sich als Ethiker Gedanken über die potenziellen Gefahren.

Dialog mit Nutzer

Nun hat Bendel selbst einen webbasierten Chatbot names Bestbot entwickelt, der es in sich hat. Das Besondere am Bestbot ist, dass er mittels Gesichtserkennung die Emotionen des menschlichen Dialogpartners erkennt. Bis zu 20 Gefühlslagen kann er unterscheiden.

Ein Dialog mit dem Nutzer David lief zum Beispiel so ab:

David: Seit einiger Zeit fühle ich mich wertlos.

Bestbot: Okay, beruhige dich bitte erst einmal. Ich bin für dich da und kann dir helfen! Denkst du, du möchtest darüber mit einem Menschen reden?

David: Ja, möchte ich.

Bestbot: Okay, warte einen Moment, ich suche eine passende Kontaktnummer ... Ich sehe, du kommst aus der Gegend von Aarburg, daher kann ich dir eine Nummer in der Schweiz geben. Die Organisation Die Dargebotene Hand kann unter der Nummer 143 erreicht werden.

Etwas später am gleichen Tag:

Bestbot: Hallo, David, schön, dich wiederzusehen. Wie geht es dir?

David: Mir geht es gut.

Bestbot: Freut mich sehr, das zu hören. Aber hey, du siehst traurig aus, obwohl du ganz normal schreibst. Sehe ich das richtig?

Hier hat der Bestbot eine Dis­krepanz zwischen der Texteingabe von David und dessen Gesichtsausdruck erkannt. «Mit dem Bestbot wollten wir ganz bewusst ein System erfinden, das die Gefühlslage des Benutzers möglichst gut einschätzen kann», sagt Bendel. Tatsächlich nimmt der Bestbot mit der geschilderten Emotionsanalyse potenzielle Probleme des Nutzers zuverlässiger wahr als durch reine Textanalyse. «Allerdings muss man sich dafür der fragwürdigen Gesichtserkennung aussetzen. Sicherheit versus Freiheit ist ein altes Dilemma, das hier zutage tritt.»

Stimmungen der Menschen kann der Bestbot im Gesicht erkennen. Reuters

In dem Sinne ist der Bestbot eine moralische Maschine, in der eine unmoralische steckt: Er möchte nur das Beste für den Nutzer, dringt aber wegen der Gesichts- und Emotionserkennung tief in dessen Privatsphäre ein und könnte das Recht auf informationelle Selbstbestimmung untergraben. «Für mich ist der Bestbot ein bisschen wie eine Matrjoschka-Puppe. Aussen hui, und innen – komplex», sagt Bendel. «Selbst hier an der Hochschule haben wir unterschied­liche Positionen dazu.» Vorerst jedenfalls hat Bendel sich dazu entschlossen, den Bestbot im Labor zu behalten und nicht in die Öffentlichkeit zu entlassen.

Moralische Regeln

Beim Dialog mit dem Nutzer folgt der Bestbot einigen moralischen Regeln. So macht er dem Benutzer immer klar, dass er eine Maschine ist. Er nimmt die Probleme des Benutzers ernst, unterstützt ihn im Rahmen seiner Möglichkeiten und macht transparent, woher er seine Informationen bezieht. Mit diesen und weiteren Metaregeln und Ausschlussprinzipien lässt sich zum Beispiel auch verhindern, dass der Bestbot etwa rassistisch wird wie 2016 der Chatbot Tay von Microsoft.

Laut Bendel gibt es Institutionen, die Systeme wie den Bestbot künftig einsetzen könnten. Dazu gehören Jugendeinrichtungen. Sie könnten einen Chatbot mit Emotionsanalyse rund um die Uhr betreiben, um hilfesuchenden Jugendlichen im Notfall geeignete Ansprechpartner zu vermitteln. Bei Bewerbungsgesprächen kommt heute teils schon eine Art Chat mit Kamera zum Einsatz. Auch hier könnten Arbeitgeber versucht sein, eine Emotionsanalyse einzubauen.

Auch Kliniken könnten einen emotional intelligenten Bot auf ihrer Homepage als Anlaufstelle für Patienten anbieten. «Die Anforderungen an einen Chatbot wären allerdings sehr hoch, weil das Gespräch zwischen Arzt und Patient sehr sensibel ist», sagt Fabio Feubli, Leiter Digitale Services des Universitätsspitals Zürich (USZ). «Dazu sind die Systeme heute noch nicht ausgereift genug.» Auch würden die meisten Leute das USZ telefonisch kontaktieren oder direkt persönlich vorbeikommen. Daher werde das Thema Chatbot vom USZ derzeit nicht vertieft bearbeitet. «Selbstverständlich beobachten wir die Entwicklung von kon­versationellen User Interfaces weiterhin.»

In der Tat hat der Bestbot noch Schwächen, vor allem wegen der mit ihm verbundenen Systeme. «Diese können momentan gespielte Emotionen nicht von echten Emotionen unterscheiden», sagt Bendel. «Wenn ich gleich ein Attentat verüben möchte, aber lächelnd durch die Bahnhofshalle laufe, dann würde die Gefahr von der Analysesoftware nicht erkannt.» Ein Problem sei auch, dass Nutzer nicht immer emotionsgeladen vor dem Chatbot sitzen und manche Menschen praktisch immer ein Pokerface machen, egal, wie sie sich fühlen. Dann würde die Emotionserkennung keinen Zusatznutzen bringen.

Grafik vergrössern

Der Bestbot steht in einer Tradition anderer Chatbots, die Bendel bereits entwickelt hat. Angefangen hat das 2012 mit der Feststellung, dass vorhandene Chatbots bei gewissen Themen nicht adäquat reagieren. «Wenn wir eingegeben haben, dass ich mich ritzen will oder einen Amoklauf plane, haben sich die meisten Chatbots dafür nicht interessiert und das Thema gewechselt.» So hat Bendel 2013 den Goodbot entwickelt, der nach bestimmten moralischen Regeln agiert und dem Nutzer im Notfall weiterhilft, etwa mit einer Kontaktnummer.

2016 kam der nächste Schritt: Bendel hat den Liebot präsentiert, der mit sieben verschiedenen Strategien systematisch lügt – ein heikles Projekt. «Ähnlich wie bei der Erforschung der Kernspaltung besteht die Gefahr des Missbrauchs», sagt Bendel. «Im Prinzip könnte sich der Liebot als unmoralische Maschine in der Welt verbreiten und Schaden anrichten.» Aber Bendel glaubt, dass der Nutzen dieses Lügenbolds überwiege. «Mit dem Liebot wollten wir die Strategien des maschinellen Lügens aufzeigen und verstehen. So können wir Programmierer, Anbieter von Chatbots und die Nutzer auf die Gefahren hinweisen.»

Heikle Physiognomik

Beim Bestbot-Projekt hat Bendel zusammen mit seinem Programmierer David Studer die sieben Moralregeln des Goodbot auf deren zwölf erweitert und ihn mit Gesichts- und Emotionserkennung ausgestattet. Alle zehn Sekunden macht der Bestbot ein Foto des Nutzers und analysiert es. «Wenn man wegschaut oder sich vermummt, dann meckert er», sagt Bendel.

Problematisch ist der Bestbot laut Bendel insbesondere vor dem Hintergrund, dass immer mehr Überwachungssysteme auf Physiognomik setzen, also versuchen, aus dem Äusseren eines Menschen auf dessen Charakterzüge, politische Gesinnung oder Gewaltbereitschaft zu schliessen. «Auch wenn das in den meisten Fällen nicht funktioniert, ist es hoch problematisch», sagt Bendel. «Hat jemand bestimmte Gesichtsmerkmale und dazu noch Schweiss auf der Stirn, könnte das im Sinne der Physiognomik so interpretiert werden, dass er Böses im Sinn hat. Wenn das gemacht wird, dann wird es waghalsig, im öffentlichen Raum unterwegs zu sein.»

Auch daher hat Bendel den Bestbot nicht öffentlich zugänglich gemacht. «Man könnte uns vorwerfen, dass wir Ideen in die Welt setzen, die gefährlich sind. Ich würde sagen: Ja, stimmt, das kann ich nicht ganz ausräumen. Dennoch vertrete ich vehement die Position, dass wir so etwas im Labor herstellen dürfen und sollen. So können wir die Chancen und Risiken diskutieren, bevor etwas Vergleichbares in die Welt gelangt.»

(Redaktion Tamedia)

Erstellt: 13.12.2018, 09:57 Uhr

Bericht fordert strenge Regulierung von Emotionsanalyse

Gesichts- und Emotionserkennung sind eine grosse Herausforderung für die Gesellschaft und den Gesetzgeber, sagt das AI Now Institute der New York University in einem 60-seitigen Bericht. Die Kluft zwischen jenen, die künstliche Intelligenz (KI) entwickeln und davon profitieren, und jenen, die unter den potenziell negativen Auswirkungen leiden, würde sich immer weiter öffnen.

Dafür gebe es mehrere Gründe, etwa den Mangel an Regulierung durch Regierungen, un­genügende Grundsätze zur Unternehmensführung bei den KI-Firmen und die grosse Macht der Firmen im Vergleich zur betroffenen Bevölkerung. Dabei würde die KI der flächendeckenden Überwachung Vorschub leisten, wie sich in den USA, in China und in vielen anderen Ländern bereits zeige. Bedenklich sei auch, dass KI-Firmen neue Systeme einfach an den Menschen testen würden, ohne sich gross Gedanken über deren Risiken und die potenziellen Folgen bei einem Versagen der Technologie zu machen.

Um diesen und weiteren Gefahren der KI zu begegnen, geben die Autoren des Berichts insgesamt zehn Empfehlungen ab, darunter: Um die Interessen der Bevölkerung zu schützen, benötigen Gesichts- und Emotionserkennung eine strenge Regulierung. (red)

Bericht zum Download unter: ainowinstitute.org

Artikel zum Thema

Keine Panik, es ist nur künstliche Intelligenz

Wenige Technologien machen Menschen so viel Angst wie KI. Dabei kann sie bisher nicht einmal ein belegtes Brot von einem Vulkanausbruch unterscheiden. Mehr...

Wo künstliche Intelligenz den Alltag erleichtert

Gesichtserkennung, Übersetzungstools, Diagnose-Apps: Echter Fortschritt oder bloss Taschenspielertricks? Mehr...

Die Redaktion auf Twitter

Stets informiert und aktuell. Folgen Sie uns auf dem Kurznachrichtendienst.

Abo

Das digitale Monatsabo Light für Leser.

Nutzen Sie den «Bund» digital im Web oder auf dem Smartphone. Für nur CHF 19.- pro Monat.
Jetzt abonnieren!

Kommentare

Die Welt in Bildern

Mutprobe zur Ehrung des Schutzpatrons der Haustiere: Ein Mann reitet im spanischen San Bartolome de Pinares auf seinem Pferd durch ein Lagerfeuer. Die Tiere sollen durch den Rauch des Feuers im kommenden Jahr geschützt werden. (16. Januar 2019)
(Bild: Felipe Dana) Mehr...