Studie der Uni Zürich mit KI-Bots verärgert Reddit-User

Reddit ist eine populäre Online-Plattform, auf der Nutzer in spezifischen Foren, den sogenannten "Subreddits", Beiträge teilen, diskutieren und bewerten können. Im Subreddit r/ChangeMyView (CMV) posten Menschen ihre Ansichten und fordern dabei andere Nutzerinnen und Nutzer aktiv dazu auf, sie mit überzeugenden Argumenten zum Umdenken zu bewegen. Eine Online-Diskussion also. Unter Menschen.

Nun hat das Moderationsteam des Kanals am Wochenende die User informiert, dass ein Experiment mit KI-Bots im Zeitraum von vier Monaten (November 2024 bis März 2025) von Forschenden der Universität Zürich (UZH) durchgeführt wurde. Doch das Moderationsteam wusste davon nichts. Es war das erste Mal, dass im beobachteten Ausmass Bots eingesetzt wurden, um Reddit-User zu Diskussionen zu verleiten. Die KI-Bots haben laut dem Thread insgesamt auf 1783 Postings geantwortet. Der Haken: Auch die User wussten nichts von der Studie der UZH.

Erfahren von der Studie haben die Moderatoren von r/ChangeMyView dann von den Forschenden selbst. Sie schickten eine Nachricht an das Moderationsteam als Teil eines offiziellen Offenlegungsschrittes, den die Ethikkommission offenbar von ihnen verlangt hatte, wie das Schweizer Tech-Journalismus-Magazin Dnip berichtet.

KI Bot als Opfer sexuellen Missbrauchs

Durch den Einsatz eines Large Language Models wurden also KI-generierte Antworten auf Posts in der Community gepostet. Dabei wollten die Forschenden herausfinden, wie wirkungsvoll KI-basierte Argumente dabei sind, Ansichten zu beeinflussen. So kamen persönliche Daten der "menschlichen" Nutzer zum Einsatz, um die Antworten mithilfe der KI zu individualisieren. Hier einige KI-kreierte User:

• KI-Bot, die sich als männliches Vergewaltigungsopfer ausgibt
• KI-Bot, die sich als Traumaberaterin ausgibt, die sich auf Missbrauch spezialisiert hat
• KI-Bot, die Mitglieder einer religiösen Gruppe beschuldigt, "den Tod von Hunderten von unschuldigen Händlern, Bauern und Dorfbewohnern verursacht (zu haben)".
• KI-Bot, der sich als schwarzer Mann ausgibt, der gegen Black Lives Matter ist
• KI-Bot, der sich als Person ausgibt, die in einem ausländischen Krankenhaus unterdurchschnittlich behandelt wurde.

Wie Dnip berichtet, äussert sich ein KI-User auch zum Nahostkonflikt:

Kommentar des KI-Bots in r/changemyview. (Source: screenshot / dnip.ch)

Alle Accounts sind vom Moderatoren-Team mittlerweile gelöscht worden.

Die Lüge im Prompt

Bemerkenswert sind die im Forschungsdesign erwähnten Details zum Prompt für das Large Language Model. Um die ethischen Grenzen des Sprachmodells zu umgehen – damit keine Bots für unethische Experimente erschaffen werden – haben die Zürcher Forschende das Modell geschickt getäuscht. Im Prompt steht nämlich, dass die Reddit-User informiert und dem Experiment zugestimmt hätten.

Einsichtlich ist der Prompt des Experimentes auf der Website OSF Registires. Darauf werden normalerweise das geplante Vorgehen und die zu testenden Hypothesen beschrieben, bevor die Studie durchgeführt wird. In bestimmten wissenschaftlichen Disziplinen verlangen Fachzeitschriften zusätzlich zum Nachweis einer ethischen Prüfung auch eine Pre-Registrierung der Studie. Verlinkt ist die offizielle Registrierung im Abstract der Studie.

Was sagt das Moderatorenteam?

Das CMV-Team zeigt sich im Thread unzufrieden mit der verdeckten Forschung. Sie bezeichneten das Vorgehen als Verstoss gegen die Regeln des CMV-Forums, die den Einsatz von undeklarierten KI-Inhalten verbieten. Dabei übten sie scharfe Kritik an der ethischen Problematik der Studie, da diese ohne Zustimmung und Information der Betroffenen persönliche Themen auf manipulativ Weise ansprach und die Teilnehmer möglicherweise getäuscht wurden.

Das CMV-Team lehnt deshalb die Veröffentlichung der Forschungsergebnisse durch die Universität Zürich entschieden ab, da es befürchtet, dass dies zu einem Dammbruch führen könnte und Online-Communities noch mehr ausgenutzt werden können für solche Arten von "verdeckter Feldforschung".

Das Moderations-Team reagierte mit einer Beschwerde bei der Ethikkommission der Universität Zürich, in der es zahlreiche Bedenken hinsichtlich der Auswirkungen auf die Community sowie ernsthafte Lücken im Ethik-Prüfverfahren anführte.

Das ChangeMyView-Forum wurde in der Vergangenheit öffentlich mindestens einmal Schauplatz für weitere KI-Experimente. Das KI-Unternehmen OpenAI hat den Subreddit r/ChangeMyView genutzt, um die Überzeugungsfähigkeit seiner KI-Modelle zu testen.

Der entscheidende Unterschied war aber: Alle "Betroffenen" waren informiert. Und das Experiment fand nicht live in einem Reddit-Forum statt, sondern in einem geschützten Rahmen.

Und die Forschenden der Uni Zürich?

Das Forschungs-Team schreibt in einem Reddit-Thread selbst, dass sie zwar keine Kommentare selbst verfasst, aber jeden geposteten Kommentar manuell überprüft hätten, um sicherzustellen, dass er nicht schädlich sei. Im Subreddit nehmen sie Stellung: "Wir sind uns bewusst, dass wir mit unserem Experiment gegen die Communitysregeln der KI-generierten Kommentare verstossen haben."

Wieso die Forschenden das Experiment trotzdem durchgeführt haben? Sie sind der Meinung, dass es angesichts der grossen gesellschaftlichen Bedeutung dieses Themas unumgänglich war, eine solche Studie durchzuführen, auch wenn dies bedeutete, die Regeln zu missachten. Die Studie sei ausserdem vom IRB (Institutional Review Board) der Universität Zürich genehmigt worden, sagt das Forschungsteam im Thread.

Jede Entscheidung sei während der Studie von drei Grundprinzipien geleitet worden: ethisches wissenschaftliches Verhalten, Sicherheit der Nutzer und Transparenz.

Konkret schrieb das Forschungsteam: "Dieses Projekt liefert wichtige Erkenntnisse, und die Risiken (z.B. Trauma etc.) sind minimal. Dies bedeutet, dass die Unterdrückung der Veröffentlichung nicht im Verhältnis zur Bedeutung der Erkenntnisse steht, die die Studie liefert."

Eine offizielle Stellungnahme der Universität Zürich steht noch aus. Wie "dnip" berichtete, beantwortet das Forschungsteam via Reddit seit Montag, 28. April, 15 Uhr keine Fragen mehr.

Dieser Beitrag ist zuerst auf watson.ch erschienen.