AWS gewöhnt KI-Modellen das Halluzinieren ab

An die 60'000 Besucherinnen und Besucher aus aller Welt haben Anfang Dezember 2024 in Las Vegas an der Re:Invent, der Entwicklermesse von Amazon Web Services (AWS), teilgenommen. Der Hyperscaler nutzt die Konferenz traditionsgemäss, um eine Vielzahl an Neuheiten zu präsentieren. Wie schon vergangenes Jahr stand auch 2024 das Thema künstliche Intelligenz (KI) im Mittelpunkt.

Sehr viel mehr Rechenpower

Manche 2023 vorgestellte Dienste entwickelte AWS zwischenzeitlich weiter oder gab sie für die allgemeine Nutzung frei. So gab AWS-CEO Matt Garman in seiner Keynote etwa die allgemeine Verfügbarkeit von Trn2 bekannt, einer vergangenes Jahr vorgestellten Cloud-Architektur zum Entwickeln von KI-Modellen. Trn2-Instanzen werden von 16 der AWS-eigenen Trainium2-Chips angetrieben, die AWS selbst als KI-Beschleuniger bezeichnet. Diese können bis zu 20,8 Petaflops pro Sekunde berechnen, wie der AWS-Mitteilung zu entnehmen ist.

Noch mehr Rechenpower liefert der von AWS ebenfalls präsentierte Trn2-Ultraserver: Ganze 64 Trainium2-Chips werkeln darin, die zusammen über 83 Petaflops an F8-Leistung erbringen. Die Ultraserver befinden sich aktuell in der Preview-Phase.

Zu den Gästen, die CEO Matt Garman während seiner Keynote auf die Bühne holte, gehörte Benoit Dupin, Senior Director of Machine Learning and AI bei Apple. Sein Unternehmen teste aktuell den Trainium2-Chip, um das KI-Training zu skalieren, zu beschleunigen und die Kosten zu senken, erklärte der Gast dem Publikum.

 Benoit Dupin, Senior Director of Machine Learning and AI, Apple. (Source: zVg)

Doch es geht noch leistungsstärker. Das wurde klar, als Garman auf das KI-Start-up Anthropic zu sprechen kam, bekannt für sein KI-Modell Claude. AWS hat 2024 schon an die 8 Milliarden US-Dollar in das Unternehmen gesteckt. In seiner Präsentation stellte der AWS-CEO Project Rainier vor. Dabei handelt es sich um ein für Anthropic entwickeltes, immenses Cluster miteinander verbundener Trn2-Ultraserver, welches Hunderttausende Trainium2-Chips enthalte, sagte Garman. Das Project-Rainier-Cluster werde die fünffache Rechenleistung des Clusters erbringen, welches Anthropic aktuell für sein KI-Training nutze. "Ich bin super gespannt darauf, was Anthropic aus einem so grossen Cluster herausholt", kommentierte der CEO.

Übrigens erwähnte der AWS-CEO auch schon den Nachfolger von Trainium2: Der Trainium3-Chip, der voraussichtlich per Ende 2025 verfügbar sein soll, ist der erste AWS-Chip, der auf 3-Nanometer-Prozessortechnologie basiert, wie Garman ausführte. Ein Chip alleine soll doppelt so viel Rechenleistung liefern wie ein Trainium2. Und Trainium3-betriebene Ultraserver seien gar viermal leistungsfähiger als Trn2-UltraServer.

Viel mehr als Nova

Von allen Gästen, die Garman willkommen hiess, erhaschte Andy Jassy den wohl lautesten Applaus des Publikums. Auf der Bühne stand der Amazon-CEO, um "Nova" vorzustellen, dem in sechs Varianten erhältlichen KI-Basismodells seines Unternehmens, über das Sie hier mehr erfahren. Er bewarb aber auch die Sprachassistentin Alexa sowie die unlängst gestartete Amazon Shopping-KI Rufus.

Andy Jassy, CEO von Amazon. (Source: zVg) 

Hilfreich sei der Assistent zum Beispiel dann, wenn ein Kunde ein Produkt suche, jedoch dessen Name nicht kenne. Es sei ein wenig wie das Beratungsgespräch mit einem Verkäufer in einem Laden, erklärte der Amazon-CEO. Der Kunde könne im Gespräch mit gezielten Fragen mehr über das gewünschte Produkt herausfinden. Ein Unterschied sei, dass Rufus im Vergleich zum Verkäufer nicht plötzlich davon eile. "Rufus bleibt während des gesamten Prozesses für Sie verfügbar und wird nie die Arbeitsstelle wechseln", so Jassy.

Doch Amazons Nova und Anthropics Claude waren nicht die einzigen KI-Modelle, die im Rahmen der Re:Invent-Keynotes zur Sprache kamen. Swami Sivasubramanian, der KI-Chef von AWS, stellte gleich mehrere grosse Sprachmodelle vor, die bald schon auf der AWS-KI-Plattform Bedrock verfügbar werden. Das Start-up Poolside etwa lanciert KI-Modelle zur Unterstützung von Entwicklern: Sie produzieren nicht nur Code, sondern unterstützen auch beim Testen oder beim Dokumentieren. Der populäre Bildgenerator Stable Difusion steht Bedrock-Usern bald in Version 3.5 zur Verfügung. Und von Luma AI wiederum kommt eine auf Video-Erstellung spezialisierte KI.

Swami Sivasubramanian, Vice President of AI and Data bei AWS. (Source: zVg)

Bald schon soll sich die Liste beliebig fortsetzen lassen. Denn Sivasubramanian verkündete auch den Start des "Bedrock Marketplace". Darauf erhalte man künftig Zugang zu über 100 spezialisierten KI-Basismodellen, die sich dann mit weiteren auf der Bedrock-Plattform verfügbaren Tools kombinieren lassen.

Massschneidern und absichern

Doch die Wahl des geeigneten Modells ist nur ein Schritt hin zur perfekten, effizienten KI-Anwendung. Auch hier versucht AWS, in die Bresche zu springen. An der Re:Invent stellte das Unternehmen neue Möglichkeiten vor, um Modelle auf bestimmte Einsatzzwecke hin zu optimieren. Eine dieser Funktionen heisst "Model Distillation". Dabei lassen sich KI-Modelle anhand spezifischer Fragen und Antworten auf einen bestimmten Einsatzzweck hin optimieren.

Garman erklärte diesen Prozess an der Keynote wie folgt: "Sie nehmen ein grosses KI-Modell wie etwa Llama 405B. Diesem hochgradig leistungsfähigen Modell senden Sie alle Ihre Prompts, die Sie ihm vielleicht stellen wollen. Dann nehmen Sie alle Daten und die Antworten, die Sie zurück erhielten, und verwenden sie zusammen mit den gestellten Fragen, um ein kleineres Modell zu trainieren, wie beispielsweise Llama 8B. So erhalten Sie dieses kleinere, schnellere Modell, das genau weiss, wie man diese eine bestimmte Gruppe von Fragen richtig beantwortet." Dieser Prozess habe in der Vergangenheit zwar gut funktioniert, sei aber schwierig zu bewerkstelligen gewesen, sagte der AWS-CEO. Mit der neuen Funktion in der Bedrock-Plattform werde "Model Distillation" deutlich einfacher. Es reiche, die Beispiel-Prompts zu erstellen – "und Bedrock erledigt den Rest für Sie", so Garman. Die entstehenden massgeschneiderten KI-Modelle laufen laut seinen Angaben bis zu 500 Prozent schneller und könnten bis zu 75 Prozent Betriebskosten sparen.

Matt Garman, CEO von AWS. (Source: zVg) 

Einen weiteren Applaus erntete Garman für die Ankündigung von "Bedrock Automated Reasoning checks". Das neue Feature überprüfe die von KI-Modellen erstellten Antworten auf ihre faktische Richtigkeit und soll dabei helfen, die bei grossen Sprachmodellen auftretenden Halluzinationen zu verringern. Die Funktion basiere auf "soliden, mathematischen Überprüfungen", sagte Garman. Zudem zeige sie genau, wie sie zu ihrem Urteil gekommen sei.

Als Beispiel nannte der AWS-Chef ein Versicherungsunternehmen, welches einen KI-Chatbot anbieten möchte, der seiner Kundschaft Fragen zu ihren Policen beantwortet. Bedrock dürfte etwa eine halbe Stunde benötigen, um für ein solches Szenario die "Automated Reasoning Checks" einzurichten. Dabei stelle das System dem Unternehmen, also der Versicherung, ein paar Fragen, um die Unternehmensdaten verstehen zu können. Ist die Funktion einmal aktiviert, überprüft sie alle vom Chatbot generierten Antworten auf ihre faktische Korrektheit. Dem fragenden Kunden leite das System nur dann Antworten weiter, wenn es deren Richtigkeit zu 100 Prozent bestätigen könne. Ansonsten schlage es dem Kunden alternative Prompts vor.

"Das ist eine Fähigkeit, die Sie nirgendwo anders bekommen können, und wir glauben, dass sie Kunden bei der Integration von Inferenzen in unternehmenskritische Anwendungen wirklich helfen wird", gab sich Garman überzeugt.

Die "Reasoning Checks" sind Teil von "Bedrock Guardrails", einem Set von Tools zum Absichern von KI-Anwendungen. Die Funktion steht laut AWS aktuell als Preview zur Verfügung.

An der Re:Invent 2024 traf die Redaktion auch auf Chris Keller, der unter anderem das Schweizer AWS-Geschäft verantwortet. Welche Neuigkeiten er besonders spannend findet und wie es dem Channel geht, verrät er ihm Interview, welches Sie hier lesen können.