Nvidia führt Chatbot für PC-Nutzer ein

Nvidia kündigt die Einführung von Chat with RTX an, einer Anwendung, die es Benutzern von Windows-PCs ermöglicht, einen Chatbot mit eigenen Inhalten zu personalisieren, ohne auf Cloud-Server angewiesen zu sein. Das kostenlose Tool, das von Nvidia als Demo-Software vorgestellt wird, läuft auf PCs mit Grafikprozessoren der RTX 30-Serie oder neuer. Der Hersteller von Grafikchips hebt die Tatsache hervor, dass die Daten der Benutzer auf ihrem Gerät bleiben und somit die Weitergabe sensibler Daten verhindert wird.

Chat with RTX wurde entwickelt, um den Zugang zu Informationen zu erleichtern, und nutzt die Retrieval Augmented Generation (RAG) Technologie, die NVIDIA TensorRT-LLM Software und die hardwarebeschleunigenden Fähigkeiten der RTX Einheiten. So können Anwender ihre lokalen Dateien schnell mit Open-Source-Sprachmodellen wie Mistral oder Llama 2 verbinden. Mit dem Versprechen, schnelle und kontextbezogene Antworten zu erhalten. Bei der Frage "Welches Restaurant hat mein Partner empfohlen, als wir in Las Vegas waren?" analysiert Chat with RTX beispielsweise die lokalen Dateien und liefert eine relevante Antwort, wie die Ankündigung von Nvidia zeigt. 

Das Tool unterstützt eine Vielzahl von Dateiformaten, wie .txt, .pdf, .doc/.docx und .xml, und kann auch Informationen aus Videos und YouTube-Playlists einbeziehen. 

Das Demo-Tool weist jedoch einige Einschränkungen auf, wie der Fachnewsletter AlphaSignal feststellt. Dazu gehören Probleme bei der Quellenzuordnung, kontextlose Antworten und Abstürze bei grossen Datensätzen. Ausserdem ist die Installation recht ressourcenintensiv: Sie benötigt 40 GB Festplattenspeicher und verbraucht etwa 3 GB RAM.

Nvidia arbeitet auch mit der Swisscom zusammen, um eine Schweizer KI-Infrastruktur zu erschaffen. Mehr dazu lesen Sie hier.