Kategorie
Forschung und Innovation
Keywords
Künstliche Intelligenz, Chatbots, Sprachmodelle, Technologieforschung, Maschinelles Lernen
Jahr
2024
Forscher haben eine einfache, aber effektive Lösung für ein kniffliges Problem entwickelt, das die Leistung großer Sprachmodelle wie ChatGPT verschlechtern kann.
Wenn eine menschlich-ki-Unterhaltung viele Runden kontinuierlichen Dialogs umfasst, beginnen die leistungsstarken maschinellen Lernmodelle, die Chatbots wie ChatGPT antreiben, manchmal zusammenzubrechen, was zu einem rapiden Verfall der Leistung der Bots führen kann.
Ein Team von Forschern des MIT und anderer Institutionen hat die überraschende Ursache dieses Problems identifiziert und eine einfache Lösung entwickelt, die es einem Chatbot ermöglicht, ohne Absturz oder Verlangsamung eine Nonstop-Unterhaltung aufrechtzuerhalten.
Ihre Methode beinhaltet eine Anpassung des Schlüssel-Wert-Caches (ähnlich einem Unterhaltungsgedächtnis), das vielen großen Sprachmodellen zugrunde liegt. In einigen Methoden werden bei Bedarf mehr Informationen im Cache gespeichert, als Kapazität vorhanden ist, die ersten Datenstücke jedoch verdrängt. Dies kann dazu führen, dass das Modell versagt.
Indem sichergestellt wird, dass diese ersten Datenpunkte im Gedächtnis verbleiben, ermöglicht die Methode der Forscher einem Chatbot, unabhängig von der Länge des Gesprächs weiter zu plaudern.
Die Methode namens StreamingLLM ermöglicht es einem Modell, effizient zu bleiben, selbst wenn ein Gespräch mehr als 4 Millionen Wörter dauert. Im Vergleich zu einer anderen Methode, die Abstürze vermeidet, indem sie einen Teil der vergangenen Gespräche ständig neu berechnet, war StreamingLLM mehr als 22 Mal schneller.
Dies könnte einem Chatbot ermöglichen, den ganzen Arbeitstag über lange Gespräche zu führen, ohne ständig neu gestartet werden zu müssen. Dies ermöglicht effiziente KI-Assistenten für Aufgaben wie Texterstellung, Bearbeitung oder Codegenerierung.
