In dieser Woche gab es spannende Neuigkeiten von Meta AI und aus der Welt der Regulierung.

Llama 2

Einen Paukenschlag gab es in dieser Woche von Meta AI: Llama 2 wurde veröffentlicht mit einer Lizenz, die explizit auch die kommerzielle Nutzung erlaubt. Die Gewichte können auf Antrag gemäß den Nutzungsbestimmungen heruntergeladen werden. Verfügbar ist das Modell mit 7, 13 oder 70 Mrd. Parametern. Es wird eine Kontextlänge von bis zu 4096 Token unterstützt. Trainiert wurde das Modell auf über 2 Billionen Tokens. Das Finetuning wurde einerseits überwacht (SFT) und andererseits auf menschlichen Präferenzen (RLHF) vorgenommen.

Im Wettbewerb der LLMs geht es weiter um die Stellung der Vorherrschaft. Wer das beste Modell möglichst frei zur Verfügung stellt, bildet einen wichtigen Ankerpunkt, auf dem Forscher ihre Arbeiten aufbauen. Das ist auch bei kommerziellen Interessen sinnvoll, da eine große Nutzerbasis erreicht werden kann, die innovative Forscher und Entwickler hervorbringt, die wiederum den Ruf und die Marktposition des Unternehmens stärken.

Meta Platforms erhält nun die Möglichkeit, vom einstiegen Social-Media-Riesen zum Multimedia-Konzern aufzusteigen, der die Möglichkeiten hat, alle Medien zu bedienen. Die AI-Abteilung hat sich einen guten Ruf gemacht und versucht diesen nun im stark umkämpften Feld der LLM-Foundation-Models zu verteidigen. Dass Meta AI sich dieser Situation bewusst ist zeigt auch der Vergleich zwischen Llama 2 und MPT-7B, Vicuna-13B oder Falcon-40B im eigenen Paper zu Llama 2.

WormGPT

Dass LLMs auch für zweifelhafte Zwecke eingesetzt werden können, sollte jedem von Anfang an klar gewesen sein. In meinen Augen kann so etwas auch gar nicht durch Embargos verhindert werden, da es bei Technologien immer Akteure gibt, die sich nicht an die Regeln halten. Vielmehr sollten Gegenmaßnahmen eingesetzt werden, die auf die Ursache abzielen und nicht nur die Symptome bekämpfen.

SlashNext gibt in einem Blogeintrag einen interessanten Einblick in ein LLM-System mit dem Namen "WormGPT". Es soll auf dem 2021 erschienenen GPT-J aufbauen, um BEC-Tasks aufzuführen, also Business E-Mail Compromise. Da LLMs besonders dazu in der Lage sind, Texte nach bestimmten Stilen oder Gattungen zu entwerfen, kann ohne entsprechende Sicherheits-Checks ein System auf bösartige Aufgaben trainiert werden, um zum Beispiel eine Nachricht im Stil des eigenen Chefs oder Kunden zu schreiben.

Ratschläge, besonders auf die Rechtschreibung von eingehenden, echt aussehenden E-Mails zu achten, laufen mit der aktuellen Entwicklung somit zunehmend ins Leere. Bleibt also nur noch die Ursachenbekämpfung, der mit z. B. einem Konzept, das auf digitale Signaturen aufbaut, oder weiteren innerbetrieblichen Abläufen begegnet werden kann, damit nicht auf einfache Anweisung riesige Summen ins Ausland überwiesen werden.

Selbstverpflichtung

Der Wunsch der Politik, mit der Regulierung dem technischen Wandel Schritt halten zu können, wurde auch in dieser Woche spürbar. Sieben große AI-Organisationen, darunter Google, OpenAI und Anthropic, haben sich gegenüber der US-Regierung zu Risikomanagement verpflichtet. Dieses soll auch Tests und den Austausch mit Behörden und Gesellschaft einschließen.

Damit lässt sich in westlichen Ländern der Trend beobachten, die Gefahren, die sich aus der Entwicklung ergeben, möglich schnell eindämmen zu können. Andererseits - und auch das ist Bemerkenswert - verpflichten sich die Unternehmen zur Entwicklung von Systemen, um Herausforderungen in der Gesellschaft anzugehen. Statt also nur KI einzuschränken, soll die Entwicklung aktiv forciert werden.

Besonders die Kennzeichnung von KI-Inhalten wird diskutiert. In meinen Augen gibt es hier Vorteile wie Nachteile. Einerseits ist es sinnvoll, zu wissen, auf welcher Basis bestimmte Texte entstanden sind (ich schreibe diese Zeilen gerade zum Beispiel selber), andererseits werden Lösungen damit gefördert, die in einer weiteren Ausbaustufe jeden Datensatz personifiziert zuordenbar machen, was zunehmend den Datenschutz aushölt.

Diese Woche zeigt nichtsdestotrotz, dass es im hohen Tempo weitergeht und jede Woche einige Überraschungen bereithält - wie diese Woche Llama 2. Schauen wir also, was uns auch die nächste Woche bringt!

Heute habe ich die Timeline aktualisiert, die einen Überblick über aktuelle und wichtige Modelle gibt. Es wird schnell ersichtlich, dass wir uns in der KI-Welt mittlerweile wieder in der Detailarbeit befinden und der große Schub an neuen LLMs immer weiter abnimmt. Aber was hat uns diese Woche beschert?

"Low Ressource" Text Classification

Diese Woche wurde ein Paper diskutiert, das recht unscheinbar daherkommt: "Low Resource" Text Classification: A Parameter-Free Classification Method with Compressors. Kurz gefasst wollen die Forscher die Tatsache feiern, dass ihr Modell weniger ressourcenintensiv ist.

Dafür haben sie eine reizend unaufwändige KI-Methode für Textklassifikation vorgestellt, die eine vergnügliche Kreuzung aus einem simplen Kompressor - ähnlich wie gzip - und einem k-Nearest-Neightbor-Klassifikator ist. Und das spannendste an der Sache? Sie kommt komplett ohne Trainingsparameter aus. Was für eine erfrischende Neuheit, denn das Modell spielt etablierte Konkurrenten wie BERT auf allen fünf OOD-Datensätzen gnadenlos aus.

Was uns das Paper zeigt, ist, dass nicht alles nur durch Deep Neural Networks beherrscht wird. Wer eine clevere, einfache Methode entwickelt, kann trotzdem erstaunliche Ergebnisse erreichen. Der Quellcode für das Verfahren ist beachtenswert kurz und unter GitHub abrufbar.

x.AI

Wer sich noch an den Anfang von OpenAI erinnern kann, wird um die Rolle von Elon Musk wissen. Er hat sich für OpenAI eingesetzt und viele Ressourcen bereitgestellt. Später kam der Rückzug aus OpenAI und eine auf Twitter propagierte kritischere Haltung gegenüber dem Start-up.

Mittlerweile baut Elon Musk fleißig die Infrastruktur rund um Twitter um, welches zunehmend einfach nur noch als "X" bezeichnet wird. Im April kam die Nachricht über eine große Bestellung von Grafikkarten durch Twitter. Jetzt dürfte klar sein, welche Richtung eingeschlagen wird.

xAI soll ein Unternehmen werden, das die wahre Natur des Universums verstehen möchte, wie auf der Landing Page auf x.ai bekannt gegeben wird. Neben der Zielsetzung werden auf der Seite noch einige Informationen über das Team bereitgestellt, wobei schnell klar wird, dass viele Leute, die zuvor bei DeepMind, OpenAI und in den Research-Abteilungen von Microsoft und Google gearbeitet haben, am Start-up mitarbeiten. xAI ist zwar ein getrenntes Unternehmen, soll aber eng mit Twitter und Tesla zusammenarbeiten. Noch gibt es keine genauen Informationen, was geplant ist, wir können aber mehr hierzu in den nächsten Wochen erwarten.

OpenOrca

Vor einigen Wochen habe ich bereits berichtet, dass Microsoft eine Methode veröffentlicht hat, mit der sehr leistungsstarke LLMs mit wenigen Parametern trainiert werden können. Das Team von OpenOrca hat bereits vor einigen Tagen das gleichnamige Dataset auf Hugging Face gezeigt, nun folgte in dieser Woche die Veröffentlichung des ersten eigenen richtigen Modells, OpenOrca-Preview1-13B.

Das Team von OpenOrca nutzt das Dataset, um in dem Modell ein LLaMA-13B entsprechend finezutunen. Dabei wurden bisher weniger als 6% des Datensatzes zum Training eingesetzt und dieser Release soll nur als Vorschau einen Einblick in den aktuellen Entwicklungsstand geben.

Es bleibt also weiterhin spannend. Neue Methoden und Techniken ermöglichen hochwertige und leistungsstarke Modelle, die es auch mit ihrer proprietären Konkurrenz aufnehmen können. Schauen wir, was uns auch nächste Woche erwartet!

Langsam kündigt sich, wie wir heute in den Nachrichten sehen werden, in der KI-Welt eine kleine Sommerpause an, sodass es etwas ruhiger wird. In dieser Woche hat OpenAI wieder für die eine oder andere Schlagzeile gesorgt, weswegen sich der Wochenrückblick speziell darauf konzentrieren wird.

Vermuteter ChatGPT-Traffic geht zurück

Traffic von fremden Webseiten zu messen ist eine gar nicht so einfache Angelegenheit. Am Ende des Tages weiß nur der Betreiber der Webseite, wie viele Inhalte er an wie viele IP-Adressen ausgeliefert hat, woraus man eine Nutzerzahl abschätzen kann. SimilarWeb ist ein Dienstleister, der sich auf Schätzungen über den Traffic externer Webseiten spezialisiert hat und nimmt dafür Ersatzmetriken zur Hilfe.

Über ChatGPT berichtet SimilarWeb nun, dass der Traffic von Mai zum Juni hin um etwa 10 Prozent gesunken sein soll. Die Anzahl der einzigartigen Nutzer soll um etwas über 5 Prozent, die auf der Webseite verbrachte Zeit um etwa 8 Prozent gesunken sein.

Unabhängig von den Zahlen kann ich den Trend nachvollziehen. Einerseits zeichnet sich die Sommerpause ab, in der viele im Urlaub sind und den Dienst weniger beruflich "ausprobieren". Andererseits weiß der beträchtlich große Nutzerkreis von ChatGPT mittlerweile um die Funktionen des LLM, weshalb die Neugier der Nutzer vermutlich abnimmt. ChatGPT kommt nun langsam als klassisches Werkzeug im Mainstream an.

GPT-4 API für alle

Passend dazu hat OpenAI die API für GPT-4 nun von der Warteliste befreit und stellt den Dienst für alle Nutzer bereit. Ob es einen Zusammenhang zur vorherigen Nachricht mit den dadurch frei werdenden Ressourcen gibt, werden wir sicherlich nie erfahren, aber schon bei früheren Diensten wie DALL-E hat OpenAI nach einer anfänglichen Startphase die künstliche Verknappung über die Warteliste auslaufen lassen.

In der dazugehörigen Blognachricht wurde gleichzeitig angekündigt, die Completions-API Anfang 2024 aufzugeben. An dieser Stelle wird wieder deutlich, wie sehr OpenAI auch weiterhin ein Start-up ist. War das bisherige API-Konzept mit GPT-3 auf die Vervollständigung von Anfragen ausgelegt, hat sich dies durch den plötzlichen Erfolg von ChatGPT stark verändert. LLMs agieren interaktiv und können auf Folgefragen antworten. Dies wird offenbar durch die Chat-API am besten repräsentiert, weswegen OpenAI sich hierauf jetzt konzentriert. Die Änderungen wurden schon im OpenAI Playground wirksam.

ChatGPT Code Interpreter

Ich kann mich noch gut an den Dezember 2022 erinnern, als ein Artikel über eine [imaginäre virtuelle Maschine innerhalb des neuen LLMs ChatGPT] die Runde machte. Daraufhin habe ich mir ChatGPT erstmals genauer angesehen. Damals hat sich ChatGPT eine VM halluziniert, ein Verhalten, das zeitnah leider schon eingedämmt wurde. Mittlerweile wurde aber aus der Fiktion Realität: ChatGPT Plus verfügt Berichten und einem Tweet zufolge nun über ein Plugin, dass es ermöglicht, Code innerhalb einer Sandbox auszuführen.

Damit wird ChatGPT noch leistungsfähiger und kann für immer mehr Aufgaben eingesetzt werden. Das war bisher eine Herausforderung, aber auch ein Forschungsthema, das bezogen auf Tools auch mit dem Toolformer oder Visual ChatGPT zu interessanten Ergebnissen führte. Auf diese Weise kann ChatGPT auch deterministischer werden: so braucht ChatGPT ggfs. für eine komplexe Aufgabe nur den benötigten Code generieren - die Berechnung wird dann in der Sandbox vorgenommen und kommt zu den Ergebnissen mit der nötigen Präzision.

Schauen wir auch in der nächsten Woche, mit was für Fortschritten und spannenden Nachrichten wir rechnen können.