Seit einigen Wochen veröffentliche ich den Wochenrückblick, in dem ich regelmäßig über aktuelle Nachrichten aus der KI-Welt berichte. Auch in dieser Woche gab es drei Neuigkeiten, die ich euch nicht vorenthalten möchte. Endlich gibt es auch wieder neue Modelle!

RWKV-Paper veröffenlicht

Nicht alles in der Welt der Large Language Models (LLM) beruht auf Transformers. Sie sind ein Weg, aber nicht der einzige. Das Team rund um Peng, Alcaide und Anthony hat mit Receptance Weighted Key Value (RWKV) eine neue Methode und Architektur entwickelt, mit der es möglich ist, LLMs über rekurrente neuronale Netze (RNNs) statt Transformer umzusetzen.

Der Hintergrund ist, dass beim Einatz von Transformern die Speicher- und Rechenkomplexität eine große Herausforderung darstellt. Sie wächst quadratisch, während RNNs ein lineares Wachstum aufweisen. RNNs mit klassischen Architekturen wiederum waren allerdings nicht so leistungsfähig wie gewünscht. RWKV versucht nun, die Leistungsfähigkeit bei RNNs deutlich zu verbessern, sodass sie mit Transformern mithalten und ihre Skalierungsvorteile ausnutzen können.

Die Ergebnisse wurden vorab in einem Preprint veröffentlicht und können z. B. auf Hugging Face ausprobiert werden. Der Code befindet sich auf GitHub. Schauen wir also, wie sich das Projekt in den nächsten Wochen entwickelt.

Falcon-Modelle erschienen

Wie bereits in den letzten Wochen erwähnt, entwickelt sich die LLM-Welt durch die Verbreitung der Open-Source-Modelle sehr schnell weiter. Für einige zu schnell und andere nutzen aktiv die Chancen aus. Meta geht aktuell eindeutig als Gewinner hervor, da LLaMA die Grundlage für viele andere erfolgreiche Entwicklungen bildet. Der Vorteil von LLaMA ist, dass hier die Gewichte für ein sehr leistungsfähiges Modell bereitstehen. Dementsprechend nahm bisher LLaMA auch einen der führenden Plätze auf dem Open LLM Leaderboard ein.

Konkurrenz kommt nun aus Abu Dhabi vom Technology Innovation Insitute (TII). Ein Team des Forschungsinstituts hat nun ein neues Modell unter dem Namen Falcon veröffentlicht, welches bei den Metriken AI2 Reasoning Challenge, HellaSwag und MMLU bessere Werte einfährt. Einzig bei TruthfulQA haben llama-65b und llama-30b-supercot noch die Nase vorn.

Bereitgestellt wird das Modell unter der "TII Falcon LLM License", einer modifizierten Apache-2.0-Lizenz, das Paper erscheint demnächst. Verfügbar ist Falcon mit 40 Mrd. Parametern und mit 7 Mrd. Parametern.

Gerichtsakten erfunden

LLMs sind Sprachmodelle. Das bedeutet, ihr Ziel ist es, bestimmte Inhalte in einer natürlichen Sprache auszugeben - unabhängig vom Wahrheitsgehalt, der Semantik. Als Nebenprodukt können sie einige ausgewählte Fakten wiedergeben.

Dieser Umstand ist und bleibt nur wenigen bewusst. Viele denken, mit ChatGPT & Co. könnte man recherchieren. Das ist aber falsch, denn wenn keine Document Retrieval integriert ist und richtig funktioniert, wird ein LLM eine Lösung ausgeben, die zwar schön klingt, aber nicht unbedingt stimmt. Im Podcast habe ich beiläufig mal erwähnt, dass damit eine Patentrecherche nahezu unmöglich wird, aber ich hätte nie gedacht, dass sowas in freier juristischer Wildbahn eingesetzt wird.

Nun, ich wurde eines besseren belehrt. ChatGPT wird noch zu häufig als Suchmaschine zweckentfremdet und gibt dann falsche Ergebnisse aus. Besonders bemerkenswert: in diesem und dem Betrugsüberprüfungsfall aus letzter Woche wurde die Plausibilitätsprüfung ebenfalls an ChatGPT übergeben. Wie soll ein Modell auf "Stimmt das, was du sagst?" überhaupt antworten?

Bleibt zu hoffen, dass wir auch in der kommenden Woche über viele interessante neue Methoden und Modelle und weniger über die Falschbedienung von LLMs berichten können.

Es wird ruhiger im Umfeld der künstlichen Intelligenz, aus diesem Grund wird es in diesem Wochenrückblick mehr um Anwendungen als Grundlagenforschung gehen.

DarkBERT

In dieser Woche hat DarkBERT die Runde gemacht. Dabei handelt es sich um ein Sprachmodell der RoBERTa-Klasse, das von Forschern aus Südkorea speziell auf Darknet-Inhalte trainiert wurde. Ziel soll es sein, die Umgangsformen in diesen schwerer zugänglichen Netzwerken analysieren zu können. Aus diesem Grund wird das Modell auch nicht veröffentlicht.

Mich hat diese Nachricht in erster Linie an das Projekt GPT-4chan von Yannic Klicher erinnert. Wenig überraschend ist es daher, dass auch dieses Modell in einigen Metriken besser abschneidet als die weitverbreiteten LLMs.

Drag Your GAN

KI besteht nicht nur aus LLMs, das habe ich schon öfter erwähnt. In den letzten 5 Jahren dominierten vor allem die Generative Adverserial Networks (GANs), die sich mit der gezielten Generierung und Manipulation von Bildern beschäftigt haben.

Hier gibt es mit dem Paper Drag You GAN gute Neuigkeiten: Forscher vom Max-Planck-Institut, vom MIT und Google haben eine Methodik entwickelt, mit der es möglich ist, interaktiv und Punkt-basiert Änderungen an Fotos umzusetzen. Damit kann einfach ein Gesicht verschoben oder ein zugekniffenes Auge im Sonnenlicht wieder aufgeklappt werden. Gut, dass es hier auch weitergeht.

KI-Detektoren klassifzieren

In dieser Woche kursierte besonders die Nachricht, dass ein texanischer Professor Studenten mithilfe von ChatGPT zu überführen glaubte, indem er ChatGPT gefragt hat, ob Hausarbeiten der Studenten vom einem LLM geschrieben wurden. Das LLM tat das, was es besonders gut konnte und halluzinierte. Studenten mussten um ihre Noten und sogar ihre Abschlüsse fürchten. Durch die nun erlangte Aufmerksamkeit wurde nun eine Klärung herbeigeführt.

Dass von diesen angeblichen KI-Klassifikatoren im aktuellen Zustand nicht viel zu halten ist, unterstreicht auch das aktuelle Paper GPT detectors are biased against non-native English writers. Es geht dem Umstand nach, dass die Detektoren genau die Texte fälschlich als KI-generiert klassifzieren, die von Nicht-Muttersprachlern stammen. Einerseits führt das zu False Positives und bietet andererseits Angriffspotential, um KI-generierte Texte zu verschleiern. Alles in allem kein gutes Ergebnis für die Detektoren.

An dieser Stelle wird auch eine übliche Schwäche des Lernens aus Beispielen in Verbindung mit neuronalen Netzen deutlich. Oftmals weiß man nicht, was genau gelernt wird und das lässt sich auch schwer herausfinden, Stichwort Explainable AI. Man glaubt, herausgefunden zu haben, was KI- und Nicht-KI-Texte unterscheidet, kann in Wirklichkeit aber nur zwischen "sprachlich geschliffenen" und "sprachlich nicht-geschliffenen" Texten unterscheiden.

Es ist also noch viel zu tun und wir können gespannt bleiben, was auch die kommende Woche uns bringt!

Diese Nachricht ist insbesondere für alle Testing-Nutzer von Bedeutung: Arch Linux wird die Repositories umstellen, die für den Bezug der Testing-Pakete erforderlich sind.

Hintergrund ist die Migration von SVN auf Git in der Infrastruktur von Arch Linux. Dazu werden von Freitag, dem 19. Mai 2023 bis Sonntag, dem 21. Mai 2023 die Repositories eingefroren - das Arch Linux Packaging Team wird in der Zeit keine neuen Pakete bereitstellen können. Durch die Umstellung werden der SVN-Zugriff sowie der svn2git-Mirror obsolet.

Nach der Umstellung werden die Testing- und Staging-Repositories aufgespaltet und das Community-Repository aufgelöst:

• [testing] wird aufgeteilt in [core-testing] und [extra-testing]
• [staging] wird aufgeteilt in [core-staging] und [extra-staging]
• [community] wird in [extra] überführt

Nutzer von Arch Linux müssen auf die Änderungen folgendermaßen ab Montag, dem 22. Mai 2023 reagieren:

• (Optional) für alle Nutzer: in der /etc/pacman.conf kann der [community]-Abschnitt entfernt werden.
• Für Testing-Nutzer: in der /etc/pacman.conf müssen der Abschnitt für [testing] entfernt und zwei neue für [core-testing] und [extra-testing] hinzugefügt werden. Das gleiche muss, wenn eingesetzt, für das Staging-Repository unternommen werden.

Wer als Nutzer von Arch Linux keine Testing-Repositories einsetzt, muss kurzfristig auch nichts unternehmen, da das Extra-Repository nun auch alle Pakete des Community-Repositories führt. In einer Übergangsphase werden die drei nun aufgelösten Repositories (community, testing, staging) leer ausgeliefert. Mittelfristig sollten diese Repositories aber aus der /etc/pacman.conf entfernt werden, um Fehler zu vermeiden, wenn die Bereitstellung endet.

Weitere Inforamtionen zur Umstellung sind in der Mitteilung von Arch Linux vom 15. Mai 2023 zu finden.

In dieser Woche fasse ich mich mit dem Wochenrückblick recht kurz, im Wesentlichen war die Woche vom Google-Event geprägt.

Google I/O

Wer die KI-Entwicklung der letzten Wochen und Monate beobachtet hat, wird bemerkt haben, dass Google bisher mit der Veröffentlichung von Modellen und Projekten zurückhaltender war. Mit der Google I/O hat sich Google allerdings wieder vermehrt an die Öffentlichkeit gewagt, wie sich im umfangreichen Blogartikel lesen lassen kann.

Im Vordergrund stand insbesondere PaLM 2, welches laut Vorstellungsbeitrag besonders in drei Punkten nachzieht: Multilingualität, Schlussfolgerung und Coding. Letzter Punkt mag interessant sein, da wir in der letzten Woche sehen konnten, wie viele Open-Source-Coding-LLMs veröffentlicht wurden. PaLM 2 soll bereits schon in 25 (neuen) Google-Produkten arbeiten.

LLaMA-13B auf 6-GB-Grafikkarten

Während Google PaLM 2 vorstellt, aber die Gewichte nicht veröffentlicht, geht die Entwicklung bei den offeneren Modellen ungebremst weiter. Insbesondere die Zugänglichkeit im Bezug auf die Ressourcen wird laufend verbessert.

LLaMA-13B (13 Mrd. Parameter) wurde nun im Rahmen des llama.cpp-Projekts so eingesetzt, dass es auf einer NVIDIA RTX 2060 mit 6 GB VRAM lauffähig wird. Damit werden nicht nur die kleinsten Modelle auf normaleren Grafikkarten betreibbar, sondern auch die etwas größeren Modelle.

OMR23 mit dem Thema KI

Wie letzte Woche schon angekündigt, war ich diese Woche auf der OMR. Der Fokus der Konferenz lag dieses Jahr - wie konnte es anders sein - auch auf dem KI-Themenkomplex und so haben sich viele Vorträge daran ausgerichtet.

Einige der Vorträge können online abgerufen werden, darunter der von Jonas Andrulis von Aleph Alpha oder der von Philipp Justus und Zeina Hatem von Google. Das ist für alle interessant, die sehen wollen, wie die KI-Firmen diese Thematik betrachten.

Schauen wir auch diese Woche wieder, was uns die neue Woche bringt. Es bleibt spannend!