Und wieder ist eine Woche um! Im heutigen Wochenrückblick geht es um drei Nachrichten und einen Lesetipp.

MPT-30B

In fast jeder Woche erscheinen neue KI-Modelle. Seien es komplett neue Modelle wie Falcon oder Vertreter bestehender Modellfamilien wie das diese Woche veröffentlichte MPT-30B.

Konkurrenz belebt das Geschäft. Während Falcon-40B als eines der leistungsstärksten Open-Source-LLMs viele Benchmarks für sich entscheidet, ist das Deployment aufgrund der hohen Parameteranzahl teilweise mitunter herausfordernd. MPT-30B stellt sich hier als Alternative auf und gibt an, dass es auf einer A100-80G mit 16-Bit-Präsizion oder einer A100-40GB mit 8-Bit-Präsizion bereitgestellt werden kann. Ansonsten baut das Modell auf dem bereits vor einigen Wochen vorgestellten MPT-7B auf und wird durch seine Programmierfähigkeiten charaketerisiert, die durch die Auswahl der Trainingsdaten angelernt werden konnten. Das Modell ist wieder in verschiedenen Facetten verfügbar: als Basismodell, für Instruktionen optimiert oder für Chat optimiert.

SDXL 0.9

Stable Diffusion XL (SDXL) ist eine Weiterentwicklung aus dem Hause Stability AI. Deren erstes Produkt Stable Diffusion hat schon überzeugt, weil es eine Alternative zu OpenAI DALL-E war. Bei Stability AI werden öffentlichkeitswirksam die Entwicklungen im Blog vorgestellt und so war bereits SDXL Beta interessant, weil es nochmals die Fähigkeiten des Bildgenerators erweitert.

SDXL 0.9 ist nun der Nachfolger von SDXL Beta. Im Blogeintrag kann im direkten Vergleich nachvollzogen werden, dass SDXL 0.9 Bilder generiert, die deutlich besser zu den Bildbeschreibungen passen. Technisch wurde der Fortschritt durch eine Erhöhung der Parameterzahl erreicht. Mit 3.5 Mrd. Parametern als Basismodell und einer 6.6 Mrd. Parameter starken Ensemble-Pipeline handelt es sich dabei um das nach eigenen Angaben parameterstärkste Open-Source-Bildmodell. SDXL 0.9 ist bereits auf ClipDrop für den Einsatz verfügbar und kann über HuggingFace direkt bezogen werden.

Mercedes-Benz testet ChatGPT

Die Entwicklung der LLMs macht momentan vor den Systemen halt, bei denen man Sprachfähigkeiten am ehesten erwartet: Sprachassistenten auf Smartphones. Hier müssen wir uns bei den verbreiteten Systemen weiterhin noch auf die voreingestellten Fähigkeiten beschränken, die einprogrammiert wurden. Konkurrenz kommt nun von ungewohnter Seite: Mercedes-Benz hat in den letzten Tagen für die US-Kunden bekanntgegeben, in einer frühen Betaversion ChatGPT für die Sprachassistenz in ausgewählten Automodellen mit MBUX zu unterstützen.

Die Teilnahme an dem Programm ist optional. In der Pressemitteilung wird insbesondere der Datenschutz und die Hoheit über IT-Prozesse hervorgehoben. Technisch wird dieses Vorhaben über eine Kooperation mit Microsoft und dem Azure OpenAI Service umgesetzt.

Embeddings

KI ist ein sehr komplexes Thema, das viele Disziplinen umfasst. Umso wichtiger ist es, hochwertige Lernmaterialien zu beziehen. Vicki Boykis hat mit What are embeddings ein umfangreiches Handbuch ausgearbeitet, das sich mit einem wichtigen Kernelement beschäftigt, das LLMs heutzutage erst möglich macht. Konkret geht es dabei um Verfahren, natursprachliche Texte in Zahlen zu verwandeln, um sie mathematisch verarbeitbar zu machen.

Das Handbuch umfasst neben Erklärungen und mathematischen Hintergründen auch Codebeispiele, um selber einmal am Beispiel auszuprobieren, wie Embeddings konkret funktionieren.

Bis zur nächsten Woche!

Während der letzte KI-Wochenrückblick etwas kürzer ausfiel, da die gefühlt gesamte Tech-Welt nach Cupertino geschaut hat, gibt es in dieser Woche etwas mehr zu berichten. Starten wir also rein!

AI und Compliance

Üblicherweise steht bei Tech-Themen die Technologie im Vordergrund. Nicht so bei KI. Man kann es vielleicht dem Zeitgeist oder den Erfahrungen mit dem Internet zuschreiben, aber bei rechtlichen oder gesellschaftlichen Auswirkungen wird bei KI ein strenger Maßstab angelegt. So hat in dieser Woche das EU-Parlament den lange diskutierten AI Act eine Stufe weitergeschoben. Im wesentlichen bedeutet der AI Act, dass man nicht mehr jede beliebige KI-Anwendung auf den Markt werfen kann. Erfüllt eine Anwendung bestimmte Kriterien, müssen zusätzliche, bürokratische Schritte zur Qualitätssicherung und Folgenabschätzung vorgenommen werden. Welche Kriterien das sind und was daraus folgt, ist im aktuellen Prozess schwer zu verfolgen, reicht(e) aber von "ChatGPT wird praktisch verboten" bis "Es wird sehr aufwändig".

Besonders schwierig ist es, die Auswirkungen eines solchen Regelwerks anhand konkreter Beispiele nachzuvollziehen. Risihi Bommasani vom Stanford CRFM hat diese Woche auf Twitter demonstriert, wie das aussehen könnte. Er und sein Team haben für 10 verschiedene KI-Anbieter in einer Punktematrix dargelegt, wo welche Anbieter punkten und wo noch Nachbesserungsbedarf ist. Besonders gut kam BigScience (BLOOM) an, hier wurden 36 von 48 möglichen Punkten geholt, besonders bei "Data sources", "Data governance" und "Downstream documentation" konnte BigScience punkten.

Sehen, was der andere sieht

Typische Ermittlerdokus sind der KI schon seit Jahrzehnten voraus und können die Regeln von Raum und Zeit auf Überwachungsvideos außer Kraft setzen. Aktuelle Entwicklungen in der KI ziehen aber langsam nach. Mit Seeing the World through Your Eyes haben Alzayer et al. von der University of Maryland, College Park gezeigt, dass die Reflexion der Pupillen eines Menschen in Bildsequenzen genutzt werden kann, um das Gesehene aus seiner Perspektive als 3D-Modell abzubilden.

So wird "Point of View" real und kann benutzt werden, um Gegenstände, die die Person sieht, wiederzuerkennen. Natürlich ist die Technologie nicht perfekt und verfügt über eine geringe Auflösung, zeigt aber, dass in den verschiedensten Bereichen der Musterverarbeitung Entwicklung stattfindet. Dieses Paper setzt auch neuronale Netze lediglich am Rande ein, was noch einmal verdeutlicht, dass KI nicht nur aus LLMs und Transformers besteht.

LLMs und Secret Sauce

Nichtdestotrotz bleiben die LLMs ein Thema. Galine Alperovich hat im letzten Monat eine Zusammenstellung von Tricks veröffentlicht, um 100K Context Windows zu ermöglichen. Mit Claude haben wir bereits ein System gesehen, was so ein enormes Kontextfenster umsetzt, auch MPT weist mittlerweile Kontextfenster um die 65.000 Token auf.

Ihre dargelegten Hinweise können genutzt werden, um das Training von eigenen Modellen zu optimieren, denn das stellt heutzutage die große Kunst dar. Dass das Training generell möglich ist, haben wir gesehen. Es aber auch aufwandsarm umzusetzen, kann einerseits die Kosten senken, aber auch das Training für kleinere Akteure generell erst möglich machen.

Abschließend für den heutigen Wochenrückblick können wir auch nochmal auf OpenLLaMA schauen. Viele Teams haben sich in der Zwischenzeit rangesetzt, um Meta AIs Arbeit zumindest zu reproduzieren. Die Ergebnisse trudeln Woche für Woche ein. Seit dieser Woche sind nun auch die Gewichte für OpenLLaMA-13B auf HuggingFace verfügbar.

Bleiben wir gespannt, was uns auch die nächste Woche wieder an Neuigkeiten bringt!

Diese Woche war Tech-mäßig durch die WWDC 2023 dominiert. AI war bei Apple speziell bei macOS eher ein Randthema, das Augenmerk der Konferenz lag auf VR.

In aller Kürze also nun wichtige Nachrichten der Woche.

• Generative AI gibt es bei Google Vertex AI nun für alle. Das berichtet TechCrunch. Bisher waren die Systeme nur auf einen kleinen Kreis von "trusted testers" beschränkt, der Zugriff steht nun allen zur Verfügung.
• Orca von Microsoft wurde veröffentlicht. Dabei handelt es sich um ein 13 Mrd. Parameter starkes Modell, das insbesondere über verbesserte Schlussfolgerungsfähigkeiten verfügt. Damit soll Orca besser als Vicuna-13B und gleich auf mit ChatGPT bei z. B. dem BBH-Benchmark sein.
• Simon Willison hat in seinem Blog einen umfangreichen Artikel samt Demo veröffentlicht, in dem es um GPT-Tokenizers und deren Funktionsweise geht. Sehr sehenswert!

Bis zur nächsten Woche!