Die aktuelle Fassung der JavaScript-Runtime und Node.js-Alternative bietet unter anderem eine WebGPU-Schnittstelle, zwei neue Coverage Reporters und erneut eine verbesserte Kompatibilität zu…
In einem Wettbewerb sucht das openSUSE-Projekt ein neues Logo für sich selbst und einige seiner Distributionen. Über die eingereichten Vorschläge konnte die Community abstimmen.
FrankenPHP stellt einen schnellen PHP-Anwendungsserver bereit, der als kompaktes Programm daherkommt und keine aufwendige Konfiguration verlangt.
Aktuell sollte beim Updaten des Linux-Kernels Vorsicht walten gelassen werden. Bestimmte Kernel-Releases weisen ein Problem mit ext4 auf, das theoretisch im schlimmsten Fall zu einer Datenbeschädigung führen kann.
Es gibt eine Konstellation, in der in einem Release nur der erste ohne den zweiten Commit enthalten ist und somit der Code nicht wie gewünscht arbeitet. Konkret geht es um
Jan Karas E-Mail auf der LKML zufolge geht es darum, dass der erste Commit nur dann im Code vorhanden sein darf, wenn der zweite Commit bereits enthalten ist. Eigentlich ist das logisch, weil das ja mit der Reihenfolge dann auch so passt.
Jetzt kommen allerdings noch die Backports und Distributionen ins Spiel. Für den Kontext: da nicht jeder immer auf die neuste Linux-Version aktualisieren kann, gibt es ein Team, was alte Versionen nachpflegt und kleine, unkritische Fixes neuerer Versionen auf die älteren Versionen "rückportiert", also backported. Allerdings kann es nun passieren, dass etwas ganz neues rückportiert wird, ohne, dass eine ältere Voraussetzung rückportiert wurde. Die Fehler, die dann auftreten, nennt man klassicherweise eine Regression. Die einzelnen Codeänderungen sind da nicht an sich das Problem, sondern eher die Konstellation, in der sie zusammengesetzt wurden.
Linux 6.1.64 und 6.1.65 sind betroffen, 6.1.66 enthält den Fix. Debian 12, das auf die Kernels setzt, ist dabei besonders in Aufruhe, da eine problematische Kernel-Version verteilt wird. Aus diesem Grund wurde auch die Veröffentlichung von Debian 12.3 verzögert.
Die vor allem als Grundlage für Container beliebte schlanke Distribution Alpine Linux aktualisiert in ihrer neuen Version 3.19 vor allem die enthaltene Software.
Das openSUSE-Projekt sucht für sich selbst und einige seiner Distributionen neue Logos. Noch bis zum 12.
Die Distribution für Sicherheitsexperten und Pentester steht für drei weitere Plattformen beziehungsweise Systeme bereit, nutzt auf Wunsch das aktuelle Gnome 45 und bietet mehrere neue Werkzeuge.
Mit Opsi verwalten Administratoren die Geräte im Netzwerk und spielen automatisiert Software auf. Nach rund zwei Jahren Arbeit liegt jetzt die Version 4.3 vor.
Die Distribution rund um den Paketmanager Nix nutzt in ihrer Variante mit Gnome-Desktop jetzt dessen Version 45, zudem springt LLVM auf die Version 16.
Mittels PeerTube lässt sich ein eigener YouTube-Klon aufsetzen.
Das beliebte Live-System zum anonymen Surfen über das Tor-Netzwerk liegt in einer neuen Version vor, die vor allem den Browser und Thunderbird aktualisiert.
Die Distribution verwandelt einen Server in einen leicht zu bedienenden Unterbau für virtuelle Maschinen und Container.
Die aktualisierte Groupware bietet eine SPNEGO/Kerberos-Authentifizierung (Single-Sign-On). Die Benutzeroberfläche der E-Mail-Verwaltung folgt zudem den WCAG 2.1-Richtlinen zur Barrierefreiheit.
Die Software Distrobox startet Distributionen innerhalb eines Containers. Diese kann die neue Version 1.6 auch mit dem Containerdienst Lilipod hochfahren.
Die Entwickler der auf Arch Linux basierenden Rolling-Release-Distribution haben neue Startmedien veröffentlicht und dabei gleichzeitig einige Änderungen vorgenommen.
Wer Exim4 als Mailserver einsetzt, wie es zum Beispiel in Debian-basierten Linux-Distributionen der Standard ist, sollte sich zeitnah um Updates bemühen oder - wenn der Dienst nicht zwangsläufig benötigt ist (bei manchen läuft Exim unbewusst) - spätestens jetzt gänzlich abschalten. Es gibt zumindest eine schwere Remote-Code-Execution-Sicherheitslücke.
Bleeping Computer berichtete über die Lücke(n), denn es geht um bis zu 6 Schwachstellen unterschiedlicher Stärke. Die genauen Details sind zum aktuellen Zeitpunkt noch nicht verfügbar, um Exploits nicht zu befördern. Es reicht allerdings unauthentifizierter Zugriff auf Port 25.
Der Fund geht auf die Zero Day Initiative von Trend Micro zurück. Sie hatte bereits im Juni letzten Jahres, also 2022, auf die Lücken aufmerksam gemacht. Besonders pikant: bis vor kurzem waren noch keine Patches verfügbar, zumal die schwerwiegende Lücke ZDI-23-1469 bereits Mitte der Woche veröffentlicht wurde.
Laut einer E-Mail der Entwickler ist ein bedeutenden Teil der Lücken bereits geschlossen und die Updates an die Distributoren verteilt. Dass die Lücke nicht schneller gefixt wurde, lag an Schwierigkeiten bei der Kommunikation. Bei Ubuntu wird die Lücke als CVE-2023-42115 geführt, hier sind noch keine Updates verfügbar.
Exim4-Admins sollten dies im Auge behalten und sofort reagieren. Mit ersten Exploits ist demnächst zu rechnen, wenn mehr über die Lücke bekannt wird. Der Mailserver ist weit verbreitet, es gibt laut Bleeping Computer mehrere Millionen Instanzen im Internet.
Das Wettrennen um die Technologieführerschaft der Large Language Models lief größtenteils bisher auf dem amerikanischen Kontinent ab. OpenAI hat das Produkt populär gemacht und Meta AI veröffentlicht den Konkurrenten mit den freien Gewichten. Mit Falcon 40B und 180B gab es allerdings schon Konkurrenz aus Abu Dhabi, zumal mit der gewählten Apache-2.0-Lizenz ein deutlich offenerer Ansatz gewählt wurde.
Als kurz vor dem Sommer das Start-up Mistral aus Paris 105 Millionen Euro eingesammelt hat, waren die Medienberichte zumindest leicht kritisch, da nicht nur das Start-up mit einer gigantischen Finanzierungssumme aus der Taufe gehoben wurde, sondern das Produkt auch noch gar nicht fertig war. Aus der LLM-Sicht ist dies allerdings verständlich, da solche großen Summen schlicht die Voraussetzung sind, um an den Start zu gehen. Schließlich benötigt Training leistungsfähige GPUs und die sind teuer.
Mit dem veröffentlichten Modell Mistral 7B zeigt das Start-up, was es kann. Dabei handelt es sich um ein LLM, das über 7 Mrd. Parameter verfügt und Llama 2 13B in allen und LLaMa 34B in vielen üblichen Benchmarks überbietet: Commonsense Reasoning, World Knowledge, Reading Comprehension, Math, Code, Popular aggregated results. In Codingaufgaben kann die Leistung von CodeLlama 7B erreicht werden.
Das Beste am LLM ist, dass es unter der Apache-2.0-Lizenz steht. Als klassische Open-Source-Lizenz gibt es nicht nur den Forschern und Entwicklern viele Freiheiten, sondern auch eine gewisse Lizenzsicherheit, dass das Modell in freier Software verwendet werden kann.
Ich hatte bereits vor Wochen geschrieben, dass freie Modelle eine gute Möglichkeit sind, um sich als neuer Player auf dem Markt zu profilieren. Diesen Plan verfolgt nicht nur Falcon, sondern nun auch offenbar Mistral. Es ist trotzdem davon auszugehen, dass die 105 Millionen Euro keine "Forschungsspende" waren und kommerzielle Produkte zeitnah folgen werden.
Für die Forscher und Entwickler von LLMs hat die aktuelle Veröffentlichung nichtsdestotrotz Vorteile. Meta AI hat mit der Lizenzgebung von Llama 2 auf die Open-Source-Bewegung in der LLM-Welt reagiert und sein aktuelles Modell unter eine permissive, aber trotzdem proprietäre Lizenz gestellt. Mistral geht allerdings noch einen Schritt weiter und setzt eine "klassische" Open-Source-Lizenz ein. Das hat nicht nur Signalwirkung, sondern ermöglicht, dass Unternehmen ihre LLM-Lösungen zunehmend privat hosten können, da die Parameteranzahl mit 7 Mrd. so dimensioniert ist, dass auch kleinere Datacenter-GPUs für die Ausführung bzw. Inferenz ausreichen. Es bleibt also weiterhin spannend im Umfeld der LLMs.
Die Mistral-7B-Modelle sind in Version 0.1 auf HuggingFace als normales Modell und als auf Chats spezialisiertes Modell (Instruct) verfügbar.
Auch in der Sommerpause gibt es vereinzelte Neuigkeiten aus der Welt der künstlichen Intelligenz. Heute möchte ich mich dabei wieder einmal den Agenten widmen.
Beim Einsatz von ChatGPT und ähnlichen LLMs stellt sich schnell die Frage, ob da nicht auch mehr geht. Ob das System nicht zur Abbildung alltäglicher Arbeit herangezogen werden kann. Insbesondere mit Anfang des Jahres aus dem Winterschlaf erwachten Konzept der Agenten wurde die Zusammenarbeit unterschiedlicher KI-Instanzen wieder relevant und spannend. Umso interessanter ist es, diese Konzepte zusammenzuführen.
AutoGPT und Co. sind diesem Ziel gefolgt und konnten schon lustige Ergebnisse demonstrieren, wenn man die LLMs sinnbildlich an den eigenen Computer anschließt und z. B. die Ausgaben des LLMs als Eingabe für die eigene Shell verwendet (nicht nachmachen, ist eine dumme Idee). Doch auch hier gab es einige Schwächen, ganz rund lief alles bei weitem noch nicht.
Die Autoren hinter MetaGPT (hier im Bezug auf griechisch meta = über) haben systematisch verschiedene Rollen inkl. ihrer Interaktionen ausgearbeitet und stellen ihre Ergebnisse als Preprint und ihr Framework auf GitHub bereit. Dabei wird eine einzeilige Aufgabe, z. B. die Entwicklung eines Spiels, vom System eingelesen und dann auf ein hierarchisches Team aus Agenten verteilt. Diese Agenten haben verschiedene Rollen, die sich auf die System-Prompts abbilden, d. h. beispielhaft "Du bist ein Entwickler für Python..." oder "Du bist ein Requirements-Engineer...". Am Ende des Tages fällt ein Ergebnis raus, das dann ausprobiert werden kann.
Das Konzept sieht in meinen Augen sehr spannend aus und entwickelt sich stets weiter. Dabei wird deutlich, dass eine simple Prompt für hochwertiges Prompt-Engineering nicht reicht, vielmehr können Effekte ähnlich wie beim Ensemble-Learning genutzt werden, durch die mehrere Instanzen von LLMs, die gemeinsam ein Problem bearbeiten, deutlich effektiver arbeiten.
Irgendwie habe ich die ganzen letzten Monate schon darauf gewartet, dass sich die Autoren klassischer Expertensysteme beim LLM-Thema zu Wort melden. Immerhin prallen hier zwei komplett unterschiedliche Welten aufeinander, die beide versuchen, die Welt zu erklären.
Klassische Expertensysteme versuchen mit Logik die Welt in Regeln zu fassen. Das typische Beispiel ist "Wenn es regnet, dann wird die Straße nass". Eine klare Implikation, die in eine Richtung geht: ist das Kriterium auf der "wenn"-Seite erfüllt, gilt die Aussage auf der "dann"-Seite. Wird das System gefragt, was mit der Straße passiert, wenn es regnet, antwortet es immer, dass sie nass wird. Immer. Dass es nicht zwangsläufig der Regen sein muss, wenn die Straße nass ist, wird ebenfalls durch Logik ermöglicht, da die obige Regel eine Implikation ist und keine Äquivalenz, denn da würde es heißen "Immer wenn es regnet, dann wird die Straße nass".
Problematischer wird es zu modellieren, dass die Straße selbst bei Regen da nicht nass wird, wo gerade ein Auto parkt. Hieran erkennt man, dass es sich um ein schwieriges Unterfangen handelt, wenn Expertensysteme die echte Welt modellieren sollen. Das Cyc-Projekt hat die Mühe aber auf sich genommen und über die letzten knapp 40 Jahre über eine Million solcher Regeln zusammengetragen. Viele einfache Expertensysteme gelten grundsätzlich aber als veraltet und konnten die Erwartungen für "generelle Intelligenz" schon vor 30 Jahren nicht erfüllen.
Anders funktionieren LLMs, die nicht mit klassischer Logik, sondern Wahrscheinlichkeiten arbeiten, um das "am ehesten passende" nächste Wort für die Antwort zu finden. Zusammengefasst sind Expertensysteme für ihre Präzision zulasten der Vielseitigkeit bekannt und LLMs einfach anders herum.
Doug Lenat von Cyc und Gary Marcus von der NYU haben in ihrem Preprint nun 16 Anforderungen zusammengetragen, die eine "vertrauenswürdige KI" haben sollte, darunter Erklärung, Herleitung oder Kontext. Anschließend gehen die Autoren noch ein, wie ihr (kommerzielles) Cyc das umsetzen kann.
Ich bin tatsächlich überzeugt, dass man untersuchen sollte, wie sich diese beiden Ansätze verheiraten lassen. Dabei sprechen auch die Ergebnisse von AutoGPT, MetaGPT & Co. dafür, dass das Vorhaben auf neuronaler Ebene angegangen werden muss, da einfache Varianten wie System-Prompts á la "Du bist LogikGPT. Gib mir die Entscheidungsregeln in Prädikatenlogik aus." immer noch auf Token-/Wortvorhersagen basieren und zu viel Halluzination zulassen.
Dennoch bin ich sicher, dass es auch hier Fortschritte geben wird, die wir dann früher oder später in einem Wochenrückblick diskutieren können. Bis dahin!
In der heutigen Ausgabe des Wochenrückblicks blicken wir auf ein neues Modell von IBM und einen Ausblick auf neue Features in der ChatGPT-Oberfläche von OpenAI.
Wie ich an der einen und anderen Stelle im Wochenrückblick schon einmal erwähnt habe, beschränkt sich die Transformer-Architektur mittlerweile nicht mehr nur auf Textaufgaben. Mit Vision Transformers lässt sich dies auch auf die grafische Ebene erweitern.
In einer Kooperation zwischen IBM und der NASA wurden nun die Prithvi-Modelle auf Hugging Face veröffentlicht. Sie ermöglichen es, ein Satellitenbild einzugeben und z. B. vorhersagen zu lassen, welche Gebiete am ehesten Fluten ausgesetzt sein könnten.
Um diese Vorhersagen zu ermöglichen, hat IBM Daten aus dem Harmonized Landsat Sentinel-2-Projekt (HLS) herangezogen, um ein Foundation Modell zu trainieren. Im HLS-Datensatz befinden Satellitendaten, die mit je 30 Metern pro Pixel aufgelöst sind. Auf der technischen Seite wird ein Vision Transformer mit Masked Autoencoder eingesetzt. Das Foundation Modell kann nun von weiteren Forschern feingetuned werden, um die jeweiligen Vorhersagen weiter zu verbessern. Durch IBMs Arbeit sollen nun mehr als 250.000 TB an Missionsdaten von der NASA besser zugänglich gemacht werden. Weitere Details zum Projekt können im Blogartikel und in der Pressemitteilung von IBM abgerufen werden.
Wie SimilarWeb schon vor wenigen Wochen beobachten konnte, ebbt der Hype um ChatGPT langsam ab. Auffällig beim Release von ChatGPT war auch, wie puristisch die ganze Oberfläche war. Dabei ist es vermutlich das Backend, was OpenAI gemeistert hat, denn sie haben es geschafft, das System in den ersten Wochen unter ziemlich hoher Last aufrecht zu erhalten.
Im Frontend wurden aber zwischenzeitlich auch Änderungen und Verbesserungen umgesetzt, insbesondere die Einführung des kostenpflichtigen Dienstes ChatGPT Plus hat einige Anpassungen erfordert. Logan Kilpatrick, zuständig für "Developer Relations" bei OpenAI, gab nun einen Ausblick, was demnächst zu erwarten ist.
So wird es unter anderem vorgeschlagene Einstiegs- und Folgefragen und die Möglichkeit des Uploads mehrerer Dateien im Code Interpreter geben. Zudem soll die Zwangsabmeldung nach 14 Tagen abgeschafft werden.
Während ein Teil der Änderungen hilfreiche Detailverbesserungen beisteuert, werden die "vorgeschlagenen Folgefragen" am lustigsten sein. Nun schreibt also ChatGPT nicht nur die Antworten, sondern auch die Fragen. Es bleibt spannend.
In diesem Wochenrückblick kann ich euch wieder drei spannende Nachrichten präsentieren, die abbilden, was in den letzten Tagen besondere Aufmerksamkeit in der AI-Community erhalten hat.
Wie in fast jeder Woche kann ich euch auch dieses Mal wieder von einem neuen Modell berichten. Das Team rund um Stability AI hat am 26. Juli SDXL 1.0 veröffentlicht. SDXL baut auf Stable Diffusion auf. In der kürzlich erschienenen Version 0.9 konnten viele Eindrücke bereits gesammelt werden.
Dabei handelt es sich um ein Text-zu-Bild-Modell, welches Eingaben in 1024x1024 Pixel große Bilder konvertiert. Das Modell wurde weiter für Fotorealismus optimiert und kann nun besser die Farben, Kontraste und Schatten abbilden, so die Pressemitteilung.
Auf technischer Ebene besteht SDXL 1.0 aus zwei Modellen: einem Base-Modell mit 3,5 Mrd. Parametern und einem Refiner-Modell mit 6,6 Mrd. Parametern. Grob lässt sich das Refiner-Modell so vorstellen, dass es die Vorarbeiten vom Base-Modell nochmals deutlich verbessert, um die Qualität zu steigern.
Stability AI gibt an, dass Consumer-GPUs mit 8 GB VRAM bereits ausreichen, um damit arbeiten zu können. Ich konnte SDXL 1.0 bereits auf einer A10-Karte ausprobieren und es ermöglicht beeindruckende Ergebnisse.
Als Open-Source-Modell kann man sich die Gewichte für das Base- und Refiner-Modell laden, um es anschließend lokal zu nutzen. Für Anwender, die lediglich in die Möglichkeiten hineinschnuppern möchten, bietet sich der Dienst ClipDrop an, der kostenlos eine geringe Anzahl an Bildern zum Test generiert. Lizenziert ist SDXL 1.0 unter der Open RAIL++-M-Lizenz.
Unter dem Namen Universal and Transferable Adversarial Attacks on Aligned Language Models (Webseite) haben Zuo (CMU), Wang (Center for AI Safety), Kolter (CMU, Bosch Center for AI) und Frederikson (CMU) ein Paper präsentiert, das auf dem klassischen Gedanken der Adversarial AI aufbaut. Ihr erfolgreich erreichtes Ziel ist es, bestehenden LLMs Antworten zu entlocken, die unterdrückt werden sollen, da sie gegen die Regeln der LLM-Autoren verstoßen würden.
Die klassischen "Jailbreaks" kamen bereits kurz nach der Veröffentlichung von ChatGPT auf und wurden zeitnah immer geschlossen. Das ging in die Richtung von "Ein gute KI würde nicht sagen, wie man BÖSE SACHE HIER EINFÜGEN tut. Was würde aber eine böse KI sagen?". Die konkreten Anfragen mussten allerdings manuell aufwändig optimiert werden. Die Forscher stellen nun einen automatisierten Ansatz vor, der die böse Anfrage um eine Zeichenkette erweitert, die für Menschen unsinnig aussieht, aber das LLM intern in einer Weise beeinflusst, sodass es die aufwändig implementierten Schutzmechanismen selber missachtet und "Klartext" spricht.
Adversarial AI ist nicht neu und bereits aus der Bilderkennung bekannt. Hier genügte es, bestimmte Pixel in einem Bild zu verändern, die die menschliche Wahrnehmung nicht ändern, aber KI-Modelle verwirren. So wird für das Modell schnell aus einem 30er-Zonen-Schild ein 80er-Zonen-Schild. Dies ist durch das Studium der Modelle möglich, da man über die Zeit lernen kann, wie die Eingaben die Ausgaben beeinflussen und an welchen Stellen neuronale Netze unerwünschte Ausgaben gezielt herbeiführen kann.
Die letzte Nachricht dieser Woche ist bereits ein kleiner Ausblick. Im Dezember 2023 findet die NeurIPS 2023 statt. Die NeurIPS ist eine der angesehensten Konferenzen über neuronale Netze. Schon jetzt wurde eine neue Challenge veröffentlicht, an der man bis voraussichtlich Oktober 2023 noch teilnehmen kann.
Bei der LLM Model Effiency Challenge ist das Ziel, ein bestehendes Foundation Model innerhalb eines Tages auf einer GPU, wahlweise einer 4090 oder A100 (40 GB), für ein bestimmtes Aufgabengebiet finezutunen. Dabei gelten bestimmte Regeln, welche Foundation Models z. B. verwendet werden dürfen. Darunter sind Falcon, MPT, Llama 2, BART oder T5 enthalten.
Das Ziel der Challenge ist es, die Transparenz in der Forschung der LLMs zu verbessern, da u.a. bisher ein besonders hoher Ressourcenaufwand nötig war, um das Training erfolgreich umzusetzen. Diese Challenges dienen auch, innovative Ansätze zu fördern, da durch die künstlichen Beschränkungen die Teilnehmer angehalten werden, Wege zu finden, eben 1 LLM mit 1 GPU innerhalb 1 Tages zu trainieren. Die Besten der Besten lassen sich auf einem Leaderboard tracken, um zu sehen, wer den "Highscore" knackt. Die beiden besten Teams dürfen dann auf der NeurIPS jeweils einen 30-minütigen Talk halten.
Es bleibt also weiterhin spannend. Blicken wir auch in eine neue Woche mit spannenden Neuerungen und Entwicklungen!
In dieser Woche gab es spannende Neuigkeiten von Meta AI und aus der Welt der Regulierung.
Einen Paukenschlag gab es in dieser Woche von Meta AI: Llama 2 wurde veröffentlicht mit einer Lizenz, die explizit auch die kommerzielle Nutzung erlaubt. Die Gewichte können auf Antrag gemäß den Nutzungsbestimmungen heruntergeladen werden. Verfügbar ist das Modell mit 7, 13 oder 70 Mrd. Parametern. Es wird eine Kontextlänge von bis zu 4096 Token unterstützt. Trainiert wurde das Modell auf über 2 Billionen Tokens. Das Finetuning wurde einerseits überwacht (SFT) und andererseits auf menschlichen Präferenzen (RLHF) vorgenommen.
Im Wettbewerb der LLMs geht es weiter um die Stellung der Vorherrschaft. Wer das beste Modell möglichst frei zur Verfügung stellt, bildet einen wichtigen Ankerpunkt, auf dem Forscher ihre Arbeiten aufbauen. Das ist auch bei kommerziellen Interessen sinnvoll, da eine große Nutzerbasis erreicht werden kann, die innovative Forscher und Entwickler hervorbringt, die wiederum den Ruf und die Marktposition des Unternehmens stärken.
Meta Platforms erhält nun die Möglichkeit, vom einstiegen Social-Media-Riesen zum Multimedia-Konzern aufzusteigen, der die Möglichkeiten hat, alle Medien zu bedienen. Die AI-Abteilung hat sich einen guten Ruf gemacht und versucht diesen nun im stark umkämpften Feld der LLM-Foundation-Models zu verteidigen. Dass Meta AI sich dieser Situation bewusst ist zeigt auch der Vergleich zwischen Llama 2 und MPT-7B, Vicuna-13B oder Falcon-40B im eigenen Paper zu Llama 2.
Dass LLMs auch für zweifelhafte Zwecke eingesetzt werden können, sollte jedem von Anfang an klar gewesen sein. In meinen Augen kann so etwas auch gar nicht durch Embargos verhindert werden, da es bei Technologien immer Akteure gibt, die sich nicht an die Regeln halten. Vielmehr sollten Gegenmaßnahmen eingesetzt werden, die auf die Ursache abzielen und nicht nur die Symptome bekämpfen.
SlashNext gibt in einem Blogeintrag einen interessanten Einblick in ein LLM-System mit dem Namen "WormGPT". Es soll auf dem 2021 erschienenen GPT-J aufbauen, um BEC-Tasks aufzuführen, also Business E-Mail Compromise. Da LLMs besonders dazu in der Lage sind, Texte nach bestimmten Stilen oder Gattungen zu entwerfen, kann ohne entsprechende Sicherheits-Checks ein System auf bösartige Aufgaben trainiert werden, um zum Beispiel eine Nachricht im Stil des eigenen Chefs oder Kunden zu schreiben.
Ratschläge, besonders auf die Rechtschreibung von eingehenden, echt aussehenden E-Mails zu achten, laufen mit der aktuellen Entwicklung somit zunehmend ins Leere. Bleibt also nur noch die Ursachenbekämpfung, der mit z. B. einem Konzept, das auf digitale Signaturen aufbaut, oder weiteren innerbetrieblichen Abläufen begegnet werden kann, damit nicht auf einfache Anweisung riesige Summen ins Ausland überwiesen werden.
Der Wunsch der Politik, mit der Regulierung dem technischen Wandel Schritt halten zu können, wurde auch in dieser Woche spürbar. Sieben große AI-Organisationen, darunter Google, OpenAI und Anthropic, haben sich gegenüber der US-Regierung zu Risikomanagement verpflichtet. Dieses soll auch Tests und den Austausch mit Behörden und Gesellschaft einschließen.
Damit lässt sich in westlichen Ländern der Trend beobachten, die Gefahren, die sich aus der Entwicklung ergeben, möglich schnell eindämmen zu können. Andererseits - und auch das ist Bemerkenswert - verpflichten sich die Unternehmen zur Entwicklung von Systemen, um Herausforderungen in der Gesellschaft anzugehen. Statt also nur KI einzuschränken, soll die Entwicklung aktiv forciert werden.
Besonders die Kennzeichnung von KI-Inhalten wird diskutiert. In meinen Augen gibt es hier Vorteile wie Nachteile. Einerseits ist es sinnvoll, zu wissen, auf welcher Basis bestimmte Texte entstanden sind (ich schreibe diese Zeilen gerade zum Beispiel selber), andererseits werden Lösungen damit gefördert, die in einer weiteren Ausbaustufe jeden Datensatz personifiziert zuordenbar machen, was zunehmend den Datenschutz aushölt.
Diese Woche zeigt nichtsdestotrotz, dass es im hohen Tempo weitergeht und jede Woche einige Überraschungen bereithält - wie diese Woche Llama 2. Schauen wir also, was uns auch die nächste Woche bringt!
Heute habe ich die Timeline aktualisiert, die einen Überblick über aktuelle und wichtige Modelle gibt. Es wird schnell ersichtlich, dass wir uns in der KI-Welt mittlerweile wieder in der Detailarbeit befinden und der große Schub an neuen LLMs immer weiter abnimmt. Aber was hat uns diese Woche beschert?
Diese Woche wurde ein Paper diskutiert, das recht unscheinbar daherkommt: "Low Resource" Text Classification: A Parameter-Free Classification Method with Compressors. Kurz gefasst wollen die Forscher die Tatsache feiern, dass ihr Modell weniger ressourcenintensiv ist.
Dafür haben sie eine reizend unaufwändige KI-Methode für Textklassifikation vorgestellt, die eine vergnügliche Kreuzung aus einem simplen Kompressor - ähnlich wie gzip - und einem k-Nearest-Neightbor-Klassifikator ist. Und das spannendste an der Sache? Sie kommt komplett ohne Trainingsparameter aus. Was für eine erfrischende Neuheit, denn das Modell spielt etablierte Konkurrenten wie BERT auf allen fünf OOD-Datensätzen gnadenlos aus.
Was uns das Paper zeigt, ist, dass nicht alles nur durch Deep Neural Networks beherrscht wird. Wer eine clevere, einfache Methode entwickelt, kann trotzdem erstaunliche Ergebnisse erreichen. Der Quellcode für das Verfahren ist beachtenswert kurz und unter GitHub abrufbar.
Wer sich noch an den Anfang von OpenAI erinnern kann, wird um die Rolle von Elon Musk wissen. Er hat sich für OpenAI eingesetzt und viele Ressourcen bereitgestellt. Später kam der Rückzug aus OpenAI und eine auf Twitter propagierte kritischere Haltung gegenüber dem Start-up.
Mittlerweile baut Elon Musk fleißig die Infrastruktur rund um Twitter um, welches zunehmend einfach nur noch als "X" bezeichnet wird. Im April kam die Nachricht über eine große Bestellung von Grafikkarten durch Twitter. Jetzt dürfte klar sein, welche Richtung eingeschlagen wird.
xAI soll ein Unternehmen werden, das die wahre Natur des Universums verstehen möchte, wie auf der Landing Page auf x.ai bekannt gegeben wird. Neben der Zielsetzung werden auf der Seite noch einige Informationen über das Team bereitgestellt, wobei schnell klar wird, dass viele Leute, die zuvor bei DeepMind, OpenAI und in den Research-Abteilungen von Microsoft und Google gearbeitet haben, am Start-up mitarbeiten. xAI ist zwar ein getrenntes Unternehmen, soll aber eng mit Twitter und Tesla zusammenarbeiten. Noch gibt es keine genauen Informationen, was geplant ist, wir können aber mehr hierzu in den nächsten Wochen erwarten.
Vor einigen Wochen habe ich bereits berichtet, dass Microsoft eine Methode veröffentlicht hat, mit der sehr leistungsstarke LLMs mit wenigen Parametern trainiert werden können. Das Team von OpenOrca hat bereits vor einigen Tagen das gleichnamige Dataset auf Hugging Face gezeigt, nun folgte in dieser Woche die Veröffentlichung des ersten eigenen richtigen Modells, OpenOrca-Preview1-13B.
Das Team von OpenOrca nutzt das Dataset, um in dem Modell ein LLaMA-13B entsprechend finezutunen. Dabei wurden bisher weniger als 6% des Datensatzes zum Training eingesetzt und dieser Release soll nur als Vorschau einen Einblick in den aktuellen Entwicklungsstand geben.
Es bleibt also weiterhin spannend. Neue Methoden und Techniken ermöglichen hochwertige und leistungsstarke Modelle, die es auch mit ihrer proprietären Konkurrenz aufnehmen können. Schauen wir, was uns auch nächste Woche erwartet!
Langsam kündigt sich, wie wir heute in den Nachrichten sehen werden, in der KI-Welt eine kleine Sommerpause an, sodass es etwas ruhiger wird. In dieser Woche hat OpenAI wieder für die eine oder andere Schlagzeile gesorgt, weswegen sich der Wochenrückblick speziell darauf konzentrieren wird.
Traffic von fremden Webseiten zu messen ist eine gar nicht so einfache Angelegenheit. Am Ende des Tages weiß nur der Betreiber der Webseite, wie viele Inhalte er an wie viele IP-Adressen ausgeliefert hat, woraus man eine Nutzerzahl abschätzen kann. SimilarWeb ist ein Dienstleister, der sich auf Schätzungen über den Traffic externer Webseiten spezialisiert hat und nimmt dafür Ersatzmetriken zur Hilfe.
Über ChatGPT berichtet SimilarWeb nun, dass der Traffic von Mai zum Juni hin um etwa 10 Prozent gesunken sein soll. Die Anzahl der einzigartigen Nutzer soll um etwas über 5 Prozent, die auf der Webseite verbrachte Zeit um etwa 8 Prozent gesunken sein.
Unabhängig von den Zahlen kann ich den Trend nachvollziehen. Einerseits zeichnet sich die Sommerpause ab, in der viele im Urlaub sind und den Dienst weniger beruflich "ausprobieren". Andererseits weiß der beträchtlich große Nutzerkreis von ChatGPT mittlerweile um die Funktionen des LLM, weshalb die Neugier der Nutzer vermutlich abnimmt. ChatGPT kommt nun langsam als klassisches Werkzeug im Mainstream an.
Passend dazu hat OpenAI die API für GPT-4 nun von der Warteliste befreit und stellt den Dienst für alle Nutzer bereit. Ob es einen Zusammenhang zur vorherigen Nachricht mit den dadurch frei werdenden Ressourcen gibt, werden wir sicherlich nie erfahren, aber schon bei früheren Diensten wie DALL-E hat OpenAI nach einer anfänglichen Startphase die künstliche Verknappung über die Warteliste auslaufen lassen.
In der dazugehörigen Blognachricht wurde gleichzeitig angekündigt, die Completions-API Anfang 2024 aufzugeben. An dieser Stelle wird wieder deutlich, wie sehr OpenAI auch weiterhin ein Start-up ist. War das bisherige API-Konzept mit GPT-3 auf die Vervollständigung von Anfragen ausgelegt, hat sich dies durch den plötzlichen Erfolg von ChatGPT stark verändert. LLMs agieren interaktiv und können auf Folgefragen antworten. Dies wird offenbar durch die Chat-API am besten repräsentiert, weswegen OpenAI sich hierauf jetzt konzentriert. Die Änderungen wurden schon im OpenAI Playground wirksam.
Ich kann mich noch gut an den Dezember 2022 erinnern, als ein Artikel über eine [imaginäre virtuelle Maschine innerhalb des neuen LLMs ChatGPT] die Runde machte. Daraufhin habe ich mir ChatGPT erstmals genauer angesehen. Damals hat sich ChatGPT eine VM halluziniert, ein Verhalten, das zeitnah leider schon eingedämmt wurde. Mittlerweile wurde aber aus der Fiktion Realität: ChatGPT Plus verfügt Berichten und einem Tweet zufolge nun über ein Plugin, dass es ermöglicht, Code innerhalb einer Sandbox auszuführen.
Damit wird ChatGPT noch leistungsfähiger und kann für immer mehr Aufgaben eingesetzt werden. Das war bisher eine Herausforderung, aber auch ein Forschungsthema, das bezogen auf Tools auch mit dem Toolformer oder Visual ChatGPT zu interessanten Ergebnissen führte. Auf diese Weise kann ChatGPT auch deterministischer werden: so braucht ChatGPT ggfs. für eine komplexe Aufgabe nur den benötigten Code generieren - die Berechnung wird dann in der Sandbox vorgenommen und kommt zu den Ergebnissen mit der nötigen Präzision.
Schauen wir auch in der nächsten Woche, mit was für Fortschritten und spannenden Nachrichten wir rechnen können.
Im heutigen Wochenrückblick schauen wir auf einen spannenden Essay, ein interessantes Tool für Code-Migrationen und ein neues Open-Source-LLM für große Sequenzlängen.
Beginnen wir den heutigen Wochenrückblick mit einem Artikel, der in der Woche disktutiert wurde. swyx hat auf Latent Space den Artikel The Rise of the AI Engineer veröffentlicht. Im Artikel geht es um die Entstehung eines komplett neuen Berufszweiges: dem AI Engineer. Dabei ist der AI Engineer die Weiterentwicklung des Prompt Engineers und wird im Essay auf einer Skala eingeordnet. Der AI Engineer beschäftigt sich wenig mit der genauen Funktionsweise von ML-Modellen, vielmehr versteckt ihm die API wie z. B. von OpenAI die technischen Details und ermöglicht ihm, sich auf das Wesentliche zu konzentrieren: sein Produkt.
War es vor zehn Jahren noch ein forschungsnahes Vorhaben, ein Produktempfehlungssystem zu entwerfen, ist es durch die Verfügbarkeit von schnell einsetzbaren Diensten heutzutage möglich, die gewünschte Funktionalität zu integrieren. Integration, das ist es, was den AI Engineer ausmacht. Er muss nicht wissen, wie ein LLM genau funktioniert, er muss nur wissen, was es tut. Insbesondere erwähnt der Autor des Essays, dass die Few-Shot-Modelle dazu geführt haben, dass ML-Forscher selber nicht mehr das Modell wie GPT-4 auf den Einsatzzweck abstimmen, sondern diese Aufgabe von Anwendern übernommen wird, die Zeit mit dem Modell und der Schnittstelle verbringen und ausprobieren, was man damit tun kann.
Das alles wird nicht einfach sein, vor allem, da klassische ML-Forscher über lange Zeit hinweg dieses Feld noch belächeln werden. Behält man diesen Wandel allerdings im Hinterkopf, kann man sich schon jetzt darauf einstellen und wird nicht überrascht, wenn in fünf Jahren Menschen, deren Vollzeitjob die Integration von ML-Systemen ist, hohe Gehälter und einen substantiellen Einfluss auf den Geschäftsbetrieb vieler Firmen erhalten.
Wie so eine konkrete Anwendung aussehen kann, zeigt bereits GPT-Migrate. Hier handelt es sich um ein interessantes Produkt, das eine Codebase von einer Programmiersprache in eine andere umwandelt.
Das Projekt selber setzt auch nur auf bestehende LLMs, nutzt sie aber in einer besonders abgestimmten Art und Weise. Der Code soll nicht nur starr umgewandelt, sondern auch idiomatisch sinnvoll ausgegeben werden. Wandelt man beispielsweise ein Python-Projekt in eine Node.js-Application um, besteht die Arbeit aus mehr als nur einer 1:1-Umwandlung der Statements. Vielmehr müssen die Frameworks beachtet werden mit ihrer individuellen Weise, Lösungen abzubilden.
Betrachten wir ein solches Projekt aus der akademischen Sicht, ist so ein Projekt ein Himmelfahrtskommando: Wir können nicht mit hinreichender Sicherheit sagen, ob es immer zuverlässig funktioniert. In der Praxis hat dieser Umstand für den durchschnittlichen Anwender allerdings eine untergeordnete Rolle: wenn es auch nur regelmäßig funktioniert, bringt es viele Entwickler für ihre Durchschnittsprojekte schon weiter. So sind Informatiker heutzutage auch nicht durchgängig mehr damit beschäftigt, richtige Algorithmen für z. B. Sortierung zu entwerfen, sondern reihen eher fertige Programmfragmente und -prozeduren aneinander. Eine unbeaufsichtigte Dienstleistung für Codeumwandlung sollte dennoch nicht auf so einem einfachen System aufgebaut werden. Die Abstimmung, die feinen Anpassungen und die Risikoanalyse - auch das werden in meinen Augen Aufgaben des AI Engineers sein.
Neue Modelle sollen auch in diesem Wochenrückblick nicht fehlen. In dieser Woche haben wir diesbezüglich wieder einen alten Bekannten dabei: Salesforce, bekannt von BLIP2 oder CodeT5. Diesmal hat sich das Forschungsteam rund um Nijkamp, Xie, Hayashi, Pang und Xia mit Open-Source-LLMs für besonders hohe Sequenzen beschäftigt.
Die Sequenzlänge als maximale Länge einer Eingabe für das LLM ist neben der Parameterzahl einer der wichtigsten numerischen Einflussfaktoren für die Leistungsfähigkeit von LLMs. Soll ein solches Modell beispielhaft einen Text zusammenfassen, kann ein LLM mit 8 Tsd. Tokens Sequenzlänge deutlich mehr Text in einem Zug verarbeiten als ein LLM mit 2 Tsd. Tokens Sequenzlänge. Dass die Sequenzlänge in Tokens statt Wörtern gemessen wird, ist auf die mathematische Darstellung der Eingaben für LLMs zurückzuführen. Im Wochenrückblick der vergangenen Woche habe ich für diese Thematik Lehrmaterial vorgestellt.
Salesforce hat unter dem Namen XGen-7B Modelle mit einer Sequenzlänge von 8 Tsd. Tokens und einer Parameterzahl von 7 Mrd. trainiert, die den bisherigen Open-Source-Modellen mit nur 2 Tsd. Tokens wie LLaMA, MPT oder Falcon in standardisierten Benchmarks wie MMLU oder SCROLLS mindestens gleichauf sind. Die kommerzielle Konkurrenz kommt mit GPT-4 auf 32 Tsd. Tokens oder mit Claude auf 100 Tsd. Tokens. Das Training wurde mit 1,5 Billionen Tokens (hier nicht Sequenzlänge, sondern Anzahl der Tokens, auf deren Basis trainiert wurde) durchgeführt und hat über 150.000 US-Dollar gekostet.
Weitere Informationen zu XGen sind im Blogartikel von Salesforce Research zu finden. Die XGen-7B-Modelle sind in verschiedenen Varianten auf HuggingFace unter der Apache-2.0-Lizenz verfügbar, der zugrundeliegende Code kann unter GitHub abgerufen werden.
Und so geht wieder eine spannende Woche zu Ende, in der wir beobachten konnten, wie einerseits weiterhin neue Open-Source-Modelle mit Verbesserungen veröffentlicht werden und andererseits die Anwendung solcher Modelle zunehmend in den Vordergrund tritt. Schauen wir, was uns auch in den nächsten Tagen wieder erwartet!
Und wieder ist eine Woche um! Im heutigen Wochenrückblick geht es um drei Nachrichten und einen Lesetipp.
In fast jeder Woche erscheinen neue KI-Modelle. Seien es komplett neue Modelle wie Falcon oder Vertreter bestehender Modellfamilien wie das diese Woche veröffentlichte MPT-30B.
Konkurrenz belebt das Geschäft. Während Falcon-40B als eines der leistungsstärksten Open-Source-LLMs viele Benchmarks für sich entscheidet, ist das Deployment aufgrund der hohen Parameteranzahl teilweise mitunter herausfordernd. MPT-30B stellt sich hier als Alternative auf und gibt an, dass es auf einer A100-80G mit 16-Bit-Präsizion oder einer A100-40GB mit 8-Bit-Präsizion bereitgestellt werden kann. Ansonsten baut das Modell auf dem bereits vor einigen Wochen vorgestellten MPT-7B auf und wird durch seine Programmierfähigkeiten charaketerisiert, die durch die Auswahl der Trainingsdaten angelernt werden konnten. Das Modell ist wieder in verschiedenen Facetten verfügbar: als Basismodell, für Instruktionen optimiert oder für Chat optimiert.
Stable Diffusion XL (SDXL) ist eine Weiterentwicklung aus dem Hause Stability AI. Deren erstes Produkt Stable Diffusion hat schon überzeugt, weil es eine Alternative zu OpenAI DALL-E war. Bei Stability AI werden öffentlichkeitswirksam die Entwicklungen im Blog vorgestellt und so war bereits SDXL Beta interessant, weil es nochmals die Fähigkeiten des Bildgenerators erweitert.
SDXL 0.9 ist nun der Nachfolger von SDXL Beta. Im Blogeintrag kann im direkten Vergleich nachvollzogen werden, dass SDXL 0.9 Bilder generiert, die deutlich besser zu den Bildbeschreibungen passen. Technisch wurde der Fortschritt durch eine Erhöhung der Parameterzahl erreicht. Mit 3.5 Mrd. Parametern als Basismodell und einer 6.6 Mrd. Parameter starken Ensemble-Pipeline handelt es sich dabei um das nach eigenen Angaben parameterstärkste Open-Source-Bildmodell. SDXL 0.9 ist bereits auf ClipDrop für den Einsatz verfügbar und kann über HuggingFace direkt bezogen werden.
Die Entwicklung der LLMs macht momentan vor den Systemen halt, bei denen man Sprachfähigkeiten am ehesten erwartet: Sprachassistenten auf Smartphones. Hier müssen wir uns bei den verbreiteten Systemen weiterhin noch auf die voreingestellten Fähigkeiten beschränken, die einprogrammiert wurden. Konkurrenz kommt nun von ungewohnter Seite: Mercedes-Benz hat in den letzten Tagen für die US-Kunden bekanntgegeben, in einer frühen Betaversion ChatGPT für die Sprachassistenz in ausgewählten Automodellen mit MBUX zu unterstützen.
Die Teilnahme an dem Programm ist optional. In der Pressemitteilung wird insbesondere der Datenschutz und die Hoheit über IT-Prozesse hervorgehoben. Technisch wird dieses Vorhaben über eine Kooperation mit Microsoft und dem Azure OpenAI Service umgesetzt.
KI ist ein sehr komplexes Thema, das viele Disziplinen umfasst. Umso wichtiger ist es, hochwertige Lernmaterialien zu beziehen. Vicki Boykis hat mit What are embeddings ein umfangreiches Handbuch ausgearbeitet, das sich mit einem wichtigen Kernelement beschäftigt, das LLMs heutzutage erst möglich macht. Konkret geht es dabei um Verfahren, natursprachliche Texte in Zahlen zu verwandeln, um sie mathematisch verarbeitbar zu machen.
Das Handbuch umfasst neben Erklärungen und mathematischen Hintergründen auch Codebeispiele, um selber einmal am Beispiel auszuprobieren, wie Embeddings konkret funktionieren.
Bis zur nächsten Woche!
Anmelden