Google investiert zusammen mit den Partnern Stiftung Schmidt Sciences, der britischen Regierungsagentur ARIA, der Cooperative AI Foundation und unterstützt von Google.org 10 Millionen Dollar in…
Das neurowissenschaftlich ausgerichtete KI-Start-up Flourish hat in einer neuen Finanzierungsrunde 500 Millionen Dollar eingesammelt, die die Forschung an einer KI ermöglicht, die einmal wie das…
Das US-amerikanische Start-up Ferveret, gegründet von zwei MIT-Forschern, hat ein neuartiges Kühlsystem entwickelt, das ohne Wasser und mit viel weniger Strom im Vergleich zu modernsten Lösungen…
Anthropic hat zwei neue Spitzenmodelle vorgestellt: Claude Fable 5 und Claude Mythos 5.
Gerade hat Apple bekanntgegeben, dass es seinen persönlichen Assistenten Siri mit KI-Funktionen aufwerten will, da ist auch klar: Europäer werden vorerst nichts davon haben.
Viele bekannte Synchronsprecher, die Charakteren in beliebten Netflix-Serien ihre Stimme liehen, verweigern die Unterschrift unter neue Verträge, in denen sich Netflix das Recht einräumen lassen…
ChatGPT rollt für alle Accounts, die kostenlosen eingeschlossen, einen neuen Sperrmodus (Lockdown Mode) ein, der bis zu einem gewissen Grad vor Angriffen mittels Prompt Injection schützt.
Anthropic hat eine Pause bei der Entwicklung von KI-Spitzenmodellen vorgeschlagen, um mehr Zeit zu gewinnen, mit den möglichen Folgen umzugehen.
Das neue Trainingsdatenset ChartNet, entworfern von Forschern des MIT und des MIT-IBM Computing Research Lab, könnte die Genauigkeit von Vision-Language-Modellen (VLM) verbessern, die bei der…
Die Anordnung stellt eine Abkehr von der bisher vom Weißen Haus gegenüber KI verfolgten zurückhaltenden Haltung dar.
Vim Classic ist einer von zwei Vim-Forks (der andere ist EVi), die sich auf die Fahnen geschrieben haben, ganz ohne KI-Unterstützung entwickelt zu werden.
IBM will mit Project Lightwell der rasant steigenden Zahl der durch KI aufgedeckten Sicherheitslücken Herr werden. Dazu sollen 5 Milliarden US-Dollar investiert werden.
Flathub, das zentrale Repository für Flatpak-Apps, hat eine neue Policy eingeführt, der zufolge KI-generierte oder -assistierte Inhalte verboten sind.
Flathub erlässt strengere Regeln für die Einreichung von Apps, bei denen KI zum Einsatz kommt. Aber auch deren Umfeld wie Metadaten und sogar der Pull-Request-Text fallen unter das Verbot.
Wie das US-Nachrichtenportal Axios berichtet, hat ein namentlich nicht genanntes großes US-Unternehmen innerhalb nur eines Monats bis zu 500 Millionen Dollar für Token an Anthropic für die…
Anthropic hat im Rahmen einer Serie-H-Finanzierungsrunde unter der Führung von Altimeter Capital, Dragoneer, Greenoaks und Sequoia Capital 65 Milliarden US-Dollar eingesammelt, wodurch das…
In dem Sicherheitsbericht “Uncovering Cyber Threats and Fraud in Loyalty Systems” von Ernst & Young (EY), einem der weltgrößten Beratungsunternehmen, haben Mitarbeiter von…
Unser Buch Coding mit KI ist gerade erst erschienen, schon gibt es spannende Neuigkeiten rund um die Ausführung lokaler Modelle:
Adaptive Precision for EXpert Models (APEX) ist ein neues Verfahren zur besonders platzsparenden Quantisierung von MoE-Modellen. Der Platzbedarf sinkt je nach Qualitätsstufe auf die Hälfte gegenüber der herkömmlichen 4-Bit-Darstellungen (Q4_x_x).
Qwopus ist eine neue Variante zu den Qwen-Modellen, bei denen das Fine Tuning mit Claude Opus verbessert wurde.
In Coding mit KI gehe ich kurz auf das Vorgängerkonzept zu MTP ein, auf Speculative Decoding: Dabei führt die Engine (z.B. llama.cpp) zwei Sprachmodelle aus. Das kleinere (schnellere) dient als Draft Model. Während der Token-Generierung macht das Draft Model Vorschläge für die folgenden Token. Das größere, qualitativ bessere Modell überprüft anschließend eine Sequenz mehrerer vorgeschlagener Token auf einmal. Im Idealfall wird die ganze Sequenz akzeptiert. Der Geschwindigkeitsvorteil ergibt sich durch die parallele Verifizierung eines ganzen Token-Blocks. Dazu sind weniger Speicher-Transfers vom VRAM in die GPU notwendig, als wenn jedes Token für sich generiert wird. (Die Token-Generierung wird durch zwei Faktoren limitiert: die Rechenleistung der GPU und die Speicherbandbreite vom VRAM in die GPU-Cores. Speculative Decoding setzt beim zweiten Punkt ein, der oft der limitierende Faktor ist.)
In der Praxis funktioniert das nur mäßig gut: Zum einen ist es schwierig, ein geeignetes Draft Model zu finden. Es muss aus der gleichen »Familie« stammen, aber deutlich kleiner sein, idealerweise etwa um den Faktor zehn. Zum anderen funktioniert Speculative Decoding für Dense Models besser als für Mixture of Experts Models (MoE). Das Problem bei MoE besteht darin, dass bei jedem Token andere »Experten« zum Einsatz kommen können, was den Geschwindigkeitsvorteil von Speculative Decoding teilweise zunichtemacht. Kleinere MoE-Modelle für den Draft-Einsatz haben zudem oft eine andere Experten-Aufteilung, was die Acceptance Rate verringert.
Multi-Token Prediction (MTP) greift die Idee des Speculative Decoding auf. Der entscheidende Unterschied besteht darin, dass ein Modell ausreicht. Ein in das Modell integrierter Layer ist dafür zuständig, rasch ein paar Tokens (üblicherweise 2 bis 4) vorherzusagen. Das Gesamtmodell überprüft dann alle Token auf einmal, was nur unwesentlich mehr Zeit kostet, als ein Token zu berechnen. MTP erspart damit das umständliche Handling mit zwei Modellen.
Speculative Decoding und Multi-Token Prediction sind mit keinerlei Qualitätsverlust verbunden! Es werden exakt die gleichen Ergebnisse erzielt, weil jede Token-Sequenz vollständig kontrolliert und bei Abweichungen verworfen wird. Werfen Sie diesbezüglich einen Blick in das Video von Donata Capitella, das diesen Umstand anschaulich erklärt.
Für den erzielten Geschwindigkeitsgewinn ist der Prozentsatz der akzeptierten Draft Tokens entscheidend. Dieser variiert je Aufgabenstellung: Bei kreativem Text ist die Akzeptanzrate nur mittelmäßig, bei Code hingegen deutlich höher — ganz einfach deswegen, weil Code strengen Regeln folgt und weniger Spielraum als menschliche Sprachen bietet.
Leider ist auch MTP mit Nachteilen verbunden:
Natürlich muss auch die Software MTP unterstützen. Weil viele Programme intern llama.cpp verwenden, wird MTP rasch weite Verbreitung finden.
Schließlich teilt sich MTP einen Nachteil mit Speculative Decoding: Es funktioniert bei herkömmlichen Dense-Modellen besser als bei MoE-Modellen (Mixture of Experts). Die ohnedies schon schnellen MoE-Modelle werden also nur geringfügig schneller oder, wie bei einigen meiner Tests, sogar langsamer. Bei den Dense-Modellen ist dagegen eine spürbare Verbesserung zu bemerken. Bei meinen Tests ca. +65%, bei einigen Benchmarks im Internet bis zu +100%, also eine Verdoppelung der Output-Token-Rate.
MTP ändert nichts an der Input-Verarbeitung (dem Prompt Processing, pp). Schneller wird nur der Output (die Token Generation, tg).
Dense versus Mixture of Experts (MoE): MoE ist schneller, kann aber qualitativ bei gleicher Modellgröße nicht ganz mithalten. Während bei Dense-Modellen immer alle Parameter aktiv sind, nutzen MoE-Modelle nur wenige, stets wechselnde »Experten«, also Subsets mit viel weniger Parametern. Das spart Zeit, aber kein »Experte« ist so gut wie das volle Modell. Dementsprechend sinkt die Qualität der Antworten, nicht massiv, aber spürbar.)
Ich habe MTP mit LM Studio 0.4.14 auf meinem Framework Desktop ausprobiert (AMD Ryzen Max 395 CPU/GPU). Mein Mini-Benchmarktests lautete: »Explain Python dictionaries«. Die getesteten Modelle denken über diese Frage eine Weile nach und produzieren dann einen mehrseitigen, qualitativ sehr hochwertigen Text mit eingebauten Code-Schnipseln.
Ich habe alle Tests mit einem Kontextfenster von 128.000 Token ausgeführt. Bei den MTP-Modellen habe ich die Einstellung MTP Max Tokens = 3 verwendet, also immer drei Tokens auf einmal erzeugt. Alle getesteten Modelle weisen eine 4-Bit-Quantisierung auf (Ausnahme: das APEX-Modell, siehe unten). Als Backend kommt llama.cpp mit Vulkan zum Einsatz.
Anmelden Draft Token
Modell MoE APEX MTP Output (tg) Acceptance
----------------- ---- ---- ---- ------------ ------------------
qwen-3.6-27b nein nein nein 12,3 Token/s
qwen-3.6-27b-mtp nein nein ja 20,1 Token/s 66,3 %
qwopus-3.6-27b-v2-mtp nein nein ja 19,0 Token/s 63,7 %
qwen-3.6-35b-a3b ja nein nein 69,7 Token/s
qwen-3.6-35b-a3b-mtp ja nein ja 67,1 Token/s 66,6 %
qwen-3.6-35b-a3b-apex-mtp ja ja ja 71,5 Token/s 63,3 %
qwopus-3.6-35b-a3b-mtp ja nein ja 74,2 Token/s 68,2 %
Professionellere Benchmark-Tests hat Donata Capitella durchgeführt (siehe die ersten zwei Links in den Übersicht der Quellen am Ende des Artikels). Interessanterweise ist dort auch bei MoE-Modellen ein spürbarer Geschwindigkeitszuwachs von etwa 30% zu sehen, den ich bei meinen Tests aber nicht nachvollziehen kann.
Die neuen Qwopus-Modelle basieren auf Qwen-Modellen, erhalten aber ein zusätzliches Fine-Tuning mit Claude Opus. Dieses soll den Nachdenkprozess beschleunigen und eine bessere Antwortqualität mit sich bringen. Die erste Versprechung trifft definitiv zu, aber ich bin nicht in der Lage, die Qualität des Modells im Detail zu beurteilen. Subjektiv hatte ich den Eindruck, dass die Unterschiede zu den Qwen-Originalen gering sind.
Zum Denkprozess: Beim Prompt »write a Sudoku solver in Python« denkt qwen-3.6-27b-mtp ca. 1:30 Minuten nach, qwopus-3.6-27b-v2-mtp aber ca. nur 1:00 Minuten. (Die Denkzeit hat eine relativ starke Varianz, weswegen hier genaue Angaben sinnlos sind.) Die resultierende Antwort samt Code ist mehr oder weniger gleichwertig (Backtracking-Algorithmus).
Die Verkleinerung von Modellen bei möglichst geringen Qualitätsverlust ist zu einer eigenen KI-Disziplin geworden. Die Grundidee besteht darin, Milliarden von Parametern (also eigentlich Fließkommazahlen) mit möglichst wenigen Bits darzustellen, ohne dass die Qualität der Ergebnisse allzu sehr leidet.
Der geringere Platzbedarf von Modellen ist insbesondere dann wichtig, wenn der Speicher (VRAM) limitiert ist. Mit einer geschickten Quantisierung läuft ein Modell vielleicht gerade noch auf einer GPU mit 16 GiB VRAM.
Vor ein paar Monaten machte Google mit dem neuen Turbo-Quant-Verfahren Furore. Bei der Recherche für diesen Artikel bin ich nun auf das neue Verfahren Adaptive Precision for EXpert Models (APEX) gestoßen. Das von Local AI entwickelte Verfahren ist speziell für MoE-Modelle optimiert und kompatibel zu aktuellen llama.cpp-Versionen. Die Grundidee besteht darin, dass für jede Parametergruppe eine andere, für den Wertebereich und die Wichtigkeit angepasste Quantisierung verwendet wird. Insofern ist eine klare Bit-Angabe (4 Bit pro Parameter) unmöglich. Technische Details und Benchmarks finden Sie auf der GitHub-Projektseite. Local AI arbeitet daran, Modelle lokal auf Smartphones auszuführen; da ist die möglichst platzsparende Darstellung natürlich wichtig.
Konkret sind APEX-Modelle zum Teil wirklich erheblich kleiner als vergleichbare Modelle mit Q4-Quantisierung, wie sie bei der lokalen Ausführung von Modellen üblich ist. Die folgende Tabelle zeigt lauter Qwen-3.6-Modelle mit jeweils 35 Milliarden Parameter. Das APEX-MTP-Modell benötigt nur halb so viel Platz wie das MTP-Modell mit einer herkömmlichen Q4-Quantisierung.
Leider verrät die Huggingface-Seite des Modells nicht, welche Variante der APEX-Quantisierung verwendet wurde. Es existieren verschiedene Qualitätsstufen, z.B. Quality, Balanced, Compact und Mini. Ich würde vermuten, das Modell ist eher bei Mini als bei Quality angesiedelt.
Modell Quantisierung Größe (Disk)
------------------------ ------------- ------------
qwen-3.6-35b-a3b Q4_K_M 22,0 GB
qwen-3.6-35b-a3b-mtp Q4_K_S 23,0 GB
qwen-3.6-35b-a3b-apex-mtp APEX 11,7 GB (!)
Bei der Ausführung des Modells waren für mich keine nennenswerten Unterschiede erkennbar, weder in der Geschwindigkeit noch qualitativ. Aber nochmals: Das sind subjektive Feststellungen anhand einiger Tests, keine objektiven Benchmark-Tests. Dazu fehlt mir ganz einfach die Zeit.
Ausgewählte Modelle mit MTP und/oder APEX
Technisch/Wissenschaftliche Grundlagen
Zur Eröffnung des Ubuntu Summit 26.04 formulierten Canonical-CEO Mark Shuttleworth und Engineering-VP Jon Seager das Programm der nächsten Monate: Wie liefert man hochfrequent Software aus, ohne…
Einer Umfrage der Beratungsfirma Mercer in den USA unter fast 1.000 CEOs diverser Unternehmen zufolge, wollen 99 Prozent in den nächsten zwei Jahren Mitarbeiter durch KI ersetzen.
Rodrigo Arias Mallo, Maintainer des schnellen Open-Source-Browsers Dillo, hat einen originellen Vorschlag unterbreitet, wie sich überprüfen ließe, ob ein eingereichter Patch nicht von einer KI,…
Chris Olah, Mitgründer von Anthropic, warnte in einer Rede im Vatikan anlässlich der Präsentation der Enzyklika “Magnifica Humanitas” von Papst Leo XIV zur KI vor kommerziellen…
Linus Torvalds bemängelt wieder einmal zu späte Einreichungen von trivialen Korrekturen spät im Entwicklungszyklus und kündigt härteres Vorgehen an.
Google hat auf seiner Entwicklerkonferenz I/O neue Sprachmodelle vorgestellt. Das bislang leistungsfähigste ist Gemini 3.5 Flash, ein noch stärkeres Pro-Modell soll folgen.
Red Hat stellt zwei neue Versionen seiner Unternehmensdistribution vor. RHEL 10.2 und RHEL 9.8 setzen stark auf moderne KI Werkzeuge. Im Mittelpunkt steht der neue Goose Assistent, der direkt im Terminal hilft. Goose nutzt MCP Integration und liefert farblich verbesserte Ausgaben. Red Hat verspricht schnellere Problemlösungen und einen leichteren Einstieg für neue Administratoren. Beide Versionen […]
Der Beitrag Red Hat veröffentlicht RHEL 10.2 mit besserer KI Unterstützung erschien zuerst auf fosstopia.
