Die beliebte E-Book-Verwaltungssoftware Calibre erhielt Anfang Dezember mit Version 8.16 Zugang zu KI. Über lokale oder externe LLMs können unter anderem Fragen beantwortet werden - oder auch nicht.
Der beliebte Firefox-Fork Waterfox bezieht Stellung zu KI. LLMs sollen in Waterfox keinen Platz haben. Waterfox soll auch künftig für Vertrauenswürdigkeit, Transparenz und Nutzerkontrolle stehen.
Die Kinder bekommen ihre Weihnachtsgeschenke am 24.12., bei mir war diesmal zufällig schon eine Woche vorher Bescherung. Direkt von Taiwan versendet traf gestern ein Framework Desktop ein (Batch 17). Wobei von »Geschenk« keine Rede ist, ich habe den Rechner ganz regulär bestellt und bezahlt. Über das Preis/Leistungs-Verhältnis darf man gar nicht nachdenken … Aber für die Überarbeitung des Buchs Coding mit KI will ich nun mal moderat große Sprachmodelle (z.B. gpt-oss-120b) selbst lokal ausführen.
Dieser Blog-Beitrag fasst meine ersten Eindrücke zusammen. In den nächsten Wochen werden wohl noch ein paar Artikel rund um Ollama und llama.cpp folgen.
Ich war auf der Suche nach einem Rechner mit 128 GByte RAM, das von der GPU genutzt werden kann. Dafür gibt es aktuell drei Plattformen (Intel glänzt durch Abwesenheit):
Apple Max CPUs: Der Prozessor M4 Max vereint 16 CPU-Cores mit 40 GPU-Cores. Die Speicherbandbreite erreicht beeindruckende 550 GiB/s. Ein entsprechender Mac Studio mit 2 TB SSD kostet ca. 5000 €, ein MacBook mit vergleichbarer Ausstattung ca. 6000 €.
NVIDIA DGX Spark: Diese Plattform besteht aus einer 20-Core ARM-CPU plus NVIDIA Blackwell GPU mit 48 Compute Units. Wegen des LPDDR5X-RAMs ist die Speicherbandbreite wie bei Strix Halo auf ca. 250 GiB/s limitiert. Komplettsysteme kosten ca. 4000 € (Asus, Dell, NVIDIA).
Was die Rechenleistung betrifft, spielen alle drei Plattformen in der gleichen Liga, vielleicht mit kleinen Vorteilen bei Apple, vor allem was Effizienz und Lautstärke betrifft. Gegen die NVIDIA-Lösung spricht, dass diese Rechner dezidiert für KI-Aufgaben gedacht sind; eine »normale« Desktop-Nutzung ist nur mit großen Einschränkungen möglich.
Generell darf man sich von der KI-Geschwindigkeit der aufgezählten Geräten keine Wunder erwarten: GPU-Leistung und Speicherbandbreite sind nur mittelprächtig. Praktisch jede dezidierte Grafikkarte kann kleine Sprachmodelle schneller ausführen — aber nur, solange das Sprachmodell komplett im dezidierten VRAM Platz hat. (Bei Desktop-PCs können Sie mehrere Grafikkarten einbauen und kombinieren, aber das ist teuer und kostet viel Strom.) Die oben aufgezählten CPUs mit integrierter GPU können dagegen das gesamten RAM nutzen. Das ist langsamer als bei dezidierten GPUs, aber es macht immerhin die Ausführung von relativ großen Modellen möglich.
Apple ist wie üblich bei vergleichbarer Ausstattung am teuersten. Umgekehrt muss man anerkennen, dass von allen hier aufgezählten Geräten ein Mac Studio vermutlich der einzige Computer ist, der in drei Jahren noch einen nennenswerten Wiederverkaufswert hat.
Am anderen Ende des Preisspektrums befindet sich die AMD-Variante. Es gibt diverse chinesische Mini-PCs mit der AMD-395-CPU: z.B. Bosgame (aktuell am billigsten), GMKtec EVO-X2, Beelink GTR9 (instabil, Probleme mit Intel-Netzwerkadapter) und Minisforum MS-S1 MAX. HP bietet den Z2 Mini G1a zu einem relativ vernünftigen Preis an, aber das Gerät ist anscheinend sehr laut. Schließlich gibt es den Framework Desktop, der ansprechend aussieht, in Tests gut abgeschnitten hat und die beste/leiseste Kühlung hat (leider ein Irrtum, siehe unten).
Ich habe mich nach wochenlanger Recherche für das Framework-Angebot entschieden. Das Konzept der Framework-Geräte ist sympathisch. Außerdem gibt es eine große Community rund um das Gerät. Zum Zeitpunkt der Bestellung kostete der Rechner mit 128 GByte RAM, ein paar Adaptern, Kacheln und Lüfter knapp 2.500 € (inkl. USt). Eine SSD habe ich anderswo besorgt.
Der Rechner wurde am 12.12. von Taiwan versendet und kam sechs Tage später bei mir an. Faszinierend. (Ich habe noch nie bei Temu & Co. bestellt, habe diesbezüglich auch keine Ambitionen. Insofern war die Verfolgung des Pakets rund um die halbe Welt für mich Neuland.)
Bis zum Schluss wusste ich nicht, ob nun Zoll zu zahlen ist oder nicht. Offenbar nicht. Ich kann nicht sagen, ob sich Framework bei EU-Lieferungen um die ganze Abwicklung kümmert oder ob es Zufall/Glück war. (Das Gerät ist weiß Gott auch ohne Zoll teuer genug …)
Der Zusammenbau ist unkompliziert und gelingt in einer halben Stunde. Ich habe dann Fedora 43 installiert (weitere zehn Minuten). Alles funktionierte auf Anhieb, das Gerät lief die erste halbe Stunde praktisch lautlos.
Ich habe mich nicht lange mit Benchmark-Tests aufgehalten. BIOS in Grundzustand, Fedora 43 mit Gnome im Energiemodus Ausgeglichen.
Geekbench lieferte 2790 Single / 20.700 Multi-Core
Kernel kompilieren (Version 6.18.1): 9:08 Minuten
F2 bzw. je nach Tastatur Fn+F2 führt in die BIOS/EFI-Einstellungen. Dort gibt es eine Menge Optionen zur Steuerung des CPU-Lüfters. Der GPU kann ein fixer Speicher (bis zu 96 GiB) zugewiesen werden. Für die meisten Anwendungen ist das aber nicht sinnvoll. Viele Bibliotheken sind in der Lage, den GPU-Speicher dynamisch anzufordern. Insofern ist es zweckmäßig, den fix reservierten GPU-Speicher möglichst klein einzustellen.
Es gibt keine Optionen, die die CPU/GPU-Leistung beeinflussen.
Achtung: Es gibt ein BIOS-Update von Version 0.03.03 auf 0.03.04. Gnome Software bietet das Update zur Installation an. Allerdings bereitet die neue BIOS-Version Probleme und verlangsamt den Boot-Prozess massiv. Das Update sollte daher nicht installiert werden!
Ich habe den Stromverbrauch am Netzstecker mit einem uralten Haushalts-Strommessgerät gemessen. Dessen Genauigkeit ist sicher nicht großartig, aber die Größenordnung meiner Messwerte klingt plausibel: Demnach beträgt die Leistungsaufnahme im Ruhezustand ca. 12 bis 13 Watt (wieder: Fedora mit Gnome Desktop, Energie-Modus ausgeglichen, keine rechenintensiven Vorgänge, BIOS im Grundzustand). Beim Kompilieren des Kernels steigt die Leistung kurz auf 160 Watt und pendelt sich dann ziemlich stabil rund um 140 Watt ein.
Der Rechner hat zwei Lüfter: einen großen für die CPU (kann beim Bestellprozess konfiguriert werden, ich habe mich für das etwas teurere Noctua-Modell entschieden) und einen kleinen, der unsichtbar aber unüberhörbar im Netzteil am Boden des Rechners eingebaut ist.
Der CPU-Lüfter läuft standardmäßig nur unter Last und produziert dann ein gut erträgliches Geräusch (mehr Brummen als Surren). Die Steuerung des CPU-Lüfters kann im BIOS verändert werden. Ich habe probeweise einen Dauerbetrieb mit 25 % eingestellt. Der Lüfter bleibt dann für meine Ohren bei knapp einem Meter Abstand immer noch lautlos, sorgt aber für eine stetige leichte Kühlung.
Das Problem ist das äußerst schmale Netzteil, das sich im unteren Teil des Gehäuses befindet. Framework ist auf das Netzteil ziemlich stolz, aber viele Desktop-Besitzer können diese Begeisterung nicht teilen. Ein schier endloser Forum-Thread dokumentiert den Frust über das Netzteil. Im Prinzip ist es einfach:
Die Luftzufuhr wird durch eine enge Röhre und das Gitter des Gehäuses enorm behindert.
Das Netzteil ist mit 80 Plus Silver nur mäßig effizient, was sich vermutlich im Leerlaufbetrieb besonders stark auswirkt.
Im Netzteil steht die Luft. Dieses wird durch die Abwärme immer heißer.
Ca. 1/2 h nach dem Einschalten wird eine kritische Temperatur erreicht. Nun startet unvermittelt der winzige Lüfter. Eine halbe Minute reicht, um das Netzteil mit frischer Luft etwas abzukühlen — aber nach ca. 10 Minuten beginnt das Spiel von neuem. (Unter Last läuft natürlich auch der Netzteillüfter häufiger.)
Das Geräusch des Netzteil-Lüfters ist leider wesentlich unangenehmer als das des CPU-Lüfters. Der kleine Lüfter hat eine unangenehme Frequenz, und das regelmäßige Ein/Aus stört. Eine BIOS-Steuerung ist nicht vorgesehen. Vermutlich wäre es gescheiter, den Netzteil-Lüfter ständig bei niedriger Frequenz laufen zu lassen, um ohne viel Lärm einen andauernden Luftaustausch zu gewährleisten. Aber diese Möglichkeit besteht nicht.
Um es klar zu stellen: Selbst wenn der Netzteillüfter läuft, ist das Gerät nicht wirklich laut — und vermutlich immer noch leiser als Konkurrenzprodukte (die ich aber nicht ausprobiert habe). Und dass der Computer unter Last nicht lautlos ist, war sowieso zu erwarten.
Ärgerlich ist, dass das Gerät trotz seines ausgezeichneten CPU-Kühler-Designs im Leerlauf bzw. bei geringer Belastung nicht leiser ist. Technisch wäre das möglich. Da wurde rund um das Netzteil viel Potenzial verschenkt.
Der Framework Desktop wurde offensichtlich mit viel Liebe zum Detail entwickelt. Der Rechner ist optisch ansprechend und liegt preislich im Vergleich zu seinen Konkurrenzprodukten im Mittelfeld. (Generell ist leider zu befürchten, dass die Preise von Computern in den nächsten Monaten steigen werden, weil sowohl RAM als auch SSDs fast täglich teurer werden.)
Die CPU-Kühlung ist vermutlich die beste aller aktuellen Strix-Halo-Angebote. Bei meinen bisherigen Tests lief der Rechner absolut stabil.
Extrem schade, dass das Netzteil so ein Murks ist. Wenn das Netzteil intelligenter gekühlt würde, wäre im Leerlauf bzw. bei moderater Nutzung ein weitgehend lautloser Betrieb möglich. Stattdessen nervt das Gerät mit einem hochfrequenten Gesurre, das alle paar Minuten startet und eine halbe Minute später wieder aufhört. Ärgerlich!
Netzteil
Andere Geräte
Anthony Enzor DeMeo übernimmt offiziell die Führung von Mozilla. Der neue CEO stellt Vertrauen und Transparenz ins Zentrum seiner Strategie. Nutzer sollen jederzeit Kontrolle über Funktionen behalten und Entscheidungen bewusst treffen können. In seiner ersten Botschaft betonte er die zentrale Rolle des Vertrauens. Künstliche Intelligenz verändert bereits Suche, Einkauf und digitale Entscheidungen. Der Browser wird […]
Der Beitrag Neuer Mozilla CEO: Firefox soll zu einem modernen KI-Browser werden erschien zuerst auf fosstopia.
Die Schlacht um KI-Dominanz findet auch im Browser statt. Der neue Mozilla-CEO Anthony Enzor-DeMeo will Firefox als Hort für lokale und datenschutzfreundliche KI platzieren.
Das GNOME Projekt verschärft seine Regeln für GNOME-Erweiterungen. Die Verantwortlichen reagieren damit auf eine wachsende Zahl von Einsendungen, die deutliche Spuren automatischer Codeerzeugung tragen. Viele dieser Erweiterungen enthalten große Mengen unnötiger Logik und erschweren die Arbeit der Prüfer. Nach Angaben eines erfahrenen Entwicklers müssen an manchen Tagen mehr als fünfzehntausend Zeilen Code bewertet werden. Häufig […]
Der Beitrag GNOME verschärft die Richtlinien für KI‑basierten Code in Shell‑Erweiterungen. erschien zuerst auf fosstopia.
GNOME verschärft die Regeln für Shell-Erweiterungen. Durch eine KI erstellte Erweiterungen, die große Mengen an unnötigem Code enthalten, sollen künftig abgelehnt werden.
Nachdem immer mehr neue GNOME-Erweiterungen aus schlechtem, von KIs generierten Code bestehen, hat das GNOME-Projekt jetzt die Daumenschrauben angelegt.
Nachdem immer mehr neue GNOME-Erweiterungen aus schlechtem, von KIs generierten Code bestehen, hat das GNOME-Projekt jetzt die Daumenschrauben angelegt.
Ein Artikel im Fedora Magazine erregt einiges Aufsehen. Es geht darum, KI per MCP-Server zur System- und Problemanalyse bei Fedora einzusetzen.
Mit dem Update auf GPT-5.2 veröffentlicht OpenAI sein bisher leistungsstärkstes Modell, das vor allem auf professionelle Wissensarbeit ausgerichtet ist.
Unter den Ausgezeichneten mit dem Leibniz-Preis, der angesehensten Auszeichnung für Forscher in Deutschland, ist in diesem Jahr Prof. Dr.
Das Start-up Quilter aus Los Angeles hat nach eigenen Angaben einen Durchbruch in der Hardwareentwicklung erzielt: Es brachte eine KI dazu, binnen 38,5 Stunden einen Linux-Computer mit 843…
Unter dem Dach der Linux Foundation wurde jetzt die Agentic AI Foundation (AAIF) gegründet.
Das französische KI-Unternehmen Mistral hat mit Devstral 2 ein Sprachmodell für die SOftwareentwicklung und mit Mistral Vibe einen kommandozeilenagenten für denselben Zweck vorgestellt.
Die openSUSE Innovator Initiative bringt frischen Schwung in die Hardwareunterstützung von openSUSE. Erstmals steht ein Paket für den Intel Neural Processing Unit Treiber bereit. Eine NPU dient der Beschleunigung von KI Berechnungen wie Bilderkennung und Sprachverarbeitung. Damit beginnt die Integration dieser Technologie in die openSUSE Welt. Die neuen Pakete sind aktuell experimentell und für mehrere […]
Der Beitrag Intel NPU Treiber erreicht openSUSE Ökosystem erschien zuerst auf fosstopia.
OpenAI hat einen Report unter dem Titel „The state of enterprise AI“ veröffentlicht, der ein sehr optimistisches Bild der KI-Nutzung in Unternehmen entwirft.
Beim letzten Firefox des Jahres können sich die Wayland-Nutzer unter uns über Fractional Scaling freuen. Ob es die neue KI-Funktion zur Link-Vorschau wirklich gebraucht hätte, sei dahingestellt.
OpenAI und diverse Sparten des südkoreanischen Mischkonzerns Samsung haben eine Absichtserklärung (Letter of Intent, LOI) abgegeben, der zufolge Samsung OpenAI bei seiner Stargate-Initiative zum…
Der nächste Prozess einer ganzen Welle von Urheberrechtsklagen gegen KI-Firmen steht an: Die Chicago Tribune verklagt Perplexity vor dem New York Federal Court, weil das kalifornische Start-up…
LLMs neigen bekanntlich zu Halluzinationen, weil sie in ihrem Training darauf trainiert wurden, unter allen Umständen eine möglichst hilfreiche Antwort zu geben.
Das französische Unternehmen Mistral AI hat eine neue Version seines LLM Mistral unter Apache-2.0-Lizenz veröffentlicht.
Das chinesiche KI-Unternehmen DeepSeek hat zwei neue, leistungsstarke Open-Source-Modelle releast, die nach eigenen Angaben OpenAIs GPT-5 and Googles Gemini-3.0-Pro in den Schatten stellen…
Der Staat New York hat ein Gesetz in Kraft gesetzt, das die KI-gestützte individuelle Bepreisung von Waren oder Dienstleistungen reguliert.
Jahrelang hatte man angenommen, das sich Convolutional Neural Networks (CNNs), wie sie in der Bildverarbeitung eingesetzt werden, beim Erkennen von Dingen oder Lebewesen hauptsächlich auf die…
Anmelden