Die Geschwindigkeit bei der lokalen Ausführung großer Sprachmodelle (LLMs) wird in Zukunft zu einem entscheidenden Kriterium für die CPU/GPU-Auswahl werden. Das gilt insbesondere für Software-Entwickler, die LLMs lokal nutzen möchten anstatt alle Daten an Anbieter wie ChatGPT in die Cloud zu übertragen.

Umso verblüffender ist es, dass es dafür aktuell kaum brauchbare Benchmarks gibt. In Anknüpfung an meinen Artikel Sprachmodelle lokal ausführen und mit Hilfe des Forum-Feedbacks habe ich die folgende Abbildung zusammengestellt.

Die Geschwindigkeit in Token/s wird — zugegeben unwissenschaftlich — mit der Ausführung des folgenden Kommandos ermittelt:

ollama run  llama2 "write a python function to extract email addresses from a string" --verbose

oder

ollama run  llama3 "write a python function to extract email addresses from a string" --verbose

Bei den Tests ist llama3 um ca. 10 Prozent langsamer als llama2, liefert also etwas weniger Token/s. Möglicherweise liegt dies ganz einfach daran, dass das Sprachmodell llama3 in der Standardausführung etwas größer ist als llama2 (7 versus 8 Mrd. Parameter). Aber an der Größenordnung der Ergebnisse ändert das wenig, die Werte sind noch vergleichbar.

Beachten Sie, dass die im Diagramm angegebenen Werte variieren können, je nach installierten Treiber, Stromversorgung, Kühlung (speziell bei Notebooks) etc.

Helfen Sie mit! Wenn Sie Ollama lokal installiert haben, posten Sie bitte Ihre Ergebnisse zusammen mit den Hardware-Eckdaten im Forum. Verwenden Sie als Sprachmodell llama2 bzw. llama3 in der Defaultgröße (also mit 7 bzw. 8 Mrd. Parameter, entspricht llama2:7b oder llama3:8b). Das Sprachmodell ist dann ca. 4 bzw. 5 GByte groß, d.h. die Speicheranforderungen sind gering. (Falls Sie das LLM mit einer dezidierten GPU ausführen, muss diese einen ausreichend großen Speicher haben, in dem das ganze Sprachmodell Platz findet. Je nach Betriebssystem sind u.U. zusätzliche Treiber notwendig, damit die GPU überhaupt genutzt wird.)

Ich werde das Diagramm gelegentlich mit neuen Daten aktualisieren.

💾

Ubuntu 24.04 liefert mit GNOME 46, frischem Installer und viel Neuem einen soliden Linux-Desktop. Für Unmut sorgt der fortgesetzte Snap-Zwang. Ein Überblick.

Die freie Bildbearbeitungsoftware GIMP bringt in der neuesten Version 2.10.38 einige Neuerungen, unter anderem eine verbesserte Unterstützung für (Zeichen-)Tablets unter Windows. Darüber hinaus soll die als „Stable“ gekennzeichnete Aktualisierung die häufig gewünschte Rückportierungen von GTK3 zu GTK2 mitbringen.

Als führende Open-Source-Lösung für Web Analytics ermöglicht Matomo eine effektive Überwachung der Performance von Webseiten und tiefe Einblicke in deren Daten, wie dieser Online-Workshop der Golem Karrierewelt zeigt. (Golem Karrierewelt, Datenschutz)

Ubuntu 24.04 glänzt mit aktueller Software und bringt sonst nur wenige große Neuerungen. Für Admins bestehender Server ist das Update eine sichere Bank.

ARD und ZDF wollen gemeinsam ein Betriebssystem speziell für Mediatheken entwickeln. Die Ergebnisse sollen als Open Source erscheinen. (Streaming, IPTV)

Die freie Software SystemRescue ist in Version 11.01 erschienen und bringt neben dem Linux-Kernel 6.6.30 (LTS) auch kleine Verbesserungen. Beispielsweise wurde die ins Betriebssystem implementierte Partitions-Software GParted in einer aktualisierten Fassung (GParted-1.6.0) eingepflegt. Auch Fehlerkorrekturen sind inkludiert.

Jede Mastodon-Instanz ruft die für die Link-Vorschau nötigen Daten selbst vom zugehörigen Webserver ab. Dadurch entsteht nicht selten eine Anfragenflut mit DDoS-Charakter. (Mastodon, Server)

Der Instant Messenger Telegram erhält in der aktualisierten Version 5.0.0 für den Desktop neue Features. Dazu zählen unter anderem das Anzeigen von letzten Chats und häufigen Kontakten im Suchfeld. Darüber hinaus können Premium-Nutzer in der neuen Version animierte Emojis in Umfragen verwenden.

Die freie Software FrostWire ist in Version 6.13.2 mit einigen Neuerungen und Optimierungen erschienen, auch kleinere Fehlerbehebungen zählen dazu. Eine der wichtigsten Verbesserungen ist die Korrektur der SoundCloud-Suchfunktion. Darüber hinaus enthält FrostWire 6.13.2 jetzt die neueste Java Runtime Environment 22.

Eine Softwareingenieurin, die nur als Hazel bekannt ist, hat seit mehr als zwei Jahren fast 7.500 Firefox-Tabs auf ihrem Mac offen gehalten. (Firefox, Browser)

Der Instant Messenger Telegram erhält in der aktualisierten Version 5.0.0 für den Desktop neue Features. Dazu zählen unter anderem das Anzeigen von letzten Chats und häufigen Kontakten im Suchfeld. Darüber hinaus können Premium-Nutzer in der neuen Version animierte Emojis in Umfragen verwenden.

Ubuntu 24.04 alias Noble Numbat alias Snubuntu ist fertig. Im Vergleich zur letzten LTS-Version gibt es einen neuen Installer, der nach einigen Kinderkrankheiten (Version 23.04) inzwischen gut funktioniert. Ansonsten kombiniert Ubuntu ein Kernsystem aus Debian-Paketen mit Anwendungsprogramme in Form von Snap-Paketen. Für die einfache Anwendung bezahlen Sie mit vergeudeten Ressourcen (Disk Space + RAM).

Installation

Das neue Installationsprogramm hat bei meinen Tests gut funktioniert, inklusive LVM + Verschlüsselung. Einfluss auf die Partitionierung können Sie dabei allerdings nicht nehmen. (Das Installationsprogramm erzeugt eine EFI-, eine Boot- und eine LVM-Partition, darin ein großes Logical Volume.) Zusammen mit der Installation erledigt der Installaer gleich ein komplettes Update, was ein wenig Geduld erfordert.

Standardmäßig führt das Programm eine Minimalinstallation durch — ohne Gimp, Thunderbird, Audio-Player usw. Mit der Option Vollständige Option verhält sich der Installer ähnlich wie in der Vergangenheit. Ein wenig absurd ist, dass dann einige Programme als Debian-Pakete installiert werden, während Ubuntu sonst ja bei Anwendungsprogrammen voll auf das eigene Snap-Format setzt. Wenn Sie Ubuntu installieren, entscheiden Sie sich auch für Snap. Insofern ist es konsequenter, eine Minimalinstallation durchzuführen und später die entsprechenden Snaps im App Center selbst zu installieren.

Snaps + Ubuntu = Snubuntu

Auf das Lamentieren über Snaps verzichte ich dieses Mal. Wer will, kann diesbezüglich meine älteren Ubuntu-Tests nachlesen. Für Version 24.04 hat Andreas Proschofsky in derstandard.at alles gesagt, was dazu zu sagen ist. Der größte Vorteil von Snaps für Canonical besteht darin, dass sich der Wartungsaufwand für Desktop-Programme massiv verringert: Die gleichen Snap-Pakete kommen in diversen Ubuntu-Versionen zum Einsatz.

Netplan 1.0

Mit Ubuntu 24.04 hat Netplan den Sprung zu Version 1.0 gemacht. Größere Änderungen gab es keine mehr, die Versionsnummer ist eher ein Ausdruck dafür, dass Canonical die Software nun als stabil betrachtet. Wie bereits seit Ubuntu 23.10 ist Netplan das Backend zum NetworkManager. Netzwerkverbindungen werden nicht in /etc/NetworkManager/system-connections/ gespeichert wie auf den meisten anderen Distributionen, sondern als /etc/netplan/90-NM-*.yaml-Dateien (siehe auch meinen Bericht zu Ubuntu 23.10).

HEIC-Unterstützung

Ubuntu 24.04 kommt out-of-the-box mit HEIC/HEIF-Dateien zurecht, also mit am iPhone aufgenommenen Fotos. Vor einem dreiviertel Jahr hatte ich noch über entsprechende Probleme berichtet. Im Forum wurde damals kritisiert, dass meine Erwartungshaltung zu hoch sei. Aber, siehe da: Es geht!

Versionsnummern

Basis              Programmierung    Server
---------------    ---------------   --------------
Kernel      6.8    bash        5.2   Apache     2.4
glibc      2.39    docker.io  24.0   CUPS       2.4
Gnome        46    gcc        13.2   MariaDB  10.11
X-Server   21.1    git        2.43   MySQL      8.0
Wayland    1.34    Java         21   OpenSSH    9.6
Mesa       24.0    PHP         8.3   qemu/KVM   8.2
Systemd     255    Python     3.12   Postfix    3.8
NetworkMan 1.46                      Samba     4.19
GRUB       2.12

Bewertung

Seit ich Ubuntu auf dem Desktop kaum mehr nutze, habe ich mehr Distanz gewonnen. So fällt mein Urteil etwas milder aus ;-)

Für Einsteiger ist Ubuntu eine feine Sache: In den meisten Fällen funktioniert Ubuntu ganz einfach. Das gilt sowohl für die Unterstützung der meisten Hardware (auch relativ moderne Geräte) als auch für die Installation von Programmen, die außerhalb der Linux-Welt entwickelt werden (VSCode, Android Studio, Spotify etc.). Was will man mehr? Ubuntu sieht zudem in der Default-Konfiguration optisch sehr ansprechend aus, aus meiner persönlichen Perspektive deutlich besser als die meisten anderen Distributionen. Ich bin auch ein Fan der ständig sichtbaren seitlichen Task-Leiste. Schließlich zählt Canonical zu den wenigen Firmen, die noch Geld in die Linux-Desktop-Weiterentwicklung investieren; dafür muss man dankbar sein.

Alle, die einen Widerwillen gegenüber Snap verspüren, sollten nicht über Ubuntu/Canonical schimpfen, sondern sich für eine der vielen Alternativen entscheiden: Arch Linux, Debian, Fedora oder Linux Mint. Wer nicht immer die neueste Version braucht und sich primär Langzeit-Support wünscht, kann auch AlmaLinux oder Rocky Linux in Erwägung ziehen.

Quellen/Links

• https://ubuntu.com/download/desktop (Download)
• https://discourse.ubuntu.com/t/noble-numbat-release-notes/39890 (Release Notes)
• https://ubuntu.com/blog/canonical-releases-ubuntu-24-04-noble-numbat

Tests

• https://www.derstandard.at/story/3000000217545
• https://www.heise.de/news/Ubuntu-24-04-LTS-Viel-Evolution-keine-Revolution-9696939.html
• https://www.golem.de/news/linux-distribution-canonical-veroeffentlicht-ubuntu-24-04-lts-noble-numbat-2404-184599.html
• https://www.omgubuntu.co.uk/2024/04/ubuntu-24-04-lts-20-changes-to-look-out-for
• https://lwn.net/Articles/971143

Der Multiplayer-Online-Hit League of Legends hat zum Start in den Mai ein Update auf Version 14.9 erhalten. Damit halten die Anti-Cheat-Software Vanguard und TPM-2.0-Pflicht Einzug. Spieler, die den für Windows veröffentlichten Titel zuletzt unter Linux gespielt haben, sind damit raus. Doch Riot Games sah keinen anderen Weg.

Ein Wechsel der Zertifizierungsstelle hat das öffentliche Content Delivery Network JSDelivr für einige Stunden lahmgelegt.

The "MuseBook" and the Banana Pi BPI-F3 are equipped with the SpacemiT Keystone K1, whose RISC-V cores are designed to outperform the ARM Cortex-A55.

Das "KI-Update" liefert werktäglich eine Zusammenfassung der wichtigsten KI-Entwicklungen.

Das "MuseBook" sowie der Banana Pi BPI-F3 sind mit dem SpacemiT Keystone K1 bestückt, dessen RISC-V-Kerne den ARM Cortex-A55 übertreffen sollen.

Der Open-Source-Videoeditor Shotcut, plattformübergreifende Videoschnittsoftware, die zahlreiche Audio- und Videoformate unterstützt, ist in der neuesten Version 24.04.28 für Windows, macOS und Linux erschienen. Neu ist unter anderem die Aktualisierung auf das Media Lovin' Toolkit („MLT“) 7.24.0.

Genehmigung für Teslas FSD + Razer zur Kasse gebeten + China zeigt humanoiden Roboter + Microsoft nimmt Sicherheit ernst + Digitaler Euro mit Fürsprecher

With Tiangong, the Chinese government has made a platform for humanoid robots largely available as open source.

Der chinesische Staat hat mit Tiangong eine Plattform für humanoide Roboter weitgehend als Open Source zur Verfügung gestellt.

Das Bundesamt für Sicherheit in der Informationstechnik warnt vor Sicherheits-Bedrohungen durch Künstliche Intelligenz. Noch aber sei vieles Zukunftsmusik.​

Die Open-Source-Sammlung MKVToolnix mit Werkzeugen rund um den MKV-Container ist in Version 84.0 unter dem Codenamen „Sleeper“ mit einigen Änderungen und Verbesserungen erschienen. Hinzugefügt wurde beim MP4-Reader von „mkvmerge“ unter anderem eine Unterstützung für FLAC in MP4.