Nitrux 3.5.1 schraubt an der NetworkManager-Konfiguration
Die auf Debian basierende Distribution Nitrux liegt in einer neuen Version 3.5.1 vor, die zahlreiche kleine Änderungen mitbringt.
Die auf Debian basierende Distribution Nitrux liegt in einer neuen Version 3.5.1 vor, die zahlreiche kleine Änderungen mitbringt.
Die auf Debian basierende Distribution Nitrux liegt in einer neuen Version vor, die zahlreiche kleine Änderungen mitbringt.
Netcraft hat in seinen Messungen zur Beliebtheit von Webservern für den Juni Antworten von 1,1 Milliarden Websites gewertet und sieht Nginx auf Platz eins.
Linux Mint hat die Beta-Version der mit Spannung erwarteten kommenden 22-Version “Wilma” veröffentlicht. Es handelt sich um eine LTS-Version, die bis 2029 Updates und Unterstützung verspricht. Mit Ubuntu 24.04 LTS und dem Linux-Kernel 6.8 bietet Linux Mint 22 zahlreiche Verbesserungen zur Optimierung des Benutzererlebnisses. Dazu gehören eine bessere Lokalisierung und ein verbessertes Festplattenmanagement, bei dem […]
Der Beitrag Linux Mint 22 Beta erschienen erschien zuerst auf fosstopia.
Total verrückte Zeiten! Während Canonical kürzlich den Support für Ubuntu LTS via Ubuntu Pro auf 12 Jahre insgesamt ausdehnte, kontert SUSE nun und macht einen dicken fetten grünen Strich durch die Rechnung. Denn künftig werden SUSE Linux Enterprise (SLE) – Produkte insgesamt 19 Jahre lang unterstützt. Den längsten LTS Supportzeitraum gibts bei SUSE Die derzeit […]
Der Beitrag SUSE Linux Enterprise: Künftig 19 Jahre LTS Support erschien zuerst auf fosstopia.
Der Enterprise Policy Generator richtet sich an Administratoren von Unternehmen und Organisationen, welche Firefox konfigurieren wollen. Mit dem Enterprise Policy Generator 6.0 ist nach über vier Jahren nun ein großes Update erschienen, welches Unterstützung für viele neue Unternehmensrichtlinien, Fehlerbehebungen und mehr bringt. Der Plan sieht fünf weitere Updates im Laufe der kommenden drei Monate vor.

Download Enterprise Policy Generator für Firefox
Die Enterprise Policy Engine erlaubt es Administratoren, Firefox über eine Konfigurationsdatei zu konfigurieren. Der Vorteil dieser Konfigurationsdatei gegenüber Group Policy Objects (GPO) ist, dass diese Methode nicht nur auf Windows, sondern plattformübergreifend auf Windows, Apple macOS sowie Linux funktioniert.
Der Enterprise Policy Generator hilft bei der Zusammenstellung der sogenannten Enterprise Policies, sodass kein tiefergehendes Studium der Dokumentation und aller möglichen Optionen notwendig ist und sich Administratoren die gewünschten Enterprise Policies einfach zusammenklicken können.
Entwickler von Browser-Erweiterungen nutzen die sogenannte WebExtension-Architektur. Dabei gibt es die ältere Version des Standards, das sogenannte Manifest v2 (MV2), und dessen Weiterentwicklung, das Manifest v3 (MV3). Enterprise Policy Generator ist nun eine MV3-Erweiterung.
Ein weiteres internes Highlight ist die Implementierung eines Schema-Migrators, der die automatische Migration gespeicherter Konfigurationen ermöglicht, wenn im Rahmen eines Updates dieser Erweiterung die Unterstützung einer Richtlinie zugunsten einer neueren Richtlinie entfernt wird oder sich die Verwendung einer Richtlinie durch zusätzliche Optionen verändert.
Enterprise Policy Generator erfordert jetzt Firefox 115 oder höher. Die mindestens erforderliche Firefox-Version wird außerdem nicht länger für Richtlinien angezeigt, welche vor Firefox 115 implementiert worden sind.
Der Enterprise Policy Generator verfolgt einen selbst generierenden Ansatz, bei dem sich der Aufbau der Oberfläche, das Generieren der Datei policies.json, das Speichern und Laden sowie das Exportieren und Importieren von Konfigurationen vollständig automatisiert aus einer einzelnen internen Konfigurationsdatei ableitet. Zur Unterstützung neuer Unternehmensrichtlinien, welche sich bisher nicht abbilden ließen, wurde die Unterstützung für mehrere zusätzliche Richtlinien-Typen ergänzt.
Für Hinweise zur Versionskompatibilität wird nicht länger das alte Firefox-Logo verwendet, außerdem wurde die Dateigröße diverser Grafiken reduziert. Die Anweisungen für Nutzer von Apple macOS wurden klarer formuliert und es gab diverse kleinere Verbesserungen der Code-Qualität.
Das Update auf Version 6.0 bringt auch diverse Fehlerbehebungen. Dies schließt neben anderen Fehlern Probleme bei Verwendung mehrerer Erweiterungen in der ExtensionSettings-Richtlinie ein, leere Objekte in der generierten Datei policies.json, wenn für bestimmte Richtlinien kein Wert übergeben wurde, oder Fehlermeldungen in der Browserkonsole.
Eine der wichtigsten neuen Richtlinien im Enterprise Policy Generator 6.0 ist die Preferences-Richtlinie. Diese erlaubt das Setzen quasi beliebiger Einstellungen, die sich auch über about:config finden lassen. Aus Sicherheitsgründen ist allerdings nicht das Verändern tatsächlich jeder Option erlaubt. Insbesondere die security.-Schalter sind stark eingeschränkt. Der Enterprise Policy Generator kommt inklusive Validierung gültiger Optionsnamen.
Eine weitere wichtige neue Richtlinie ist die Handlers-Richtlinie. Diese erlaubt es, Standardanwendungen für das Öffnen von Dateien, Protokollen und MIME-Typen festzulegen.
Der Enterprise Policy Generator bringt neben diesen beiden neuen Richtlinien die Unterstützung für noch elf weitere komplett neue Richtlinien, unter anderem zur Konfiguration von Erweiterungen, welche chrome.storage.managed verwenden. Zehn bereits bestehende Richtlinien wurden um zusätzliche Optionen erweitert. Zwei Richtlinien sowie die Option einer weiteren Richtlinie wurden entfernt. Für entfernte Optionen oder Richtlinien, deren Verwendung sich geändert hat, sorgt eine automatische Migration in gespeicherten Konfigurationen für einen reibungslosen Ablauf nach dem Update der Erweiterung.
Eine vollständige Übersicht über alle neuen und verbesserten Richtlinien im Enterprise Policy Generator 6.0 gibt es im offiziellen Changelog der Erweiterung.
So lange Nutzer auf dieses Update warten mussten, so schnell soll es jetzt gehen: Während der Enterprise Policy Generator viele Verbesserungen unter der Haube brachte, die Unterstützung aller Unternehmensrichtlinien komplettierte, die im Lebenszyklus von Firefox ESR 68 implementiert worden sind, ebenso wie einen großen Teil der Richtlinien aus Firefox ESR 78, gibt es noch einige Richtlinien und Optionen mehr zu unterstützen. Der Enterprise Policy Generator 6.0 bietet die optimale Grundlage, um diese und zukünftige Richtlinien in angemessener Zeit bereitzustellen. So geht es weiter:
Wer die Entwicklung des Add-ons unterstützen möchte, kann dies tun, indem er der Welt vom Enterprise Policy Generator erzählt und die Erweiterung auf addons.mozilla.org bewertet. Auch würde ich mich sehr über eine kleine Spende freuen, welche es mir ermöglicht, weitere Zeit in die Entwicklung des Add-on zu investieren, um zusätzliche Features zu implementieren.
Der Beitrag Firefox: Enterprise Policy Generator 6.0 veröffentlicht erschien zuerst auf soeren-hentzschel.at.
Das Debian-Projekt hat am 29. Juni 2024 offiziell Debian 12.6, mit dem Codenamen „Bookworm“, veröffentlicht. Dieses Update bringt zahlreiche Korrekturen und Sicherheitsupdates, die es sowohl für bestehende Nutzer als auch für Neueinsteiger attraktiv machen. Sicherheitsverbesserungen Debian 12.6 legt einen starken Fokus auf Sicherheit und behebt mehrere Schwachstellen in verschiedenen Paketen. Dies sorgt für eine robustere […]
Der Beitrag Debian 12.6 „Bookworm“ veröffentlicht erschien zuerst auf fosstopia.
Wenn ihr auf der Suche nach einer starken Alternative zu Microsoft OneNote seid, dann bleibt dran, denn heute stelle ich Euch eine App vor, die verdammt nah rankommt. Eine App, die sowohl eure persönlichen als auch professionellen Notizbedürfnisse abdeckt. Also, lasst uns gleich loslegen und einen genaueren Blick auf die Hauptfunktionen und Vorteile werfen. Wichtige […]
Der Beitrag OneNote ersetzen – diese App kann es erschien zuerst auf fosstopia.
Nach der Veröffentlichung einer Ubuntu LTS Version wird es mit der Nachfolgeversion wieder innovativ. In dem Fall ist die nächste kommende Ubuntu Version 24.10 mit Codenamen „Oracular Oriole“. Die Veröffentlichung von Ubuntu 24.10 ist für Oktober 2024 geplant, sofern keine unerwarteten Verzögerungen auftreten. Diese Zwischenversionen erhalten lediglich 9 Monate Support und enthalten viele interessante technische […]
Der Beitrag Ubuntu 24.10 macht Wayland endlich zum Standard für NVIDIA-Benutzer erschien zuerst auf fosstopia.
Der neue COSMIC Desktop von System76 nimmt Gestalt an und bietet eine Kombination aus modernem Design, intuitiver Navigation und umfangreichen Anpassungsmöglichkeiten. Dabei nutzt es die Vorteile der Programmiersprache Rust. Wie jedes Projekt benötigt auch COSMIC ein ansprechendes Branding, das die Ideale, sowie den Ton des Projekts vermittelt und ihm eine einzigartige, wiedererkennbare Identität verleiht. COSMIC […]
Der Beitrag COSMIC-Desktop: Details zum Branding und der Alpha-Version erschien zuerst auf fosstopia.
Vertikale Tabs sind eine der meistgewünschten Funktionen der Firefox-Nutzer. Nutzer einer Nightly-Version von Firefox können jetzt eine frühe Implementierung testen.
Unter vertikalen Tabs in einem Browser versteht man, die Tabs seitlich untereinander anzuzeigen statt in einer Leiste am oberen Fensterrand. Vorteile sind zum einen eine bessere Nutzung des vorhandenen Platzes sowie, dass mehr Tabs auf einmal angezeigt werden können.
Auf der Liste der meistgewünschten Funktionen auf Mozillas Community Plattform Mozilla Connect stehen vertikale Tabs auf Platz 3. Bereits im April hatte ich darüber berichtet, dass Mozilla daran arbeitet, dieses Feature in Firefox zu integrieren. Nutzer einer Nightly-Version von Firefox können jetzt eine frühe Implementierung testen.
Zur Aktivierung müssen zwei Schalter via about:config geändert und entweder Firefox neu gestartet oder zumindest ein neues Fenster geöffnet werden. Die entsprechenden Optionen heißen sidebar.revamp sowie sidebar.verticalTabs und sind jeweils per Doppelklick auf true zu setzen.
Wichtig: Wie bereits erwähnt, handelt es sich hierbei noch um eine frühe Implementierung. Das bedeutet, dass der derzeitige Zustand weder funktional noch vom Design her bereits das finale Ergebnis repräsentiert. Wer möchte, kann damit aber jetzt schon arbeiten und den Fortschritt über die kommenden Wochen verfolgen.
Der Beitrag Vertikale Tabs können in Firefox Nightly getestet werden erschien zuerst auf soeren-hentzschel.at.
Mozilla hat Firefox 127.0.2 veröffentlicht und behebt damit mehrere Probleme der Vorgängerversion.
Download Mozilla Firefox 127.0.2
Ein seitens YouTube fehlerhaft ausgelieferter Bytestream für VP9-Videos konnte bei Live-Streams und Videos mit hoher Auflösung Probleme bei der Berechnung in Firefox und damit ewiges Puffern verursachen. Firefox 127.0.2 verbessert den Umgang in solchen Situationen und behebt dadurch Probleme bei der Video-Wiedergabe auf YouTube.
Die mit Firefox 127 entfernte Option browser.privateWindowSeparation.enabled, um auf Windows das separate Symbol für private Fenster in der Taskleiste zu deaktivieren, wurde auf Grund von Nutzer-Feedback zurückgebracht.
Der Beitrag Mozilla veröffentlicht Firefox 127.0.2 erschien zuerst auf soeren-hentzschel.at.
Das Buch „Nextcloud Schnelleinstieg“ von Herbert Hertramph ist in der 1. Auflage 2023 im mitp-Verlag erschienen. Es trägt den Untertitel „Der leichte Weg zur eigenen Cloud – Daten sicher speichern und teilen“. Das Buch hat insgesamt 224 Seiten und ist für Nutzer konzipiert, die sich für die Verwendung von Nextcloud entschieden haben oder dies planen. Es bietet einen umfassenden Einblick in die Funktionalitäten und die Handhabung dieser besonderen Open-Source-Cloud.
Dieses Buch geht weniger auf Installationsmöglichkeiten der Nextcloud ein, gibt aber wertvolle Tipps, wie der Nutzer an eine eigene Nextcloud gelangt, ob als selbst installiertes Filesharing-System auf einem Einplatinencomputer, wie dem Raspberry Pi, einem angemieteten vServer oder als gemanagte Cloud bei einem Nextcloud-Spezialisten.
In seinem Buch konzentriert sich der Autor ausschließlich auf die Benutzung der Nextcloud. Er erklärt den Aufbau und die Funktionen auf eine klare und verständliche Art. Der Einsatz vieler Grafiken und Screenshots unterstützt diese Erklärungen und macht sie leicht nachvollziehbar.
Im Buch von Herbert Hertramph wird keine spezifische Nextcloud-Version genannt, was aufgrund der häufigen Veröffentlichung neuer Hauptversionen des Open-Source-Projekts in etwa alle sechs Monate auch kaum möglich ist.
Herbert Hertramph zeigt anschaulich die vielfältigen Möglichkeiten, die sich durch die Anwendungen Dateien zur Dateiverwaltung, Kalender und Kontakte ergeben. Er erläutert, wie Daten einfach geteilt werden können und wie kollaboratives Arbeiten in der Cloud funktioniert. Zudem werden spannende Apps wie Aufgaben und Deck genauer betrachtet. Deck ist ein nützliches Kanban System zur Planung und Umsetzung eigener Projekte. Mail und Talk werden ebenfalls ausführlich erklärt: Mail ist ein in die Cloud integrierter eMail-Client und Talk eine eigenständige Anwendung für Videokonferenzen.
Außerdem wird detailliert besprochen, wie arbeitserleichternde Clients für PC und Mobiltelefone genutzt werden können und wie Daten, Kontakte und Kalender mit diesen Geräten synchronisiert werden können.
Nextcloud ist ein hochwertiges, ausgereiftes und kostenfreies System, das in zahlreichen Unternehmen und Bildungseinrichtungen eingesetzt wird. Es wurde in Deutschland entwickelt, ist Open Source und bietet eine transparente Plattform. Anders als herkömmliche Cloud-Lösungen umfasst Nextcloud neben den Grundfunktionen wie Filesharing auch einen E-Mail-Client, Video-Konferenzmöglichkeiten und die Integration eines Online-Office, was es zu einem umfassenden Enterprise-Produkt macht.
Das Buch gliedert sich in folgende Kapitel:
Inhaltsverzeichnis und Leseprobe
Ich kann dieses Buch jedem empfehlen, der bereits über die Verwendung von Nextcloud nachdenkt oder bereits ein solches System nutzt. Selbst erfahrene Nutzer werden wahrscheinlich noch nützliche Hinweise darin finden. Insgesamt bin ich der Meinung, dass es sich lohnt, das Buch anzuschaffen.
Mozilla experimentiert mit einer KI-basierten Chatbot-Integration für Firefox. Eine Besonderheit ist, dass sich Mozilla dabei nicht auf einen Anbieter festlegt, sondern dem Anwender die Wahl zwischen verschiedenen Anbietern gibt, darunter Google Gemini und ChatGPT. Aber auch eine lokale KI kann beispielsweise über llamafile von Mozilla genutzt werden.
Nutzer einer Nightly-Version von Firefox werden in Kürze eine optionale Chatbot-Integration in Firefox aktivieren können. Diese wird standardmäßig nicht aktiviert sein und vorerst auf Nightly-Versionen limitiert bleiben, also noch nicht in Firefox Beta oder finalen Firefox-Versionen ausgeliefert werden, während Mozilla die Funktionalität verbessert und Feedback über seine Community-Plattform Mozilla Connect sammelt.
Nach der Aktivierung durch den Nutzer stehen im Kontextmenü Funktionen zur Zusammenfassung des markierten Inhalts, zur Vereinfachung der Sprache sowie zu einem Wissenstest über den Inhalt zur Verfügung. Als Anbieter kann in der Chatbot-Sidebar zwischen Google Gemini, Microsoft Copilot, ChatGPT, HuggingChat und Le Chat Mistral ausgewählt werden. Weitere Anbieter können folgen.
Erfahrenere Nutzer können über about:config aber auch eigene Prompts für das Kontextmenü oder einen anderen kompatiblen Chatbot konfigurieren, beispielsweise llamafile von Mozilla, worüber unter anderem auch Open-Source-Modelle lokal auf dem Gerät ausgeführt werden können. Da letzteres noch etwas komplizierter ist, prüft Mozilla derzeit noch, wie sie in Zukunft eine einfach einzurichtende Option für einen vollständig lokalen Chatbot anbieten können.
Der Beitrag Gemini, ChatGPT, lokale KI und mehr: Mozilla experimentiert mit optionaler Chatbot-Integration in Firefox erschien zuerst auf soeren-hentzschel.at.
Liebe Leser*innen,
heute seid ihr gefragt. Denn ich möchte von euch wissen, welchen Laptop und welche Linux-Distribution, ihr für ältere, nicht EDV-affine Menschen und Windows-Umsteiger empfehlen könnt.
Der Laptop soll über folgende Merkmale verfügen:
Die Unterstützung von Linux und Windows ist sehr wichtig. Sollte der Feldversuch mit Linux scheitern, möchte auf der gleichen Hardware ein aktuelles Windows-Betriebssystem installieren können.
Mir schwebt etwas in der Richtung der Lenovo IdeaPad oder ein ThinkPad der L-Serie vor, ich bin jedoch auf eure Empfehlungen gespannt.
Ich suche nach einer Desktop-Umgebung, die folgende Merkmale bietet:
Dies sind Muss-Kriterien, die unbedingt erfüllt sein müssen. Ich möchte, dass die Desktopoberfläche diese Eigenschaften in der Standardkonfiguration erfüllt und ich diese nicht erst konfigurieren oder drölfzig Plug-ins installieren muss, um diesen Zustand zu erreichen.
Die wichtigsten Anwendungen sind:
Die Linux-Distribution muss die oben genannten Anforderungen an die Desktop-Umgebung und die Software erfüllen und dabei stabil allerdings nicht steinalt sein.
Ich möchte nicht vor jeder Videokonferenz mit den Audio-Einstellungen kämpfen müssen, um deutlich zu machen, wo meine Priorität liegt.
Kandidaten, die ich mir ansehen möchte, sind:
Was könnt ihr mir empfehlen? Bitte nutzt die Kommentare und verlinkt, wo möglich zu den Projekten, die ihr empfehlt.
Firefox 127 bringt neue Funktionen wie das Schließen von Tabs bei doppelt geöffneten Webseiten und dem automatischen Start mit dem Betriebssystem unter Windows und schließt 22 Sicherheitslücken.
Der Call for Papers & Presentations für die 22. Kieler Open Source und Linux Tage ist eröffnet. Die Veranstaltung findet vom 19. – 21. September statt
Dies ist die Fortsetzung von „Mit InstructLab zu Large Language Models beitragen“. Hier beschreibe ich, wie es nach dem Training weitergeht.
Das Training auf einer virtuellen Maschine mit Fedora 40 Server, 10 CPU-Threads und 32 GB RAM dauerte 180 Std. 44 Min. 7 Sek. Ich halte an dieser Stelle fest, ohne GPU-Beschleunigung fehlt es mir persönlich an Geduld. So macht das Training keinen Spaß.
Nach dem Training mit ilab train findet man ein brandneues LLM auf dem eigenen System:
(venv) tronde@instructlab:~/src/instructlab$ ls -ltrh models
total 18G
-rw-r--r--. 1 tronde tronde 4.1G May 28 20:34 merlinite-7b-lab-Q4_K_M.gguf
-rw-r--r--. 1 tronde tronde 14G Jun 6 12:07 ggml-model-f16.gguf
Den Chat mit dem LLM starte ich mit dem Befehl ilab chat -m models/ggml-model-f16.gguf. Das folgende Bild zeigt zwei Chats mit jeweils unterschiedlichem Ergebnis:

Schade, das hat nicht so funktioniert, wie ich mir das vorgestellt habe. Es kommt weiterhin zu KI-Halluzinationen und nur gelegentlich gesteht das LLM seine Unkenntnis bzw. seine Unsicherheit ein.
Für mich sind damit 180 Stunden Rechenzeit verschwendet. Ich werde bis auf Weiteres keine Trainings ohne Beschleuniger-Karten mehr durchführen. Jedoch werde ich mir von Zeit zu Zeit aktualisierte Releases der verfügbaren Modelle herunterladen und diesen Fragen stellen, deren Antworten ich bereits kenne.
Wenn sich mir die Gelegenheit bietet, diesen Versuch auf einem Rechner mit entsprechender GPU-Hardware zu wiederholen, werde ich die Erkenntnisse hier im Blog teilen.
Die Open-Source Monitoring-Suite Zabbix ist in Version 7.0 freigegeben worden. Um weiterhin als Open Source verfügbar zu bleiben, erfolgte ein Wechsel zur AGPL als neuer Lizenz.
Nach rund sechs Jahren Entwicklungszeit liegt eine neue Version des Editors LyX vor.
In den vergangengenen Wochen habe ich die erste »echte« Ubuntu-Server-Installation durchgeführt. Abgesehen von aktuelleren Versionsnummern (siehe auch meinen Artikel zu Ubuntu 24.04) sind mir nicht allzu viele Unterschiede im Vergleich zu Ubuntu Server 22.04 aufgefallen. Bis jetzt läuft alles stabil und unkompliziert. Erfreulich für den Server-Einsatz ist die Verlängerung des LTS-Supports auf 12 Jahre (erfordert aber Ubuntu Pro); eine derart lange Laufzeit wird aber wohl nur in Ausnahmefällen sinnvoll sein.
Update 1 am 25.6.2024: Es gibt immer noch keinen finalen Fix für fail2ban, aber immerhin einen guter Workaround (Installation des proposed-Fix).
Update 2 am 29.6.2024: Es gibt jetzt einen regulären Fix.
Recht befremdlich ist, dass fail2ban sechs Wochen nach dem Release immer noch nicht funktioniert. Der Fehler ist bekannt und wird verursacht, weil das Python-Modul asynchat mit Python 3.12 nicht mehr ausgeliefert wird. Für die Testversion von Ubuntu 24.10 gibt es auch schon einen Fix, aber Ubuntu 24.04-Anwender stehen diesbezüglich im Regen.
Persönlich betrachte ich fail2ban als essentiell zur Absicherung des SSH-Servers, sofern dort Login per Passwort erlaubt ist.
Update 1:
* In `/etc/apt/sources.list.d/ubuntu.sources` einen Eintrag für `noble-proposed` hinzufügen, z.B. so:
„`
# zusätzliche Zeilen in `/etc/apt/sources.list.d/ubuntu.sources
Types: deb
URIs: http://archive.ubuntu.com/ubuntu/
Suites: noble-proposed
Components: main universe restricted multiverse
Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg
„`
Beachten Sie, dass sich Ort und Syntax für die Angabe der Paketquellen geändert haben.
* `apt update`
* `apt-get install -t noble-proposed fail2ban`
* in `/etc/apt/sources.list.d/ubuntu.sources` den Eintrag für `noble-proposed` wieder entfernen (damit es nicht weitere Updates aus dieser Quelle gibt)
* `apt update`
Update 2: Der Fix ist endlich offiziell freigegeben. apt update und apt full-upgrade, fertig.
Das Verzeichnis /tmp wird unter Ubuntu nach wie vor physikalisch auf dem Datenträger gespeichert. Auf einem Server mit viel RAM kann es eine Option sein, /tmp mit dem Dateisystemtyp tmpfs im RAM abzubilden. Der Hauptvorteil besteht darin, dass I/O-Operationen in /tmp dann viel effizienter ausgeführt werden. Dagegen spricht, dass die exzessive Nutzung von /tmp zu Speicherproblemen führen kann.
Auf meinem Server mit 64 GiB RAM habe ich beschlossen, max. 4 GiB für /tmp zu reservieren. Die Konfiguration ist einfach, weil der Umstieg auf tmpfs im systemd bereits vorgesehen ist:
systemctl enable /usr/share/systemd/tmp.mount
Mit systemctl edit tmp.mount bearbeiten Sie die neue Setup-Datei /etc/systemd/system/tmp.mount.d/override.conf, die nur Änderungen im Vergleich zur schon vorhandenen Datei /etc/systemd/system/tmp.mount bzw. /usr/share/systemd/tmp.mount enthält.
# wer keinen vi mag, zuerst: export EDITOR=/usr/bin/nano
systemctl edit tmp.mount
In diese Datei einbauen:
# Datei /etc/systemd/system/tmp.mount.d/override.conf
[Mount]
Options=mode=1777,strictatime,nosuid,nodev,size=4G,nr_inodes=1m
Mit einem reboot werden die Einstellungen wirksam.
PS: In Debian 13 wird /tmp mit tmpfs standardmäßig aktiv sein (Quelle). Ubuntu wird in zukünftigen Versionen vermutlich folgen.
Wer ein GitHub Account hat, kann sich sehr einfach über neue Releases (Veröffentlichungen) von Projekten per E-Mail informieren lassen. Es benutzen aber nicht alle Projekte das „Releases“ Feature, sondern setzen stattdessen auf Git Tags....
Die Linux-Distribution Nitrux geht eigene Wege. OpenRC anstelle von systemd und bald Maui Shell anstatt KDE Plasma. Gerade ist Nitrux 3.5.0 erschienen.
Dies ist mein Erfahrungsbericht zu den ersten Schritten mit InstructLab. Ich gehe darauf ein, warum ich mich über die Existenz dieses Open Source-Projekts freue, was ich damit mache und was ich mir von Large Language Models (kurz: LLMs, zu Deutsch: große Sprachmodelle) erhoffe. Der Text enthält Links zu tiefergehenden Informationen, die euch mit Hintergrundwissen versorgen und einen Einstieg in das Thema ermöglichen.
Dieser Text ist keine Schritt-für-Schritt-Anleitung für:
Die Begriffe Künstliche Intelligenz (KI) oder englisch artificial intelligence (AI) werden in diesem Text synonym verwendet und zumeist einheitlich durch KI abgekürzt.
Beim Bezug auf große Sprachmodelle bediene ich mich der englischen Abkürzung LLM oder bezeichne diese als KI-ChatBot bzw. nur ChatBot.
InstructLab ist ein von IBM und Red Hat ins Leben gerufenes Open Source-Projekt, mit dem die Gemeinschaft zur Verbesserung von LLMs beitragen kann. Jeder
der kann nun teilhaben und ausgewählte LLMs lokal auf seinem Endgerät ausführen, testen und verbessern. Für eine ausführliche Beschreibung siehe:
InstructLab ProjectInformationen zu Open Source LLMs und Basismodellen für InstructLab bieten diese Links:
Gegenüber KI-Produkten im Allgemeinen und KI-ChatBots im Speziellen bin ich stets kritisch, was nicht bedeutet, dass ich diese Technologien und auf ihnen basierende Produkte und Services ablehne. Ich versuche mir lediglich eine gesunde Skepsis zu bewahren.
Was Spielereien mit ChatBots betrifft, bin ich sicherlich spät dran. Ich habe schlicht keine Lust, mich irgendwo zu registrieren und unnötig Informationen über mich preiszugeben, nur um anschließend mit einer Büchse chatten und ihr Fragen stellen zu können, um den Wahrheitsgehalt der Antworten anschließend noch verifizieren zu müssen.
Mittlerweile gibt es LLMs, welche ohne spezielle Hardware auch lokal ausgeführt werden können. Diese sprechen meine Neugier und meinen Spieltrieb schon eher an, weswegen ich mich nun doch mit einem ChatBot unterhalten möchte.
Für meine ersten Versuche nutze ich mein Lenovo ThinkPad T14s (AMD) in der Ausstattung von 2021. Aktuell installiert ist Fedora 40 Workstation, welches zu den getesteten Betriebssystemen von InstructLab zählt.
Für die Einrichtung halte ich mich an den Getting Started Guide. Es sind folgende Befehle auszuführen, bis das erste LLM gestartet werden kann:
sudo dnf install gcc-c++ gcc make pip python3 python3-devel python3-GitPython
mkdir instructlab
cd instructlab
python3 -m venv --upgrade-deps venv
source venv/bin/activate
pip cache remove llama_cpp_python
pip install git+https://github.com/instructlab/instructlab.git@stable --extra-index-url=https://download.pytorch.org/whl/cpu
eval "$(_ILAB_COMPLETE=bash_source ilab)"
ilab init
ilab download
ilab serve
Der lokale LLM-Server wird mit dem Befehl ilab serve gestartet. Mit dem Befehl ilab chat wird die Unterhaltung mit dem Modell eingeleitet.
Im folgenden Video sende ich zwei Anweisungen an das LLM merlinite-7b-lab-Q4_K_M. Den Chatverlauf seht ihr in der rechten Bildhälfte. In der linken Bildhälfte seht ihr die Ressourcenauslastung meines Laptops.
merlinite-7b-lab-Q4_K_MWie ihr seht, sind die Antwortzeiten des LLM auf meinem Laptop nicht gerade schnell, aber auch nicht so langsam, dass ich währenddessen einschlafe oder das Interesse an der Antwort verliere. An der CPU-Auslastung im Cockpit auf der linken Seite lässt sich erkennen, dass das LLM durchaus Leistung abruft und die CPU fordert.
Exkurs: Die Studie Energieverbrauch Index-basierter und KI-basierter Websuchmaschinen gibt einen interessanten Einblick in den Ressourcenverbrauch. Leider war ich nicht in der Lage, diese Studie als PDF aufzutreiben.
Mit den Antworten des LLM bin ich zufrieden. Sie decken sich mit meiner Erinnerung und ein kurzer Blick auf die Seite https://www.json.org/json-de.html bestätigt, dass die Aussagen des LLM korrekt sind.
Anmerkung: Der direkte Aufruf der Seite https://json.org, der mich mittels Redirect zu obiger URL führte, hat sicher deutlich weniger Energie verbraucht als das LLM oder eine Suchanfrage in irgendeiner Suchmaschine. Ich merke dies nur an, da ich den Eindruck habe, dass es aus der Mode zu geraten scheint, URLs einfach direkt in die Adresszeile eines Webbrowsers einzugeben, statt den Seitennamen in eine Suchmaske zu tippen.
Ich halte an dieser Stelle fest, der erste kleine Test wird zufriedenstellend absolviert.
Da ich einige Zeit im Hochschulrechenzentrum der Universität Bielefeld gearbeitet habe, interessiert mich, was das LLM über meine ehemalige Dienststelle weiß. Im nächsten Video frage ich, wer der Kanzler der Universität Bielefeld ist.
Da ich bis März 2023 selbst an der Universität Bielefeld beschäftigt war, kann ich mit hinreichender Sicherheit sagen, dass diese Antwort falsch ist und das Amt des Kanzlers nicht von Prof. Dr. Karin Vollmerd bekleidet wird. Im Personen- und Einrichtungsverzeichnis (PEVZ) findet sich für Prof. Dr. Vollmerd keinerlei Eintrag. Für den aktuellen Kanzler Dr. Stephan Becker hingegen schon.
Da eine kurze Recherche in der Suchmaschine meines geringsten Misstrauens keine Treffer zu Frau Vollmerd brachte, bezweifle ich, dass diese Person überhaupt existiert. Es kann allerdings auch in meinen unzureichenden Fähigkeiten der Internetsuche begründet liegen.
Bei der vorliegenden Antwort handelt es sich um eine Halluzination der Künstlichen Intelligenz.
Im Bereich der Künstlichen Intelligenz (KI) ist eine Halluzination (alternativ auch Konfabulation genannt) ein überzeugend formuliertes Resultat einer KI, das nicht durch Trainingsdaten gerechtfertigt zu sein scheint und objektiv falsch sein kann.
Solche Phänomene werden in Analogie zum Phänomen der Halluzination in der menschlichen Psychologie als von Chatbots erzeugte KI-Halluzinationen bezeichnet. Ein wichtiger Unterschied ist, dass menschliche Halluzinationen meist auf falschen Wahrnehmungen der menschlichen Sinne beruhen, während eine KI-Halluzination ungerechtfertigte Resultate als Text oder Bild erzeugt. Prabhakar Raghavan, Leiter von Google Search, beschrieb Halluzinationen von Chatbots als überzeugend formulierte, aber weitgehend erfundene Resultate.
Quelle: https://de.wikipedia.org/wiki/Halluzination_(K%C3%BCnstliche_Intelligenz)
Oder wie ich es umschreiben möchte: „Der KI-ChatBot demonstriert sichereres Auftreten bei völliger Ahnungslosigkeit.“
Wenn ihr selbst schon mit ChatBots experimentiert habt, werdet ihr sicher selbst schon auf Halluzinationen gestoßen sein. Wenn ihr mögt, teilt doch eure Erfahrungen, besonders jene, die euch fast aufs Glatteis geführt haben, in den Kommentaren mit uns.
Welche Auswirkungen überzeugend vorgetragene Falschmeldungen auf Nutzer haben, welche nicht über das Wissen verfügen, diese Halluzinationen sofort als solche zu entlarven, möchte ich für den Moment eurer Fantasie überlassen.
Ich denke an Fahrplanauskünfte, medizinische Diagnosen, Rezepturen, Risikoeinschätzungen, etc. und bin plötzlich doch ganz froh, dass sich die EU-Staaten auf ein erstes KI-Gesetz einigen konnten, um KI zu regulieren. Es wird sicher nicht das letzte sein.
Um das Beispiel noch etwas auszuführen, frage ich das LLM erneut nach dem Kanzler der Universität und weise es auf seine Falschaussagen hin. Der Chatverlauf ist in diesem Video zu sehen:
Die Antworten des LLM enthalten folgende Fehler:
Der Chatverlauf erweckt den Eindruck, dass der ChatBot sich zu rechtfertigen versucht und nach Erklärungen und Ausflüchten sucht. Hier wird nach meinem Eindruck menschliches Verhalten nachgeahmt. Dabei sollten wir Dinge nicht vermenschlichen. Denn unser Chatpartner ist kein Mensch. Er ist eine leblose Blechbüchse. Das LLM belügt uns auch nicht in böser Absicht, es ist schlicht nicht in der Lage, uns eine korrekte Antwort zu liefern, da ihm dazu das nötige Wissen bzw. der notwendige Datensatz fehlt. Daher versuche ich im nächsten Schritt, dem LLM mit InstructLab das notwendige Wissen zu vermitteln.
Das README.md im Repository instructlab/taxonomy enthält die Beschreibung, wie man dem LLM Wissen (englisch: knowledge) hinzufügt. Weitere Hinweise finden sich in folgenden Dateien:
Diese Dateien befinden sich auch in dem lokalen Repository unterhalb von ~/instructlab/taxonomy/. Ich hangel mich an den Leitfäden entlang, um zu sehen, wie weit ich damit komme.
Die Überschrift ist natürlich maßlos übertrieben. Ich stelle lediglich existierende Informationen in erwarteten Dateiformaten bereit, um das LLM damit trainieren zu können.
Da aktuell nur Wissensbeiträge von Wikipedia-Artikeln akzeptiert werden, gehe ich wie folgt vor:
README.md, ohne .gitignore und LICENCEunibi.md hinzumkdir -p university/germany/bielefeld_universityqna.yaml und eine attribution.txt Dateiilab diff aus, um die Daten zu validierenDer folgende Code-Block zeigt den Inhalt der Dateien qna.yaml und eine attribution.txt sowie die Ausgabe des Kommandos ilab diff:
(venv) [tronde@t14s instructlab]$ cat /home/tronde/src/instructlab/taxonomy/knowledge/university/germany/bielefeld_university/qna.yaml
version: 2
task_description: 'Teach the model the who facts about Bielefeld University'
created_by: tronde
domain: university
seed_examples:
- question: Who is the chancellor of Bielefeld Universtiy?
answer: Dr. Stephan Becker is the chancellor of the Bielefeld University.
- question: When was the University founded?
answer: |
The Bielefeld Universtiy was founded in 1969.
- question: How many students study at Bielefeld University?
answer: |
In 2017 there were 24,255 students encrolled at Bielefeld Universtity?
- question: Do you know something about the Administrative staff?
answer: |
Yes, in 2017 the number for Administrative saff was published as 1,100.
- question: What is the number for Academic staff?
answer: |
In 2017 the number for Academic staff was 1,387.
document:
repo: https://github.com/Tronde/instructlab_knowledge_contributions_unibi.git
commit: c2d9117
patterns:
- unibi.md
(venv) [tronde@t14s instructlab]$
(venv) [tronde@t14s instructlab]$
(venv) [tronde@t14s instructlab]$ cat /home/tronde/src/instructlab/taxonomy/knowledge/university/germany/bielefeld_university/attribution.txt
Title of work: Bielefeld University
Link to work: https://en.wikipedia.org/wiki/Bielefeld_University
License of the work: CC-BY-SA-4.0
Creator names: Wikipedia Authors
(venv) [tronde@t14s instructlab]$
(venv) [tronde@t14s instructlab]$
(venv) [tronde@t14s instructlab]$ ilab diff
knowledge/university/germany/bielefeld_university/qna.yaml
Taxonomy in /taxonomy/ is valid :)
(venv) [tronde@t14s instructlab]$
Aus der im vorherigen Abschnitt erstellten Taxonomie generiere ich im nächsten Schritt synthetische Daten, welche in einem folgenden Schritt für das Training des LLM genutzt werden.
Dazu wird der Befehl ilab generate aufgerufen, während sich das LLM noch in Ausführung befindet. Dieser endet bei mir erfolgreich mit folgendem Ergebnis:
(venv) [tronde@t14s instructlab]$ ilab generate
[…]
INFO 2024-05-28 12:46:34,249 generate_data.py:565 101 instructions generated, 62 discarded due to format (see generated/discarded_merlinite-7b-lab-Q4_K_M_2024-05-28T09_12_33.log), 4 discarded due to rouge score
INFO 2024-05-28 12:46:34,249 generate_data.py:569 Generation took 12841.62s
(venv) [tronde@t14s instructlab]$ ls generated/
discarded_merlinite-7b-lab-Q4_K_M_2024-05-28T09_12_33.log
generated_merlinite-7b-lab-Q4_K_M_2024-05-28T09_12_33.json
test_merlinite-7b-lab-Q4_K_M_2024-05-28T09_12_33.jsonl
train_merlinite-7b-lab-Q4_K_M_2024-05-28T09_12_33.jsonl
Zur Laufzeit werden alle CPU-Threads voll ausgelastet. Auf meinem Laptop dauerte dieser Vorgang knapp 4 Stunden.
Jetzt wird es Zeit, das LLM mit den synthetischen Daten anzulernen bzw. zu trainieren. Dieser Vorgang wird mehrere Stunden in Anspruch nehmen und ich verplane mein Laptop in dieser Zeit für keine weiteren Arbeiten.
Um möglichst viele Ressourcen freizugeben, beende ich das LLM (ilab serve und ilab chat). Das Training beginnt mit dem Befehl ilab train… und dauert wirklich lange.
Nach 2 von 101 Durchläufen wird die geschätzte Restlaufzeit mit 183 Stunden angegeben. Das Ergebnis spare ich mir dann wohl für einen Folgeartikel auf und gehe zum Fazit über.
Mit dem InstructLab Getting Started Guide gelingt es in kurzer Zeit, das Projekt auf einem lokalen Linux-Rechner einzurichten, ein LLM auszuführen und mit diesem zu chatten.
KI-Halluzinationen stellen in meinen Augen ein Problem dar. Da LLMs überzeugend argumentieren, kann es Nutzern schwerfallen oder gar misslingen, die Falschaussagen als solche zu erkennen. Im schlimmsten Fall lernen Nutzer somit dummen Unfug und verbreiten diesen ggf. weiter. Dies ist allerdings kein Problem bzw. Fehler des InstructLab-Projekts, da alle LLMs in unterschiedlicher Ausprägung von KI-Halluzinationen betroffen sind.
Wie Knowledge und Skills hinzugefügt werden können, musste ich mir aus drei Guides anlesen. Dies ist kein Problem, doch kann der Leitfaden evtl. noch etwas verbessert werden.
Knowledge Contributions werden aktuell nur nach vorheriger Genehmigung und nur von Wikipedia-Quellen akzeptiert. Der Grund wird nicht klar kommuniziert, doch ich vermute, dass dies etwas mit geistigem Eigentum und Lizenzen zu tun hat. Wikipedia-Artikel stehen unter einer Creative Commons Attribution-ShareAlike 4.0 International License und können daher unkompliziert als Quelle verwendet werden. Da sich das Projekt in einem frühen Stadium befindet, kann ich diese Limitierung nachvollziehen. Ich wünsche mir, dass grundsätzlich auch Primärquellen wie Herstellerwebseiten und Publikationen zugelassen werden, wenn Rechteinhaber dies autorisieren.
Der von mir herangezogene Wikipedia-Artikel ist leider nicht ganz aktuell. Nutze ich ihn als Quelle für das Training eines LLM, bringe ich dem LLM damit veraltetes und nicht mehr gültiges Wissen bei. Das ist für meinen ersten Test unerheblich, für Beiträge zum Projekt jedoch nicht sinnvoll.
Die Generierung synthetischer Daten dauert auf Alltagshardware schon entsprechend lange, das anschließende Training jedoch nochmals bedeutend länger. Dies ist meiner Ansicht nach nichts, was man nebenbei auf seinem Laptop ausführt. Daher habe ich den Test auf meinem Laptop abgebrochen und lasse das Training aktuell auf einem Fedora 40 Server mit 32 GB RAM und 10 CPU-Kernen ausführen. Über das Ergebnis und einen Test des verbesserten Modells werde ich in einem folgenden Artikel berichten.
Was ist mit euch? Kennt ihr das Projekt InstructLab und habt evtl. schon damit gearbeitet? Wie sind eure Erfahrungen?
Arbeitet ihr mit LLMs? Wenn ja, nutzt ihr diese nur oder trainiert ihr sie auch? Was nutzt ihr für Hardware?
Ich freue mich, wenn ihr eure Erfahrungen hier mit uns teilt.
Mozilla stellt in einer neuen Roadmap Funktionen für Firefox vor, die entweder in Arbeit oder geplant sind. Das Spektrum reicht von besserem Tab-Handling bis zu KI.