Viele Menschen verbringen einen Großteil ihres Tages am Schreibtisch, doch oft unterschätzen wir die Wichtigkeit seiner ergonomischen Anpassung. Ein Schlüsselmerkmal hierbei ist die Höhenverstellung. Sie trägt wesentlich zur gesundheitlichen und produktiven Arbeit bei, doch warum ist das so?
Der Beitrag Darum ist die Höhenverstellung beim Schreibtisch wichtig! erschien zuerst auf Linux Abos.
Mit dieser Woche geht auch der Monat Mai zu Ende. Wirft man einen Blick in die LLM-Timeline, so fällt auf, dass der Monat im Wesentlichen durch die Open-Source-Modelle dominiert wurde. Die Highlights sind hier StarCoder als Code-LLM, RedPajama-INCITE für normale Gespräche und Falcon, ein LLM, das LLaMA den Rang abgelaufen hat.
Falcon von der TII hat in dieser Woche auch wieder Schlagzeilen gemacht. Es dominiert nicht nur weiterhin das Open LLM Leaderboard, sondern steht nun unter der unmodifizierten Apache-2.0-Lizenz, wie bereits Thomas Wolf auch berichtete.
Interessant ist diese Nachricht, weil damit erstmals ein sehr leistungsfähiges LLM unter einer Lizenz steht, die weitestgehend auch kommerziellen Betrieb zulässt. Die Apache-2.0-Lizenz ist ein wichtiger Grundbaustein der Open-Source-Software-Community und ist in vielen Projekten verbreitet, z. B. natürlich den Apache-Projekten, aber auch Kubernetes oder Swift.
In meinen Augen ist es ungewohnt, eine Lizenz für Source Code für ein Modell zu nutzen. Das ist so ein wenig wie Source Code unter eine Creative-Commons-Lizenz zu stellen: es geht, aber war vielleicht nicht die Intention der Initiatoren. Ob speziell angepasste Lizenzen sinnvoller für die Belange von KI-Modellen sind, wird sich über die Zeit zeigen. Die Lizenzierung unter der Apache-2.0-Lizenz bringt allerdings eine gewisse Sicherheit mit sich, da diese Lizenz und ihre Verwendungsweise schon lange erprobt sind.
Der Schachzug der Autoren ist clever: da dieses leistungsstarke Modell nun unter einer offenen Lizenz steht, ist anzunehmen, dass viele Forscher dieses als Grundlage nehmen. Somit macht sich im besten Fall das TII einen Namen in der LLM-Community, ähnlich, wie es Meta in der ersten Jahreshälfte vorgeführt hat.
Die Entwicklung der LLMs geht ungebremst weiter. Und so gibt es nicht nur neue Modelle, sondern auch neue Methodiken, um bessere Modelle zu erreichen. Ein wesentlicher Baustein, der ChatGPT ermöglicht hat, war InstructGPT mit Reinforcement Learning from Human Feedback, kurz RLHF. Hier bewertet ein Mensch die Ausgaben eines Modells und erstellt ein Ranking. Dieses Ranking kann zum weiteren Training herangezogen werden. Das resultierende Modell wird dadurch präsizer und bei den Antworten besser an den menschlichen Bedürfnissen ausgerichtet.
Rafailov, Sharma, Mitchell et al., allesamt Forscher der Stanford University, haben sich nun damit beschäftigt, ob man einen Zwischenschritt in dem Verfahren entfernen kann. Sie berichten nun, dass dies mit Erfolg möglich ist. Das dafür verwendete Verfahren nennen sie Direct Preference Optimization und beschreiben es in ihrem Preprint.
Zum Abschluss des Wochenrückblicks möchten wir auch einmal kurz auf wirtschaftliche Themen schauen. Der GPU-Hersteller NVIDIA hat in dieser Woche eine Marktkapitalisierung von über 1 Billion USD (engl. 1 trillion USD) erreicht. Auch wenn man sich in Anbetracht von Inflation über diese scheinbar willkürliche Zielmarke streiten kann, zeigt es doch, dass NVIDIA als Unternehmen ähnlich hoch bewertet wird wie Apple (einer der bedeutendsten Hersteller mobiler Konsumentengeräte), Microsoft (Hersteller und Betreiber eines der größten Software-Ökosysteme der Welt) oder Alphabet (Betreiber einer Vielzahl bedeutender Internetdienste).
An der Börse wird die Zukunft gehandelt. Somit kann beziffert werden, welchen Wert (institutionelle) Anleger einem GPU-Hersteller beimessen. Der Erfolg von NVIDIA im AI-Geschäft geht in meinen Augen auf die CUDA-Schnittstelle und die immer leistungsfähigeren Systeme zurück. Einen generischen Zugriff auf die Grafikeinheiten zu geben, aus dem KI-Forscher die Eignung für das Training neuronaler Netze erkennen konnten. Das könnte einer der cleversten Schachzüge des Chipherstellers NVIDIA gewesen sein. Und solange Alternativen, ggfs. mit RISC-V auch aus dem Open-Source-Bereich, nicht mithalten können, wird NVIDIA auch in meinen Augen eine wichtige Rolle behalten.
Aus dem heutigen Wochenrückblick lässt sich eines erkennen: wenn man offen der Community Werkzeuge an die Hand gibt, wird sich irgendwer auf der Welt finden, der überrascht ist, für was sich dieses Werkzeug einsetzen lässt. Seine Ergebnisse werden dann vielleicht die ganze Welt überraschen. Genauso wie das AlexNet GPUs in der KI populär gemacht hat, werden auch LLaMA und Falcon neue interessante Innovationen hervorbringen. Seien wir gespannt, was auch die nächste Woche wieder bringt!
Red Hat Service Interconnect reduziert Komplexität und erhöht die Geschwindigkeit von Entwicklern.
Ein neuer adminForge Service kann ab sofort genutzt werden. Mit BreezeWiki habt ihr ein alternatives und quelloffenes Fandom-Frontend, welches euch ein aufgeräumtes und werbefreies stöbern ermöglicht. BreezeWiki: Fandom-Frontend Mit BreezeWiki habt ihr ein alternatives...
by adminForge.
Mandriva Linux, bekannt für seine vielfältigen Einsatzmöglichkeiten, zeichnet sich durch seine intuitive Bedienung und innovativen Features aus. Mit Produkten wie One und Business Server bietet es Lösungen für eine breite Benutzerbasis. Seine benutzerfreundlichen Tools für die Systemkonfiguration und Paketverwaltung und die Unterstützung von 3D-Desktop-Effekten machen Mandriva zu einer interessanten Linux-Distribution.
Der Beitrag Mandriva Linux: Geschichte, Besonderheiten & mehr erschien zuerst auf Linux Abos.
Seit einigen Wochen veröffentliche ich den Wochenrückblick, in dem ich regelmäßig über aktuelle Nachrichten aus der KI-Welt berichte. Auch in dieser Woche gab es drei Neuigkeiten, die ich euch nicht vorenthalten möchte. Endlich gibt es auch wieder neue Modelle!
Nicht alles in der Welt der Large Language Models (LLM) beruht auf Transformers. Sie sind ein Weg, aber nicht der einzige. Das Team rund um Peng, Alcaide und Anthony hat mit Receptance Weighted Key Value (RWKV) eine neue Methode und Architektur entwickelt, mit der es möglich ist, LLMs über rekurrente neuronale Netze (RNNs) statt Transformer umzusetzen.
Der Hintergrund ist, dass beim Einatz von Transformern die Speicher- und Rechenkomplexität eine große Herausforderung darstellt. Sie wächst quadratisch, während RNNs ein lineares Wachstum aufweisen. RNNs mit klassischen Architekturen wiederum waren allerdings nicht so leistungsfähig wie gewünscht. RWKV versucht nun, die Leistungsfähigkeit bei RNNs deutlich zu verbessern, sodass sie mit Transformern mithalten und ihre Skalierungsvorteile ausnutzen können.
Die Ergebnisse wurden vorab in einem Preprint veröffentlicht und können z. B. auf Hugging Face ausprobiert werden. Der Code befindet sich auf GitHub. Schauen wir also, wie sich das Projekt in den nächsten Wochen entwickelt.
Wie bereits in den letzten Wochen erwähnt, entwickelt sich die LLM-Welt durch die Verbreitung der Open-Source-Modelle sehr schnell weiter. Für einige zu schnell und andere nutzen aktiv die Chancen aus. Meta geht aktuell eindeutig als Gewinner hervor, da LLaMA die Grundlage für viele andere erfolgreiche Entwicklungen bildet. Der Vorteil von LLaMA ist, dass hier die Gewichte für ein sehr leistungsfähiges Modell bereitstehen. Dementsprechend nahm bisher LLaMA auch einen der führenden Plätze auf dem Open LLM Leaderboard ein.
Konkurrenz kommt nun aus Abu Dhabi vom Technology Innovation Insitute (TII). Ein Team des Forschungsinstituts hat nun ein neues Modell unter dem Namen Falcon veröffentlicht, welches bei den Metriken AI2 Reasoning Challenge, HellaSwag und MMLU bessere Werte einfährt. Einzig bei TruthfulQA haben llama-65b und llama-30b-supercot noch die Nase vorn.
Bereitgestellt wird das Modell unter der "TII Falcon LLM License", einer modifizierten Apache-2.0-Lizenz, das Paper erscheint demnächst. Verfügbar ist Falcon mit 40 Mrd. Parametern und mit 7 Mrd. Parametern.
LLMs sind Sprachmodelle. Das bedeutet, ihr Ziel ist es, bestimmte Inhalte in einer natürlichen Sprache auszugeben - unabhängig vom Wahrheitsgehalt, der Semantik. Als Nebenprodukt können sie einige ausgewählte Fakten wiedergeben.
Dieser Umstand ist und bleibt nur wenigen bewusst. Viele denken, mit ChatGPT & Co. könnte man recherchieren. Das ist aber falsch, denn wenn keine Document Retrieval integriert ist und richtig funktioniert, wird ein LLM eine Lösung ausgeben, die zwar schön klingt, aber nicht unbedingt stimmt. Im Podcast habe ich beiläufig mal erwähnt, dass damit eine Patentrecherche nahezu unmöglich wird, aber ich hätte nie gedacht, dass sowas in freier juristischer Wildbahn eingesetzt wird.
Nun, ich wurde eines besseren belehrt. ChatGPT wird noch zu häufig als Suchmaschine zweckentfremdet und gibt dann falsche Ergebnisse aus. Besonders bemerkenswert: in diesem und dem Betrugsüberprüfungsfall aus letzter Woche wurde die Plausibilitätsprüfung ebenfalls an ChatGPT übergeben. Wie soll ein Modell auf "Stimmt das, was du sagst?" überhaupt antworten?
Bleibt zu hoffen, dass wir auch in der kommenden Woche über viele interessante neue Methoden und Modelle und weniger über die Falschbedienung von LLMs berichten können.
Ein neuer adminForge Service kann ab sofort genutzt werden. Sicher Passwörter austauschen. Password Exchange Sicher Passwörter austauschen. https://pw.adminforge.de Features: Passwörter können nur EINMAL abgerufen werden, danach ist der Link ungültig Passwörter werden verschlüsselt Für...
by adminForge.
Es wird ruhiger im Umfeld der künstlichen Intelligenz, aus diesem Grund wird es in diesem Wochenrückblick mehr um Anwendungen als Grundlagenforschung gehen.
In dieser Woche hat DarkBERT die Runde gemacht. Dabei handelt es sich um ein Sprachmodell der RoBERTa-Klasse, das von Forschern aus Südkorea speziell auf Darknet-Inhalte trainiert wurde. Ziel soll es sein, die Umgangsformen in diesen schwerer zugänglichen Netzwerken analysieren zu können. Aus diesem Grund wird das Modell auch nicht veröffentlicht.
Mich hat diese Nachricht in erster Linie an das Projekt GPT-4chan von Yannic Klicher erinnert. Wenig überraschend ist es daher, dass auch dieses Modell in einigen Metriken besser abschneidet als die weitverbreiteten LLMs.
KI besteht nicht nur aus LLMs, das habe ich schon öfter erwähnt. In den letzten 5 Jahren dominierten vor allem die Generative Adverserial Networks (GANs), die sich mit der gezielten Generierung und Manipulation von Bildern beschäftigt haben.
Hier gibt es mit dem Paper Drag You GAN gute Neuigkeiten: Forscher vom Max-Planck-Institut, vom MIT und Google haben eine Methodik entwickelt, mit der es möglich ist, interaktiv und Punkt-basiert Änderungen an Fotos umzusetzen. Damit kann einfach ein Gesicht verschoben oder ein zugekniffenes Auge im Sonnenlicht wieder aufgeklappt werden. Gut, dass es hier auch weitergeht.
In dieser Woche kursierte besonders die Nachricht, dass ein texanischer Professor Studenten mithilfe von ChatGPT zu überführen glaubte, indem er ChatGPT gefragt hat, ob Hausarbeiten der Studenten vom einem LLM geschrieben wurden. Das LLM tat das, was es besonders gut konnte und halluzinierte. Studenten mussten um ihre Noten und sogar ihre Abschlüsse fürchten. Durch die nun erlangte Aufmerksamkeit wurde nun eine Klärung herbeigeführt.
Dass von diesen angeblichen KI-Klassifikatoren im aktuellen Zustand nicht viel zu halten ist, unterstreicht auch das aktuelle Paper GPT detectors are biased against non-native English writers. Es geht dem Umstand nach, dass die Detektoren genau die Texte fälschlich als KI-generiert klassifzieren, die von Nicht-Muttersprachlern stammen. Einerseits führt das zu False Positives und bietet andererseits Angriffspotential, um KI-generierte Texte zu verschleiern. Alles in allem kein gutes Ergebnis für die Detektoren.
An dieser Stelle wird auch eine übliche Schwäche des Lernens aus Beispielen in Verbindung mit neuronalen Netzen deutlich. Oftmals weiß man nicht, was genau gelernt wird und das lässt sich auch schwer herausfinden, Stichwort Explainable AI. Man glaubt, herausgefunden zu haben, was KI- und Nicht-KI-Texte unterscheidet, kann in Wirklichkeit aber nur zwischen "sprachlich geschliffenen" und "sprachlich nicht-geschliffenen" Texten unterscheiden.
Es ist also noch viel zu tun und wir können gespannt bleiben, was auch die kommende Woche uns bringt!
Ein neuer adminForge Service kann ab sofort genutzt werden. Ein Heim für deinen Code – deine Projekte. Git Ein Heim für deine Projekte. https://git.adminforge.de Features: Organisationen erstellen Repositories erstellen Mirrored Repo zu bspw. GitHub...
by adminForge.
Mit Version 2.2 des Vulkan-Wrappers DXVK schicken sich die Entwickler an, weitere Fehlerkorrekturen durch- und neue Features einzuführen, darunter D3D11On12. DXVK ist als Bestandteil von Proton wesentlicher Bestandteil von Valves Bemühungen, das Gaming auf Linux und damit ihren eigenen Handheld Steam Deck zu bringen.
Entwickler AlpyneDreams hat D8VK in der Version 1.0 veröffentlicht. Das Tool übersetzt DirectX-8-Systemaufrufe in Vulkan. Auch ältere Spiele werden damit auf neueren Linux- und Windows-PCs lauffähig und unter Linux kann dabei auch die Leistung höher ausfallen.
Nachdem DistroTest vor einigen Monaten von der Bildfläche verschwand, gibt es nun mit DistroSea eine neue Möglichkeit, verschiedene Linux-Distributionen schnell und einfach im Browser zu testen. Auch wenn die Leistung bisher noch ein Engpass ist, bietet der Dienst Interessierten schon jetzt eine nützliche Plattform.
Linux hat auf dem privaten Desktop-PC noch immer keine große Verbreitung, obwohl es vom Mikroprozessor bis zum Großrechner überall Verwendung findet. Selbst zum Spielen aktueller Titel ist es mittlerweile auf diversen Wegen durchaus nutzbar. Ein Überblick zum Einstieg für alle Interessierten, um die ersten Klippen zu umschiffen.
Ein neuer adminForge Service kann ab sofort genutzt werden. nope.chat ist ein freier [matrix] Heimserver für den Element Messenger. Bildquelle: element.io Matrix Messenger nope.chat ist ein freier [matrix] Heimserver für den Element Messenger. https://nope.chat...
by adminForge.
Mit dem neuesten Update für Proton auf Version 8.0-1 hält nicht nur die Unterstützung zahlreicher weiterer Spiele in den offiziellen Release Einzug, auch gibt es technische Verbesserungen für das Steam Deck und Linux. Aber nicht alle Spieler profitieren, denn viele ältere Grafikkarten werden nicht mehr unterstützt.
Version 6.3 des Linux Kernels visiert besonders neuere AMD-Prozessoren an, aber auch noch gar nicht veröffentlichte Entwicklungen von Intel. Eine verbesserte Hardware-Unterstützung zum Beispiel für Peripherie gibt es ebenso.
Der Einplatinencomputer Raspberry Pi 4 ist nur mit 1 GB bis 8 GB RAM erhältlich. Einem Modder von MadEDoctor war das zu wenig, 16 GB sein Ziel. Er hat die technisch aufwändige Modifikation im Video dokumentiert. Es liefert interessante Einblicke und die Erkenntnisse, dass das Speicher-Upgrade im Alltag nicht nutzbar ist.
Ein neuer adminForge Service kann ab sofort genutzt werden. Zeichne deine eigenen Diagramme mit draw.io. Zeichne deine eigenen Diagramme mit draw.io. https://draw.adminforge.de Features: Integration in der adminForge Nextcloud keine Verbindung zu externen Diensten keine...
by adminForge.
Die bei Einsteigern beliebte, auf Arch Linux basierende und von Valve für Spiele empfohlene Linux-Distribution Manjaro erhält neue ISO-Abbilder zum Herunterladen. Dabei wurden die Softwarepakete des Betriebssystems auf einen neuen Stand gebracht. Offiziell erscheinen Editionen mit Gnome, Plasma und XFCE.
Ubuntu 23.04, Codename Lunar Lobster, ist erschienen. Neben einem Support für 9 Monate, gibt es zahlreiche Aktualisierungen für Programmpakete. Besonders die weitere Integration des UI-Frameworks Flutter und die Einführung, der aus der Enterprise-Edition stammenden Gruppenrichtlinien, stehen im Fokus des Betriebssystems.
“Bei Open Source geht es darum, das Maximale aus vorhandener Technik rauszuholen”, sagt Dinko Eror von Red Hat.
Mit dem neuesten Update für Proton auf Version 8.0-1 hält nicht nur die Unterstützung zahlreicher weiterer Spiele in den offiziellen Release Einzug, auch gibt es technische Verbesserungen für das Steam Deck und Linux. Aber nicht alle Spieler profitieren, denn viele ältere Grafikkarten werden nicht mehr unterstützt.
Die Vorabversion von Fedora Linux 38 steht ab sofort zum Testen bereit. Die Beta zeigt bereits, was bald geboten wird. Mit Gnome 44 wird in der Workstation-Variante abermals auf die neuste Version dieses Desktops gesetzt, aber auch Alternativen sind mit von der Partie.
Nicht nur die Sicherheit im offline Straßenverkehr ist wichtig. Auch das Bewegen auf Datenautobahnen muss auf sicheren Wegen erfolgen. Leider gibt es wie auf normalen Straßen auch immer wieder Schlaglöcher, sprich Sicherheitslücken, welche behoben werden müssen. Der Linux- Kernel ist davon häufig betroffen, doch eine Abhilfe verschiedener Lücken ist kein Hexenwerk.
Der Beitrag Neuer Bug im Linux Kernel führt zur BSI Sicherheitswarnung erschien zuerst auf Linux Abos.
Das für die Darstellung der FPS und weiterer Leistungsdaten unter Linux weit verbreitete Programm MangoHud, das auch im Steam Deck integrierte wurde, hat mit Version v0.6.9 eine Reihe von Verbesserungen erhalten. Neben kleineren Bugfixes gibt es auch neue Parameter, mit welchen sich das Tool noch besser nutzen lässt.
Anmelden