So komfortabel Paketmanager unter Linux auch sind, der Umfang der verfügbaren Software richtet sich nach der verwendeten Distribution. Dabei unterscheiden sich auch Programmversionen oftmals zwischen verschiedenen Distros. Mit über 80.000 Paketen in NIX rücken der Unterbau und dessen Quellen in den Hintergrund.
Während der letzte KI-Wochenrückblick etwas kürzer ausfiel, da die gefühlt gesamte Tech-Welt nach Cupertino geschaut hat, gibt es in dieser Woche etwas mehr zu berichten. Starten wir also rein!
Üblicherweise steht bei Tech-Themen die Technologie im Vordergrund. Nicht so bei KI. Man kann es vielleicht dem Zeitgeist oder den Erfahrungen mit dem Internet zuschreiben, aber bei rechtlichen oder gesellschaftlichen Auswirkungen wird bei KI ein strenger Maßstab angelegt. So hat in dieser Woche das EU-Parlament den lange diskutierten AI Act eine Stufe weitergeschoben. Im wesentlichen bedeutet der AI Act, dass man nicht mehr jede beliebige KI-Anwendung auf den Markt werfen kann. Erfüllt eine Anwendung bestimmte Kriterien, müssen zusätzliche, bürokratische Schritte zur Qualitätssicherung und Folgenabschätzung vorgenommen werden. Welche Kriterien das sind und was daraus folgt, ist im aktuellen Prozess schwer zu verfolgen, reicht(e) aber von "ChatGPT wird praktisch verboten" bis "Es wird sehr aufwändig".
Besonders schwierig ist es, die Auswirkungen eines solchen Regelwerks anhand konkreter Beispiele nachzuvollziehen. Risihi Bommasani vom Stanford CRFM hat diese Woche auf Twitter demonstriert, wie das aussehen könnte. Er und sein Team haben für 10 verschiedene KI-Anbieter in einer Punktematrix dargelegt, wo welche Anbieter punkten und wo noch Nachbesserungsbedarf ist. Besonders gut kam BigScience (BLOOM) an, hier wurden 36 von 48 möglichen Punkten geholt, besonders bei "Data sources", "Data governance" und "Downstream documentation" konnte BigScience punkten.
Typische Ermittlerdokus sind der KI schon seit Jahrzehnten voraus und können die Regeln von Raum und Zeit auf Überwachungsvideos außer Kraft setzen. Aktuelle Entwicklungen in der KI ziehen aber langsam nach. Mit Seeing the World through Your Eyes haben Alzayer et al. von der University of Maryland, College Park gezeigt, dass die Reflexion der Pupillen eines Menschen in Bildsequenzen genutzt werden kann, um das Gesehene aus seiner Perspektive als 3D-Modell abzubilden.
So wird "Point of View" real und kann benutzt werden, um Gegenstände, die die Person sieht, wiederzuerkennen. Natürlich ist die Technologie nicht perfekt und verfügt über eine geringe Auflösung, zeigt aber, dass in den verschiedensten Bereichen der Musterverarbeitung Entwicklung stattfindet. Dieses Paper setzt auch neuronale Netze lediglich am Rande ein, was noch einmal verdeutlicht, dass KI nicht nur aus LLMs und Transformers besteht.
Nichtdestotrotz bleiben die LLMs ein Thema. Galine Alperovich hat im letzten Monat eine Zusammenstellung von Tricks veröffentlicht, um 100K Context Windows zu ermöglichen. Mit Claude haben wir bereits ein System gesehen, was so ein enormes Kontextfenster umsetzt, auch MPT weist mittlerweile Kontextfenster um die 65.000 Token auf.
Ihre dargelegten Hinweise können genutzt werden, um das Training von eigenen Modellen zu optimieren, denn das stellt heutzutage die große Kunst dar. Dass das Training generell möglich ist, haben wir gesehen. Es aber auch aufwandsarm umzusetzen, kann einerseits die Kosten senken, aber auch das Training für kleinere Akteure generell erst möglich machen.
Abschließend für den heutigen Wochenrückblick können wir auch nochmal auf OpenLLaMA schauen. Viele Teams haben sich in der Zwischenzeit rangesetzt, um Meta AIs Arbeit zumindest zu reproduzieren. Die Ergebnisse trudeln Woche für Woche ein. Seit dieser Woche sind nun auch die Gewichte für OpenLLaMA-13B auf HuggingFace verfügbar.
Bleiben wir gespannt, was uns auch die nächste Woche wieder an Neuigkeiten bringt!
Bild: FOSS-Koordinierungsstelle
Die Stellenausschreibung der Stadt Dortmund zur Besetzung der Koordinierungsstelle Digitale Souveränität und Open Source wurde heute veröffentlicht. Do-FOSS bittet um Mithilfe beim Streuen der Stellenausschreibung an Interessierte! Ausgeschrieben wird die Einrichtung einer Planstelle in Vollzeit für eine wissenschaftliche Mitarbeit in der Wertigkeit Entgeltgruppe 13 des Tarifvertrags des öffentlichen Dienstes, welche die Koordinierung und Umsetzung zum Thema Digitale Souveränität und Open Source auf kommunaler Ebene übernimmt. Es soll eine Open-Source-Strategie für die Stadt Dortmund erarbeitet werden, die anhand standardisierter Bewertungskriterien die Entscheidungsfindung für den Einsatz von Open-Source-Software unterstützt und einen Fahrplan zur Sicherstellung der digitalen Souveränität enthält. An dieser Stelle sendet Do-FOSS auch Grüße in die Nachbarstadt Bochum, wo das Zentrum für Digitale Souveränität der Öffentlichen Verwaltung (ZenDiS) neu eröffnet werden wird.
Nähere Hintergründe zum Open-Source-Pionierweg der Stadt Dortmund wurden auf der virtuellen Veranstaltung: Kommunen brauchen Freie Software – Dortmund geht als Referenzkommune voran gegeben. Die Free Software Foundation Europe hat die Veranstaltung aufgenommen und die Aufzeichnung öffentlich zur Verfügung gestellt.
Wer Informationen zu aktuellen Entwicklungen rund um Freie Software in Kommunen beziehen möchte und auch den Fachaustausch mit anderen sucht, könnte sich für die neu eingerichtete Mailingliste der Free Software Foundation Europe interessieren. Auch Do-FOSS ist dort vertreten. Darüber hinaus steht Do-FOSS wie üblich für Rückfragen gerne zur Verfügung und freut sich bereits auf die Einarbeitung der neuen Stelle in Kooperation mit der Stadt Dortmund.
The post Koordinierungsstelle Digitale Souveränität und Open Source ausgeschrieben appeared first on Do-FOSS.
Immer mehr Spiele, auch solche mit Anti-Cheat, laufen unter Linux. Neuzugang ist Smite, ein 3rd-Person-MOBA auf Basis der Unreal Engine. Die Entwickler haben in Zusammenarbeit mit der Community den Easy Anti-Cheat Linux-kompatibel eingestellt und mit dem letzten Patch ausgeliefert.
Diese Woche war Tech-mäßig durch die WWDC 2023 dominiert. AI war bei Apple speziell bei macOS eher ein Randthema, das Augenmerk der Konferenz lag auf VR.
In aller Kürze also nun wichtige Nachrichten der Woche.
Bis zur nächsten Woche!
Das Debian-Projekt hat Version 12 des freien Betriebssystems veröffentlicht. „Bookworm“ setzt dabei die eigenen Beschlüsse über die Verwendung unfreier Firmware um. Proprietäre Firmwarepakete werden nun getrennt von anderer unfreier Software gepackt.
Wie einige meiner Leser schon wissen, produziere ich einen Podcast und berichte, wenn es thematisch passt, von einigen Episoden auf diesem Blog. In dieser Woche erschien Episode 23, in der es um Open-Source-Software und Open-Source-KI ging.
Auslöser war die Diskussion rund um die Ankündigung von Red Hat, zukünftig nicht mehr LibreOffice direkt zu paketieren. Diesbezüglich empfehlenswert ist der teils kontroverse Kommentar von Gerrit in seinem Blog.
Kontrovers bleibt das Thema Open Source auch weiterhin. Sollte man Open Source allen proprietären Produkten vorziehen, auch wenn die Software schlechter ist? Wie sehr hat man überhaupt noch die Kontrolle über sein eigenes System?
Auf der anderen Seite entwickelt sich Open-Source-KI deutlich positiver und es stehen immer mehr freie Modelle zur Verfügung, die es mit den Platzhirschen aufnehmen können. Insbesondere für die Wissenschaft bietet das eine wichtige Grundlage, weil offene Daten mehr Innovation ermöglichen, wenn Wissenschaftler Freiheiten haben, Dinge auszuprobieren.
All diese Themen und Fragen diskutieren wir in der knapp 90-minütigen Episode. Viel Spaß beim Hören!
Wie Diablo IV auf Windows-PCs mit 38 verschiedenen GPUs und 14 CPUs sowie auf dem Handheld Asus ROG Ally läuft, hat ComputerBase im Artikel Diablo IV im Technik-Test: 38 Grafikkarten, 14 CPUs und ROG Ally im Benchmark diese Woche bereits ausführlich getestet. Dieser Artikel reicht Linux-Gaming-PC- und Steam-Deck-Benchmarks nach.
Mit dieser Woche geht auch der Monat Mai zu Ende. Wirft man einen Blick in die LLM-Timeline, so fällt auf, dass der Monat im Wesentlichen durch die Open-Source-Modelle dominiert wurde. Die Highlights sind hier StarCoder als Code-LLM, RedPajama-INCITE für normale Gespräche und Falcon, ein LLM, das LLaMA den Rang abgelaufen hat.
Falcon von der TII hat in dieser Woche auch wieder Schlagzeilen gemacht. Es dominiert nicht nur weiterhin das Open LLM Leaderboard, sondern steht nun unter der unmodifizierten Apache-2.0-Lizenz, wie bereits Thomas Wolf auch berichtete.
Interessant ist diese Nachricht, weil damit erstmals ein sehr leistungsfähiges LLM unter einer Lizenz steht, die weitestgehend auch kommerziellen Betrieb zulässt. Die Apache-2.0-Lizenz ist ein wichtiger Grundbaustein der Open-Source-Software-Community und ist in vielen Projekten verbreitet, z. B. natürlich den Apache-Projekten, aber auch Kubernetes oder Swift.
In meinen Augen ist es ungewohnt, eine Lizenz für Source Code für ein Modell zu nutzen. Das ist so ein wenig wie Source Code unter eine Creative-Commons-Lizenz zu stellen: es geht, aber war vielleicht nicht die Intention der Initiatoren. Ob speziell angepasste Lizenzen sinnvoller für die Belange von KI-Modellen sind, wird sich über die Zeit zeigen. Die Lizenzierung unter der Apache-2.0-Lizenz bringt allerdings eine gewisse Sicherheit mit sich, da diese Lizenz und ihre Verwendungsweise schon lange erprobt sind.
Der Schachzug der Autoren ist clever: da dieses leistungsstarke Modell nun unter einer offenen Lizenz steht, ist anzunehmen, dass viele Forscher dieses als Grundlage nehmen. Somit macht sich im besten Fall das TII einen Namen in der LLM-Community, ähnlich, wie es Meta in der ersten Jahreshälfte vorgeführt hat.
Die Entwicklung der LLMs geht ungebremst weiter. Und so gibt es nicht nur neue Modelle, sondern auch neue Methodiken, um bessere Modelle zu erreichen. Ein wesentlicher Baustein, der ChatGPT ermöglicht hat, war InstructGPT mit Reinforcement Learning from Human Feedback, kurz RLHF. Hier bewertet ein Mensch die Ausgaben eines Modells und erstellt ein Ranking. Dieses Ranking kann zum weiteren Training herangezogen werden. Das resultierende Modell wird dadurch präsizer und bei den Antworten besser an den menschlichen Bedürfnissen ausgerichtet.
Rafailov, Sharma, Mitchell et al., allesamt Forscher der Stanford University, haben sich nun damit beschäftigt, ob man einen Zwischenschritt in dem Verfahren entfernen kann. Sie berichten nun, dass dies mit Erfolg möglich ist. Das dafür verwendete Verfahren nennen sie Direct Preference Optimization und beschreiben es in ihrem Preprint.
Zum Abschluss des Wochenrückblicks möchten wir auch einmal kurz auf wirtschaftliche Themen schauen. Der GPU-Hersteller NVIDIA hat in dieser Woche eine Marktkapitalisierung von über 1 Billion USD (engl. 1 trillion USD) erreicht. Auch wenn man sich in Anbetracht von Inflation über diese scheinbar willkürliche Zielmarke streiten kann, zeigt es doch, dass NVIDIA als Unternehmen ähnlich hoch bewertet wird wie Apple (einer der bedeutendsten Hersteller mobiler Konsumentengeräte), Microsoft (Hersteller und Betreiber eines der größten Software-Ökosysteme der Welt) oder Alphabet (Betreiber einer Vielzahl bedeutender Internetdienste).
An der Börse wird die Zukunft gehandelt. Somit kann beziffert werden, welchen Wert (institutionelle) Anleger einem GPU-Hersteller beimessen. Der Erfolg von NVIDIA im AI-Geschäft geht in meinen Augen auf die CUDA-Schnittstelle und die immer leistungsfähigeren Systeme zurück. Einen generischen Zugriff auf die Grafikeinheiten zu geben, aus dem KI-Forscher die Eignung für das Training neuronaler Netze erkennen konnten. Das könnte einer der cleversten Schachzüge des Chipherstellers NVIDIA gewesen sein. Und solange Alternativen, ggfs. mit RISC-V auch aus dem Open-Source-Bereich, nicht mithalten können, wird NVIDIA auch in meinen Augen eine wichtige Rolle behalten.
Aus dem heutigen Wochenrückblick lässt sich eines erkennen: wenn man offen der Community Werkzeuge an die Hand gibt, wird sich irgendwer auf der Welt finden, der überrascht ist, für was sich dieses Werkzeug einsetzen lässt. Seine Ergebnisse werden dann vielleicht die ganze Welt überraschen. Genauso wie das AlexNet GPUs in der KI populär gemacht hat, werden auch LLaMA und Falcon neue interessante Innovationen hervorbringen. Seien wir gespannt, was auch die nächste Woche wieder bringt!
Ein neuer adminForge Service kann ab sofort genutzt werden. Mit BreezeWiki habt ihr ein alternatives und quelloffenes Fandom-Frontend, welches euch ein aufgeräumtes und werbefreies stöbern ermöglicht. BreezeWiki: Fandom-Frontend Mit BreezeWiki habt ihr ein alternatives...
by adminForge.
Ein neuer adminForge Service kann ab sofort genutzt werden. Sicher Passwörter austauschen. Password Exchange Sicher Passwörter austauschen. https://pw.adminforge.de Features: Passwörter können nur EINMAL abgerufen werden, danach ist der Link ungültig Passwörter werden verschlüsselt Für...
by adminForge.
Ein neuer adminForge Service kann ab sofort genutzt werden. Ein Heim für deinen Code – deine Projekte. Git Ein Heim für deine Projekte. https://git.adminforge.de Features: Organisationen erstellen Repositories erstellen Mirrored Repo zu bspw. GitHub...
by adminForge.
Mit Version 2.2 des Vulkan-Wrappers DXVK schicken sich die Entwickler an, weitere Fehlerkorrekturen durch- und neue Features einzuführen, darunter D3D11On12. DXVK ist als Bestandteil von Proton wesentlicher Bestandteil von Valves Bemühungen, das Gaming auf Linux und damit ihren eigenen Handheld Steam Deck zu bringen.
Entwickler AlpyneDreams hat D8VK in der Version 1.0 veröffentlicht. Das Tool übersetzt DirectX-8-Systemaufrufe in Vulkan. Auch ältere Spiele werden damit auf neueren Linux- und Windows-PCs lauffähig und unter Linux kann dabei auch die Leistung höher ausfallen.
Nachdem DistroTest vor einigen Monaten von der Bildfläche verschwand, gibt es nun mit DistroSea eine neue Möglichkeit, verschiedene Linux-Distributionen schnell und einfach im Browser zu testen. Auch wenn die Leistung bisher noch ein Engpass ist, bietet der Dienst Interessierten schon jetzt eine nützliche Plattform.
Linux hat auf dem privaten Desktop-PC noch immer keine große Verbreitung, obwohl es vom Mikroprozessor bis zum Großrechner überall Verwendung findet. Selbst zum Spielen aktueller Titel ist es mittlerweile auf diversen Wegen durchaus nutzbar. Ein Überblick zum Einstieg für alle Interessierten, um die ersten Klippen zu umschiffen.
Ein neuer adminForge Service kann ab sofort genutzt werden. nope.chat ist ein freier [matrix] Heimserver für den Element Messenger. Bildquelle: element.io Matrix Messenger nope.chat ist ein freier [matrix] Heimserver für den Element Messenger. https://nope.chat...
by adminForge.
Mit dem neuesten Update für Proton auf Version 8.0-1 hält nicht nur die Unterstützung zahlreicher weiterer Spiele in den offiziellen Release Einzug, auch gibt es technische Verbesserungen für das Steam Deck und Linux. Aber nicht alle Spieler profitieren, denn viele ältere Grafikkarten werden nicht mehr unterstützt.
Version 6.3 des Linux Kernels visiert besonders neuere AMD-Prozessoren an, aber auch noch gar nicht veröffentlichte Entwicklungen von Intel. Eine verbesserte Hardware-Unterstützung zum Beispiel für Peripherie gibt es ebenso.
Der Einplatinencomputer Raspberry Pi 4 ist nur mit 1 GB bis 8 GB RAM erhältlich. Einem Modder von MadEDoctor war das zu wenig, 16 GB sein Ziel. Er hat die technisch aufwändige Modifikation im Video dokumentiert. Es liefert interessante Einblicke und die Erkenntnisse, dass das Speicher-Upgrade im Alltag nicht nutzbar ist.
Ein neuer adminForge Service kann ab sofort genutzt werden. Zeichne deine eigenen Diagramme mit draw.io. Zeichne deine eigenen Diagramme mit draw.io. https://draw.adminforge.de Features: Integration in der adminForge Nextcloud keine Verbindung zu externen Diensten keine...
by adminForge.
Die bei Einsteigern beliebte, auf Arch Linux basierende und von Valve für Spiele empfohlene Linux-Distribution Manjaro erhält neue ISO-Abbilder zum Herunterladen. Dabei wurden die Softwarepakete des Betriebssystems auf einen neuen Stand gebracht. Offiziell erscheinen Editionen mit Gnome, Plasma und XFCE.
Ubuntu 23.04, Codename Lunar Lobster, ist erschienen. Neben einem Support für 9 Monate, gibt es zahlreiche Aktualisierungen für Programmpakete. Besonders die weitere Integration des UI-Frameworks Flutter und die Einführung, der aus der Enterprise-Edition stammenden Gruppenrichtlinien, stehen im Fokus des Betriebssystems.
Mit dem neuesten Update für Proton auf Version 8.0-1 hält nicht nur die Unterstützung zahlreicher weiterer Spiele in den offiziellen Release Einzug, auch gibt es technische Verbesserungen für das Steam Deck und Linux. Aber nicht alle Spieler profitieren, denn viele ältere Grafikkarten werden nicht mehr unterstützt.
Anmelden