Sogenannte Host-Berechtigungen sind seit dem Manifest v3 für Firefox-Erweiterungen grundsätzlich optional. Ab Firefox 127 werden die Host-Berechtigungen automatisch bei Installation der Erweiterung gewährt.

Entwickler von Browser-Erweiterungen nutzen die sogenannte WebExtension-Architektur. Dabei gibt es die ältere Version des Standards, das sogenannte Manifest v2 (MV2), und dessen Weiterentwicklung, das Manifest v3 (MV3). Firefox unterstützt seit Veröffentlichung von Firefox 109 im Januar 2023 das Manifest v3 zu großen Teilen.

Ein wesentlicher Unterschied für MV3-Erweiterungen ist, dass Host-Berechtigungen, also Berechtigungen, welche für bestimmte Domains gelten, grundsätzlich optional sind, vom Nutzer also jederzeit deaktiviert werden können. Entwickler von Erweiterungen müssen dies berücksichtigen und sollten auch eine einfache Möglichkeit zur Aktivierung bereitstellen. Ansonsten müssen Nutzer die Berechtigungen umständlicher über die Add-ons-Verwaltung (about:addons) gewähren.

Dies kann zum Beispiel so aussehen:

Mit Firefox 127 führt Mozilla eine wichtige Änderung für MV3-Erweiterungen ein: Während Host-Berechtigungen mit dem MV2 noch automatisch bei Installation gewährt worden sind, ist dies seit dem MV3 nicht mehr der Fall. Ab Firefox 127 werden Host-Berechtigungen auch für MV3-Erweiterungen automatisch bei Installation gewährt.

Die Empfehlung für Erweiterungs-Entwickler lautet aus den genannten Gründen dennoch weiterhin ausdrücklich, nicht gewährte Berechtigungen zu berücksichtigen. Auch ist zu bedenken, dass zusätzliche Host-Berechtigungen, welche mit einem Update nachgereicht werden, aktuell nicht automatisch gewährt werden.

Bei der Änderung handelt es sich um eine temporäre Lösung, bis Mozilla einen verbesserten Installations-Ablauf bereitstellen kann, für den Mozilla mehr Zeit benötigt. Auch umgeht diese temporäre Lösung Einschränkungen, die es derzeit noch für MV3-Erweiterungen auf Android gibt. Die Änderung betrifft sowohl Firefox für den Desktop als auch für Android.

Firefox 127 erscheint nach aktueller Planung am 11. Juni 2024.

Der Beitrag Firefox 127 gewährt Host-Berechtigungen bei Installation von MV3-Erweiterungen erschien zuerst auf soeren-hentzschel.at.

Die Geschwindigkeit bei der lokalen Ausführung großer Sprachmodelle (LLMs) wird in Zukunft zu einem entscheidenden Kriterium für die CPU/GPU-Auswahl werden. Das gilt insbesondere für Software-Entwickler, die LLMs lokal nutzen möchten anstatt alle Daten an Anbieter wie ChatGPT in die Cloud zu übertragen.

Umso verblüffender ist es, dass es dafür aktuell kaum brauchbare Benchmarks gibt. In Anknüpfung an meinen Artikel Sprachmodelle lokal ausführen und mit Hilfe des Forum-Feedbacks habe ich die folgende Abbildung zusammengestellt.

Die Geschwindigkeit in Token/s wird — zugegeben unwissenschaftlich — mit der Ausführung des folgenden Kommandos ermittelt:

ollama run  llama2 "write a python function to extract email addresses from a string" --verbose

oder

ollama run  llama3 "write a python function to extract email addresses from a string" --verbose

Bei den Tests ist llama3 um ca. 10 Prozent langsamer als llama2, liefert also etwas weniger Token/s. Möglicherweise liegt dies ganz einfach daran, dass das Sprachmodell llama3 in der Standardausführung etwas größer ist als llama2 (7 versus 8 Mrd. Parameter). Aber an der Größenordnung der Ergebnisse ändert das wenig, die Werte sind noch vergleichbar.

Beachten Sie, dass die im Diagramm angegebenen Werte variieren können, je nach installierten Treiber, Stromversorgung, Kühlung (speziell bei Notebooks) etc.

Helfen Sie mit! Wenn Sie Ollama lokal installiert haben, posten Sie bitte Ihre Ergebnisse zusammen mit den Hardware-Eckdaten im Forum. Verwenden Sie als Sprachmodell llama2 bzw. llama3 in der Defaultgröße (also mit 7 bzw. 8 Mrd. Parameter, entspricht llama2:7b oder llama3:8b). Das Sprachmodell ist dann ca. 4 bzw. 5 GByte groß, d.h. die Speicheranforderungen sind gering. (Falls Sie das LLM mit einer dezidierten GPU ausführen, muss diese einen ausreichend großen Speicher haben, in dem das ganze Sprachmodell Platz findet. Je nach Betriebssystem sind u.U. zusätzliche Treiber notwendig, damit die GPU überhaupt genutzt wird.)

Ich werde das Diagramm gelegentlich mit neuen Daten aktualisieren.