Das von Elon Musk gegründete Unternehmen xAI hat die Gewichte des Basismodells und die Netzwerkarchitektur seines KI-Modell Grok-1 unter einer Apache Lizenz veröffentlicht.

Die Entwicklung von KI muss laut Mozilla dezentraler werden. Deshalb investierte Mozilla Ventures kürzlich in das Hamburger KI-Startup Flower Labs.

Quelle

ChatGPT-Anbieter OpenAI hat mit der Software Sora eine KI zur Erzeugung von Videos aus Textvorgaben vorgestellt.

OpenAI testet derzeit eine Memory-Funktion für ChatGPT.

Im Mai des vergangenen Jahres hatte Mozilla die Übernahme von Fakespot bekannt gegeben, einem Anbieter, der vor gefälschten Bewertungen beim Online-Shopping schützen soll. Firefox 122 wird die Erkennung unglaubwürdiger Produktbewertungen auf amazon.de unterstützen.

Bei Fakespot handelt es sich um einen Anbieter, welcher Künstliche Intelligenz nutzt, um gefälschte Rezensionen auf Shopping-Plattformen wie Amazon zu erkennen. Nach eigenen Angaben nutzen derzeit über eine Million Menschen Fakespot. Anfang Mai hatte Mozilla bekannt gegeben, das Unternehmen Fakespot vollständig und inklusive seiner 13 Mitarbeiter übernommen zu haben.

Seit der Übernahme von Fakespot arbeitet Mozilla an der nativen Integration einer Funktion zur Bewertung von Produkt-Reviews in Firefox. Im August 2023 hatte ich eine erste Vorschau auf das neue Firefox-Feature gegeben.

Wenn Mozilla kommende Woche Firefox 122 veröffentlichen wird, wird die Fakespot-Integration zwar noch nicht standardmäßig aktiviert sein, kann aber über about:config aktiviert werden, indem der Schalter browser.shopping.experience2023.enabled auf true gesetzt wird.

Dies funktioniert zwar bereits im aktuellen Firefox 121, allerdings werden ausschließlich amazon.com, walmart.com sowie bestbuy.com unterstützt. Für Nutzer in Deutschland, Österreich und der Schweiz sehr viel relevanter ist die Version von Amazon für den deutschsprachigen Raum, welche unter amazon.de aufrufbar ist. Diese wird, ebenso wie die französische Version unter amazon.fr, ab Firefox 122 unterstützt.

Der Nutzung dieser Funktion muss zunächst explizit durch den Benutzer zugestimmt werden. Standardmäßig erfolgt keine Anzeige von Review-Bewertungen.

Bei Aufruf der Produktseite zeigt Firefox die Glaubwürdigkeit der abgegebenen Nutzer-Bewertungen in Form einer Schulnote nach amerikanischem System („A“ ist die beste, „F“ die schlechteste Note) an. Darunter wird die bereinigte Durchschnitts-Bewertung des jeweiligen Produkts angezeigt, sprich der Durchschnitt aller Bewertungen abzüglich derer, die nach Einschätzung von Fakespot keine echten Bewertungen sind. Erkennt Fakespot, dass die Bewertung nicht mehr auf dem neuesten Stand ist, bietet Firefox die Möglichkeit an, die Analyse neu durchführen zu lassen.

Schließlich folgt noch eine Anzeige aktueller Highlights aus den Bewertungen, eingeteilt nach Kategorien wie Qualität und Preis. Dabei werden nur die glaubwürdigen Bewertungen der letzten 80 Tage als Grundlage genommen.

Das Bewerben eines alternativen Produkts aus der gleichen Kategorie, welches eine gute Bewertung für die Glaubwürdigkeit der Produktbewertungen erhalten hat, ist für Deutschland und Frankreich aktuell nicht geplant.

Der Beitrag Firefox 122 unterstützt Erkennung unglaubwürdiger Produktbewertungen auf amazon.de erschien zuerst auf soeren-hentzschel.at.

OpenAI, das Unternehmen hinter ChatGPT hat angekündigt, für die im Jahr 2024 anstehenden Wahlen, Tools und Richtlinien zu veröffentlichen, um Missbrauch ihrer KI-Werkzeuge möglichst zu verhindern…

Es ist der 31.12.2023 und somit wird es wieder Zeit für den traditionellen Jahresrückblick. Dieses Jahr dominierten zwei Buchstaben: KI. Die Veröffentlichung von ChatGPT erfolgte zwar kurz vor 2023, in diesem Jahr wurden allerdings die Auswirkungen sichtbar. Ich muss sagen, dass es lange kein Werkzeug gab, an dem ich so viel Experimentierfreude erleben konnte.

Dabei ist die Mensch-Maschine-Schnittstelle besonders spannend. Die natürlichsprachliche Interaktion verbessert nicht nur die Zugänglichkeit, sondern erhöht auch die Interoperabilität: Das Werkzeug kann nicht nur die Aufgabe verstehen, sondern die Ergebnisse in der gewünschten Form darstellen. Schreibe ich eine Software, erfüllt sie nur einen Zweck. ChatGPT kann besonders einfach an neue Aufgabenbereiche angepasst werden. Man muss nicht einmal im klassischen Sinne "programmieren". Somit wird die Arbeit mit dem Computer auf eine ganz neue Stufe gehoben.

Auf die technische Ebene möchte ich heute gar nicht direkt eingehen, das haben wir das Jahr schon im Detail in diesem Blog ergründet. Diskussionen über Technik und Innovationen stellen nur eine Augenblickaufnahme dar. Im Rückblick auf eine größere Zeitepisode wie ein mindestens Jahr werden allerdings gesellschaftliche Entwicklungen deutlich. Und hier gab es einiges zu beobachten.

KI für die Massen

ChatGPT hat eine große Nutzerbasis erreicht, die zumindest ein Mal das Werkzeug ausprobiert hat. Im deutschsprachigen Raum, der sonst sich so "datenschutzorientiert" und innovationskritisch gibt, ist das schon bemerkenswert. Diskussionen über Datenschutz waren zweitrangig, die Menschen waren von der Innovation durch das Werkzeug fasziniert. Natürlich kam über das Jahr die Erkenntnis, dass in der aktuellen Form die Technologie je nach Branche noch nicht weit genug ausgereift ist, trotzdem wollte jeder einmal schauen, was es damit auf sich hat und ob es den Alltag erleichtern kann.

Und doch hat OpenAIs Werkzeug in meinen Augen ein wenig den Blick verengt: Durch das schnelle Wachstum wurde ChatGPT zum Sinnbild von "KI" und hat Ängste geschürt. Denn einerseits will jeder, dass KI ihm das Leben einfacher macht, jedoch nicht, dass andere mit KI ihm seine Lebenssituation verschlechtern bzw. ihn zu einem Umdenken zwingen. Ein Zeitungsredakteur möchte gerne KI für die Verbesserung seiner Texte einsetzen, fürchtet jedoch um seine Jobzukunft, wenn andere ihn durch automatische Generierung ganzer Zeitungsbeiträge drohen, überflüssig zu machen.

Dieser Umstand hat die Diskussion rund um den europäischen AI Act noch einmal deutlich angeheizt. An Large Language Models wurden auf einmal hohe Anforderungen gestellt, um subjektiven Ängsten entgegenzutreten. Dann war man sich aufgrund der Innovationsgeschwindigkeit auf einmal nicht sicher, ob es jetzt schon Zeit für eine starre Regulierung ist. Und schlussendlich zeichnet sich eine politische Entwicklung ab, jetzt lieber irgendeinen Kompromiss als später eine gut ausgearbeitete Fassung präsentieren zu können. Wie der AI Act kommt, werden wir dann im nächsten Jahr sehen.

Das alles war aber nicht das, was dieses Jahr in meinen Augen besonders gemacht hat. Es ist etwas anderes: die neue Rolle von Open Source.

Neue Hürden für Technologie?

Anfang des Jahres sah es so aus, als setzt eine besondere Kommerzialisierung in der Technikwelt ein: die Kommerzialisierung von Basistechnologie. Über die verschiedenen Jahre haben wir gesehen, dass es für verschiedene Produkte in der IT proprietäre und freie Lösungen gibt. Zwar sind erstere gerne technologisch mitunter überlegen, da die Profitorientierung Anreize setzt, für bestimmte Anwendungszwecke besonders passende Lösungen zu entwickeln. Kostet eine Software Geld, kann der Hersteller Programmierer anstellen, die auch die Features entwickeln, die man ungern freiwillig programmiert. Auf diese Weise entstehen runde Produkte für einen Anwendungszweck.

Freie bzw. zumindest quelloffene Software ermöglicht zumindest aber der Öffentlichkeit, einen Blick in die Funktionsweise zu werfen, um zu sehen, wie etwas funktioniert. Das ist die Grundlage, um Technologie zu verbessern.

In der Welt des maschinellen Lernens entstand allerdings durch die benötigte Compute Power eine hohe Eintrittshürde. Es sah so aus, als wären die Large Language Models nur noch großen Konzernen bzw. gut finanzierten Start-ups vorbehalten, die sich die Trainingspower leisten können. Während die Vorgängersysteme wie GPT-2 noch öffentlich zugänglich waren, wurden gerade Systeme wie GPT-3 und GPT-4, bei denen das Produkt endlich richtig nutzbar wurde, zurückgehalten.

Im Laufe des Frühlings habe ich allerdings vermutet, dass freie Modelle die proprietären outperformen können, weil die öffentliche Zugänglichkeit die Chance eröffnet, dass Experten weltweit mit ihren eigenen Erfahrungen, Eindrücken und ihrem Domänenwissen eine Technologie entwickeln können, die verschlossenen Produkten überlegen ist.

Überraschend war, dass es gerade das AI-Team von Facebook war, das den Stein mit LLaMA ins Rollen gebracht hat. Es folgten zahlreiche weitere Abkömmlinge, Weiterentwicklungen oder gänzliche Alternativansätze, die eines gemein hatten: ihr Kern mit den Gewichten war zugänglich.

Wie es aussieht, könnte die Dominanz proprietärer Systeme gebrochen werden, sodass auch die Möglichkeit gewahrt bleibt, einen wissenschaftlichen Diskurs zu führen. Technische Berichte proprietärer Modelle sind zwar nett, aber die Forschungsarbeiten, in denen reproduzierbare Fortschritte aufgezeigt werden, bringen uns tatsächlich eher voran.

Um die rasante Entwicklung im Frühling, als scheinbar jedes KI-Team großer Konzerne und Forschungseinrichtungen alle in der Schublade angesammelten LLM-Projekte zu veröffentlichen versuchte, im Auge zu behalten, habe ich die LLM-Timeline entwickelt. Sie wurde vor einigen Tagen wieder aktualisiert und zeigt besonders, wie sehr LLaMA als eines der ersten praktisch verwertbaren Modelle mit offenen Gewichten die Entwicklung beeinflusst hat.

Ein weiteres Projekt, das ich in der Zusammenarbeit mit der Fachhochschule Kiel realisiert habe, war der Podcast KI & Kultur, der generative Modelle aus der Perspektive Kulturschaffender beleuchtet hat.

Was bleibt

Das Jahr hat den 70 Jahre alten Begriff der KI wieder mal in die Massen gebracht. Dabei wird ChatGPT dem Begriff eigentlich gar nicht gerecht, weil es streng genommen relativ dumm ist. Insbesondere beschränkt es die Zustandsfähigkeit nur auf eine Prompt und lernt nicht, während es denkt. Training und Inferenz sind entkoppelt.

Und trotzdem ist es diese natürlichsprachliche Schnittstelle, die es so faszinierend macht. Allerdings ist auch diese Erkenntnis nicht neu und wurde schon vor 55 Jahren mit ELIZA diskutiert.

Erfreulich ist es, dass "Open Source" nicht mehr nur bei Software, sondern in neuen Technologien Anwendung findet. Der Gedanke, dass Technologie zugänglich sein muss, kann so erhalten werden. Und dass es hilft, wenn Wissenschaftler auf der ganzen Welt mit ihrem Wissen beitragen können, sehen wir weiterhin auch in dieser Thematik.

LLMs ermöglichen es, dass wir uns endlich wieder der Mensch-Maschine-Schnittstelle widmen können, die Technologie nutzbar macht. Menschen wollen, dass Technik das Leben einfacher macht. Die bisher begrenzte Rechenleistung hat uns zu Hilfsmitteln wie Displays, Touchscreens oder Tastaturen gezwungen. In den nächsten Jahren können wir schauen, wie wir das überwinden können, um endlich nutzbare Computer zu erhalten, die wirklich was bringen.

Und so ist es schon fast ironisch, dass die naheliegendste Technologie, die in den 2010er-Jahre euphorisch gefeiert wurde, von den LLMs noch wenig profitiert hat: Sprachassistenten. Sie sind überwiegend noch genau so begrenzt und unflexibel wie früher. Hier gibt es einiges zu tun.

Frohes Neues

Abschließend möchte ich meinen Lesern des Blogs und Zuhörern des Podcasts Risikozone sowie KI & Kultur danken, dass ihr den Blog lest, den Podcast hört und regelmäßig Feedback gebt. Ich wünsche euch einen guten Rutsch in das neue Jahr 2024.

Im nächsten Jahr werden wir wieder gemeinsam neue Technologien ergründen und die aktuellen Nachrichten diskutieren. Es wird auch mehr um Grundlagen und Visualisierungen gehen, hierauf freue ich mich schon besonders!

Viel Glück, Gesundheit und Erfolg!

Der Kampf um Anteile an den sich rasant entwickelnden KI-Entwicklungen ist in vollem Gange. Mozilla möchte dem mit offenen Modellen und lokaler KI entgegenwirken.

Quelle

Axel Springer und OpenAI haben eine globale Partnerschaft angekündigt.

Das Interessante an den Open-Source-Modellen ist ja, dass sie das umsetzen, was bei den proprietären Modellen gemunkelt wird, aber nicht nachgewiesen werden kann. Mein aktuelles Highlight: Mixture of Experts (MoE).

Im Sommer kamen Behauptungen auf, dass OpenAIs GPT-4 eigentlich aus acht kleineren Modellen besteht, die zusammengeschaltet werden. Dieses Verfahren nennt man auch Ensemble Learning.

Das klassische Beispiel dafür ist Random Forest, wo mehrere Decision Trees parallel zu so einem Ensemble zusammengeschaltet werden. Soll das Ensemble dann eine Klassifikation vornehmen, nimmt jeder Decision Tree mit seinen eigenen Gewichten die Klassifikation vor. Anschließend entscheidet die Mehrheit der Decision Trees im Ensemble, wie das Gesamtmodell nun klassifizieren soll. Analog würde auch eine Regression umgesetzt werden können, als Aggregierungsfunktion kommt dann statt Mehrheitswahl eben sowas wie Mittelwert o. ä. zum Einsatz. Das besondere ist, dass mit Random Forest üblicherweise bessere Vorhersagen erzielt werden können, als mit einem einfachen Decision Tree.

MoE funktioniert in den groben Zügen ähnlich. Es gibt "Experten" (ähnlich wie die Decision Trees bei Random Forest), die dann gewichtet aggregiert werden (Gating). Die Technik ist eigentlich recht alt und viele waren überrascht, dass OpenAI genau so etwas einsetzen soll.

Umso besser, dass Mistral als das europäische LLM-Startup sich der Sache angenommen hat. Anfang des Wochenendes schwirrte schon ein Torrent durchs Netz, heute gibt es dann auch eine offizielle Pressemitteilung zu Mixtral 8x7B. Hierbei handelt es sich um ein "Sparse Mixture of Experts"-Modell (SMoE). Die Gewichte sind wieder offen und unter der Apache 2.0 lizenziert.

Kurz zu den Eckdaten: 32k Token Kontextlänge können verarbeitet werden. Dabei spricht das Modell Englisch, Französisch, Italienisch, Deutsch und Spanisch und wurde auch auf Codegenerierung optimiert. Fine-tuning ist ebenfalls möglich - so wurde bereits eine instruction-following-Variante trainiert.

Im Vergleich zu Llama 2 70B soll es in einer Vielzahl von Benchmarks bessere Ergebnisse abliefern und dabei schneller arbeiten. Die einzelnen Ergebnisse können der Pressemitteilung entnommen werden.

Einen klassischen Downloadlink konnte ich auf die schnelle nicht finden, das Twitter-Profil verweist nur auf die Torrents. Parallel kündigt das Start-up an, einen eigenen Dienst für API-Endpoints anzubieten, sodass ein Deployment auf eigener Infrastruktur nicht mehr zwangsläufig notwendig ist.

Mit den „Guidelines for Secure AI System Development“ haben Sicherheitsbehörden einen Leitfaden zur Entwicklung sicherer KI-Systeme veröffentlicht.

Laut der jüngsten Prognose des US-Marktforschers Gartner wachsen die weltweiten IT-Ausgaben im Jahr 2024 auf 5,1 Billionen US-Dollar.

Die Ereignisse um ChatGPT-Erfinder Open-AI vom Wochenende machen eines deutlich: Microsoft ist jetzt mehr als zuvor das Schwergewicht bei der Entwicklung.

Quelle

OpenAI hat ChatGPT Plus mit Informationen versorgt, die bis April 2023 reichen. Das Update des Chatbots bringt weitere Neuerungen mit.

So können Plus-Kunden nun alle Services wie Dall-E, Browsing und Datenanalyse ohne lästiges Umschalten an einem Ort finden, teilt OpenAI mit. Außerdem ließen sich nun PDFs und andere Dokumente anhängen und durchsuchen lassen, heißt es weiter.

Eine große Neuerung sieht der Anbieter auch in den benutzerdefinierten Versionen von ChatGPT, die man für einen bestimmten Zweck erstellen kann, sogenannte GPTs. GPTs seien eine neue Möglichkeit, eine maßgeschneiderte Version von ChatGPT zu erstellen, die bei bestimmten Aufgaben hilfreich sei. GPTs könnten etwa helfen, die Regeln eines Brettspiels zu lernen oder Kindern Mathematik beizubringen. Die GPTs ließen sich dann mit anderen Nutzern teilen, heißt es weiter.

Noch im November soll ein GPT-Store öffnen, in dem Kreationen von verifizierten Erstellern angeboten werden, teilt OpenAI mit. Sobald die GPTs im Store seien, ließen sie sich durchsuchen und in Bestenlisten einteilen. Man wolle dann die nützlichsten und schönsten GPTs in Kategorien wie Produktivität, Bildung und “nur zum Spaß” vorstellen. Nutzer, die GPTs kreieren könnten damit dann auch Geld verdienen können, je nachdem, wie viele Leute Ihr GPT nutzen, heißt es weiter.

Der Beitrag OpenAI aktualisiert ChatGPT auf April 2023 erschien zuerst auf Linux-Magazin.

OpenAI, das Unternehmen hinter ChatGPT, weist erneut auf die Risiken von KI und Artificial General Intelligence (AGI) hin. Um bestehende und künftige dieser Risiken durch weitere Verbesserungen der KI-Modelle zu minimieren, bauen man ein neues Team namens Preparedness auf.

Das Preparedness-Team soll eine enge Verbindung zwischen Fähigkeitsbewertung, Evaluierung und internem Red-Teaming für Pioniermodelle herstellen, die wir in naher Zukunft entwickeln, bis hin zu solchen mit Fähigkeiten auf AGI-Niveau, teilt OpenAI mit. Das Team soll dabei helfen, katastrophale Risiken zu verfolgen, zu bewerten, vorherzusagen und sich vor ihnen zu schützen. Als Kategorien für diese Arbeit sind individualisierte Überzeugungsarbeit, Cybersecurity, CBRN-Bedrohungen (chemische, biologische, radiologische und nukleare) nebst Autonomer Replikation und Anpassung (ARA) genannt.

Zu den Aufgaben des Preparedness-Teams gehöre auch die Entwicklung und Pflege einer risikoinformierten Entwicklungspolitik (RDP, Risk-Informed Development Policy). In der RDP soll der Ansatz für die Entwicklung strenger Bewertungen und Überwachung der Fähigkeiten von Modellen, die Schaffung eines Spektrums von Schutzmaßnahmen und die Einrichtung einer Governance-Struktur für die Rechenschaftspflicht und Aufsicht über diesen Entwicklungsprozess detailliert beschrieben werden.

Der Beitrag Risiken von LI: OpenAI richtet Preparedness-Team ein erschien zuerst auf Linux-Magazin.

Das Wettrennen um die Technologieführerschaft der Large Language Models lief größtenteils bisher auf dem amerikanischen Kontinent ab. OpenAI hat das Produkt populär gemacht und Meta AI veröffentlicht den Konkurrenten mit den freien Gewichten. Mit Falcon 40B und 180B gab es allerdings schon Konkurrenz aus Abu Dhabi, zumal mit der gewählten Apache-2.0-Lizenz ein deutlich offenerer Ansatz gewählt wurde.

Als kurz vor dem Sommer das Start-up Mistral aus Paris 105 Millionen Euro eingesammelt hat, waren die Medienberichte zumindest leicht kritisch, da nicht nur das Start-up mit einer gigantischen Finanzierungssumme aus der Taufe gehoben wurde, sondern das Produkt auch noch gar nicht fertig war. Aus der LLM-Sicht ist dies allerdings verständlich, da solche großen Summen schlicht die Voraussetzung sind, um an den Start zu gehen. Schließlich benötigt Training leistungsfähige GPUs und die sind teuer.

Mit dem veröffentlichten Modell Mistral 7B zeigt das Start-up, was es kann. Dabei handelt es sich um ein LLM, das über 7 Mrd. Parameter verfügt und Llama 2 13B in allen und LLaMa 34B in vielen üblichen Benchmarks überbietet: Commonsense Reasoning, World Knowledge, Reading Comprehension, Math, Code, Popular aggregated results. In Codingaufgaben kann die Leistung von CodeLlama 7B erreicht werden.

Das Beste am LLM ist, dass es unter der Apache-2.0-Lizenz steht. Als klassische Open-Source-Lizenz gibt es nicht nur den Forschern und Entwicklern viele Freiheiten, sondern auch eine gewisse Lizenzsicherheit, dass das Modell in freier Software verwendet werden kann.

Ich hatte bereits vor Wochen geschrieben, dass freie Modelle eine gute Möglichkeit sind, um sich als neuer Player auf dem Markt zu profilieren. Diesen Plan verfolgt nicht nur Falcon, sondern nun auch offenbar Mistral. Es ist trotzdem davon auszugehen, dass die 105 Millionen Euro keine "Forschungsspende" waren und kommerzielle Produkte zeitnah folgen werden.

Für die Forscher und Entwickler von LLMs hat die aktuelle Veröffentlichung nichtsdestotrotz Vorteile. Meta AI hat mit der Lizenzgebung von Llama 2 auf die Open-Source-Bewegung in der LLM-Welt reagiert und sein aktuelles Modell unter eine permissive, aber trotzdem proprietäre Lizenz gestellt. Mistral geht allerdings noch einen Schritt weiter und setzt eine "klassische" Open-Source-Lizenz ein. Das hat nicht nur Signalwirkung, sondern ermöglicht, dass Unternehmen ihre LLM-Lösungen zunehmend privat hosten können, da die Parameteranzahl mit 7 Mrd. so dimensioniert ist, dass auch kleinere Datacenter-GPUs für die Ausführung bzw. Inferenz ausreichen. Es bleibt also weiterhin spannend im Umfeld der LLMs.

Die Mistral-7B-Modelle sind in Version 0.1 auf HuggingFace als normales Modell und als auf Chats spezialisiertes Modell (Instruct) verfügbar.

OpenAI, das Unternehmen hinter ChatGPT lädt zur ersten Entwicklerkonferenz, dem OpenAI DevDay, am 6. November 2023 in San Francisco ein.

Die eintägige Veranstaltung soll Entwickler aus der ganzen Welt mit dem Team von OpenAI zusammenbringen. In San Francisco wolle man neue Tools vorstellen und Ideen auszutauschen, kündigt das Unternehmen an. Die Teilnehmer sollen auch die Möglichkeit haben, an Breakout-Sessions teilzunehmen, die von den technischen Mitarbeitern von OpenAI geleitet werden.

Über zwei Millionen Entwickler würden GPT-4, GPT-3.5, DALL-E und Whisper für eine Vielzahl von Anwendungsfällen nutzen, teilt OpenAI mit. “Wir freuen uns darauf, unsere neueste Arbeit vorzustellen, die es Entwicklern ermöglicht, neue Dinge zu entwickeln”, sagt Sam Altman, CEO von OpenAI.

Weitere Informationen gibt es unter devday.openai.com.

Der Beitrag OpenAI DevDay angekündigt erschien zuerst auf Linux-Magazin.

Im Mai hatte Mozilla die Übernahme von Fakespot bekannt gegeben, einem Anbieter, der vor gefälschten Bewertungen beim Online-Shopping schützen soll. Dieser Artikel gibt eine erste Vorschau auf die native Fakespot-Integration in Firefox für den Desktop sowie Firefox für Android und Apple iOS.

Über Fakespot und die Übernahme durch Mozilla

Bei Fakespot handelt es sich um einen Anbieter, welcher Künstliche Intelligenz nutzt, um gefälschte Rezensionen auf Shopping-Plattformen wie Amazon zu erkennen. Nach eigenen Angaben nutzen derzeit über eine Million Menschen Fakespot. Anfang Mai hatte Mozilla bekannt gegeben, das Unternehmen Fakespot vollständig und inklusive seiner 13 Mitarbeiter übernommen zu haben. Derzeit ist Mozilla sogar auf der Suche nach mehreren weiteren Mitarbeitern für die Vergrößerung des Fakespot-Teams.

Tipp: Alle Investitionen und Akquisitionen von Mozilla

Seit der Übernahme von Fakespot arbeitet Mozilla an der nativen Integration einer Funktion zur Bewertung von Produkt-Reviews in Firefox, welche derzeit für Firefox 119 geplant ist, zumindest in den USA für die initiale Version. Dieser Artikel soll eine erste Vorschau auf den derzeitigen Entwicklungsstand in der Nightly-Version von Firefox geben.

Das liefert die Fakespot-Integration in Firefox

Der Nutzung von Fakespot in Firefox muss zunächst explizit durch den Benutzer zugestimmt werden. Standardmäßig erfolgt keine Anzeige von Review-Bewertungen.

Bei Aufruf der Produktseite auf einem der unterstützten Shops – das sind derzeit amazon.com, walmart.com sowie bestbuy.com – zeigt Firefox die Glaubwürdigkeit der abgegebenen Nutzer-Bewertungen in Form einer Schulnote nach amerikanischem System („A“ ist die beste, „F“ die schlechteste Note) an. Darunter wird die bereinigte Durchschnitts-Bewertung des jeweiligen Produkts angezeigt, sprich der Durchschnitt aller Bewertungen abzüglich derer, die nach Einschätzung von Fakespot keine echten Bewertungen sind. Erkennt Fakespot, dass die Bewertung nicht mehr auf dem neuesten Stand ist, bietet Firefox die Möglichkeit an, die Analyse neu durchführen zu lassen.

Schließlich folgt noch eine Anzeige aktueller Highlights aus den Bewertungen, eingeteilt nach Kategorien wie Qualität und Preis. Dabei werden nur die glaubwürdigen Bewertungen der letzten 80 Tage als Grundlage genommen.

In manchen Fällen zeigt Firefox ein alternatives Produkt aus der gleichen Kategorie an, welches eine gute Bewertung für die Glaubwürdigkeit der Produktbewertungen hat. Hierbei setzt Fakespot auf seine sogenannten Trusted Deals, womit eine Einnahmequelle für Mozilla geschaffen wird.

Fakespot-Integration in Firefox für Windows, macOS und Linux

Im Falle der Desktop-Version von Firefox ist es so, dass sich bei Aufruf einer entsprechenden Produktseite eine Sidebar öffnet. Diese kann aber auch geschlossen werden. Dann lässt sich die Sidebar immer noch über ein Symbol in der Adressleiste aktivieren.

Fakespot-Integration in Firefox für Android und Apple iOS

Firefox für Android und Apple iOS haben keine Sidebar, sondern zeigen stattdessen nur ein Symbol in der Adressleiste an. Ein Druck auf dieses lässt eine entsprechende Anzeige erscheinen, welche ansonsten die gleichen Informationen anzeigt wie Firefox für den Desktop.

Der Beitrag Vorschau auf Erkennung unglaubwürdiger Produktbewertungen in Firefox erschien zuerst auf soeren-hentzschel.at.

OpenAI hat verlautbart, dass die Feinabstimmung für GPT-3.5 Turbo jetzt verfügbar sei. Das Update ermögliche es Entwicklern Modelle anzupassen, die für ihre Anwendungsfälle besser geeignet seien.

Tests hätten gezeigt, dass eine fein abgestimmte Version von GPT-3.5 Turbo die Fähigkeiten der Basisversion von GPT-4 bei bestimmten Aufgaben erreichen oder sogar übertreffen, teilt OpenAI mit. Die Daten, die über die Feinabstimmungs-API ein- und ausgehen, gehörten ausschließlich dem Kunden und würden weder von OpenAI noch von einer anderen Organisation zum Training anderer Modelle verwendet, erklärt OpenAI.

Die Feinabstimmung ermöglicht es den Unternehmen, das Modell dazu zu bringen, Anweisungen besser zu befolgen, etwa die Ausgaben knapp zu halten oder immer in einer bestimmten Sprache zu antworten.

Zudem sei es möglich, die Fähigkeit des Modells zu verbessern, Antworten konsistent zu formatieren. Das sei ein entscheidender Aspekt für Anwendungen, die ein bestimmtes Antwortformat erfordern, wie etwa die Codevervollständigung oder das Zusammenstellen von API-Aufrufen. Ein Entwickler könne die Feinabstimmung dann etwa nutzen, um Benutzeraufforderungen zuverlässiger in hochwertige JSON-Schnipsel umzuwandeln, die mit seinen eigenen Systemen verwendet werden können.

Neben der gesteigerten Leistung ermöglicht die Feinabstimmung den Unternehmen auch die Verkürzung ihrer Prompts bei gleicher Leistung, heißt es weiter.  Tester hätten die Größe der Prompts um bis zu 90 Prozent reduziert, indem sie die Anweisungen im Modell selbst feinabgestimmt haben, was jeden API-Aufruf beschleunige und die Kosten senke. Die Feinabstimmung für GPT-4 folge im Herbst.

Der Beitrag Unternehmen können GPT-3.5 feinabstimmen erschien zuerst auf Linux-Magazin.

OpenAI, das Unternehmen hinter ChatGPT hat eigenen Angaben zufolge das Team von Global Illumination übernommen. Das von Thomas Dimson, Taylor Gordon und Joey Flynn gegründeten Startup Global Illumination ist ein Unternehmen, das kreative Tools und Infrastrukturen rund um künstliche Intelligenz entwickelt.

Laut OpenAI ist das gesamte Team übernommen worden, und soll sich nun der Arbeit an den Kernprodukten einschließlich ChatGPT widmen. Global Illumination habe schon früh Produkte für Instagram und Facebook entwickelt und auch bei YouTube, Google, Pixar, Riot Games und anderen namhaften Unternehmen wichtige Beiträge geleistet.

Zuletzt hat sich das Startup das Browserspiel Biomes entwickelt, ein quelloffenes Sandbox-MMORPG im Mindcraft-Stil. Finanzielle Details zur Übernahme sind nicht bekannt.

Der Beitrag OpenAI übernimmt Global Illumination erschien zuerst auf Linux-Magazin.

Die Moderation von Inhalten ist eine arbeitsintensive Aufgabe für Betreiber digitaler Plattformen und für die Moderatoren kann es belastend sein. KI-Anbieter OpenAI sieht dafür eine Lösung: Das Eigengewächs GPT-4.

Das Sprachmodell GPT-4 könne etwa Richtlinienänderungen viel schnelleren bearbeiten und in Stunden erledigen, was sonst Monate dauern können, lässt OpenAI wissen. GPT-4 sei außerdem in der Lage, Regeln und Nuancen in langen Dokumenten zu Inhaltsrichtlinien zu interpretieren und sich sofort an Aktualisierungen der Richtlinien anzupassen. KI könne damit helfen, den Online-Verkehr gemäß den plattformspezifischen Richtlinien zu moderieren und die mentale Belastung einer großen Anzahl menschlicher Moderatoren verringern, heißt es im Blogbeitrag weiter. Jeder mit OpenAI-API-Zugang könne diesen Ansatz implementieren, um sein eigenes KI-gestütztes Moderationssystem zu schaffen, schreibt OpenAI.

Indem sie die Diskrepanzen zwischen den Urteilen von GPT-4 und denen eines Menschen untersuchen, könnten die Richtlinienexperten GPT-4 auffordern, die Gründe für seine Bezeichnungen zu nennen, die Mehrdeutigkeit in den Richtliniendefinitionen zu analysieren, Unklarheiten zu beseitigen und die Richtlinie entsprechend zu präzisieren, heißt es weiter. Im Blogbeitrag ist ein Beispiel zu sehen, wie GPT-4 einen Text einstuft und auch die Begründung weshalb.

Der Beitrag OpenAI empfiehlt GPT-4 für Contentmoderation erschien zuerst auf Linux-Magazin.

Auch in der Sommerpause gibt es vereinzelte Neuigkeiten aus der Welt der künstlichen Intelligenz. Heute möchte ich mich dabei wieder einmal den Agenten widmen.

MetaGPT

Beim Einsatz von ChatGPT und ähnlichen LLMs stellt sich schnell die Frage, ob da nicht auch mehr geht. Ob das System nicht zur Abbildung alltäglicher Arbeit herangezogen werden kann. Insbesondere mit Anfang des Jahres aus dem Winterschlaf erwachten Konzept der Agenten wurde die Zusammenarbeit unterschiedlicher KI-Instanzen wieder relevant und spannend. Umso interessanter ist es, diese Konzepte zusammenzuführen.

AutoGPT und Co. sind diesem Ziel gefolgt und konnten schon lustige Ergebnisse demonstrieren, wenn man die LLMs sinnbildlich an den eigenen Computer anschließt und z. B. die Ausgaben des LLMs als Eingabe für die eigene Shell verwendet (nicht nachmachen, ist eine dumme Idee). Doch auch hier gab es einige Schwächen, ganz rund lief alles bei weitem noch nicht.

Die Autoren hinter MetaGPT (hier im Bezug auf griechisch meta = über) haben systematisch verschiedene Rollen inkl. ihrer Interaktionen ausgearbeitet und stellen ihre Ergebnisse als Preprint und ihr Framework auf GitHub bereit. Dabei wird eine einzeilige Aufgabe, z. B. die Entwicklung eines Spiels, vom System eingelesen und dann auf ein hierarchisches Team aus Agenten verteilt. Diese Agenten haben verschiedene Rollen, die sich auf die System-Prompts abbilden, d. h. beispielhaft "Du bist ein Entwickler für Python..." oder "Du bist ein Requirements-Engineer...". Am Ende des Tages fällt ein Ergebnis raus, das dann ausprobiert werden kann.

Das Konzept sieht in meinen Augen sehr spannend aus und entwickelt sich stets weiter. Dabei wird deutlich, dass eine simple Prompt für hochwertiges Prompt-Engineering nicht reicht, vielmehr können Effekte ähnlich wie beim Ensemble-Learning genutzt werden, durch die mehrere Instanzen von LLMs, die gemeinsam ein Problem bearbeiten, deutlich effektiver arbeiten.

Was LLMs von Cyc lernen können

Irgendwie habe ich die ganzen letzten Monate schon darauf gewartet, dass sich die Autoren klassischer Expertensysteme beim LLM-Thema zu Wort melden. Immerhin prallen hier zwei komplett unterschiedliche Welten aufeinander, die beide versuchen, die Welt zu erklären.

Klassische Expertensysteme versuchen mit Logik die Welt in Regeln zu fassen. Das typische Beispiel ist "Wenn es regnet, dann wird die Straße nass". Eine klare Implikation, die in eine Richtung geht: ist das Kriterium auf der "wenn"-Seite erfüllt, gilt die Aussage auf der "dann"-Seite. Wird das System gefragt, was mit der Straße passiert, wenn es regnet, antwortet es immer, dass sie nass wird. Immer. Dass es nicht zwangsläufig der Regen sein muss, wenn die Straße nass ist, wird ebenfalls durch Logik ermöglicht, da die obige Regel eine Implikation ist und keine Äquivalenz, denn da würde es heißen "Immer wenn es regnet, dann wird die Straße nass".

Problematischer wird es zu modellieren, dass die Straße selbst bei Regen da nicht nass wird, wo gerade ein Auto parkt. Hieran erkennt man, dass es sich um ein schwieriges Unterfangen handelt, wenn Expertensysteme die echte Welt modellieren sollen. Das Cyc-Projekt hat die Mühe aber auf sich genommen und über die letzten knapp 40 Jahre über eine Million solcher Regeln zusammengetragen. Viele einfache Expertensysteme gelten grundsätzlich aber als veraltet und konnten die Erwartungen für "generelle Intelligenz" schon vor 30 Jahren nicht erfüllen.

Anders funktionieren LLMs, die nicht mit klassischer Logik, sondern Wahrscheinlichkeiten arbeiten, um das "am ehesten passende" nächste Wort für die Antwort zu finden. Zusammengefasst sind Expertensysteme für ihre Präzision zulasten der Vielseitigkeit bekannt und LLMs einfach anders herum.

Doug Lenat von Cyc und Gary Marcus von der NYU haben in ihrem Preprint nun 16 Anforderungen zusammengetragen, die eine "vertrauenswürdige KI" haben sollte, darunter Erklärung, Herleitung oder Kontext. Anschließend gehen die Autoren noch ein, wie ihr (kommerzielles) Cyc das umsetzen kann.

Ich bin tatsächlich überzeugt, dass man untersuchen sollte, wie sich diese beiden Ansätze verheiraten lassen. Dabei sprechen auch die Ergebnisse von AutoGPT, MetaGPT & Co. dafür, dass das Vorhaben auf neuronaler Ebene angegangen werden muss, da einfache Varianten wie System-Prompts á la "Du bist LogikGPT. Gib mir die Entscheidungsregeln in Prädikatenlogik aus." immer noch auf Token-/Wortvorhersagen basieren und zu viel Halluzination zulassen.

Dennoch bin ich sicher, dass es auch hier Fortschritte geben wird, die wir dann früher oder später in einem Wochenrückblick diskutieren können. Bis dahin!

OpenAI hat eine Anleitung veröffentlicht, wie Webseiten das Crawlen durch den GPTBot vrhindern können.

Wie OpenAI mitteilt, würden Webseiten, die mit dem GPTBot-Benutzer-Agenten gecrawlt wurden, potenziell dazu beitragen, das Modell von ChatGPT zu verbessern. OpenAI führt weiter aus, dass die vom Bot gesammelten Informationen gefiltert würden. Dabei entferne man etwa Quellen, die einen die einen Paywall-Zugang erfordern. Auch solche, von denen bekannt sei, dass sie persönlich identifizierbare Informationen sammeln, oder Text enthalten, der gegen die OpenAI-Richtlinien verstossen, landeten im Filter, heißt es weiter.

Wer dem GPTBot den Zugang zu seiner Website gewähren, könne den KI-Modellen helfen, genauer zu werden und ihre allgemeinen Fähigkeiten und Sicherheit zu verbessern. Wer den GPTBot den Zugang verweigern wolle, könne dies mit einem Eintrag in die robots.txt tun oder mit der Blockade von IP-Adressen des Bots.

In der robots.txt sei dazu folgender Eintrag geeignet:

User-agent: GPTBot

Disallow: /

Die IP-Adressen des Bots, die es zu blockieren gilt, finden sich auf dieser Seite.

Der Beitrag OpenAI-Anleitung zum Blockieren des GPTBot erschien zuerst auf Linux-Magazin.

In der heutigen Ausgabe des Wochenrückblicks blicken wir auf ein neues Modell von IBM und einen Ausblick auf neue Features in der ChatGPT-Oberfläche von OpenAI.

IBM und NASA veröffentlichen Foundation-Model für Geodaten

Wie ich an der einen und anderen Stelle im Wochenrückblick schon einmal erwähnt habe, beschränkt sich die Transformer-Architektur mittlerweile nicht mehr nur auf Textaufgaben. Mit Vision Transformers lässt sich dies auch auf die grafische Ebene erweitern.

In einer Kooperation zwischen IBM und der NASA wurden nun die Prithvi-Modelle auf Hugging Face veröffentlicht. Sie ermöglichen es, ein Satellitenbild einzugeben und z. B. vorhersagen zu lassen, welche Gebiete am ehesten Fluten ausgesetzt sein könnten.

Um diese Vorhersagen zu ermöglichen, hat IBM Daten aus dem Harmonized Landsat Sentinel-2-Projekt (HLS) herangezogen, um ein Foundation Modell zu trainieren. Im HLS-Datensatz befinden Satellitendaten, die mit je 30 Metern pro Pixel aufgelöst sind. Auf der technischen Seite wird ein Vision Transformer mit Masked Autoencoder eingesetzt. Das Foundation Modell kann nun von weiteren Forschern feingetuned werden, um die jeweiligen Vorhersagen weiter zu verbessern. Durch IBMs Arbeit sollen nun mehr als 250.000 TB an Missionsdaten von der NASA besser zugänglich gemacht werden. Weitere Details zum Projekt können im Blogartikel und in der Pressemitteilung von IBM abgerufen werden.

Neue ChatGPT-Features

Wie SimilarWeb schon vor wenigen Wochen beobachten konnte, ebbt der Hype um ChatGPT langsam ab. Auffällig beim Release von ChatGPT war auch, wie puristisch die ganze Oberfläche war. Dabei ist es vermutlich das Backend, was OpenAI gemeistert hat, denn sie haben es geschafft, das System in den ersten Wochen unter ziemlich hoher Last aufrecht zu erhalten.

Im Frontend wurden aber zwischenzeitlich auch Änderungen und Verbesserungen umgesetzt, insbesondere die Einführung des kostenpflichtigen Dienstes ChatGPT Plus hat einige Anpassungen erfordert. Logan Kilpatrick, zuständig für "Developer Relations" bei OpenAI, gab nun einen Ausblick, was demnächst zu erwarten ist.

So wird es unter anderem vorgeschlagene Einstiegs- und Folgefragen und die Möglichkeit des Uploads mehrerer Dateien im Code Interpreter geben. Zudem soll die Zwangsabmeldung nach 14 Tagen abgeschafft werden.

Während ein Teil der Änderungen hilfreiche Detailverbesserungen beisteuert, werden die "vorgeschlagenen Folgefragen" am lustigsten sein. Nun schreibt also ChatGPT nicht nur die Antworten, sondern auch die Fragen. Es bleibt spannend.