Normale Ansicht

Es gibt neue verfügbare Artikel. Klicken Sie, um die Seite zu aktualisieren.
Ältere BeiträgeHaupt-Feeds

Sprachmodelle (LLMs) lokal ausführen

18. April 2024 um 18:38

ChatGPT, Copilot & Co. verwenden Large Language Models (LLMs). Diese werden auf leistungsstarken Servern ausgeführt und als Cloud-Services angeboten. Das funktioniert wunderbar. Aber nicht jeder will Daten, Text und Code ständig in die Cloud hochladen. Kann man also — mit »gewöhnlicher« Hardware — LLMs auch lokal ausführen?

Tatsächlich ist das verblüffend einfach. Das Tool der Wahl heißt Ollama. Was Docker für Container ist, ist Ollama für LLMs!

Ollama kann ziemlich mühelos unter Linux, macOS und Windows installiert werden. Unter Windows und macOS starten Sie Ollama als Hintergrunddienst mit einer winzigen grafischen Oberfläche (im Prinzip nur ein Icon, das den Status anzeigt). Unter Linux richten Sie den Dienst mit systemctl ein:

systemctl enable --now ollama
Ollama läuft im Terminal, kann aber auch per API genutzt werden (z.B. zur Realisierung einer Web-Schnittstelle).

Ollama anwenden

Jetzt können Sie Ollama mit dem gleichnamigen Kommando im Terminal ausführen. Mit ollama run <llmname> installieren Sie eines der öffentlich verfügbaren Sprachmodelle (mehr dazu im nächsten Abschnitt) und können dann im Textmodus Kommandos ausführen:

ollama run llama2

>>> I need a regex to verify a date in US format. Can you help?

Of course! To match a date in the format of "MM/DD/YYYY" (month-day-year) 
or "MM/DD/YYYY HH:MM AM/PM", you can use the following regular expression:

\b(\d{1,2}/\d{1,2}/\d{4})|(\d{1,2}/\d{1,2}/\d{4} \d{0,2})?\b

Here's a breakdown of how this regex works:

* \b: Matches a word boundary (the start or end of a word) to ensure 
  we're matching the entire date field.

* (\d{1,2}/\d{1,2}/\d{4}): Matches the month/day/year format. The 
  (\d{1,2}) captures the month and day as individual digits (0-2 
  digits for the month and 1-2 digits for the day). The / separates 
  the date components.

* |: Or, used to match the alternative format.

* (\d{1,2}/\d{1,2}/\d{4} \d{0,2})?: Matches the month/day/year with 
  time format. The (\d{1,2}) captures the month and day as individual 
  digits (0-2 digits for the month and 1-2 digits for the day). The / 
  separates the date components. The \d{0,2} matches the time component 
  (0-2 digits representing the hour and minute).

* \b: Matches a word boundary to ensure we're matching the entire date field again.

Note that this regex will match both US and international dates in the 
"MM/DD/YYYY" format, as well as dates in the "MM/DD/YYYY HH:MM AM/PM" 
format. If you need a more specific format (e.g., only US dates), 
feel free to modify the regex accordingly.

Manche Sprachmodelle können auch Deutsch (nochmals llama2), wenngleich die sprachliche Qualität mitunter nur mittelmäßig ist.

>>> Was ist der Dopplereffekt?

Der Dopplereffekt ist ein physikalischer Effekt, der durch die Beugung von
Lichtwellen verursacht wird, wenn diese durch eine mediummässige Materie
passt. In einer bestimmten Umgebung oder Situation kann das Licht, das durch
eine bestimmte Fläche oder ein Objekt passt, sich "verlangsamen" und eine
Dopplereffekthelligkeit erzeugen.

Der Dopplereffekt ist ein spezifischer Effekt, der auf der Beugung von
Lichtwellen basiert. Wenn Licht durch ein Medium passt, wird es durch die Faser
des Mediums beugt und umgestaltet. Die Intensität des Lichts, das durch ein
Medium passt, kann sich durch den Dopplereffekt ändern.

Im Alltag können wir den Dopplereffekt beispielsweise bei der Anähnlichkeit von
Objekten in einer Ferne sehen. Wenn ein Auto oder eine andere Objekte in der
Ferne auf uns zukommt, wird es durch die Luft des Raumes beugt und erscheint
größer und weiter weg, als es tatsächlich ist.

Der Dopplereffekt kann auch in anderen Bereichen wie der Optik, Elektrotechnik
oder Medizin verwendet werden. Zum Beispiel können Dopplereffekte in der
Medizin verwendet werden, um die Blutungen in einem Körperteil zu bestimmen.

Es gibt verschiedene Arten von Dopplereffekten, darunter:

* LichtDopplereffekt: Der Effekt, den das Licht erzeugt, wenn es durch ein
  Medium passt.
* ZeitDopplereffekt: Der Effekt, den die Zeit erzeugt, wenn sie durch ein
  Objekt oder eine bestimmte Umgebung verändert wird.
* Räumliche Dopplereffekte: Der Effekt, den die räumliche Position von Objekten
  oder der Standort eines Beobachters auf die Erscheinung des Dopplereffekts
  ausübt.

Insgesamt ist der Dopplereffekt ein interessanter und wichtiger
physikalischerEffekt, der in vielen Bereichen der Wissenschaft und Technologie
Verwendung findet.

Ollama stellt seine Funktionen über eine REST-API zur Verfügung und kann somit lokal auch durch eigene Scripts und Editor-Plugins (z.B. Continue für VSCode) genutzt werden. Natürlich gibt es auch Module/Bibliotheken für diverse Sprachen, z.B. für Python.

Öffentliche Sprachmodelle

Die bekanntesten Sprachmodelle sind zur Zeit GPT-3.5 und GPT-4. Sie wurden von der Firma openAI entwickelt und sind die Basis für ChatGPT. Leider sind die aktellen GPT-Versionen nicht öffentlich erhältlich.

Zum Glück gibt es aber eine Menge anderer Sprachmodelle, die wie Open-Source-Software kostenlos heruntergeladen und von Ollama ausgeführt werden können. Gut geeignet für erste Experimente sind llama2, gemma und mistral. Einen Überblick über wichtige, Ollama-kompatible LLMs finden Sie hier:

https://ollama.com/library

Noch viel mehr LLMs finden Sie auf HuggingFace, einer öffentlichen Plattform für KI-Forscher und -Anwender:

https://huggingface.co/models

Viele Sprachmodelle stehen in unterschiedlicher Größe zur Verfügung. Die Größe wird in der Anzahl der Parameter gemessen (7b = 7 billions = 7 Milliarden). Die Formel »größer ist besser« gilt dabei nur mit Einschränkungen. Mehr Parameter versprechen eine bessere Qualität, das Modell ist dann aber langsamer in der Ausführung und braucht mehr Platz im Arbeitsspeicher. Die folgende Tabelle gilt für llama2, einem frei verfügbaren Sprachmodell der Firma Meta (Facebook & Co.).

Name.        Parameter     Größe
----------  ----------  --------
llama2           7 Mrd.     4 GB
llama2:13b      13 Mrd.     7 GB
llama2:70b      70 Mrd.    39 GB

Wenn Sie llama2:70b ausführen wollen, sollte Ihr Rechner über 64 GB RAM verfügen.

Update: Quasi zugleich mit diesem Artikel wurde llama3 fertiggestellt (Details und noch mehr Details). Aktuell gibt es zwei Größen, 8b (5 GB) und 80b (40 GB).

Bildverarbeitung

Ollama kann aber auch KI-Modelle zur Bildverarbeitung ausführen, z.B. LLaVA (siehe https://ollama.com/blog/vision-models).

ollama run llava:13b

>>> describe this image: raspap3.jpg 

Added image 'raspap3.jpg' 

The image shows a small, single-board computer like the Raspberry Pi 3, which is 
known for its versatility and uses in various projects. It appears to be connected 
to an external device via what looks like a USB cable with a small, rectangular
module on the end, possibly an adapter or expansion board. This connection
suggests that the device might be used for communication purposes, such as
connecting it to a network using an antenna. The antenna is visible in the
upper part of the image and is connected to the single-board computer by a
cable, indicating that this setup could be used for Wi-Fi or other wireless
connectivity.

The environment seems to be an indoor setting with wooden flooring, providing a
simple and clean background for the electronic components. There's also a label
on the antenna, though it's not clear enough to read in this image. The setup
is likely part of an electronics project or demonstration, given the simplicity
and focus on the connectivity equipment rather than any additional peripherals
or complex arrangements.

Eigentlich eine ganz passable Beschreibung für das folgende Bild!

Auf dem Bild ist ein Raspberry Pi 3B+ mit angeschlossenem USB-WLAN-Adapter und Netzwerkkabel zu sehen. Der WLAN-Adapter ist über einen der USB-Ports verbunden, während das gelbe Ethernet-Kabel in den LAN-Port eingesteckt ist. Der Raspberry Pi wird zusätzlich über ein schwarzes Micro-USB-Kabel mit Strom versorgt.
Raspberry Pi 3B+ mit USB-WLAN-Adapter

Praktische Erfahrungen, Qualität

Es ist erstaunlich, wie rasch die Qualität kommerzieller KI-Tools — gerade noch als IT-Wunder gefeiert — zur Selbstverständlichkeit wird. Lokale LLMs funktionieren auch gut, können aber in vielerlei Hinsicht (noch) nicht mit den kommerziellen Modellen mithalten. Dafür gibt es mehrere Gründe:

  • Bei kommerziellen Modellen fließt mehr Geld und Mühe in das Fine-Tuning.
  • Auch das Budget für das Trainingsmaterial ist größer.

  • Kommerzielle Modelle sind oft größer und laufen auf besserer Hardware. Das eigene Notebook ist mit der Ausführung (ganz) großer Sprachmodelle überfordert. (Siehe auch den folgenden Abschnitt.)

Wodurch zeichnet sich die geringere Qualität im Vergleich zu ChatGPT oder Copilot aus?

  • Die Antworten sind weniger schlüssig und sprachlich nicht so ausgefeilt.
  • Wenn Sie LLMs zum Coding verwenden, passt der produzierte Code oft weniger gut zur Fragestellung.

  • Die Antworten werden je nach Hardware viel langsamer generiert. Der Rechner läuft dabei heiß.

  • Die meisten von mir getesteten Modelle funktionieren nur dann zufriedenstellend, wenn ich in englischer Sprache mit ihnen kommuniziere.

Die optimale Hardware für Ollama

Als Minimal-Benchmark haben Bernd Öggl und ich das folgende Ollama-Kommando auf diversen Rechnern ausgeführt:

ollama run  llama2 "write a python function to extract email addresses from a string" --verbose

Die Ergebnisse dieses Kommandos sehen immer ziemlich ähnlich aus, aber die erforderliche Wartezeit variiert beträchtlich!

Lenovo T16, Linux. 12th Gen Intel i5-1250P cores=12, 32 GiB RAM, Alder Lake-P Integrated Graphics Controller

total duration:       4m7.981004535s
load duration:        979.201µs
prompt eval count:    31 token(s)
prompt eval duration: 3.061771s
prompt eval rate:     10.12 tokens/s
eval count:           478 token(s)
eval duration:        4m4.913456s
eval rate:            1.95 tokens/s

Lenovo P1 (2018), Linux. Intel i8750H 6 cores / 12 threads, 32 GiB RAM, NVIDIA Quadro P1000

Die GPU wurde nicht genutzt.

total duration:       1m48.168754835s
load duration:        204.369µs
prompt eval duration: 146.12ms
prompt eval rate:     0.00 tokens/s
eval count:           629 token(s)
eval duration:        1m48.021933s
eval rate:            5.82 tokens/s 

MacBook Air 2020, M1, 8GiB RAM

total duration:       52.303529042s
load duration:        4.741221334s
prompt eval count:    31 token(s)
prompt eval duration: 331.908ms
prompt eval rate:     93.40 tokens/s
eval count:           567 token(s)
eval duration:        47.211456s
eval rate:            12.01 tokens/s

MacBook Air M2 2023, 24 GB

total duration:       35.853232792s
load duration:        5.297790333s
prompt eval count:    32 token(s)
prompt eval duration: 211.272ms
prompt eval rate:     151.46 tokens/s
eval count:           617 token(s)
eval duration:        30.343375s
eval rate:            20.33 tokens/s

MacBook Pro M3 Pro 2023, 36 GB

total duration:       28.392226667s
load duration:        5.532561667s
prompt eval count:    31 token(s)
prompt eval duration: 119.313ms
prompt eval rate:     259.82 tokens/s
eval count:           667 token(s)
eval duration:        22.740198s
eval rate:            29.33 tokens/s 

Bzw. mit llama3:8b: 26,6 tokens/s.

Grundsätzlich kann Ollama GPUs nutzen (siehe auch hier und hier). Im Detail hängt es wie immer vom spezifischen GPU-Modell, von den installierten Treibern usw. ab. Wenn Sie unter Linux mit einer NVIDIA-Grafikkarte arbeiten, müssen Sie auch CUDA-Treiber installieren und ollama-cuda ausführen. Beachten Sie auch, dass viele Sprachmodelle zu groß für den Speicher der Grafikkarte sind.

Apple-Rechner mit M1/M2/M3-CPUs sind für Ollama aus zweierlei Gründen ideal: Es gibt keinen Ärger mit Treibern, und der gemeinsame Speicher für CPU/GPU ist vorteilhaft. Die GPUs verfügen über so viel RAM wie der Rechner. Außerdem bleibt der Rechner lautlos, wenn Sie Ollama nicht ununterbrochen mit neuen Abfragen beschäftigen.

Zum Schluss noch eine Bitte: Falls Sie Ollama auf Ihrem Rechner installiert haben, posten Sie bitte Ihre Ergebnisse des Kommandos ollama run llama2 "write a python function to extract email addresses from a string" --verbose im Forum!

Quellen/Links

OpenAI aktualisiert ChatGPT auf April 2023

07. November 2023 um 08:41

OpenAI hat ChatGPT Plus mit Informationen versorgt, die bis April 2023 reichen. Das Update des Chatbots bringt weitere Neuerungen mit.

So können Plus-Kunden nun alle Services wie Dall-E, Browsing und Datenanalyse ohne lästiges Umschalten an einem Ort finden, teilt OpenAI mit. Außerdem ließen sich nun PDFs und andere Dokumente anhängen und durchsuchen lassen, heißt es weiter.

Eine große Neuerung sieht der Anbieter auch in den benutzerdefinierten Versionen von ChatGPT, die man für einen bestimmten Zweck erstellen kann, sogenannte GPTs. GPTs seien eine neue Möglichkeit, eine maßgeschneiderte Version von ChatGPT zu erstellen, die bei bestimmten Aufgaben hilfreich sei. GPTs könnten etwa helfen, die Regeln eines Brettspiels zu lernen oder Kindern Mathematik beizubringen. Die GPTs ließen sich dann mit anderen Nutzern teilen, heißt es weiter.

Noch im November soll ein GPT-Store öffnen, in dem Kreationen von verifizierten Erstellern angeboten werden, teilt OpenAI mit. Sobald die GPTs im Store seien, ließen sie sich durchsuchen und in Bestenlisten einteilen. Man wolle dann die nützlichsten und schönsten GPTs in Kategorien wie Produktivität, Bildung und “nur zum Spaß” vorstellen. Nutzer, die GPTs kreieren könnten damit dann auch Geld verdienen können, je nachdem, wie viele Leute Ihr GPT nutzen, heißt es weiter.

Der Beitrag OpenAI aktualisiert ChatGPT auf April 2023 erschien zuerst auf Linux-Magazin.

Risiken von LI: OpenAI richtet Preparedness-Team ein

30. Oktober 2023 um 10:52

OpenAI, das Unternehmen hinter ChatGPT, weist erneut auf die Risiken von KI und Artificial General Intelligence (AGI) hin. Um bestehende und künftige dieser Risiken durch weitere Verbesserungen der KI-Modelle zu minimieren, bauen man ein neues Team namens Preparedness auf.

Das Preparedness-Team soll eine enge Verbindung zwischen Fähigkeitsbewertung, Evaluierung und internem Red-Teaming für Pioniermodelle herstellen, die wir in naher Zukunft entwickeln, bis hin zu solchen mit Fähigkeiten auf AGI-Niveau, teilt OpenAI mit. Das Team soll dabei helfen, katastrophale Risiken zu verfolgen, zu bewerten, vorherzusagen und sich vor ihnen zu schützen. Als Kategorien für diese Arbeit sind individualisierte Überzeugungsarbeit, Cybersecurity, CBRN-Bedrohungen (chemische, biologische, radiologische und nukleare) nebst Autonomer Replikation und Anpassung (ARA) genannt.

Zu den Aufgaben des Preparedness-Teams gehöre auch die Entwicklung und Pflege einer risikoinformierten Entwicklungspolitik (RDP, Risk-Informed Development Policy). In der RDP soll der Ansatz für die Entwicklung strenger Bewertungen und Überwachung der Fähigkeiten von Modellen, die Schaffung eines Spektrums von Schutzmaßnahmen und die Einrichtung einer Governance-Struktur für die Rechenschaftspflicht und Aufsicht über diesen Entwicklungsprozess detailliert beschrieben werden.

Der Beitrag Risiken von LI: OpenAI richtet Preparedness-Team ein erschien zuerst auf Linux-Magazin.

Risiken der beruflichen ChatGPT-Nutzung

17. Oktober 2023 um 08:49

Experten des Security-Anbieters Kaspersky haben Datenschutzrisiken der beruflichen Nutzung von LLM-basierte Chatbots identifiziert.

Dazu zählt als erste Gefahr ein Datenleck oder Hack seitens des Providers selbst, berichtet Kaspersky. Denn obwohl LLM-basierte Chatbots von großen Tech-Konzernen betrieben würden, seien sie nicht immun gegenüber Hackingangriffen oder unabsichtlichen Datenlecks. So habe es bereits einen Zwischenfall gegeben, bei dem ChatGPT-Nutzer Eingaben aus dem Nachrichtenverlauf anderer Nutzer sehen konnten, teilt Kaspersky mit.

Datenlecks durch Chatbots zählen ebenfalls zu den Risiken. Da die Chats sich zumindest theoretisch dazu verwenden lassen, um neue Chatbot-Modelle zu trainieren, sollten Nutzer bedenken, dass Daten, die in den Trainingskorpus eingegeben werden, bewusst oder unabsichtlich von Anwendern desselben Sprachmodells aufgerufen werden können. Da LLMs anfällig gegenüber „unabsichtlicher Speicherung“ seien, könnten sie sich einzigartige Sequenzen wie Handynummern merken, die nicht die Modellqualität verbessern, aber die Privatsphäre gefährden, berichten die Experten. Allerdings würden B2B-Lösungen normalerweise keine Chatverläufe speichern und in manchen Fällen auch keine Daten an den Unternehmensserver senden, da der Chatbot lokal im Kundennetzwerk operiere.

Nicht zuletzt zählt das Knacken von Mitarbeiter-Accounts zu den Risiken. Angreifer könnten dann durch Phishing-Angriffe oder Credential Stuffing in Angestellten-Accounts eindringen und auf fremde Daten zugreifen. Außerdem finde die Kaspersky Digital Footprint Intelligence regelmäßig Darknet-Beiträge, die Chatbot‑Accounts zum Verkauf anbieten.

Der Beitrag Risiken der beruflichen ChatGPT-Nutzung erschien zuerst auf Linux-Magazin.

OpenAI DevDay angekündigt

08. September 2023 um 08:32

OpenAI, das Unternehmen hinter ChatGPT lädt zur ersten Entwicklerkonferenz, dem OpenAI DevDay, am 6. November 2023 in San Francisco ein.

Die eintägige Veranstaltung soll Entwickler aus der ganzen Welt mit dem Team von OpenAI zusammenbringen. In San Francisco wolle man neue Tools vorstellen und Ideen auszutauschen, kündigt das Unternehmen an. Die Teilnehmer sollen auch die Möglichkeit haben, an Breakout-Sessions teilzunehmen, die von den technischen Mitarbeitern von OpenAI geleitet werden.

Über zwei Millionen Entwickler würden GPT-4, GPT-3.5, DALL-E und Whisper für eine Vielzahl von Anwendungsfällen nutzen, teilt OpenAI mit. “Wir freuen uns darauf, unsere neueste Arbeit vorzustellen, die es Entwicklern ermöglicht, neue Dinge zu entwickeln”, sagt Sam Altman, CEO von OpenAI.

Weitere Informationen gibt es unter devday.openai.com.

Der Beitrag OpenAI DevDay angekündigt erschien zuerst auf Linux-Magazin.

OpenAI übernimmt Global Illumination

18. August 2023 um 08:27

OpenAI, das Unternehmen hinter ChatGPT hat eigenen Angaben zufolge das Team von Global Illumination übernommen. Das von Thomas Dimson, Taylor Gordon und Joey Flynn gegründeten Startup Global Illumination ist ein Unternehmen, das kreative Tools und Infrastrukturen rund um künstliche Intelligenz entwickelt.

Laut OpenAI ist das gesamte Team übernommen worden, und soll sich nun der Arbeit an den Kernprodukten einschließlich ChatGPT widmen. Global Illumination habe schon früh Produkte für Instagram und Facebook entwickelt und auch bei YouTube, Google, Pixar, Riot Games und anderen namhaften Unternehmen wichtige Beiträge geleistet.

Zuletzt hat sich das Startup das Browserspiel Biomes entwickelt, ein quelloffenes Sandbox-MMORPG im Mindcraft-Stil. Finanzielle Details zur Übernahme sind nicht bekannt.

Der Beitrag OpenAI übernimmt Global Illumination erschien zuerst auf Linux-Magazin.

GPT4All – wie ChatGPT, nur offline und kostenlos

Von: jdo
17. August 2023 um 06:09

KI (Künstliche Intelligenz) ist gerade in aller Munde. Ausgelöst wurde der Hype durch ChatGPT, aber in der Zwischenzeit gibt es auch Google Bard und ich habe das Gefühl, dass jeder nun mitspielen möchte. Ein Problem ist allerdings, dass Du immer einen Online-Service nutzen musst. Die großen Firmen machen auch kein großes Geheimnis daraus, Daten zu sammeln und zu verwerten. GPT4All läuft offline und auf Deiner eigenen Hardware, und zwar auf der CPU und nicht der GPU. Du benötigst dafür also […]

Der Beitrag GPT4All – wie ChatGPT, nur offline und kostenlos ist von bitblokes.de.

OpenAI-Anleitung zum Blockieren des GPTBot

08. August 2023 um 09:34

OpenAI hat eine Anleitung veröffentlicht, wie Webseiten das Crawlen durch den GPTBot vrhindern können.

Wie OpenAI mitteilt, würden Webseiten, die mit dem GPTBot-Benutzer-Agenten gecrawlt wurden, potenziell dazu beitragen, das Modell von ChatGPT zu verbessern. OpenAI führt weiter aus, dass die vom Bot gesammelten Informationen gefiltert würden. Dabei entferne man etwa Quellen, die einen die einen Paywall-Zugang erfordern. Auch solche, von denen bekannt sei, dass sie persönlich identifizierbare Informationen sammeln, oder Text enthalten, der gegen die OpenAI-Richtlinien verstossen, landeten im Filter, heißt es weiter.

Wer dem GPTBot den Zugang zu seiner Website gewähren, könne den KI-Modellen helfen, genauer zu werden und ihre allgemeinen Fähigkeiten und Sicherheit zu verbessern. Wer den GPTBot den Zugang verweigern wolle, könne dies mit einem Eintrag in die robots.txt tun oder mit der Blockade von IP-Adressen des Bots.

In der robots.txt sei dazu folgender Eintrag geeignet:

User-agent: GPTBot

Disallow: /

Die IP-Adressen des Bots, die es zu blockieren gilt, finden sich auf dieser Seite.

Der Beitrag OpenAI-Anleitung zum Blockieren des GPTBot erschien zuerst auf Linux-Magazin.

OpenAI zieht AI Classifier zurück

27. Juli 2023 um 07:59

Der AI Classifier war dazu gedacht, Texte zu erkennen, die von künstlicher Intelligenz geschrieben worden sind. Jetzt hat OpenAI, das Unternehmen hinter ChatGPT das Tool zurückgezogen. Es sei zu ungenau gewesen, heißt es.

Ab sofort sei der AI Classifier aufgrund seiner geringen Genauigkeit nicht mehr verfügbar, lässt OpenAI wissen. Man arbeite nun daran, das Feedback zu analysieren und erforsche derzeit effektivere Verfahren zur Herkunftsbestimmung von Texten, heißt es in der knappen Ankündigung.  Außerdem haben OpenAI sich jenseits der Texterkennung auch verpflichtet, Mechanismen zu entwickeln und einzusetzen, die es den Nutzern ermöglichen, zu erkennen, ob Audio- oder visuelle Inhalte KI-generiert seien.

Schon beim Start des Classifiers Ende Januar hatte das Unternehmen darauf hingewiesen, dass der Classifier in internen Tests mit einem “Challenge Set” englischer Texte nur 26 Prozent der von der KI geschriebenen Texte korrekt als “wahrscheinlich von der KI geschrieben” klassifiziert habe. Von Menschen geschriebene Texte seien in 9 Prozent der Fälle fälschlicherweise als von der KI geschrieben eingestuft worden (falsch positiv).

Der Beitrag OpenAI zieht AI Classifier zurück erschien zuerst auf Linux-Magazin.

KI: BSI warnt vor Prompt-Manipulation

21. Juli 2023 um 10:34

Das Bundesamt für Sicherheit in der Informationstechnik, BSI, warnt vor Indirect Prompt Injections bei KI-Sprachmodellen wie ChatGPT. Die Gefahr besteht, weil die Chatbots inzwischen unter anderem Internetseiten oder Dokumente automatisiert auswerten. Von dort könnten manipulierte Daten mit Anweisungen kommen, die der Chatbot dann ausführt.

Angreifende können die Daten in Quellen zu denen auch Programmierumgebungen und Mail-Postfächer zählen gezielt manipulieren und unerwünschte Anweisungen für LLMs platzieren, berichtet das BSI in seiner Warnmeldung. Greifen LLMs auf diese Daten zu, werden die unerwünschten Befehle unter Umständen ausgeführt. Angreifende können dadurch das Verhalten der LLMs gezielt manipulieren, schreibt das BSI. Die potentiell schadhaften Befehle können kodiert oder versteckt sein und sind für Anwenderinnen sowie Anwender unter Umständen nicht erkennbar, heißt es weiter.

Als Beispiele nennt das BSI etwa, in einfachen Fällen, ein Text auf einer Webseite mit Schriftgröße Null, den die KI liest, der menschliche Nutzer aber nicht sieht.  Auch ein versteckter Text im Transkript eines Videos könnte einen solchen Befehl enthalten. sein. Anweisungen zu kodieren, sodass diese von LLMs weiterhin problemlos interpretiert werden, von Menschen jedoch nur schwer lesbar sind gelinge etwa auch durch ASCII-Code oder ähnlichem. Eine weitere Möglichkeit sei, Anfragen von Chatbots durch den Webserver aufgrund anderer Aufrufparameter mit anderen Inhalten zu beliefert als sie menschliche Nutzer durch die Browseranfragen erhalten.

Der Beitrag KI: BSI warnt vor Prompt-Manipulation erschien zuerst auf Linux-Magazin.

OpenAI schließt Partnerschaft mit dem American Journalism Project

20. Juli 2023 um 09:24

OpenAI, die Organisation hinter ChatGPT, stellt nach eigenen Angaben dem American Journalism Project (AJP) 5 Millionen Dollar zur Verfügung, um zu untersuchen, wie die Entwicklung künstlicher Intelligenz (KI) einen “innovativen lokalen Nachrichtenbereich unterstützen kann”.

Weitere bis zu 5 Millionen Dollar sind in Form von OpenAI-API-Gutschriften geplant, um den geförderten Organisationen zu helfen, neue KI-Technologien in ihren Organisationen zu bewerten und einzusetzen.Die Zusammenarbeit ziele darauf ab, einen Dialog zwischen der lokalen Nachrichtenbranche und OpenAI aufzubauen und Tools zu entwickeln, die lokale Nachrichtenorganisationen unterstützen könnten.

“Um sicherzustellen, dass der Lokaljournalismus eine wesentliche Säule unserer Demokratie bleibt, müssen wir uns über die potenziellen Möglichkeiten und Fallstricke neuer Technologien im Klaren sein”, sagte Sarabeth Berman, CEO des American Journalism Project. “In diesen frühen Tagen der generativen KI haben wir die Möglichkeit, dafür zu sorgen, dass lokale Nachrichtenorganisationen und ihre Communities an der Gestaltung ihrer Auswirkungen beteiligt werden. Mit dieser Partnerschaft wollen wir Wege aufzeigen, wie KI den Journalismus verbessern und nicht gefährden kann.”

AJP und sein Portfolio lokaler Nachrichtenorganisationen werden die Mittel von OpenAI nutzen, um mit der Anwendung von künstlicher Intelligenz auf verschiedene Weise zu experimentieren.

Unter anderem soll ein Technologie- und KI-Studio eingerichtet werden. AJP will dafür ein Team zusammenstellen, das die Anwendungen von KI im Bereich der Lokalnachrichten bewerten soll. Das Studio werde den AJP-Portfolio-Organisationen Experten-Coaching bieten, während sie erforschen, wie sie KI-Tools am besten nutzen können. Es soll zudem eine Zusammenarbeit und eine Feedbackschleife mit externen Partnern wie OpenAI und Anbietern geben, die an KI-Anwendungen arbeiten, die hochwertigen Journalismus unterstützen und die Verbreitung von Fehlinformationen verhindern. Als Teil dieser Arbeit werde das Studio eine Lerngemeinschaft im gesamten AJP-Portfolio organisieren, um bewährte Praktiken, Richtlinien und Erfahrungen zu dokumentieren und auszutauschen, während sich die Experimente entwickeln, teilt das AJP mit.

Der Beitrag OpenAI schließt Partnerschaft mit dem American Journalism Project erschien zuerst auf Linux-Magazin.

ChatGPT erstmals mit weniger Traffic

10. Juli 2023 um 07:48

Der Hype um den Chatbot ChatGPT von OpenAI scheint nachzulassen. Das auf Webanalysen spezialisierte Unternehmen Similarweb berichtet von rund 10 Prozent weniger Traffic im Juni, im Vergleich zum Mai.

Die Unique Vistors sanken um 5,7 Prozent. Die Verweildauer der Besucher auf der Website ging ebenfalls um 8,5 Prozent zurück, berichtet Similarweb.

Es sehe also nicht mehr so aus, als würde ChatGPT weiter wachsen, bis es die meistbesuchte Website der Welt ist, berichtet Similarweb. Google laufe also nicht Gefahr, von der OpenAI-Tech-Demoseite, die sich zu einem kulturellen Phänomen entwickelt habe, in den Schatten gestellt zu werden.

ChatGPT ziehe immer noch mehr Besucher weltweit an als bing.com, die Suchmaschine von Microsoft, oder Character.AI, die zweitbeliebteste eigenständige KI-Chatbot-Website. Die weltweiten Besuche auf Character.AI sei im Monatsvergleich um 32 Prozent zurückgegangen, obwohl der Datenverkehr im Vergleich zum Juni 2022, als das von ehemaligen Google-Ingenieuren gegründete Unternehmen gerade erst an den Start ging, immer noch enorm gestiegen sei.

Der Beitrag ChatGPT erstmals mit weniger Traffic erschien zuerst auf Linux-Magazin.

OpenAI macht GPT-45-API verfügbar

07. Juli 2023 um 08:10

Wie OpenAI bekannt gibt, haben ab sofort alle zahlenden API-Kunden Zugang zu GPT-4. Auf die im März eingeführte ChatGPT-API hatte bislang nur ein eingeschränkter Kreis Zugang.

Es habe inzwischen auch Updates für die chatbasierten Modelle gegeben, berichtet OpenAI in einem Beitrag weiter und kündig gleichzeitig einen Plan zur Abschaffung älterer Modelle der Completions-API an.

Den Zugang zur ChatGPT-API können laut OpenAI alle bestehenden API-Entwickler mit einer erfolgreichen Zahlungshistorie auf die GPT-4-API mit 8K-Kontext zugreifen. Für neue Entwickler soll der Zugang bis Ende dieses Monats geöffnet werden und dann die Ratenlimits je nach Verfügbarkeit von Rechenleistung anzuheben.

Zudem sollen auch GPT-3.5 Turbo-, DALL-E- und Whisper-APIs allgemein verfügbar werden. Man arbeite daran, die Feinabstimmung für GPT-4 und GPT-3.5 Turbo sicher zu ermöglichen, heißt es, mit einem Zugang sei noch in diesem Jahr zu rechnen.

Der Beitrag OpenAI macht GPT-45-API verfügbar erschien zuerst auf Linux-Magazin.

OpenAI: Updates und Preissenkungen für GPT-4 und GPT-3.5-Turbo

15. Juni 2023 um 08:58

OpenAI hat für seine Sprachmodelle GPT-3.5-Turbo und GPT-4 Funktionsupdates und günstigere Preise angekündigt.

GPT steht als Sprachmodell auch hinter den Tools ChatGPT von OpenAI und Bing von Microsoft. Mit der Preisreduzierung soll das Embedding-Modell um 75 Prozent günstiger werden. Die Eingabe-Tokens für GPT-3.5-Turbo seien um 25 Prozent günstiger. Bei GPT-3.5-Turbo kommt ein Update auf eine 16k-Kontext-Version gegenüber der Standard-4k-Version. Das bedeutet, dass sich die Kontextlänge vervierfacht und das zum doppelten Preis, teilt OpenAI mit. 16k-Kontext bedeute, dass das Modell nun ungefähr 20 Seiten in einem einzelnen Request verarbeiten kann.

Beim nach Angaben von OpenAI beliebtesten Modell „text-embedding-ada-002“ werde man die Kosten ab sofort um 75 Prozent auf 0,0001 US-Dollar pro 1000 Tokens senken.

Bei GPT-3.5-Turbo, dem beliebtesten Chat-Modell senke man die Kosten für Eingabe-Tokens um 25 Prozent. Entwickler könnten dieses Modell jetzt für 0,0015 US-Dollar pro 1000 Input-Tokens und 0,002 Dollar pro 1K Output-Tokens verwenden, was ungefähr 700 Seiten pro Dollar entspreche.

GPT-3.5-Turbo-16k werde zu einem Preis von 0,003 Dollar pro 1K Input-Token und 0,004 Dollar pro 1K Output-Token angeboten, heißt es weiter.

Mit Function Calling bringen GPT-4-0613 und GPT-3.5-turbo-0613 eine neue Funktion mit, über die Entwickler Funktionen beschreiben können und das Modell kann dann ein JSON-Objekt mit Argumenten zum Aufruf dieser Funktionen ausgeben. Dies sei eine neue Möglichkeit, die Fähigkeiten von GPT mit externen Tools und APIs zu verbinden.

OpenAI nennt als Beispiel dass man jetzt Abfragen wie “Schreiben Sie Anya eine E-Mail, um zu erfahren, ob sie nächsten Freitag einen Kaffee trinken möchte” in einen Funktionsaufruf wie send_email(to: string, body: string) oder “Wie ist das Wetter in Boston?” in get_current_weather(location: string, unit: ‘celsius’ | ‘fahrenheit’) konvertieren kann.

Im Blogbeitrag sind weitere Möglichkeiten beschrieben.

Der Beitrag OpenAI: Updates und Preissenkungen für GPT-4 und GPT-3.5-Turbo erschien zuerst auf Linux-Magazin.

OpenAI startet Cybersecurity-Programm

05. Juni 2023 um 10:04

OpenAI, das Unternehmen hinter der KI-Anwednung ChatGPT hat eine mit einer Million US-Dollar hinterlegte Cybersecurity-Initiative gestartet. Das Cybersecurity Grant Program soll zur Förderung und Quantifizierung von KI-gestützten Cybersicherheitsfähigkeiten dienen und den Diskurs über KI und Cybersicherheit ankurbeln.

Ziel sei es, mit den Verteidigern der Sicherheit auf der ganzen Welt zusammenzuarbeiten, um die Machtdynamik der Cybersicherheit durch die Anwendung von KI und die Koordination von Gleichgesinnten, die sich für die gemeinsame Sicherheit einsetzen, zu verändern, schreiben führende Mitarbeiter von OpenAI.

Das Programm ziele darauf ab, sicherzustellen, dass modernste KI-Fähigkeiten in erster Linie den Verteidigern von Cybersicherheit zugutekommen und nicht den Angreifern. Man arbeite auch an der Entwicklung von Methoden zur Quantifizierung der Cybersicherheitsfähigkeiten von KI-Modellen, um deren Wirksamkeit besser zu verstehen und zu verbessern.

Nicht zuletzt sei man bestrebt, die Diskussionen an der Schnittstelle zwischen KI und Cybersicherheit zu fördern und ein umfassendes und differenziertes Verständnis der Herausforderungen und Möglichkeiten in diesem Bereich zu schaffen, heißt es weiter.

OpenAI will die Anträge auf Finanzierung oder sonstige Unterstützung fortlaufend bewerten. Praktische Anwendungen von KI in der defensiven Cybersicherheit (Tools, Methoden, Prozesse) werde man stark bevorzugen. Man gewähre Zuschüsse in Höhe von 10.000 US-Dollar aus einem Fonds von 1 Million Dollar.

Im Blogpost sind mögliche Tätigkeitsfelder für Projekte für KI- und Sicherheitsexperten genannt, die sich an der Initiative beteiligen wollen. Vorschläge können dann auf einer eigenen Webseite eingereicht werden.

Der Beitrag OpenAI startet Cybersecurity-Programm erschien zuerst auf Linux-Magazin.

Neue ChatGPT App für Linux

Von: MK
27. Mai 2023 um 05:00

Künstliche Intelligenz ist derzeit in aller Munde und die meisten dürften von ChatGPT schon mal gehört haben. Hierbei handelt es sich um ein kostenloses KI-Tool von OpenAI, welches via Browser benutzt werden kann. Wer am Linux-Desktop mit ChatGPT chatten möchte, kann dies auch ohne Webbrowser machen. Die App Bavarder macht uns das möglich. Diese neue...

Der Beitrag Neue ChatGPT App für Linux erschien zuerst auf MichlFranken.

❌
❌