“NeMo Guardrails” heißt das Toolkit von Nvidia, dass der Grafikspezialist unter einer Open-Source-Lizenz veröffentlicht hat. Damit sollen Chatbots sicherer werden.

NeMo Guardrails soll sich bei der Entwicklung sicherer und vertrauenswürdiger LLM-Konversationssysteme bewähren, teilt Nvidia mit. Die Sicherheit in der generativen KI sei ein branchenweites Anliegen und NeMo Guardrails sei so entwickelt worden, dass es mit allen LLMs funktioniere, einschließlich ChatGPT von OpenAI.

Dieses Leitplanken-Toolkit setze auf von der Community erstellten Werkzeugen wie LangChain. Die Toolkits würden kombinierbare und einfach zu verwendende Vorlagen und Muster anbieten, um LLM-gestützte Anwendungen zu erstellen. Dabei könnten LLMs, APIs und andere Softwarepakete zusammengebaut werden, so Nvidia in einem Blogbeitrag.

Mit dem Toolkit ließen sich Regeln aufstellen, um das Verhalten von Chatbots auf Nutzereingaben zu definieren. Derzeit gebe es die drei Regelsätze Topical, Safety und Security. Topical weise den Chatbot an, auf ein bestimmtes Thema konzentriert zu bleiben und nicht in unerwünschte Bereiche abschweifen. Security-Leitplanken würden dafür sorgen, dass Interaktionen mit einem LLM nicht zu Fehlinformationen, toxischen Reaktionen oder unangemessenen Inhalten führen. Security-Regeln verhinderten, dass ein LLM bösartigen Code ausführe oder eine externe Anwendung auf eine Weise aufrufe, die ein Sicherheitsrisiko darstellt.

Der Beitrag Open-Source-Tools von Nvidia sollen Chatbots sicherer machen erschien zuerst auf Linux-Magazin.