Mozilla hat seinen Datensatz von Sprachmustern für das Training von Sprachtechnologien aktualisiert. Mit Common Voice Corpus 13.0 stehen noch einmal mehr Beispiele  von Sprachdateien für Entwickler von Spracherkennungsanwendungen zur Verfügung.

Der zum Download angebotene deutsche Sprachdatensatz umfasst Sprachdateien im Umfang von 1340 Stunden. Er ist 31,5 GByte groß und liefert 17.867 Stimmen. Jeder Eintrag im Datensatz besteht aus einer eindeutigen MP3- und zugehörigen Textdatei. Viele der aufgezeichneten Stunden im Datensatz enthielten auch demografische Metadaten wie Alter, Geschlecht und Akzent, mit deren Hilfe die Genauigkeit von Spracherkennungs-Engines trainiert werden könne, teilt Mozilla mit.

Der komplette Datensatz bestehe derzeit aus 17.690 bestätigten Stunden in 108 Sprachen. Mozilla Common Voice ist eine Open-Source-Initiative, um den Zugang zu Sprachtechnologie allgemein zu erleichtern. Die Teilnehmer am Projekt spenden Sprachdaten für einen freien, öffentlichen Datensatz, der von jedermann genutzt werden kann, um sprachgesteuerte Technologien zu trainieren. Das Projekt versucht damit, einzelnen Entwicklern und kleinen Unternehmen einen Datensatz zu bieten, denen ein solcher Zugang wegen fehlender finanzieller Mittel sonst verwehrt wäre.v

Der Beitrag Mozilla veröffentlicht Common Voice Corpus 13.0 erschien zuerst auf Linux-Magazin.

Mozilla hat mit Common Voice ein Projekt gestartet, das frei zugängliche und verwendbare Sprachdaten umfasst. Jetzt hat Mozilla mit Common Voice Corpus 10 einen weiteren Datensatz veröffentlicht.

Der neue Datensatz deckt insgesamt 96 Sprachen ab. Drei Sprachen sind neu hinzugekommen. Für 30 dieser Sprachen gibt es jeweils über 100 Stunden Trainingsmaterial. Der deutschsprachige Satz kommt mit Sprachdaten von über 1200 Stunden und rund 2005400 Datensätzen von rund 17.100 Sprechern. Der Download des deutschen Satzes beträgt rund 29 GByte.

Insgesamt beinhaltet der Common Voice Corpus 10 rund 20.800 Stunden aufgenommene Sprachdaten. Bei der Download-Seite lässt sich die gewünschte Sprache wählen.

Für Entwickler, die mit Spracherkennung und ähnlichen Technologien experimentieren, ist dieser Datensatz ein unschätzbarer Vorteil, wenn es darum geht ihre Anwendungen in den Bereichen KI und Machine Learning zu trainieren. Für einzelne Entwickler oder kleine Studios ist es ansonsten schwer, an geeignete Trainingsdaten zu kommen.

Der Beitrag Mozilla veröffentlicht neuen Datensatz für Common Voice erschien zuerst auf Linux-Magazin.

Riesige Sprachmodelle sind meist nicht öffentlich verfügbar oder replizierbar. Meta will das mit OPT ändern und gute Qualität liefern.

Ein großes Forschungsteam der KI-Abteilung des Facebook-Mutterkonzerns Meta hat die Open-Pre-trained-Transformer-Sprachmodelle (OPT) in einer wissenschaftlichen Abhandlung vorgestellt. Das dabei wohl wichtigste Anliegen der Beteiligten ist es, ein modernes und großes Sprachmodell zu erstellen, das, anders als bisher meist üblich, komplett zur Verfügung gestellt wird, um die die konkreten Einzelheiten untersuchen zu können.

Das Team von Meta vergleicht das Sprachmodell selbst in Bezug auf Ziel, Fähigkeiten und Größe mit GPT-3 von OpenAI. Letzteres steht zwar zur Nutzung zur Verfügung, jedoch nur über eine API. Eine Untersuchung der inneren Abläufe und Gewichtungen ist so für Dritte nicht möglich. Im Vergleich zu GPT-3 soll die größte Variante von OPT mit 175 Milliarden Parametern außerdem nur ein Siebentel des CO2-Fußabdrucks aufweisen.

Ziel der Entwicklung sei es, “reproduzierbare und verantwortungsvolle Forschung in großem Maßstab zu ermöglichen”. Ebenso sollen die Auswirkungen dieser riesigen Sprachmodelle besser untersucht werden können. Dazu heißt es weiter: “Die Definitionen von Risiko, Schaden, Verzerrung, Toxizität usw. sollten von der gesamten Forschungsgemeinschaft formuliert werden, was nur möglich ist, wenn Modelle zur Untersuchung bereitstehen.”

Konkret geplant ist nun von Meta, dass die OPT-Modelle mit einer Parametergröße von 125 Millionen bis 30 Milliarden frei zur Verfügung gestellt werden. Der Zugriff auf das Modell mit 175 Milliarden Parametern soll auf Anfrage für Forschungsteams ermöglicht werden. Das gelte für Regierungen, Zivilgesellschaft, Wissenschaft sowie Industrieteilnehmer. Ebenso frei veröffentlicht werden soll das Team-eigene Logbuch, das beim Erstellen des Modells geführt wurde, sowie der Code, mit dem das Modell erstellt wurde.

Der Beitrag KI: Meta will GPT-3-Alternative öffentlich bereitstellen erschien zuerst auf Linux-Magazin.

Das Projekt Common Voice sammelt Stimmen-Spenden in 18 Sprachen. Eine Website bietet Sätze zum Vorlesen an - und lässt Aufnahmen bewerten. Die Aufnahmen kommen Start-ups für Spracherkennung und innovative Stimmsysteme zugute.