Mistral Voxtral 3 verbindet Transkription, Sprachausgabe und Echtzeit-Agenten
Die neue Modellfamilie verarbeitet Dateien und Audiostreams, erzeugt Stimmen und verbindet alle Bausteine über ein LiveKit-SDK zu unterbrechbaren Sprachagenten.
Mistral AI hat Voxtral 3 als Modellfamilie für Sprache vorgestellt. Der neue Baukasten deckt aufgezeichnete Audiodateien, laufende Audiostreams und synthetische Sprachausgabe ab. Ein auf LiveKit basierendes SDK verbindet diese Teile mit einem Sprachmodell, das Werkzeuge aufrufen kann. Dadurch entsteht aus mehreren spezialisierten Modellen ein Agent, der zuhört, Informationen abfragt, antwortet und sich während der Ausgabe unterbrechen lässt.
Das ist mehr als ein einzelnes Speech-to-Text-Upgrade. Mistral ordnet die Modelle nach Aufgabe und Zeitbedarf: präzise Verarbeitung fertiger Aufnahmen, kontinuierliche Erkennung in Live-Sitzungen und Sprachausgabe für vorbereitete oder unmittelbar erzeugte Antworten. Laut der Produktankündigung von Mistral AI unterstützt die Familie je nach Betriebsart mindestens 35 Sprachen.
Ein Anruf wird zur laufenden Modellsitzung
Ein Service-Assistent zeigt am deutlichsten, was an der Verbindung neu ist. Während ein Anrufer spricht, verarbeitet Voxtral Mini Transcribe Realtime 3 den Audiostream. Die Transkription gelangt fortlaufend an das gewählte Sprachmodell. Benötigt dieses etwa einen Bestellstatus oder einen freien Termin, kann es ein angebundenes Werkzeug aufrufen. Voxtral TTS Realtime 3 spricht das Ergebnis anschließend aus.
Das SDK hält diese Komponenten in einer Streaming-Verbindung zusammen. Besonders wichtig ist dabei die Unterbrechbarkeit: Beginnt der Anrufer erneut zu sprechen, muss er nicht warten, bis eine vorbereitete Audioausgabe vollständig abgespielt wurde. Die laufende Antwort kann gestoppt und der neue Redebeitrag verarbeitet werden. Mistral nennt dafür außerdem Sprecherwechselerkennung und eine konfigurierbare Zielverzögerung von 80 bis 1.200 Millisekunden.
Die drei Ebenen bleiben getrennt wählbar. Die Spracherkennung muss also nicht dieselbe Modellvariante oder dieselbe Latenzstrategie verwenden wie ein anderer Anwendungsfall. Auch das Sprachmodell zwischen Ein- und Ausgabe lässt sich passend zur Aufgabe konfigurieren. So kann ein Agent kurze Standardfragen direkt beantworten und für aktuelle Kontodaten, Buchungen oder interne Wissensbestände gezielt ein Werkzeug ansprechen.
Drei Transkriptionsmodelle für unterschiedliche Situationen
Für fertige Aufnahmen sieht Mistral Voxtral Mini Transcribe 3 vor. Das Modell besitzt einen gemeinsamen Kontext von 65.536 Tokens für Audio und Kontextvokabular. In diesen Kontext lassen sich Begriffe aufnehmen, die in einer allgemeinen Transkription leicht verwechselt würden: Produktnamen, Fachwörter, Abkürzungen oder Personennamen. Das ist beispielsweise für Interviews über Spezialthemen, medizinische Diktate oder Gespräche mit vielen Eigennamen nützlich.
Voxtral Small Transcribe 3 ist ebenfalls auf Offline-Transkription ausgerichtet, laut Speech-to-Text-Dokumentation jedoch als höherwertige Variante. Die sinnvolle Wahl hängt damit nicht nur von der Dateigröße ab: Bei einer Archivaufnahme oder einem veröffentlichungsreifen Interview kann die hochwertigere Offline-Verarbeitung wichtiger sein als eine sofortige Ausgabe.
Voxtral Mini Transcribe Realtime 3 übernimmt dagegen laufende Sprache. Es arbeitet mit Sitzungen, erkennt Sprecherwechsel und erlaubt die Abstimmung der Streaming-Verzögerung. Eine geringe Zielverzögerung passt zu Untertiteln oder einem Dialog, während mehr Puffer dort sinnvoll sein kann, wo ein etwas späterer, dafür stabilerer Transkriptionsstand akzeptabel ist.
Sprechertrennung und Zeitstempel machen aus dem erkannten Text verwertbare Gesprächsdaten. Bei einem Interview lassen sich Aussagen den Beteiligten zuordnen; bei einer Besprechung können Fundstellen an die entsprechende Stelle der Aufnahme springen. Zusammenfassungen, Übersetzungen und Fragen zum Inhalt sind davon getrennte Aufgaben: Mistral führt sie über Audio in Chat Completions aus, nicht als versteckte Zusatzfunktion des Transkriptionsendpunkts.
Kontextvokabular statt nachträglicher Namenskorrektur
Das Kontextvokabular ist besonders hilfreich, wenn eine Anwendung ihr Themengebiet bereits kennt. Vor einem Supportgespräch können etwa Produktreihen, Tarifnamen und häufige technische Begriffe mitgegeben werden. Bei einer Veranstaltung bieten sich Namen der Vortragenden und Programmpunkte an. Das Modell erhält damit Hinweise für die Erkennung, ohne dass das gesamte Transkript anschließend mit einer langen Ersetzungsliste korrigiert werden muss.
Der gemeinsame Kontext von 65.536 Tokens bei Voxtral Mini Transcribe 3 umfasst Audio und Vokabular. Ein sehr umfangreiches Glossar steht daher nicht unabhängig vom Audiomaterial zur Verfügung, sondern teilt sich das Kontextbudget mit ihm. Praktisch spricht das für eine gezielte Auswahl der tatsächlich relevanten Begriffe je Aufnahme.
Für Live-Sitzungen lässt sich das gleiche Prinzip auf die aktuelle Gesprächslage zuschneiden. Ein Contact-Center kann beispielsweise die Namen jener Produkte bereitstellen, die zum ausgewählten Menüpunkt gehören. Ein Live-Untertitelungsdienst kann die Namen eines Panels oder die Fachbegriffe eines Vortrags berücksichtigen. Entscheidend ist nicht die Menge, sondern die Nähe zum erwarteten Gespräch.
Aus Text wird eine steuerbare Stimme
Auf der Ausgabeseite unterscheidet Mistral zwischen Voxtral TTS 3 und Voxtral TTS Realtime 3. Die Offline-Schnittstelle erzeugt Sprache aus vollständigem Text. Sie unterstützt vorgegebene Stimmen und Stimmen, die aus kurzen Aufnahmen geklont werden. Für unmittelbare Gespräche steht die Echtzeitvariante bereit, bei der frühe Audioteile bereits ausgegeben werden können, während die Antwort weiter entsteht.
Voxtral TTS 3 bietet laut Text-to-Speech-Dokumentation 34 Emotionsangaben und Tempo-Tags. Damit kann dieselbe Textantwort je nach Anwendung sachlicher, freundlicher oder dynamischer gesprochen werden. Eigene Aussprachevorgaben helfen bei Namen und Fachbegriffen. Diese Hinweise sind derzeit auf unterstützte englische IPA-Phoneme beschränkt; für anderssprachige Spezialaussprachen ist diese Steuerung daher nicht im gleichen Umfang beschrieben.
Als Ausgabeformate nennt Mistral MP3, WAV, PCM, FLAC und Opus. MP3 und Opus eignen sich für kompakte Übertragung, WAV und FLAC für hochwertige Weiterverarbeitung, PCM für Anwendungen, die rohe Audiodaten unmittelbar weiterreichen. Streaming-Ausgabe ist auch bei der Offline-Schnittstelle verfügbar und kann die wahrgenommene Wartezeit reduzieren, obwohl der Eingang als vollständiger Text vorliegt.
Live-Untertitel, Gesprächsnotiz und Service-Agent
Für Live-Untertitel genügt die Echtzeit-Transkription als zentraler Baustein. Eine Sitzung nimmt den Audiostream entgegen, Sprecherwechsel strukturieren das Ergebnis und die Zielverzögerung bestimmt den Kompromiss zwischen schneller Einblendung und zusätzlichem Verarbeitungspuffer. Kontextbegriffe verbessern die Erkennung der Namen und Fachwörter, die in der jeweiligen Übertragung wahrscheinlich vorkommen.
Bei einer Gesprächsnotiz ist eine andere Kombination sinnvoll. Die Aufnahme wird zunächst mit Voxtral Mini Transcribe 3 oder der höherwertigen Small-Variante verarbeitet. Sprechertrennung und Zeitstempel bilden die Grundlage für ein durchsuchbares Protokoll. Eine nachgelagerte Audioanfrage über Chat Completions kann daraus eine Zusammenfassung erstellen oder konkrete Fragen zur Aufnahme beantworten. Transkript und Interpretation bleiben damit unterscheidbare Ergebnisse.
Der Service-Agent nutzt die gesamte Kette. Echtzeit-Transkription erfasst die Anfrage, das Sprachmodell entscheidet über eine Antwort oder einen Werkzeugaufruf, und die Echtzeit-Sprachausgabe formuliert das Resultat hörbar. Ein Werkzeug kann dabei beispielsweise einen Status aus einem vorhandenen System abrufen. Das Sprachmodell erhält das Ergebnis und erzeugt daraus die nächste Äußerung, ohne dass der Anrufer die Anwendung wechseln muss.
Auch ein mehrsprachiger Assistent lässt sich aus den Komponenten zusammensetzen. Die Sprachabdeckung hängt von Modell und Betriebsart ab; Mistral nennt mindestens 35 unterstützte Sprachen. Für ein konkretes Angebot sollte deshalb die dokumentierte Abdeckung der gewählten Transkriptions- und TTS-Variante maßgeblich sein, nicht allein die Familienangabe.
Die richtige Verzögerung hängt vom Gespräch ab
Die Spanne von 80 bis 1.200 Millisekunden ist keine Rangliste, bei der der kleinste Wert automatisch die beste Wahl darstellt. Bei einem schnellen Dialog oder Live-Untertiteln zählt eine frühe Reaktion. Bei undeutlicher Sprache, längeren Äußerungen oder häufigen Satzkorrekturen kann zusätzlicher Puffer dem System mehr akustischen Zusammenhang geben.
Auch die Sprecherwechselerkennung beeinflusst das Verhalten. Reagiert der Agent zu früh, kann eine kurze Sprechpause irrtümlich wie das Ende einer Äußerung wirken. Wartet er zu lange, fühlt sich das Gespräch träge an. Mistrals Konfiguration stellt deshalb Zielverzögerung, Sprecherwechselerkennung und Unterbrechungen als zusammengehörige Stellschrauben bereit.
Für vorbereitete Inhalte ist diese Abwägung weniger kritisch. Ein vertonter Artikel, eine Produktbeschreibung oder eine Audioversion eines Textes kann vollständig an Voxtral TTS 3 übergeben werden. Bei einem Telefonassistenten zählt dagegen, wann die erste hörbare Antwort beginnt und ob eine neue Äußerung die Ausgabe zuverlässig stoppt. Die Realtime-Variante ist genau für diesen Dialogzustand vorgesehen.
Preise folgen dem jeweiligen Ein- und Ausgabemaß
Mistral nennt für die Transkriptionsmodelle API-Preise zwischen 0,0035 und 0,008 US-Dollar je Minute. Die genaue Position innerhalb dieser Spanne hängt von der gewählten Variante ab. Dadurch lassen sich aufgezeichnete und laufende Sprache nicht nur technisch, sondern auch nach Qualitäts- und Kostenbedarf auswählen.
Für Voxtral Speech 3 nennt die Produktankündigung 13 US-Dollar je Million Zeichen. Die Abrechnung der Sprachausgabe folgt damit dem Textumfang und nicht der Länge einer Transkriptionsaufnahme. Beide Werte sollten bei einem vollständigen Sprachagenten getrennt kalkuliert werden: eingehende Audiominuten für die Erkennung, Zeichen für die erzeugte Sprachausgabe und zusätzlich die Nutzung des dazwischengeschalteten Sprachmodells sowie seiner Werkzeuge.
Ein Untertitelungsdienst benötigt keine synthetische Stimme und vermeidet damit den Ausgabeposten. Ein reiner Vorlesedienst verursacht umgekehrt keine Transkriptionskosten. Erst der dialogfähige Agent nutzt beide Richtungen. Diese Trennung macht die Familie flexibel, verlangt aber eine Kalkulation entlang der tatsächlich verwendeten Komponenten.
Wo Voxtral 3 am stärksten ist
Voxtral 3 bietet sich an, wenn Sprache nicht nur in Text verwandelt, sondern direkt Teil einer Anwendung werden soll. Für Archive, Podcasts und Interviews liefern die Offline-Modelle strukturierte Transkripte mit Sprechern und Zeitstempeln. Für Live-Untertitel zählt die konfigurierbare Streaming-Verzögerung. Für Contact-Center und Service-Assistenten ist die Verbindung aus Echtzeit-Erkennung, Werkzeugaufrufen, unterbrechbarer Ausgabe und getrennt wählbaren Modellen der entscheidende Baustein.
Die Familie ersetzt dabei nicht jede nachgelagerte Textaufgabe durch einen einzigen Audioendpunkt. Zusammenfassungen, Übersetzungen und inhaltliche Fragen laufen separat über Chat Completions. Diese Aufteilung ist praktisch: Die Transkription bleibt als eigenständiges Ergebnis erhalten, während das Sprachmodell je nach Anwendung eine Zusammenfassung, eine Werkzeugaktion oder eine gesprochene Antwort erzeugt.
Damit positioniert Mistral Voxtral 3 nicht als einzelnes Diktiermodell, sondern als zusammenhängende Sprachschicht. Entwickler können Datei- und Live-Verarbeitung, Stimme, Verzögerung und Sprachmodell passend zum Einsatz wählen. Den größten Unterschied macht das dort, wo ein Gespräch nicht an einer starren Aufnahme- und Wiedergabegrenze endet, sondern während des Sprechens weiterverarbeitet wird.