ElevenLabs übersetzt laufende Gespräche direkt in gesprochenes Audio
Die neue Enterprise-Alpha verbindet Live-Audio, Übersetzung, Transkripte und synthetische Stimmen in einem WebSocket.
ElevenLabs hat Realtime Translation als Alpha für Enterprise-Kunden der ElevenAPI vorgestellt. Das System nimmt laufende Sprache entgegen und gibt die Übersetzung noch während des Gesprächs als Text und gesprochenes Audio aus. Damit rückt ein Szenario näher, bei dem zwei Menschen in unterschiedlichen Sprachen miteinander sprechen, ohne für jeden Satz erst Aufnahme, Transkription, Übersetzung und Vertonung einzeln anzustoßen.
Der Dienst unterstützt laut Anbieter mehr als 90 Sprachen und richtet sich zunächst an Anwendungen in Telefonnetzen, Contact-Centern und bei Live-Veranstaltungen. Technisch erfolgt die Einbindung über einen WebSocket. Der Zugang ist derzeit auf Enterprise-Workspaces begrenzt. ElevenLabs stellt Realtime Translation vor
Was neu ist: Übersetzung wird zu einem laufenden Audiostrom
Der Kern der Veröffentlichung ist nicht allein die Übersetzung von Sprache. Neu ist die Bündelung mehrerer Ausgaben innerhalb einer fortlaufenden Sitzung: Realtime Translation liefert übersetzten Text, vorläufige und endgültige Transkripte sowie synthetisch gesprochenes Audio. Eine Anwendung kann deshalb schon auf frühe Textteile reagieren und später den stabilisierten Wortlaut übernehmen.
Vorläufige Transkripte sind für die geringe wahrgenommene Verzögerung wichtig. Sie können erscheinen, bevor ein Satz vollständig abgeschlossen ist. Endgültige Transkripte bilden anschließend die verlässlichere Fassung. Das gesprochene Ergebnis wird ebenfalls fortlaufend übertragen, anstatt erst nach dem Ende einer kompletten Aufnahme bereitgestellt zu werden.
ElevenLabs beschreibt außerdem wechselseitige Gespräche. Für eine Anwendung bedeutet das: Sie kann Audioströme beider Gesprächsseiten verarbeiten und die jeweilige Übersetzung an die andere Seite ausspielen. Aus einer Funktion für einzelne Clips wird so eine Schnittstelle für laufende Kommunikation. Produktseite zu Realtime Translation
Ein Telefonat kann während des Sprechens zweisprachig werden
Ein konkreter Einsatz ist eine mehrsprachige Telefonverbindung. Die Anwendung leitet das Audiosignal einer anrufenden Person an den WebSocket weiter. Realtime Translation erkennt oder erhält die Quellsprache, übersetzt in die festgelegte Zielsprache und sendet Text und Audio zurück. Die Gegenseite hört die synthetisch gesprochene Übersetzung, während die Anwendung das Transkript gleichzeitig in der Gesprächsansicht anzeigen kann.
In der Gegenrichtung wird derselbe Mechanismus mit vertauschten Sprachen genutzt. Dadurch lassen sich beide Seiten eines Gesprächs übersetzen, ohne dass Mitarbeitende zwischen mehreren Aufnahme- und Übersetzungswerkzeugen wechseln müssen. Vorläufige Textteile eignen sich für eine unmittelbar aktualisierte Anzeige; endgültige Textteile können als konsistente Gesprächsdokumentation übernommen werden.
Für Contact-Center ist diese Kombination besonders praktisch: Die anrufende Person erhält eine gesprochene Antwort in ihrer Sprache, während die betreuende Person den übersetzten Inhalt lesen und hören kann. In Telefonnetzen lässt sich die Funktion zwischen eingehendem Audiokanal und ausgehendem Wiedergabekanal platzieren. ElevenLabs nennt beide Bereiche ausdrücklich als Einsatzfelder der Alpha.
So wird aus Audio eine übersetzte Antwort
Die technische Oberfläche ist ein WebSocket-Endpunkt, weil eine dauerhafte Verbindung besser zu einem laufenden Gespräch passt als einzelne Anfragen für abgeschlossene Audiodateien. Eingehendes Audio wird kontinuierlich übertragen. Der Dienst antwortet mit Ereignissen für Text, Transkripte und Base64-kodierte Audiodaten, die eine Anwendung dekodieren und direkt an einen Player, eine Telefonleitung oder ein Veranstaltungssystem weiterreichen kann.
Zu Beginn der Sitzung wird die Zielsprache festgelegt. Die Quellsprache kann ausdrücklich angegeben oder automatisch erkannt werden. Eine feste Angabe bietet sich an, wenn die Sprache eines Kanals bekannt ist, etwa bei einer vorab gewählten Sprachlinie im Contact-Center. Automatische Erkennung ist hilfreicher, wenn Gesprächspartner ohne vorherige Auswahl verbunden werden.
Als Standardmodell nennt die API-Dokumentation Eleven v4 Turbo. Eine zentrale Einstellung heißt „eagerness“. Sie steuert, wie früh das System eine Übersetzung ausgibt. Eine höhere Bereitschaft zur frühen Ausgabe kann die Verzögerung reduzieren; mehr abgewarteter Kontext kann die Übersetzungsqualität verbessern. Welche Einstellung passt, hängt unmittelbar von der Situation ab: Ein lebhaftes Gespräch profitiert eher von schneller Reaktion, eine fachlich dichte Präsentation eher von zusätzlichem Satzkontext. WebSocket-Dokumentation von ElevenLabs
Die passende Stimme wird gewählt, nicht automatisch kopiert
Realtime Translation bewahrt die Originalstimme der sprechenden Person nicht automatisch exakt. Für die vertonte Übersetzung wird stattdessen eine Ausgabestimme bestimmt. Nach Angaben von ElevenLabs stehen dafür mehr als 17.500 Stimmen aus der Bibliothek zur Auswahl. Alternativ lässt sich ein Instant oder Professional Voice Clone verwenden.
Diese Trennung ist für die Nutzererwartung entscheidend. Der Inhalt kann in einer anderen Sprache wiedergegeben werden, doch Klangfarbe und Identität der Stimme hängen von der gewählten Ausgabe ab. Für einen allgemeinen Informationsdienst kann eine gut verständliche Bibliotheksstimme genügen. Eine regelmäßig auftretende Moderations- oder Markenstimme lässt sich über einen dafür vorgesehenen Voice Clone abbilden.
Bei einem Gespräch mit wechselnden Personen sollte die Anwendung Stimmen außerdem eindeutig zuordnen. Zwei unterscheidbare Ausgabestimmen helfen den Zuhörenden, die Gesprächsseiten auseinanderzuhalten. Bei einer Veranstaltung kann dagegen eine konsistente Stimme pro Sprachkanal sinnvoller sein. Die Auswahl ist somit nicht bloß eine ästhetische Entscheidung, sondern beeinflusst Orientierung und Verständlichkeit.
Live-Veranstaltungen erhalten parallele Sprachkanäle
Bei einer Präsentation kann das Bühnensignal fortlaufend an Realtime Translation gesendet werden. Der zurückkommende Text versorgt Untertitel oder eine begleitende Anzeige, während das Audiosignal einen separaten Sprachkanal speist. Weil vorläufige und endgültige Transkripte verfügbar sind, kann die Oberfläche zunächst schnell reagieren und den Text danach stabilisieren.
Für mehrere Zielsprachen werden getrennte Übersetzungssitzungen benötigt. Jede Sitzung erhält denselben Ausgangston, aber eine andere Zielsprache und gegebenenfalls eine andere Stimme. Das ist beispielsweise für virtuelle Veranstaltungen interessant, bei denen das Publikum zwischen Audiokanälen wählt. Die mehr als 90 unterstützten Sprachen erweitern dabei die mögliche Reichweite, ohne dass ElevenLabs eine identische Qualität für jede Sprachkombination behauptet.
Auch hier bleibt „eagerness“ ein inhaltlicher Regler. Bei einer spontanen Diskussion zählt ein kurzer Abstand zum Bühnengeschehen. Bei einem vorbereiteten Fachvortrag mit langen Sätzen kann zusätzlicher Kontext wertvoller sein. Statt eine Einstellung für alle Formate zu verwenden, lässt sich die Ausgabe an Gesprächsdichte und Satzbau anpassen.
Text und Audio können unterschiedliche Aufgaben übernehmen
Die beiden Ausgabeformen müssen nicht dasselbe Ziel bedienen. Das Audio schafft eine hörbare Übersetzung für das laufende Gespräch. Der Text kann parallel Untertitel, eine Bedienoberfläche oder die spätere Gesprächsdokumentation versorgen. Vorläufige Textteile sind dabei für die unmittelbare Anzeige gedacht, endgültige für den stabilen Stand.
Eine Anwendung kann diese Zustände sichtbar unterscheiden: Der vorläufige Abschnitt erscheint zunächst zurückhaltend und wird nach dem endgültigen Ereignis ersetzt. So bleibt die Anzeige schnell, ohne eine frühe Formulierung als abgeschlossen darzustellen. Das Base64-kodierte Audio wird unabhängig davon dekodiert und in der vorgesehenen Reihenfolge abgespielt.
Diese Aufteilung ermöglicht auch reine Textansichten für Situationen, in denen Audio stören würde. Umgekehrt kann ein Telefonkanal ausschließlich das übersetzte Audio wiedergeben, während das Transkript im Hintergrund für die Gesprächsansicht genutzt wird. Realtime Translation ist damit nicht nur eine neue Stimme am anderen Ende der Leitung, sondern eine gemeinsame Quelle für mehrere Oberflächen.
Drei Einstellungen prägen das Ergebnis besonders stark
Erstens entscheidet die Sprachkonfiguration darüber, wie eindeutig die Sitzung startet. Ist die Quellsprache bekannt, reduziert eine feste Angabe die Abhängigkeit von der automatischen Erkennung. Bei offenen Verbindungen bietet die Erkennung mehr Flexibilität. Die Zielsprache muss in beiden Fällen zur jeweiligen Ausgabeseite passen.
Zweitens bestimmt die Stimme, wie die Übersetzung wahrgenommen und einer Person oder einem Kanal zugeordnet wird. Die Bibliothek mit mehr als 17.500 Stimmen bietet eine breite Auswahl; Voice Clones sind die Option für einen gezielt angelegten Stimmcharakter. Eine automatische, exakte Übertragung der eingehenden Stimme gehört nicht zum beschriebenen Funktionsumfang.
Drittens beeinflusst „eagerness“ den Ausgleich zwischen Reaktionsgeschwindigkeit und zusätzlichem Übersetzungskontext. Für kurze Servicefragen ist eine frühe Antwort oft wichtiger als das Abwarten eines langen Satzes. Bei komplexen Aussagen kann mehr Kontext Mehrdeutigkeiten reduzieren. Diese Einstellung sollte deshalb nach Gesprächsform gewählt werden und nicht allein nach dem Wunsch nach minimaler Verzögerung.
Warum diese Veröffentlichung praktisch relevant ist
ElevenLabs verbindet mit Realtime Translation vier bislang oft getrennt behandelte Teile: einen laufenden Audioeingang, Sprachübersetzung, gestreamte Transkripte und eine synthetische Sprachausgabe. Der WebSocket macht diese Verbindung für eigene Telefonie-, Veranstaltungs- und Contact-Center-Anwendungen zugänglich. Text und Audio kommen dabei aus derselben Sitzung und lassen sich für unterschiedliche Ausgabekanäle verwenden.
Der unmittelbare Nutzen liegt weniger in einer einzelnen neuen Modellfunktion als in der Form der Bereitstellung. Entwickler erhalten keine bloße Übersetzungsdatei nach Abschluss einer Aufnahme, sondern fortlaufende Ergebnisse, die während eines Gesprächs abgespielt und angezeigt werden können. Genau dadurch werden zweisprachige Telefonate, parallele Veranstaltungskanäle und live aktualisierte Untertitel zu naheliegenden Anwendungen.
Der Einsatzrahmen ist zum Start klar begrenzt: Realtime Translation befindet sich in der Alpha und ist für Enterprise-Kunden der ElevenAPI vorgesehen. Als Standard arbeitet Eleven v4 Turbo mit mehr als 90 Sprachen. Wer die Schnittstelle nutzt, wählt eine Bibliotheksstimme oder einen Voice Clone und stimmt die Ausgabegeschwindigkeit über „eagerness“ auf den jeweiligen Gesprächstyp ab.