DeepL wprowadza tłumaczenie w czasie rzeczywistym, które oddaje sarkazm i ton

DeepL ogłosił swój nowy model Aure dla DeepL Voice, który przenosi ton, emocje, akcenty i tempo mówienia – w tym sarkazm – do tłumaczeń w czasie rzeczywistym. Model nieprzerwanie analizuje zarówno przetłumaczony tekst, jak i oryginalny dźwięk, wykraczając poza statyczny próbek głosu używany wcześniej.

Co się wydarzyło

Zgodnie z informacjami serwisu The Decoder, model Aure przenosi ton, emocje, akcenty i tempo mówienia z oryginalnego mówiącego do języka docelowego, co stanowi skok w porównaniu z wcześniejszym podejściem opartym na statycznym próbku głosu pobranym na początku rozmowy. Podczas treningu DeepL oddziela tożsamość głosu, melodię mowy i treść, aby każdy z tych elementów mógł być przenoszony niezależnie, a uczenie z wzmocnieniem jest wykorzystywane, aby wyeliminować akcenty z wyjścia. Aure działa automatycznie w DeepL Voice dla spotkań online, rozmów twarzą w twarz oraz przez API DeepL, a na starcie obsługuje języki: angielski, niemiecki, hiszpański, francuski, włoski, japoński, portugalski i koreański. The Decoder zauważa, że DeepL po raz pierwszy wprowadził zachowanie głosu we wrześniu, w maju zwolnił około 250 osób, aby stać się firmą „AI-native”, oraz przejął zespół stojący za specjalistą od strumieniowania audio, Mixhalo, aby wzmocnić swoje możliwości tłumaczenia mowy w czasie rzeczywistym. Artykuł wspomina również o podobnym wysiłku firmy Block z jej modelem Dessa, który wykrywa emocje i sarkazm bezpośrednio z dźwięku.

Dlaczego to ważne dla małych firm

Dla właścicieli i liderów zespołów w małych firmach, wyraźniejsza komunikacja międzyjęzykowa może skrócić przygotowanie do spotkań o godziny i zmniejszyć zależność od drogich tłumaczy ludzkich. Poprzez zachowanie sarkazmu i zmian nastroju, Aure pomaga zapobiegać nieporozumieniom, które często powstają, gdy ton jest tracony w tłumaczeniu – to częsty problem dla rozproszonych zespołów. Integracja API modelu oznacza, że nawet lekkie stosy technologiczne mogą wbudować tłumaczenie w czasie rzeczywistym w istniejące narzędzia, zmieniając wielojęzyczną współpracę z logistycznej przeszkody w płynną część codziennej pracy.

Co zrobić w tym tygodniu

1. Zarejestruj się na próbę DeepL Voice i przeprowadź krótki dwujęzyczny test telefoniczny, aby na własne oczy doświadczyć tłumaczenia uwzględniającego ton.
2. Dodaj API DeepL do swojej preferowanej platformy spotkań i zaplanuj sesję pilotażową z wielojęzycznym klientem lub partnerem.
3. Przekazaj zespołowi wytyczne dotyczące wyraźnego mówienia i używania naturalnego tempa, aby maksymalizować możliwości wykrywania tonu przez model.

Źródła

• DeepL wants real-time translation to finally capture sarcasm and mood shifts — The Decoder