Hugging Face wydaje pakiety Swift do rozpoznawania mowy i podejmowania decyzji na urządzeniu

Hugging Face wydało AnySpeechRecognizer i AnyDecisionModel, dwa nowe pakiety Swift, które pozwalają deweloperom uruchamiać otwartoźródłowe modele rozpoznawania mowy i podejmowania decyzji bezpośrednio na urządzeniach Apple. Najważniejszą zmianą jest tutaj odłączenie silnika wnioskowania od interfejsu API: deweloperi mogą teraz zastąpić zastrzeżone modele Apple otwartymi alternatywami, takimi jak Parakeet od NVIDIA czy Qwen3-ASR od Alibaba, bez przepisywania logiki aplikacji.

Co się stało

Zgodnie z blogiem Hugging Face, AnySpeechRecognizer odzwierciedla interfejs API SpeechAnalyzer firmy Apple wprowadzony w systemach macOS 26 i iOS 26. Utrzymując identyczny interfejs, deweloperীরা mogą zmienić podstawowy silnik, po prostu modyfikując sposób inicjalizacji transkrybentu. Pakiet obsługuje trzy główne silniki: Parakeet v3 (poliglotyczny model NVIDIA o rozmiarze 0,6B), Parakeet Ultra (wariant po treningu od Moondream) oraz Qwen3-ASR (modele Alibaba o rozmiarze 0,6B i 1,7B). Wszystkie trzy działają w oparciu o niestandardowe środowisko wykonawcze Core ML. Modele Parakeet obsługują wprowadzanie danych na żywo, czasy słów i wyniki pewności, podczas gdy Qwen3-ASR lepiej nadaje się do transkrypcji plików ze względu na wolniejsze przetwarzanie oparte na procesorze graficznym.

Pakiet wprowadzający również SpeakerDiarizer, moduł uruchamiający Streaming Sortformer od NVIDIA w Core ML, przypisuje mowę do maksymalnie czterech mówców jednocześnie – jest to funkcja, której obecnie brakuje w szkielecie Apple. Hugging Face zgłasza, że na komputerze Mac Studio z czipem M4 Max Parakeet może przetranskrybować godzinę nagrania audio w pliku w czasie od 20 do 40 sekund, zużywając około 100 MB pamięci. Jednak na blogu zauważono, że wskaźniki błędów słownych przekraczały 23% w nagraniach ze spotkań AMI, co podkreśla, że nakładająca się mowa pozostaje wyzwaniem dla wszystkich przetestowanych silników.

AnyDecisionModel odpowiada na inne zapotrzebowanie: klasyfikację zerową (zero-shot). Zamiast wysyłać zapytania do dużego modelu językowego i analizować dane tekstowe, pakiet ten wykorzystuje modele decyzyjne do zwracania ustrukturyzowanych prawdopodobieństw. Na przykład może określić, czy wiadomość jest pilna, lub który zespół powinien zająć się zgłoszeniem, zwracając typ Choice z prawdopodobieństwami dla każdej opcji zamiast pojedynczego ciągu tekstowego. Zaplecze MLX tworzy zapytania z etykietami jedntokenowymi i odczytuje prawdopodobieństwa w jednym przejśćiu w przód.

Dlaczego to ma znaczenie dla twórców mniejszych firm

Dla małych zespołów koszt i opóźnienie wysyłania dźwięku do chmurowych interfejsów API stanowią istotne wąskie gardła. AnySpeechRecognizer rozwiązuje ten problem, umożliwiając wysokiej jakości, prywatną transkrypcję na urządzeniu. Jeśli budujesz narzędzie do obsługi klienta lub aplikację serwisową w terenie, możesz teraz przetwarzać notatki głosowe lokalnie, eliminując opłaty API za minutę oraz obawy dotyczące prywatności danych. Możliwość wymiany silników ma kluczowe znaczenie: jeśli Parakeet ma problemy z określonym akcentem, możesz przełączyć się na Qwen3-ASR, który obsługuje 30 języków i 22 chińskie dialekty, bez konieczności refaktoryzacji bazy kodu. Ta modularność odzwierciedla najlepsze praktyki otwartoźródłowych szkieletów agentów, dając Ci kontrolę nad warstwą wnioskowania przy jednoczesnym zachowaniu bezpiecznych typów interfejsów Swift.

Co zrobić w tym tygodniu

1. Sklonuj repozytorium AnySpeechRecognizer i uruchom narzędzie wiersza poleceń hear dla własnych plików audio, aby przetestować wskaźniki błędów słownych pod kątem konkretnego zastosowania.
2. Jeśli obecnie korzystasz z Apple SpeechAnalyzer, utwórz gałąź testową, w której zmienisz import na AnySpeechRecognizer i zainicjalizujesz transkrybent Parakeet, aby zweryfikować zgodność z istniejącą obsługą asynchronicznych sekwencji.
3. Eksperymentuj z AnyDecisionModel, implementując prosty klasyfikator dla powtarzalnego zadania w swojej firmie, takiego jak kategoryzacja przychodzących zgłoszeń wsparcia, aby ocenić użyteczność wyników opartych na prawdopodobieństwie w porównaniu z analizą tekstu LLM.

Źródła

• Introducing AnySpeechRecognizer and AnyDecisionModel: Open Models for Speech and Decisions on Apple Platforms — Hugging Face Blog