Słyszałem że w Visual C# można zrobić rozpoznawanie mowy i jej syntezę. Na ile jest to prawdziwe? Szukałem, ale za dużo nie znalazłem. Oczywiście chcę korzystać z gotowych programów (chociaż Ivonę w miarę możliwości wolałbym pominąć). Chodzi mi o proste mówienie tekstu z TextBoxa i zapis mówionego do tego samego TextBoxa. Z góry dzięki:)
0
0
Możesz skorzystać z wbudowanych mechanizmów Windows - Speech API (aka SAPI).
http://speechonwindows.blogspot.com/2007_02_01_archive.html
http://www.codeproject.com/KB/audio-video/CSharpSAPIExperiment.aspx
Oczywiście mechanizm jest dostępny tylko dla języka angielskiego. O ile syntezę da się zrobić na polskich wersjach systemu, o tyle rozpoznawanie mowy (nawet angielskiej) w polskich wersjach jest niedostępne.
Synteza polskiego głosu też istnieje - ale nie udało mi się zmusić tego, żeby działało, jest sobie paczka z polskim głosem, ale wygląda, jakby się nie instalowała w ogóle. Przyglądałem się temu tematowi kilka miesięcy temu, ale dałem sobie spokój.
0
hmmm... dzięki, jednak nadal czekam, może ktoś wie jak zrobić rozpoznawanie mowy po polsku.
0
Podobno używa się do tego sieci neuronowych i dużej bazy wzorców.
0
sieci neuronowe? ja nie chce budować sztucznego mózgu tylko napisać programik który na komendę "firefox" odpowie "odpalam" i odpali:) Wiem że mogą być z tym problemy, ale w c# orientuję się na tyle żeby sobie spokkojnie poradzić, jedyne co to właśnie to rozpoznawanie mowy chciałbym zobaczyć jak zrobić.
0
Wiesz, firefox to nie jest chyba polskie słowo. ;)
"Ja nie chcę budować rakiety, ja chcę tylko postawić stopę na Księżycu" - rozpoznawanie mowy to zaawansowany temat, co z tego, że chcesz "tylko odpalić program na komendę".
0
Tak jak budując TTS da się znaleźć gotowe moduły robiące za nas przynajmniej połowę pracy (MBROLA, eSpeak), tak jeśli chodzi o rozpoznawanie mowy nikt tak na prawdę nie opracował efektywnego sposobu. Jak już są to programy dedykowane na jakieś specjalne zlecenia tworzone przez zespół mega kumatych ludzi i to nie tylko programistów. Jak na razie obecne rozwiązania to programy dość mocno obciążające procesor i nie słyszałem żeby ktoś tworzył to w którymś z języków wysokopoziomowych (jeśli ktoś słyszał o projekcie rozpoznawania mowy w javie lub C# to chętnie poczytam). A Ty drogi autorze chciałbyś mieć to upakowane najlepiej w jednej klasie i API takim jakim podałem w moim komentarzu wcześniej.
0
Jeżeli się nie da to się nie upieram- mówię tylko że słyszałem, a czy to prawda, jak widać nie :)
Dzięki za zainteresowanie moim tematem
1
Jeżeli się nie da to się nie upieram- mówię tylko że słyszałem, a czy to prawda, jak widać nie :)
Dzięki za zainteresowanie moim tematem
Nie wpadaj w panikę ;) Wszystko się da.
Jeśli koniecznie chcesz zrobić to samemu, można to zrobić dość prostym (rzecz względna!) sposobem. Jest to stosowane (z tego co słyszałem, głowy nie dam) np. w komórkach. Przecież nikt nie wpakuje do jakiejś starej nokii modułu rozpoznawania mowy, a mimo to taka opcja jest... Cuda? Nie, po prostu 'specyficzny' algorytm.
Chodzi o to że tak naprawdę nie potrzebujesz wiedzieć co użytkownik powiedział ("firefox", "alamakota" czy "żółty lis przeskakuje nad gęślą jaźnią"), ale czy użytkownik powiedział firefox. Na dokonanie takiego sprawdzenia jest wiele dróg na skróty. Zauważ że mówiąc firefox wychodzi ci coś w rodzaju fajerfox - ma na to wpływ akcent itp itd. O ile nie zanucisz tego słowa w rytm marsza imperialnego, wszystkie firefoxy wypowiedziane przez Ciebie będą miały też podobną intonację.
Do rzeczy - w najprostszej opcjii wystarczy porównać długość słowa i akcenty - momenty gdzie jest głośniej. To już powinno z bardzo dużą pewnością mierze odróżniać firefoxa od Ali z kotem. Jeśli przekłamania będą się zdarzały zbyt często, można próbować jeszcze porównywać częstotliwośc/itp, ale wkraczasz w ten sposób na bardzo niepewny grunt.
Jeśli byłbyś zainteresowany poszerzeniem swojej wiedzy i napisaniem czegoś takiego to mógłbym Ci pomóc bo sam jestem ciekawy czy takie coś działa ;). Jeśli nie - powodzenia w używaniu gotowego API, nie oszukujmy się, takie coś ci się bardziej w pracy i w życiu przyda :P .
0
MSM napisał(a)
Do rzeczy - w najprostszej opcjii wystarczy porównać długość słowa i akcenty - momenty gdzie jest głośniej.
W najprostszej postaci to nawet masz rację, ale w ten sposób zaprogramujesz rozpoznawanie ustalonych wcześniej komend, nie stworzysz pełnoprawnego programu do rozpoznawania mowy. Poza tym taki sposób narzuca użytkownikowi pewien sposób mówienia, nie chodzi mi o przypadek w którym rzucasz fajerfoxami w takt marsza, ale na iloczas (który Ty nazwałeś długością słowa) składa się również sposób artykulacji który jest charakterystyczny dla każdego człowieka. W celu ujednolicenia sposobu artykulacji trzeba prawie całkowicie odrzucić wszelakie cechy prozodyczne słowa. Jeżeli jednak jesteś gotowy na takie ograniczenia to to jak najbardziej może się udać!
W rozróżnianie częstotliwości bym na tym etapie nie wchodził, mimo że to właśnie analiza częstotliwościowa daje nam największe pole manewru. Bo tak na prawdę analiza częstotliwościowa ma zastosowanie w odniesieniu do sygnału mowy w kontekście długoterminowego widma sygnału mowy, uwzględniającego obraz widmowy sygnału w czasie wielokrotnie większym od okresów quasi-stacjonarności widma, lub w odniesieniu do tych fragmentów sygnału, dla których można przyjąć, że w czasie ich generacji widmo sygnału nie podlega istotnym zmianom.
Jeśli jednak chcesz się w to bawić to wiem, że powszechnie stosowana jest szybka transformata Fouriera i....w sumie nic więcej nie wiem xD
MSM napisał(a)
powodzenia w używaniu gotowego API, nie oszukujmy się, takie coś ci się bardziej w pracy i w życiu przyda :P .
Nie ma czegoś takiego, jak gotowe API do rozpoznawania mowy języka polskiego. Ale jeśli chodzi o angielski to w linku poniżej jest trochę ciekawego tekstu:
Rozpoznawanie oraz synteza mowy z wykorzystaniem JSAPI
1
@up - wiem że to nie wystarczy żeby komputer mógł prowadzić ze mną elokwentną konwersację ;). Ale cytuję autora:
ja nie chce budować sztucznego mózgu tylko napisać programik który na komendę "firefox" odpowie "odpalam" i odpali:)
Dlatego wydawało mi się że wszystkie ograniczenia o których wspomniałeś są jak najbardziej do zaakceptowania.
PS. cechy prozodyczne i okresy quasi-stacjonarności widma = + 10 do mądrości posta ;)
0
MSM napisał(a)
Dlatego wydawało mi się że wszystkie ograniczenia o których wspomniałeś są jak najbardziej do zaakceptowania.
Oczywiście że tak! Chciałbym też zauważyć, że podchodząc do tego w ten sposób (nie przeprowadzając analizy częstotliwościowej i narzucając pewien sposób artykulacji) rozwiązujesz największy problem z którym zmagają się teraźniejsze systemy rozpoznawania mowy, tzn. obsługiwać program będzie mogła więcej niż jedna osoba. Praktyka pokazała że wielkim wyzwaniem jest zrobić system który pozwoli na swobodny sposób wysławiania się i który dostosuje się do głosów różnych ludzi. Tzn. na Twój głos program będzie reagował bardzo poprawnie, natomiast na głos np Twojej siostry program nie będzie potrafił wykonać nawet najprostszych komend.