PRZEDMIOT: Systemy dialogowe
ĆWICZENIE RACHUNKOWE nr 2
Analiza sygnału mowy.
Ekstrakcja charakterystyk w środowisku MATLAB
TREŚĆ ZADANIA
0. Dokonać rejestracji słowa (słów) zawierającego:
- dwie samogłoski (ró\
ne);
- spółgłoskę nosową (m, n, ń);
- spółgłoskę trącą bezdz
więczną (f, h, s, ś, sz, cz);
- spółgłoskę zwartą (p, t, k, b, d, g).
Przyjąć: mono, częstotliwość próbkowania fs =22050 Hz, liczba bitów na próbkę w
konwersji A/C=16.
Zarejestrowane słowo stanowi L-próbkowy sygnał s(i), gdzie 1d" i d" L. Będziemy
analizować sygnał s(i) pozyskany w środowisku umiarkowanie zakłóconym. Usunąć
ciszę z sygnału s(i), wykonać wykres tego sygnału w funkcji czasu,
1. Przetwarzanie wstępne: z powodu takich czynników jak ofset konwertera A/D i
szumu o częstotliwości 50 (60) Hz w sygnale, digitalizowany sygnał mowy ma
niezerową wartość średnią, niezbędną dla wielu sposobów przetwarzania.
Utworzyć sygnał z(i) o zerowej wartości średniej:
L
1
µ =
"s(i)
L
i=1
z(i) = s(i)- µ dla 1d" i d" L
Wykonać wykres sygnału z(i) w funkcji czasu.
2. Sygnał z(i) podzielić na ramki (segmenty) o długości N = 256. Dla ka\
dej
ramki wyznaczyć:
" wartość największą M
M = max z(n)
1d"nd"N
" energię sygnału
N
2
E = log
"z(n)
n=1
" współczynniki LPC (przyjąć p=12)
" liczbę przejść przez zero PPZ
N
1
PPZ = sign[z(n)]- sign[z(n -1)]
"
2
n=2
gdzie:
sign[z(n)] = 1 dla z(n) > 0
sign[z(n)] = -1 dla z(n)d" 0
Wykonać odpowiednie wykresy dla sekwencji ramek sygnału z(i). Ocenić
przebieg wykresów dla ró\
nych fonemów sygnału mowy.
3. Wyznaczyć i porównać spektrogramy sygnału z(i):
" pokazać wpływ oknowania (przyjąć okna: prostokątne i Hamminga)
" dobrać szerokość i przekrycie okien.
4. Wybrać i narysować pięć ramek, po jednej z ka\
dego z fonemów
zarejestrowanego słowa. Dla ka\
dej ramki:
a) dokonać analizy autokorelacyjnej [xcorr(sig)];
b) wyznaczyć 256-punktowe FFT z oknem Hamminga. Narysować widmo
fs
îÅ‚0 Å‚Å‚
amplitudowe dla częstotliwości z zakresu ;
ïÅ‚ śł
2
ðÅ‚ ûÅ‚
c) dokonać analizy formantów dla fonemów (tam gdzie to mo\
liwe) za
pomocÄ… poni\
szych metod:
Metoda I:
wyznaczyć widmo amplitudowe
[abs(fft(sig)];
wyznaczyć widmo amplitudowe
[abs(fft(hamming(256) .* sig))];
wyznaczyć widmo mocy
[10 log10(abs(fft(hamming(256) .* sig)))];
Metoda II:
wyznaczyć widmo predykcji liniowej:
a=lpc(hamming(256) .* sig, 16);
h=abs(1 ./ fft([a zeros(1,256-17)]));
Wykonać wykresy widm i wyznaczyć częstotliwości formantowe
(porównać wyniki w/w metod);
d) ramki rozszerzyć o 256 próbki zerowe i dla takiej ramki wyznaczyć
widmo 512-punktowe ( nowa ramka powinna składać się z 256 próbek
 starej ramki w otoczeniu 128 próbek zerowych z przodu i z tyłu
analizowanego sygnału mowy; zastosować 512-punktowe okno
Hamminga); narysować wykres widma amplitudowego, porównać z
widmem z punktu b)
UWAGA: WYKRESY POWINNY MIEĆ ODPOWIEDNIE SKALE
Nale\
y przeanalizować i porównać charakterystyki sygnału mowy uzyskane
za pomocą ró\
nych metod i dla ró\
nych warunków analizy pod kątem
wykorzystania do rozpoznawania mowy i segmentacji sygnału mowy.
DFT
dyskretny czas
dyskretne częstotliwości
DFT wyznacza przekształcenie z w dyskretnych punktach na jednostkowym okręgu
płaszczyzny z.
k
N-punktowa DFT wyznacza ocenÄ™ w N punktach dla pulsacji Ék = 2Ä„ dla
N
k = 0,1,2,..., N .
częstotliwości radialne [- Ą Ą]
îÅ‚ fs fs Å‚Å‚
odpowiadają częstotliwościom fizycznym
ïÅ‚- 2 2 śł
ðÅ‚ ûÅ‚
lub [0 2Ä„] [0 fs]
Konwersja między częstotliwościami radialnymi i fizycznymi:
îÅ‚ fs Å‚Å‚
odpowiada [0 Ä„]
ïÅ‚0 2 śł
ðÅ‚ ûÅ‚
fs
k k 1 k 1
Ä„ odpowiada = gdzie = fs
N 2 N 2T N T
Przykład
1
= fs = 12,8 kHz
T
1 1
N = 128 wtedy sygnał jest obserwowany przez NT = 128 = s = 10ms
12,8kHz 100
12,8kHz
rozdzielczość częstotliwościowa jest = 100Hz .
128
Przykład
1
= fs = 12,8 kHz
T
1 4
N = 512 wtedy sygnał jest obserwowany przez NT = 512 = s = 40ms
12,8kHz 100
12,8kHz
rozdzielczość częstotliwościowa jest = 25Hz .
512
Jest kompromis między rozdzielczością częstotliwościową i czasową: długie w czasie
okna dają dobrą rozdzielczość częstotliwościową (odległość między sąsiadującymi
punktami w DFT jest mała). Jednak podczas trwania długiego okna, sygnał
prawdopodobnie zmieni siÄ™.