Systemy Dialogowe

Sprawozdanie z ćwiczenia laboratoryjnego nr 3

Temat laboratorium:

SYNTEZA SYGNAŁU MOWY METODĄ KONKATENACJI

Wykonała:

Anna Grzeszyk

I0I1S1

Prowadzący:

Dr inż. Andrzej Wiśniewski

1. Podział słowa z ćwiczenia nr 2 na spółgłoski i samogłoski

Skorzystałam w tym punkcie ze słowa wymyślonego w ćwiczeniu nr 2 o brzmieniu

„sztukowań”. W tym celu podzieliłam słowo na dwie części: spółgłoski (sztkwń) oraz samogłoski
(uoa). Aby wyciągnąć wnioski z utworzonych dźwięków, posłużę się poza zwykłym odsłuchaniem
również wykresami dźwięków.

Złączenie samych spółgłosek i samych samogłosek sprawia, iż dźwięki stają się

nierozróżnialne, a dodatkowe trzaski między nimi potęgują ten efekt. Można również zauważyć, że
przy spółgłoskach bezdźwięcznych trudno jest wyznaczyć prawidłowo ich ramkę, aby były w ogóle
słyszalne w zlepku spółgłosek. Połączenie takie nie brzmi zbyt dobrze, lecz nie trzeba słuchać
dźwięku, aby przekonać się o jego niskich walorach słuchowych. Już na wykresach widzimy, bardzo
dużą nierównomierność w sygnale, nagłe spadki, potem gwałtowne górki (są to momenty złączeń
ramek, wtedy też słyszymy trzaski). Szczególnie ciekawie wygląda wykres dla samogłosek –środkowe
złączenie nijak nie pasuje do reszty głosek, ze względu na wyższe dźwięki. Widzimy więc, że nie jest
łatwo połączyć zlepek głosek w rozpoznawalny dla ucha ciąg. Jednakże jak wyglądać będzie złączenie
dla słowa naturalnego?

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

-0.15

-0.1

-0.05

0

0.05

0.1

Przebieg otrzymanego sygnału dla spółgłosek

A

m

p

lit

u

d

a

Czas [s]

0

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16

0.18

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

0.15

Przebieg otrzymanego sygnału dla samogłosek

A

m

p

lit

u

d

a

Czas [s]

2. Synteza słowa za pomocą fonemów, difonów i trifonów

Do wykonania tego ćwiczenia posłużyłam się nagraniami z ćwiczenia 3 oraz dogranymi

słowami, aby uzyskać odpowiednie trifony. Dla słownika: ('picie', 'pies', 'snieg', ‘siedziec’, ‘brzeg’)
utworzyłam słowo:

PIEG

Zostało ono zbudowane trzy razy na bazie następujących części:

Fonemy:

p – i – e – g

Difony:

_p – pi – ie – eg – g_

Trifony:

_pi-pie-ieg-eg_

Fonemy zaczerpnęłam ze słów picie, pies, siedzieć oraz śnieg. Difony powstały ze słów: picie,

pies, siedzieć, śnieg, brzeg. Natomiast trifony, jakie utworzyłam zostały zapożyczone z następujących
słów: picie, pies, śnieg, brzeg.

Po przebytej analizie rozpoczęłam podział słów na ramki z niezbędnymi dźwiękami. Na

początek wczytałam wszystkie pliki dźwiękowe, potrzebne na niniejszym laboratorium, łącznie z
nagraniem, które jest zapisem mowy oryginalnej zsyntezowanego słowa. Następnie, przy użyciu
programu Audacity, wskazującego numer próbki rozpoczęcia i zakończenia zaznaczenia, wybrałam
ramki, które moim zdaniem najlepiej pasują do potrzeb słowa. Dla difonów i trifonów starałam się,
aby przedziały końcowe wypadały w połowie litery, aby móc dokonywać płynnych złączeń dźwięków.

Dokładne znalezienie odpowiedniej ramki wymaga poświęcenia czasu, jest najbardziej

pracochłonnym i jednocześnie najważniejszym elementem w niniejszym ćwiczeniu. Nie da się
kontynuować ćwiczenia z nieprawidłowościami.

Po dokładnym dopasowaniu dźwięków i ich odsłuchaniu zauważyłam, iż najlepsze złączenie

udało się otrzymać poprzez sklejenie dwóch trifonów, jednakże szczegółowe wnioski znajdują się w
kolejnych punktach tego sprawozdania.

3. Fonemy

Fonem jest najmniejszą jednostką fonetyczną, jaką będziemy się zajmować. Utworzyliśmy

wektor mieszczący wszystkie ramki. Następnie odsłuchuję sygnał i sprawdzam, czy złączenie jest dla
mnie satysfakcjonujące. Mierzę długość złączenia, a także długość powstałego słowa w sekundach.

Na powyższych wykresach widzimy, iż złączenie zostało dokonane dosyć płynnie, bowiem nie

widzę znacznych różnic w przebiegu sygnału, poza większą głośnością fragmentu niosącego
samogłoski „ie”. Przybliżenie pozwala nam zauważyć, że jednak wyraźnych złączeń jest więcej i
niezbędne może się okazać w tej sytuacji oknowanie Hanninga. Odtworzenie dźwięku daje nam do
odsłuchania plik dźwiękowy zawierający fonemy. Jednakże z całą pewnością stwierdzić mogę, że
wyraz został przeze mnie rozpoznany, mimo dużych problemów tak nagranego dźwięku z syntezą
mowy, to rozpoznawalność stoi na dosyć wysokim poziomie.

Kolejnym etapem w reprezentacji syntezy mowy było usunięcie trzasków w pojawiającym się

sygnale dźwiękowym. W miejscu złączeń przemnożyłam wartość próbki dźwięku przez okno
Hanninga, dzięki czemu otrzymujemy filtr tłumiący całkowicie środek wybranego przedziału, a
przepuszczający jego brzegi. Poniżej znajduje się realizacja oknowania dla fonemów:

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

-0.3

-0.2

-0.1

0

0.1

0.2

0.3

0.4

0.5

0.6

Przebieg otrzymanego sygnału dla fonemów

A

m

p

lit

u

d

a

Czas [s]

0

1000

2000

3000

4000

5000

6000

7000

8000

9000

10000

-0.3

-0.2

-0.1

0

0.1

0.2

0.3

0.4

0.5

0.6

Przebieg otrzymanego sygnału dla fonemów

A

m

p

lit

u

d

a

L.p. próbki

Ze względu na delikatność sygnału, stosowałam mniejsze ramki, aby nie wyciszyć zbyt mocno

sygnału i aby pozbyć się trzasków i zakłóceń. Dźwięk jest delikatnie lepszy od tego bez oknowania,
jednakże nie tak dobry, jak mowa naturalna, da się wyczuć sztuczność w układaniu zgłosek.

4. Difony

W tej chwili najpowszechniejszymi metodami syntezy mowy jest jej wersja ułożona z korpusu

właśnie difonów. Jest to złoty środek pomiędzy jakością syntezy (wyraźność i naturalność) a
wielkością słownika. Wszystkich difonów w języku polskim mamy kilkadziesiąt, wobec tego nie jest
trudnym złożenie takiego zestawu wszystkich difonów.

Jaką przewagę mają difony w moim mniemaniu? Przede wszystkim to, iż próbki jakie mamy,

pobieramy ze środka litery początkowej i końcowej. W tym wypadku eliminujemy trzaski związane z
faktem dobrania chwili ciszy też innych czynników wpływających na wynik.

W przypadku słowa pieg ramki zostały dobrane niemal idealnie i w ten sposób słyszę

wyraźnie słowo. Jeśli chodzi o syntezę, to zbliża się już ona ku poprawie, ciężko jest odróżnić w tym
momencie słuchowo różnice.

0

1000

2000

3000

4000

5000

6000

7000

8000

9000

10000

-0.3

-0.2

-0.1

0

0.1

0.2

0.3

0.4

0.5

0.6

Przebieg otrzymanego sygnału dla fonemów po hanningu

A

m

p

lit

u

d

a

L.p. próbki

Jak widzimy, wykres ten ma bardziej spokojny przebieg, układa się podobnie do kształtów

mowy ludzkiej. W przypadku okna Hanninga, uznałam, iż będzie ono potrzebne w dwóch miejscach:
około 1200 próbki o raz około 5400. Ponieważ przy innych literach przejścia były zadowalające.

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

-0.4

-0.3

-0.2

-0.1

0

0.1

0.2

0.3

0.4

0.5

0.6

Przebieg otrzymanego sygnału dla difonów

A

m

p

lit

u

d

a

Czas [s]

0

1000

2000

3000

4000

5000

6000

7000

8000

-0.4

-0.3

-0.2

-0.1

0

0.1

0.2

0.3

0.4

0.5

0.6

Przebieg otrzymanego sygnału dla difonów

A

m

p

lit

u

d

a

L.p. próbki

Choć nie widać tak wielkiej zmiany odnośnie pierwszego miejsca, to około 5600 próbki

widzimy wyraźne załamanie, ponieważ uwidoczniło się nam okno i jego pasmo zaporowe.

5. Trifony

Część z trifonami okazała się być dla mnie najtrudniejsza, gdyż nie znajdowałam sposobu.

Próbowałam zaimplementować kilka sposobów rozwiązujących problem poprzez dodanie i
uśrednienie wspólnych elementów, czy też ich zerowanie. W każdym przypadku otrzymuję wynik
gorszy uzyskanego na początku. Podzieliłam trifony na dwie grupy, a wynik zaskoczył moje ucho – po
prostym połączeniu dwóch trifonów uzyskałam dźwięk niemalże identyczny z oryginałem. Dowodzi to
jakości nagrań, jakie można uzyskać poprzez syntezę za pomocą trifonów, jednakże napotykamy tutaj
na bardzo poważny problem – korpus mowy rozrasta się do tysięcy jednostek! Może to być
wyzwanie, jeśli próbujemy napisać coś nowego, może być poważną przeszkodą.

0

1000

2000

3000

4000

5000

6000

7000

8000

-0.4

-0.3

-0.2

-0.1

0

0.1

0.2

0.3

0.4

0.5

0.6

Przebieg otrzymanego sygnału dla difonów po hanningu

A

m

p

lit

u

d

a

L.p. próbki

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

Przebieg otrzymanego sygnału dla trifonów

A

m

p

lit

u

d

a

Czas [s]

Widzimy regularność dźwięku, tłumaczącą jakość utworzonego trifonu, a także, poza

pojedynczym pikiem, nie ma wyraźnych różnic pomiędzy szczytami sygnału. Z racji jakości
utworzonego dźwięku i płynności mowy – nie zastosowałam oknowania Hanninga.

6. Sygnał oryginalny

Przebieg oryginalnego sygnału wygląda następująco:

Należy uzupełnić, że przez miano oryginalny rozumiem całe słowo piegi nagrane bez

przystanków. Następnie porównamy sygnał oryginalny z przebiegami czasowymi:

Dla fonemów widzimy, iż wykresy znacząco się różnią, wobec tego nie dziwi fakt słabszej

syntezy dźwięku.

0

2000

4000

6000

8000

10000

12000

14000

-0.5

-0.4

-0.3

-0.2

-0.1

0

0.1

0.2

0.3

0.4

0.5

Przebieg sygnału dla wypowiedzianego słowa pieg

A

m

p

lit

u

d

a

L.p. próbki

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

Przebieg otrzymanego sygnału dla fonemów

Czas [s]

A

m

p

lit

u

d

a

całe słowo
konkatenacja

Mimo że przy difonach zaobserwowaliśmy znaczącą poprawę syntetyki, powyższy wykres

wydaje się temu przeczyć, jednakże gdy bliżej się przyjrzeć, widzimy charakterystyczny początek i
koniec dla dźwięku, pomijając fakt, iż pliki mają różną długość.

Przypadek trifonów potwierdza regułę, iż synteza sygnału jest najlepsza dla jak największych

części zapisanej mowy. Niestety stworzenie takiego korpusu jest nie tylko pracochłonne ale i
kosztowne pamięciowo.

7. Ocena w dziedzinie częstotliwości.

Do oceny uzyskanych wyników w dziedzinie częstotliwości nadaje się najlepiej spektrogram.

Poniżej zamieszczam spektrogramy mojej wypowiedzi oraz syntezowanej wypowiedzi za pomocą
fonemów, difonów i trifonów.

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

Przebieg otrzymanego sygnału dla difonów

A

m

p

lit

u

d

a

Czas [s]

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

Przebieg otrzymanego sygnału dla trifonów

A

m

p

lit

u

d

a

Czas [s]

Wykres pokazuje nam, jakie cechy ma wypowiedź, bowiem spektrogram należy do słowa

przeze mnie wypowiedzianego. Będzie on porównywany do syntetycznych sygnałów.

W przypadku fonemów, widzimy wyraźniejszą kwantyzację spektrogramu, a poza tym

kompletną odwrotność pierwszego. Wobec tego utwierdza to nas na drodze do wyeliminowania
fonemów w syntezie mowy. Spójrzmy na difony:

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

0.55

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

x 10

4

Time

F

re

q

u

e

n

c

y

(

H

z

)

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

x 10

4

Time

F

re

q

u

e

n

c

y

(

H

z

)

Nasycenie barw odpowiada temu ze słowa mówionego, charakterystyczne punkty również

możemy znaleźć. Jednak czy będzie to najbardziej podobna wersja spektrogramu? Poniżej mamy
obraz dla trifonów.

Myślę, iż widać wyraźnie, że w przypadku syntezy mowy trifony okazały się być nie tylko

najlepsze pod względem słuchowym, ale przede wszystkim pod względem czasowym i
częstotliwościowym. Miały one najbardziej zbliżone zakresy, wobec tego udowodniliśmy dobitnie
słuszność używania dłuższych zgłosek.

0.05

0.1

0.15

0.2

0.25

0.3

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

x 10

4

Time

F

re

q

u

e

n

c

y

(

H

z

)

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

0.55

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

x 10

4

Time

F

re

q

u

e

n

c

y

(

H

z

)