3784499240

1. Pojęcia

1.1.    Segmentacja tekstu

1.1.1.    Definicje

1.1.1.1.    Definicja tekstu

Tekstem w niniejszej pracy nazywam dowolny skończony, zazwyczaj stosunkowo długi, ciąg znaków, mający pewne znaczenie w języku naturalnym i stanowiący pewną całość. Tekstami są na przykład artykuły, książki, strony internetowe, treści umów itd.

1.1.1.2.    Definicja segmentu

Segmentem w niniejszej pracy nazywam pewien wydzielony na podstawie pewnego kryterium fragment tekstu. Mówiąc o segmencie najczęściej mam na myśli zdanie, jednak może to też być akapit, rozdział, czy część zdania albo słowo.

1.1.1.3.    Definicja procesu segmentacji tekstu

Segmentacją w niniejszej pracy określam proces dzielenia tekstu na segmenty, podczas którego nie są pomijane żadne znaki. Wynikiem tego procesu jest lista segmentów. Zatem jeśli T jest tekstem, a    ,t_n listą segmentów powstałą w procesie segmentacji tego tekstu, to

T = t₁+t₂+ ■■■ + t_n, gdzie operator + oznacza konkatenację napisów.

1.1.2. Problemy segmentacji tekstu

Problemy segmentacji tekstu zależą od przyjętego poziomu szczegółowości segmentacji. Na przykład podział tekstu na paragrafy jest stosunkowo prosty do przeprowadzenia, wystarczy bowiem dzielić tekst po znaku końca wiersza¹. Podział na wyrazy jest już zadaniem trudniejszym. Jednak w przypadku niniejszej pracy najczęściej stosowanym poziomem szczegółowości segmentacji jest zdanie.

Zadanie podziału tekstu na zdania z początku może wydawać się trywialne - wystarczy dzielić tekst po kropce, znaku zapytania lub wykrzykniku. Niestety, istnieje tak duża liczba innych zastosowań znaku kropki - na przykład w skrótach, liczbach, datach itd., że zachodzi potrzeba zastosowania bardziej wyrafinowanej metody.

10

1

Albo pr/cd znakiem końca wiersza, zależnie od przyjętej konwencji.