Text Mining

dr Jarosław Olejniczak
[e-mail]
u.pl

Text mining

definicje

Tekst mining jest to zbiór narzędzi analitycznych
umożliwiających wydobywanie, porządkowanie i
wykorzystanie wiedzy z dokumentów tekstowych
występujących w wersji elektronicznej.

R. Feldman,J. Sanger The text mining handbook,
Advanced Approaches in Analyzing Unstructured
Data, Cambridge University Press, 2007

Text mining

Źródła

• Dokumenty

• Zbiory dokumentów

dynamiczne
Statyczne

Text mining

Pojęcia związane z dokumentem

• Znaki

• Słowa

• Określenia
• Pojęcia

Text mining

Tendencje i wzorce

• Poszukiwanie wzorców

• Poszukiwanie tendencji

Text mining

Tendencje i wzorce - przykłady

Przykładowo w zbiorze artykułów
prasowych dotyczących polityka X,
słowo skandal oznacza negatywny
obraz tego polityka co powinno
skutkować próbą zmiany jego
wizerunku przez popierającą go
partię.

Rosnąca liczba artykułów dotycząca
Firmy X i produktu Y może oznaczać
zmianę polityki produkcyjnej firmy X
co może być interesujace dla
konkurencji.

Text mining

Tendencje i wzorce - przykłady

Przykłady analizy tendencji

• Jaka jest tendencja dotycząca podejmowania

określonych tematów w określonych
okresach (rozumianych jako różne zbiory
dokumentów)

• Czy tematy podejmowane w prasie w dwóch

różnych przedziałach czasowych się różnią
czy są podobne.

• Czy można zidentyfikować nowe i zanikające

tematy

• Czy któryś z tematów ma taka samą częstość

występowania w ciągu dwóch okresów

Text mining

Zasada działania

Text mining

Architektura uniwersalna

Text mining

Architektura dla systemów dziedzinowych

Text mining

Architektura dla systemów z bazą wiedzy

Text mining

Podstawowe operacje

• Badanie rozkładu

Selekcja pojęć
Szukanie proporcji (odstetek
pojęć)

• Badanie częstości
• Poszukiwanie relacji

Text mining

Podstawowe operacje

Text mining

Podstawowe operacje

• Podział na kategorie

• Grupowanie
• Ekstrakcja

• Wizualizacja

• Analiza powiązań

Text mining

Podział na kategorie

• Indeksacja tekstu z

wykorzystaniem określonego
słownictwa

• Sortowanie i filtrowanie tekstu
• Tworzenie drzew pojęciowych dla

stron www

Text mining

Grupowanie

• Określenie problemu
• Szukanie miar bliskości

• Grupowanie

• Nadawanie etykiet znalezionym

grupom

• Ocena

Text mining

Ekstrakcja

Text mining

Ekstrakcja

entity {
ID = 1,
NAME = “Fletcher Maddox”
DESCRIPTOR = “Former Dean of
USCD Business School”
CATEGORY = person
}
entity {
ID = 2
NAME = “La Jolla Genomatics”
ALIAS = “LJG”
DESCRIPTOR = “”
CATEGORY = organization
}
entity {
ID = 3
NAME = “La Jolla”
DESCRIPTOR = “the Maddox
family hometown”
CATEGORY = location
}

Text mining

Wizualizacja

Text mining

Wizualizacja

Text mining

Wizualizacja

Text mining

Szukanie powiązań