Przetwarzanie języka naturalnego

3

Temat: Parsowanie dokumentów tekstowych i analiza

leksykalna

Zadania:

Data:

Autor: Paweł Kopeć

1

27 X 2014

Autor: Adrian Makuch

m

17:30-19:45

Zadanie 1. Znajdź znaczniki

Ć

wiczenie to polegało na napisaniu programu, który z danego katalogu otworzy pliki

tekstowe oraz wyłuska z nich czysty tekst. Program miał usuwać wszystkie znaczniki html-owe, tak
aby w wyniku operacji dostać czysty tekst. Poza tym program miał zamieniać wszystkie litery w
tekście na małe, oraz zapisywać wynik do nowych plików.

Program ten, dzięki wykorzystaniu funkcji readdir() przechodzi po całym katalogu w poszukiwaniu
plików. Następnie z pliku wyłuskuje samą nazwę, obcinając rozszerzenie, po czym na jej podstawie
otwiera nowy plik z przedrostkiem _nowy, w którym będzie zapisywać. Następnie sprawdzając
każdą linijkę osobno, przegląda plik i obcina wszystkie wyrażenia zawierające znaczniki html,
pozostawiając czysty, niesformatowany tekst. Program zakłada, że użytkownik w swoim tekście nie
będzie korzystał z połączenia znaku większości i mniejszości.

#!/usr/bin/perl -w
use strict;
use warnings;
print "Podaj sciezke (na koncu /)\n";
my $sciezka = <STDIN>;
chomp($sciezka);
opendir(DIR, $sciezka) or die $!;
while (my $file = readdir(DIR)) {
next if ($file =~ m/^\./);

print "$file\n";

my $file2="_Nowy".$file;

open (PLIK, $sciezka.$file) || die "nie mozna otworzyc

pliku";
open (PLIK2, ">".$sciezka.$file2) || die "nie mozna otworzy

ć

pliku";
my $zmienna="";
while($zmienna=<PLIK>){
$zmienna=~s/<(.|\n)*?>//g;
my $zmienna2=lc$zmienna;

print PLIK2"$zmienna2";

}

}
closedir(DIR);
exit 0;