100415671

6SLV WUHĂFL

Wykaz oznaczeń . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . IX Wykaz skrótów . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . XI Wprowadzenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 Część I. Wprowadzenie do eksploracji danych tekstowych . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1. Trendy w rozwoju systemów informatycznych eksploracji danych . . . . . . . . . . . . . . . . 7 2. Metody eksploracji danych tekstowych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.1. Przebieg analizy dokumentu tekstowego i charakterystyka stosowanych metod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.2. Określenie celu, zakresu i kosztów analizy . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.3. Przekształcenie zbioru dokumentów źródłowych . . . . . . . . . . . . . . . . . . . . . 13 2.3.1. Informacja o częstości występowania poszczególnych terminów . . . 13 2.3.2. Postać ustrukturyzowana . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.4. Wybór metody obliczeniowej . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3. Architektura oprogramowania do eksploracji danych tekstowych na przykładzie pakietu SAS Text Analytics firmy SAS Institute . . . . . . . . . . . . . . . . . . 17 3.1. Rozpoczęcie pracy z programem Enterprise Miner (Text Miner) . . . . . . . 19 3.1.1. Tworzenie nowego projektu i biblioteki . . . . . . . . . . . . . . . . . . . . . . 19 3.1.2. Tworzenie diagramów analizy danych . . . . . . . . . . . . . . . . . . . . . . . 21 3.1.3. Określanie źródła danych projektu . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2. Metodyka SEMMA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.2.1. Etap Próbkowanie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.2.2. Etap Eksploracja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.2.3. Etap Modyfikacja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.2.4. Etap Modelowanie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.2.5. Etap Ocena . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

6SLV WUHĂFL

|

V

3.3. Text Miner – etapy przetwarzania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.4. Text Miner – komponenty . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 3.4.1. Właściwości węzła Klastrowanie tekstu . . . . . . . . . . . . . . . . . . . . . . 30 3.4.2. Właściwości węzła Filtrowanie tekstu . . . . . . . . . . . . . . . . . . . . . . . 31 3.4.3. Właściwości węzła Import tekstu . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 3.4.4. Właściwości węzła Parsowanie tekstu . . . . . . . . . . . . . . . . . . . . . . . 33 3.4.5. Właściwości węzła Profil tekstu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 3.4.6. Właściwości węzła Generator reguł tekstu . . . . . . . . . . . . . . . . . . . 35 3.4.7. Właściwości węzła Temat tekstu . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.5. Przykład: Klasteryzacja zbioru zdań . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 3.5.1. Konfiguracja diagramu przepływu danych . . . . . . . . . . . . . . . . . . . 37 3.5.2. Konfiguracja poszczególnych węzłów i interpretacja wyników . . . 38 3.5.3. Podsumowanie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

Część II. Przetwarzanie informacji zawartej w dokumencie tekstowym . . . . . . . . . . . . . . 49 4. Wybór funkcji wagującej macierzy częstości występowania terminów . . . . . . . . . . . 51 4.1.

4.2.

4.3.

4.4.

Wagi częstości . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 Wagi wyrażenia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 Przykład obliczeniowy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 Podsumowanie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

5. Redukcja wymiarowości macierzy częstości występowania terminów . . . . . . . . . . . 57 5.1. Analiza semantyczna zmiennych ukrytych . . . . . . . . . . . . . . . . . . . . . . . . . 57 5.1.1. Rozkład SVD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 5.1.2. Przykład obliczeniowy rozkładu SVD . . . . . . . . . . . . . . . . . . . . . . . 58 5.2. Podsumowanie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

6. Wybór algorytmu klastrowania dokumentów tekstowych . . . . . . . . . . . . . . . . . . . . 63 6.1. Określenie miary podobieństwa grupy dokumentów . . . . . . . . . . . . . . . . . 63 6.2. Algorytmy klastrowania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 6.3. Grupowanie za pomocą węzła Klastrowanie tekstów . . . . . . . . . . . . . . . . . 66 6.3.1. Węzeł Klastrowanie tekstu – algorytm Hierarchiczny . . . . . . . . . . 66 6.3.2. Węzeł Klastrowanie tekstu – algorytm Maksymalizacja oczekiwań . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 6.3.3. Węzeł Klastrowanie tekstu – właściwość Terminy opisowe . . . . . 66 6.4. Grupowanie za pomocą węzła Temat tekstu . . . . . . . . . . . . . . . . . . . . . . . . . 69 6.4.1. Tematy definiowane przez użytkownika . . . . . . . . . . . . . . . . . . . . . 72 6.5. Posumowanie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

VI

|

6SLV WUHĂFL

7. Zarys metodyki tworzenia modeli predykcyjnych oraz porównywania zdolności predykcyjnych modeli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 7.1. Tworzenie modelu predykcyjnego . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 7.2. Ocena błędu klasyfikacji . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 7.2.1. Krzywe ROC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 7.2.2. Wykresy wzrostu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 7.3. Przykład: Użycie węzła Importowanie tekstu oraz porównywanie modeli predykcyjnych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 7.3.1. Konfiguracja diagramu przepływu danych oraz poszczególnych węzłów . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 7.4. Podsumowanie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

8. Klastrowanie dokumentów nadzorowane przez użytkownika . . . . . . . . . . . . . . . . . . 85 8.1. Charakterystyka węzła Generator reguł tekstu . . . . . . . . . . . . . . . . . . . . . . . 85 8.2. Podsumowanie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

Część III. Wydobywanie i organizacja wiedzy z dokumentów tekstowych w instytucji . . . . 89 9. Zarys zagadnień związanych z wydobywaniem i organizacją wiedzy w instytucji . . . . 91 9.1. Wprowadzenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 9.1.1. SAS Crawler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 9.1.2. SAS Search and Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 9.1.3. SAS Information Retrival Studio . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 9.2. Podsumowanie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95

10. Klasyfikacja dokumentów . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 10.1. SAS Content Categorization Studio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 10.1.1. Metody klasyfikacji dokumentów dostępne w SAS CCS . . . . . . . . 99 10.1.2. Wydobywanie konceptów dostępne w SAS CCS . . . . . . . . . . . . . 101 10.1.3. Wydobywanie kontekstu dostępne w SAS CCS . . . . . . . . . . . . . . 106 10.1.4. Zakładanie nowego projektu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 10.1.5. Metodyka planowania projektu . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 10.1.6. Tworzenie nowej kategorii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 10.1.7. Zasady używania kategoryzatora statystycznego . . . . . . . . . . . . . 114 10.1.8. Zasady używania kategoryzatora generującego reguły automatycznie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 10.1.9. Zasady używania kategoryzatora bazującego na regułach . . . . . . 121 10.1.10. Praca z konceptami . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 10.2. Przykład: Zastosowania klasyfikacji dokumentów w celu wspomagania diagnostyki w departamencie radiodiagnostyki . . . . . . . . . . . . . . . . . . . . 135 10.3. Podsumowanie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142

6SLV WUHĂFL

|

VII

11. Analiza sentymentu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 11.1. SAS Sentiment Analysis Studio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 11.1.1. Metoda oceny sentymentu dla dokumentu . . . . . . . . . . . . . . . . . . 145 11.1.2. Zakładanie nowego projektu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 11.1.3. Testowanie istniejących modeli . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 11.1.4. Tworzenie modeli hybrydowych . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 11.1.5. SAS Sentiment Analysis Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 11.2. Przykład analizy sentymentu użytkowników telefonów komórkowych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 11.3. Podsumowanie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164

Część IV. Inne zagadnienia przetwarzania dokumentów tekstowych . . . . . . . . . . . . . . . 165 12. Inne elementy przetwarzania danych tekstowych . . . . . . . . . . . . . . . . . . . . . . . . . . 167 12.1. Porównywanie dokumentów za pomocą metryk . . . . . . . . . . . . . . . . . . . . 167 12.1.1. Odległość kosinusowa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 12.1.2. Metryka Jaccarda . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 12.2. Wydobywanie jednostek specjalnych z dokumentów . . . . . . . . . . . . . . . . 171

Słownik pojęć związanych z eksploracją danych tekstowych . . . . . . . . . . . . . . . . . . . . . . 173 Dodatek A: Podstawy obsługi środowiska SAS i język 4GL . . . . . . . . . . . . . . . . . . . . . . . . 177 A.1. Wprowadzenie do obsługi systemu SAS . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 A.1.1. Struktura zbioru danych SAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180 A.1.2. Formaty i informaty . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 A.2. Język 4GL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 A.2.1. Blok typu DATA STEP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 A.2.2. Blok typu PROC STEP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

Dodatek B: Podstawy języka makr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 B.1. Makrozmienne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 B.2. Makroprogramy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187

Dodatek C: Wizualna interpretacja danych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 C.1. Przegląd typów wykresów stosowanych dla danych tekstowych . . . . . . . 190

Bibliografia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193 Indeks pojęć . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195 Spis rysunków . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197 Spis tabel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203

VIII

|

6SLV WUHĂFL

(WDS 3UöENRZDQLH Próbkowanie (Sample) – najczęściej przeprowadzenie badań na całych zbiorach wejściowych uniemożliwia ich wielkość. Etap ten wspomaga określenie definicji, które dane będą stanowić dane wejściowe do kolejnych etapów. Na tym etapie dokonuje się także najczęściej podziału zbioru uczącego na trzy części: zbiór uczący (Training), zbiór walidujący naukę (Validation) i zbiór testujący (Test), który pozwala ocenić jakość modelu na niezależnych danych, które nie brały udziału w procesie uczenia. Na rysunku 3.8 przedstawiono listę węzłów dostępnych na tym etapie.

Rysunek 3.8. Ikony węzłów EM przetwarzania dostępnych na etapie Próbkowanie metodyki SEMMA Dostępne węzły w kolejności od lewej to: t Dołączanie (Append) – dołącza zbiory; t Partycjonowanie (Data Partition) – partycjonuje dane na osobne tabele; t Import pliku (File Import) – importuje plik zewętrzny; t Filtrowanie (Filter) – usuwa z danych obserwacje zgodnie z podanymi kryteriami; t Dane wejściowe (Input Data) – podaje szczegółowe informacje o zmiennych służących jako dane wejściowe do eksploracji danych; t Scalanie (Merge) – tworzy nowe zbiory i widoki z kombinacji kolumn innych zbiorów; t Próbkowanie (Sample) – tworzy próbę danych; t Szeregi czasowe (Time Series) – pozwala utworzyć szereg czasowy.

(WDS (NVSORUDFMD Eksploracja (Explore) – etap ten pozwala na wstępną eksplorację danych, wykrycie związków, trendów i anomalii w danych. Na rysunku 3.9. pokazano węzły dostępne na tym etapie.

Rysunek 3.9. Ikony węzłów EM przetwarzania dostępnych na etapie Eksploracja metodyki SEMMA

24

|

5R]G]LDï $UFKLWHNWXUD RSURJUDPRZDQLD GR HNVSORUDFML GDQ\FK WHNVWRZ\FK QD SU]\NïDG]LH SDNLHWX 6$6 7H[WĮ

Dostępne węzły w kolejności od lewej to: t Kojarzenie (Association) – wykrywa skojarzenia i sekwencje; t Klasteryzacja (Cluster) – wykonuje klasteryzację obserwacji służącą do segmentacji bazy danych; t DMDB (DMDB) – wylicza statystyki opisowe za pomocą procedury DMDB; t Eksploracja wykresów (Graph Explore) – generuje raporty graficzne i wykresy interakcyjne; t Analiza łączy (Link Analysis) – wykonuje analizę łączy; t Koszyk zakupów (Market Basket) – wykonuje analizę koszyka zakupów dla danych z potencjalną taksonomią elementów; t Wykresy różne (Multiplot) – wykonuje różnego rodzaju wykresy; t Analiza ścieżek (Path Analysis) – analizuje wstępnie przetworzone dane z logów stron internetowych; t SOM\Kohonen (SOM\Kohonen) – wykonuje nienadzorowane uczenie, wykorzystując kwantowanie wektorowe Kohonena, samoorganizujące się mapy Kohonena lub wsadowe samoorganizujące się mapy Kohonena z wygładzaniem Nadarayi–Watsona lub lokalnym liniowym; t Eksploracja statystyk (StatExplore) – generuje statystki agregujące i skojarzeniowe; t Analiza skupień zmiennych (Variable Clustering) – dzieli zbiór danych wejściowych na rozłączne lub hierarchiczne skupienia; t Wybór zmiennych (Variable Selection) – narzędzie do zmniejszania liczby zmiennych wejściowych za pomocą kryteriów wyboru R-kwadrat, chi-kwadrat itp.

(WDS 0RG\ILNDFMD Modyfikacja (Modify) – etap ten ma na celu przygotowanie danych do modelowania na podstawie informacji pozyskanych w poprzednim etapie przez filtrowanie, tworzenie nowych zmiennych, transformację zmiennych, imputowanie danych czy identyfikację obserwacji odstających. Na rysunku 3.10 pokazano węzły dostępne na tym etapie.

Rysunek 3.10. Ikony węzłów EM przetwarzania dostępnych na etapie Modyfikacja metodyki SEMMA

0HWRG\ND 6(00$

|

25

Rysunek 10.11. Menu kontekstowe istniejącej kategorii

=DVDG\ Xĝ\ZDQLD NDWHJRU\]DWRUD VWDW\VW\F]QHJR Jak już wspomniano wcześniej, kategoryzator statystyczny pozwala sklasyfikować w sposób automatyczny dużą liczbę dokumentów za pomocą małej liczby zdefiniowanych kategorii o szerokim zakresie. Tak zdefiniowane kategorie powinny być rozdzielne. Definicja danej kategorii jest wypracowywana automatycznie na podstawie częstości występowania terminów w dokumentach zbioru uczącego przydzielonego do danej kategorii oraz innych kategorii. Zmiana zbioru uczącego przydzielonego do danej kategorii może zatem skutkować zmianą definicji innych kategorii. Ze względu na obowiązujące zasady, którymi kieruje się kategoryzator, warto stosować następujące dobre praktyki: 1. Zdefiniować wszystkie kategorie w tworzonej taksonomii.

2. Przydzielić dokumenty ze zbioru uczącego do wszystkich zdefiniowanych kategorii.

Zwykle warto wskazać 50–100 dokumentów, które są najlepszymi przykładami dla danej kategorii. Dołączone dokumenty mogą występować w różnych formatach (HTML, XML, SGML, TXT). W celu ułatwienia podpięcia dokumentów ze zbioru uczącego do poszczególnych kategorii wykorzystuje się strukturę katalogów odzwierciedlającą strukturę taksonomii. Korzeń struktury katalogów powinien być wskazany jako ścieżka do zbioru testowego dla węzła Top. Nie ma konieczności ręcznego tworzenia struktury katalogów, co byłoby uciążliwe w przypadku rozbudowanej taksonomii. Wspomniana struktura katalogów może zostać utworzona automatycznie. W tym celu wystarczy stworzyć katalog nadrzędny, a w nim katalog

114

|

5R]G]LDï .ODV\ğNDFMD GRNXPHQWöZ

podrzędny o nazwie Top. Następnie na zakładce Data należy wskazać katalog Top jako Training Path. Dodatkowo należy włączyć opcję Create Folder i nacisnąć przycisk Propagate (rys. 10.12).

Rysunek 10.12. Ustawianie ścieżki do zbioru uczącego dla węzła Top Katalogi odpowiadające poszczególnych kategoriom zostaną utworzone automatycznie. Należy w nich umieścić dokumenty ze zbioru uczącego odpowiadające poszczególnym kategoriom.

3. Analogicznie postępuje się ze zbiorem testowym, przy czym należy stosować się do ogólnej zasady, że zbiory uczący i testowy powinny być rozdzielne. Zmiana nazwy kategorii w taksonomii pociąga za sobą konieczność ręcznej zmiany nazwy katalogów odpowiadających danej kategorii w strukturze katalogów zbioru uczącego i testowego.

4. Po zdefiniowaniu kategorii w taksonomii oraz przypisaniu ścieżek do zbioru uczącego i testowego następuje etap budowania reguł. W tym celu należy wybrać węzeł kategoryzatora w drzewie taksonomii, a następnie z menu kontekstowego opcję Build->Build Statistical Categorizer. Po zbudowaniu dany kategoryzator staje się kategoryzatorem aktywnym dla danej taksonomii. Operacje testowe zachodzą z wykorzystaniem aktywnego kategoryzatora. Automatyczne przebudowanie kategoryzatora przed wykonaniem dowolnego testu, bez konieczności wykonywania

6$6 &RQWHQW &DWHJRUL]DWLRQ 6WXGLR

|

115