Σώματα κειμένων και εφαρμογές

Abstract

Τα Σώματα Κειμένων (ΣΚ) αποτελούν έναν από τους κυριότερους γλωσσικούς πόρους για την αυτοματοποιημένη επεξεργασία φυσικού λόγου. Το παρόν κεφάλαιο περιέχει βασικές έννοιες για α) την κατάρτιση και β) την αξιοποίηση των ΣΚ. Αρχικά, αφού αναδειχθεί η ποιοτική διαφορά ανάμεσα σε επισημειωμένα και μη επισημειωμένα ΣΚ, αναλύονται τα βασικά κριτήρια επιλογής και ταξινόμησης των ΣΚ για στοχευμένη και πιο αποτελεσματική γλωσσολογική ή μη επεξεργασία των κειμενικών δεδομένων. Η κατάρτιση ενός ΣΚ αποτελεί μια δύσκολη υπόθεση και προϋποθέτει την τήρηση διαφόρων βασικών κριτηρίων επιλογής των κειμένων, προκειμένου το γλωσσικό δείγμα που συλλέγεται να είναι αντιπροσωπευτικό της γλωσσικής ποικιλίας που φιλοδοξεί να εκπροσωπεί. Εν συνεχεία, παρουσιάζονται τα είδη ΣΚ καθώς και οι πρακτικές αξιοποίησής τους μέσα από τη χρήση παραδειγμάτων. Επιπλέον, ο αναγνώστης εξοικειώνεται με τη γλώσσα σήμανσης XML που αποτελεί την κυρίαρχη γλώσσα σήμανση για την πλειονότητα των επισημειωμένων ΣΚ σημέρα. Στο τελευταίο μέρος του κεφαλαίου, παρουσιάζονται οι βασικές αρχές της θεωρίας πιθανοτήτων που είναι απαραίτητες για μια σειρά εφαρμογών στην υπολογιστική γλωσσολογία. Σε αυτή την κατεύθυνση και ως παράδειγμα για την ανάλυση κατηγορικών μεταβλητών που αφορούν τα γλωσσικά δεδομένα, λειτουργούν η διατύπωση και ο έλεγχος υποθέσεων. Εκεί, περιγράφεται βήμα προς βήμα η διαδικασία ελέγχου υποθέσεων πάνω σε ΣΚ στη βάση ενός απτού παραδείγματος. Ο έλεγχος υποθέσεων αποτελεί ένα απαραίτητο καθημερινό εργαλείο για την επεξεργασία γλωσσικών δεδομένων για τον υπολογιστικό γλωσσολόγο και όχι μόνο.

Text corpora (TC) are one of the main linguistic resources for automated natural language processing. This chapter contains basic concepts for a) the creation and b) the utilization of TC. First, after highlighting the qualitative difference between annotated and unannotated TBs, the basic criteria for selecting and classifying TBs for targeted and more effective linguistic or non-linguistic processing of text data are analyzed. The creation of a corpus is a difficult task and requires the observance of various basic criteria for the selection of texts, so that the language sample collected is representative of the linguistic variety it aspires to represent. Next, the types of corpora are presented, along with examples of how they can be used. In addition, the reader becomes familiar with the XML markup language, which is the dominant markup language for the majority of annotated corpora today. The last part of the chapter presents the basic principles of probability theory that are necessary for a number of applications in computational linguistics. In this direction, and as an example for the analysis of categorical variables related to linguistic data, hypothesis formulation and testing are used. There, the process of hypothesis testing on corpora is described step by step on the basis of a concrete example. Hypothesis testing is an essential everyday tool for processing linguistic data for computational linguists and others.