Τεχνολογίες Επεξεργασίας και Ανάλυσης Μεγάλων Δεδομένων

Abstract

Το παρόν σύγγραμμα έρχεται να καλύψει ένα μεγάλο κενό που υπάρχει στην ελληνόγλωσση βιβλιογραφία σχετικά με την επεξεργασία και την ανάλυση μεγάλων δεδομένων. Πιο συγκεκριμένα, στοχεύει στην παρουσίαση και στη χρήση των πιο συχνά χρησιμοποιούμενων συστημάτων και τεχνικών για τη διαχείριση και εξόρυξη χρήσιμης γνώσης από δεδομένα που χαρακτηρίζονται από μεγάλο όγκο, ενδεχομένως γρήγορους ρυθμούς ανανέωσης και ποικιλομορφία ως προς τη δομή τους. Αναλυτικότερα, στο βιβλίο αυτό μελετάμε συγκεκριμένες μεθοδολογίες ανάπτυξης εφαρμογών, καθώς και συγκεκριμένα συστήματα. Για παράδειγμα, μελετάμε το μοντέλο MapReduce και πώς αυτό υλοποιείται στο Hadoop, στο Spark, καθώς και σε άλλα συστήματα. Επιπλέον, μελετάται αναλυτικά το οικοσύστημα του Hadoop, καθώς και η μεθοδολογία ανάπτυξης εφαρμογών σε Spark, ενώ δίνονται παραδείγματα σε γλώσσα Scala και Python. Επιπλέον, παρουσιάζονται τα συστήματα NOSQL και δίνεται έμφαση στις τέσσερις διαφορετικές κατηγορίες συστημάτων, ανάλογα με τη λειτουργικότητά τους. Στο βιβλίο μελετάμε, επίσης, τεχνικές για διαχείριση ροών δεδομένων και πώς αυτή πραγματοποιείται από τα συστήματα (π.χ., Spark, Flink, κλπ.), ενώ σε ξεχωριστό κεφάλαιο εξετάζουμε ζητήματα επεξεργασίας και ανάλυσης δεδομένων γραφημάτων. Στη συνέχεια, παρουσιάζονται τα βασικά στοιχεία της διαχείρισης των πόρων σε ένα κατανεμημένο σύστημα, χρησιμοποιώντας διαφορετικά συστήματα διαχείρισης πόρων, και πώς εκτελούνται οι εφαρμογές. Επιπρόσθετα, σε ξεχωριστό κεφάλαιο μελετάμε τρόπους επεξεργασίας δεδομένων σε GPU συστήματα που επίσης χρησιμοποιούνται ευρέως για την ανάλυση δεδομένων με παράλληλο τρόπο. Στο βιβλίο δίνονται και λεπτομέρειες εγκατάστασης. Το σύγγραμμα απευθύνεται σε φοιτητές μεταπτυχιακού κύκλου σπουδών, κυρίως σε μαθήματα που σχετίζονται άμεσα με θέματα που αφορούν την επεξεργασία και την ανάλυση μεγάλων δεδομένων με χρήση μοντέρνων κατανεμημένων και παράλληλων συστημάτων. Ωστόσο, τμήμα του βιβλίου θα μπορούσε να λειτουργήσει επικουρικά και σε προπτυχιακά μαθήματα με παρόμοιο αντικείμενο.

This book comes to fill a large gap that exists in the Greek literature regarding the processing and analysis of big data. More specifically, it aims to present and use the most commonly used systems and techniques for managing and extracting useful knowledge from data characterized by large volume, potentially fast renewal rates and diversity in terms of their structure. In more detail, in this book we study specific application development methodologies as well as specific systems. For example, we study the MapReduce model and how it is implemented in Hadoop, Spark, and other systems. In addition, the Hadoop ecosystem is studied in detail, as well as the Spark application development methodology, while examples are given in Scala and Python. Also, NOSQL systems are presented, emphasizing the four different categories of systems, depending on their functionality. In the book we also study techniques for data stream management and how it is carried out by the systems, while in a separate chapter we study issues of graph data processing and analysis. Then, the basics of managing resources in a distributed system using different resource management systems and how the applications are run are reviewed. Also, in a separate chapter we study ways of processing data in GPU systems that are also widely used for data analysis in a parallel way. Installation details are also given in the book. The book is addressed to postgraduate students and mainly to courses directly related to topics related to the processing and analysis of big data using modern distributed and parallel systems. However, part of the book could work as a supplement in undergraduate courses with a similar subject.