Υπολογιστικές Μέθοδοι για Ανάλυση Μεγάλων Δεδομένων (Hadoop και MapReduce)

Abstract

Η λύση του Hadoop & ΜapReduce και των συνεργαζόμενων εφαρμογών τους περιλαμβάνει μεταξύ άλλων μια απλή αλλά πολύ ισχυρή μέθοδο για την επεξεργασία και την ανάλυση των εξαιρετικά μεγάλων συνόλων δεδομένων, ακόμη και μέχρι το επίπεδο πολλαπλών PetaByte. Κατά βάση το MapReduce είναι μια διαδικασία για το συνδυασμό των δεδομένων από πολλαπλές εισόδους (δημιουργώντας το «map»), και μετά αναγωγή (reduce) χρησιμοποιώντας μία λειτουργία που θα διυλίσει τα επιθυμητά αποτελέσματα. Στο κεφάλαιο αυτό παρουσιάζονται πολλαπλές περιπτώσεις χρήσης των Hadoop & MapReduce και των εφαρμογών τους για περιπτώσεις πολλών TB ακόμη και αρκετών PB. το Hadoop χρησιμοποιεί ένα κατανεμημένο σύστημα αρχείων, το HDFS. Το σύστημα του Hadoop/MapReduce είναι χρήσιμο για δεδομένα τα οποία είναι λιγότερο δομημένα όπως για παράδειγμα οι σελίδες Διαδικτύου ή πολλαπλά δεδομένα εγγράφων ή εικόνων τα οποία δεν είναι πλήρως οργανωμένα-δομημένα.

The solution of Hadoop & MapReduce and their associated applications includes among others a simple but very powerful method for the processing and analysis of extremely large data sets, even up to the level of multiple PetaBytes. At its core, MapReduce is a process for combining data from multiple inputs (creating the "map"), and then reducing (reduce) it using a function that will refine the desired results. This chapter presents multiple use cases of Hadoop & MapReduce and their applications for multi-TB and even multi-PB instances; Hadoop uses a distributed file system, HDFS. The Hadoop/MapReduce system is useful for data that is less structured such as Internet pages or multiple document or image data that is not fully organized-structured.