Υπολογιστικές Μέθοδοι για Ανάλυση Μεγάλων Δεδομένων (Hadoop και MapReduce)

Abstract

Η λύση του Hadoop & ΜapReduce και των συνεργαζόμενων εφαρμογών τους περιλαμβάνει μεταξύ άλλων μια απλή αλλά πολύ ισχυρή μέθοδο για την επεξεργασία και την ανάλυση των εξαιρετικά μεγάλων συνόλων δεδομένων, ακόμη και μέχρι το επίπεδο πολλαπλών PetaByte. Κατά βάση το MapReduce είναι μια διαδικασία για το συνδυασμό των δεδομένων από πολλαπλές εισόδους (δημιουργώντας το «map»), και μετά αναγωγή (reduce) χρησιμοποιώντας μία λειτουργία που θα διυλίσει τα επιθυμητά αποτελέσματα. Στο κεφάλαιο αυτό παρουσιάζονται πολλαπλές περιπτώσεις χρήσης των Hadoop & MapReduce και των εφαρμογών τους για περιπτώσεις πολλών TB ακόμη και αρκετών PB. το Hadoop χρησιμοποιεί ένα κατανεμημένο σύστημα αρχείων, το HDFS. Το σύστημα του Hadoop/MapReduce είναι χρήσιμο για δεδομένα τα οποία είναι λιγότερο δομημένα όπως για παράδειγμα οι σελίδες Διαδικτύου ή πολλαπλά δεδομένα εγγράφων ή εικόνων τα οποία δεν είναι πλήρως οργανωμένα-δομημένα.