Βαθιά Ενισχυτική Μάθηση και Γενετικοί Αλγόριθμοι

Abstract

Στο έβδομο κεφάλαιο θα παρουσιάσουμε αλγορίθμους ενισχυτικής μάθησης (reinforcement learning) -διότι ενισχύει επιθυμητές συμπεριφορές επιβραβεύοντάς τις-, όπου το σύστημα συστάσεων προσπαθεί να μάθει μέσα από τη διάδρασή του με τον χρήστη. Ακόμη, θα αναλύσουμε αλγορίθμους συστάσεων (Markov Chains, Markov Decision Processes κ.λπ.) που βασίζονται σε δεδομένα χρονικώς εξελισσόμενα, τα οποία δηλαδή έχουν μια αλληλουχία και βρίσκονται σε σειριακή διάταξη. Επίσης, θα μελετήσουμε τους αλγορίθμους Advantage Actor-Critic learning (A2C) και Deep Q-learning Network (DQN), οι οποίοι είναι αλγόριθμοι ενισχυτικής μάθησης που συνδυάζουν μεθόδους της με νευρωνικά δίκτυα πολλών επιπέδων. Τέλος, θα περιγράψουμε τα συστήματα συστάσεων που βασίζονται σε γενετικούς αλγορίθμους (genetic algorithms), οι οποίοι προσομοιώνουν το φυσικό φαινόμενο της εξέλιξης και της φυσικής επιλογής: η αναζήτηση, λοιπόν, της κατάλληλης γειτονιάς του υπό εξέταση χρήστη ξεκινάει με έναν αριθμό τυχαίων γειτονικών χρηστών βάσει ενός συνόλου αρχικών παραδοχών. Επί αυτού του αρχικού πληθυσμού, και εφόσον τα μέλη του αξιολογηθούν με τη βοήθεια μιας συνάρτησης καταλληλότητας (fitness function), παράγεται η νέα γενιά γειτόνων μέσω διαδικασιών αναπαραγωγής (π.χ. διασταύρωσης, μετάλλαξης κ.λπ.).

In chapter seven we will present reinforcement learning algorithms (reinforcement learning) -because it reinforces desired behaviours by rewarding them- where the system recommendation system tries to learn through its interaction with the user. Furthermore, we will analyse recommendation algorithms (Markov Chains, Markov Decision Processes etc.) based on data that evolve over time, i.e. that have a sequence and are in serial order. We will also study Advantage Actor-Critic learning algorithms (A2C) and Deep Q-learning Network (DQN), which are reinforcement learning algorithms that combine its methods with multi-level neural networks. Finally, we will describe the recommendation systems based on genetic algorithms, which simulate the natural phenomenon of evolution and natural selection: the search for the appropriate neighbourhood of the user under consideration is thus initiated by a number of random neighbouring users on the basis of a set of initial assumptions. On this initial population, and if its members are evaluated by means of a fitness function, the new generation of neighbours is generated by reproduction procedures (e.g. crossover, mutation etc.).