Βελτιστοποιήσεις για την Εκπαίδευση Βαθέων Μοντέλων

Abstract

Στο κεφάλαιο αυτό παρουσιάζονται ορισμένες βασικές τεχνικές για την εκπαίδευση βαθέων νευρωνικών δικτύων: η επιλογή κατάλληλης συνάρτησης κόστους που καλείται διεντροπία (cross-entropy), τέσσερις μέθοδοι ομαλοποίησης (L1, L2, dropout και επέκταση του συνόλου εκπαίδευσης), μέθοδοι αρχικοποίησης των βαρών του δικτύου και ευρετικές για επιλογή των βέλτιστων υπερπαραμέτρων του δικτύου.

This chapter presents some basic techniques for training deep neural networks and in particular, the selection of an appropriate cost function, called cross-entropy, four normalization methods (L1, L2, dropout and expansion of the training set), methods for initializing network weights, and heuristics for selecting the optimal network hyperparameters.