Μετρικές Αποτίμησης

Abstract

Στο ένατο κεφάλαιο θα περιγράψουμε αναλυτικά τους τρόπους αποτίμησης της αποτελεσματικότητας (μετρική ακρίβειας, ανάκλησης κ.λπ.) των αλγορίθμων συστάσεων. Πιο συγκεκριμένα, στην εισαγωγή θα αναλύσουμε τα χαρακτηριστικά της off-line και της online αξιολόγησης. Ειδικά για την off-line αξιολόγηση, θα εξειδικεύσουμε τoν διαχωρισμό των δεδομένων σε εκπαίδευσης και ελέγχου. Επιπρόσθετα, θα μελετήσουμε τις μετρικές Mean Absolute Error και Root Mean Absolute Error για την πρόβλεψη των βαθμολογιών των χρηστών επί των στοιχείων. Επίσης, θα παρουσιάσουμε, με τη χρήση παραδειγμάτων, τις μετρικές Confusion Matrix, Precision, Recall, Normalized Discounted Cumulative Gain και Receiver Operating Characteristic Curve (ROC curve), οι οποίες ειδικεύονται στην αποτίμηση της αποτελεσματικότητας της λίστας προτεινόμενων στοιχείων. Τέλος, θα εξετάσουμε και μετρικές πέραν της απόλυτης ακριβείας (beyond accuracy metrics), όπως τη μετρική της επεξηγησιμότητας (explainability) και τη μετρική της πρωτοτυπίας (novelty) των στοιχείων της λίστας συστάσεων. Με την πρώτη αξιολογούμε κατά πόσο ένα προτεινόμενο στοιχείο μπορεί να επεξηγηθεί επαρκώς στον υπό εξέταση χρήστη, ενώ με τη δεύτερη αξιολογούμε το κατά πόσο το στοιχείο που προτείνεται είναι πρωτότυπο (novel) ως προς τα ενδιαφέροντα του χρήστη βάσει πάντα των πρότερων αλληλεπιδράσεών του με το σύστημα συστάσεων.

In chapter nine we will describe in detail the ways of evaluating the effectiveness (accuracy metrics, recall etc.) of recommendation algorithms. More specifically, we will describe the algorithms used to evaluate the algorithms. More specifically, in the introduction we will analyze the characteristics of off-line and on-line evaluation. Specifically for off-line evaluation, we will specify the separation of data into training and control. In addition, we will study the Mean Absolute Error and Root Mean Absolute Error metrics for predicting users' scores on the items. We will also present (using examples) the Confusion Matrix, Precision, Recall, Normalized Discounted Cumulative Gain and Receiver Operating Characteristic Curve (ROC curve) metrics, which specialize in evaluating the effectiveness of the proposed item list. Finally, we will also consider beyond accuracy metrics, such as the explainability metric and the novelty metric of the recommendation list items. With the former we evaluate whether a proposed item can be adequately explained to the user under consideration, while with the latter we evaluate whether the proposed item is novel with respect to the user's interests based on all of his/her previous interactions with the recommendation system.