Στοχαστικά Πρότυπα και Αλυσίδες Markov

Abstract

Το βιβλίο αποτελεί μια εισαγωγή στις στοχαστικές διαδικασίες και στα στοχαστικά πρότυπα στο προπτυχιακό επίπεδο. Δίνουμε έμφαση στην ανάπτυξη της θεωρίας και των υπολογιστικών τεχνικών, παρουσιάζουμε, όμως, ορισμένες εφαρμογές σε λεπτομέρεια. Το σύγγραμμα περιλαμβάνει δύο εισαγωγικά κεφάλαια σε διακριτές και σε «συνεχείς» πιθανότητες, με έμφαση σε θέματα και τεχνικές που θα είναι χρήσιμες στη μελέτη των στοχαστικών διαδικασιών. Το κύριο «όχημα» για τη μελέτη των στοχαστικών διαδικασιών είναι οι αλυσίδες Markov σε διακριτό χρόνο. Δίνουμε μια λεπτομερή μελέτη βασισμένη σε καθαρά πιθανοθεωρητικές τεχνικές, ακολουθώντας την κυρίαρχη τάση στη διεθνή βιβλιογραφία. Παρουσιάζουμε, όμως, αρκετά αναλυτικά και την αλγεβρική προσέγγιση, που συμπεριλαμβάνει το θεώρημα Perron-Frobenius, διότι εμβαθύνει την κατανόηση και οδηγεί σε υπολογιστικούς αλγορίθμους. Εξετάζουμε την έννοια της χρονικής αντιστρεψιμότητας τόσο σε θεμελιώδες επίπεδο όσο και σε ό,τι αφορά τις υπολογιστικές της εφαρμογές. Επίσης, αφιερώνουμε αρκετό χώρο σε μια λεπτομερή μελέτη της διαδικασίας Poisson και των ιδιοτήτων της. Η παρουσίαση των αλυσίδων Markov σε συνεχή χρόνο δίνει μεγαλύτερη έμφαση στην ανάπτυξη της διαίσθησης και στις εφαρμογές, προκειμένου το απαιτούμενο μαθηματικό υπόβαθρο να παραμείνει στοιχειώδες. Η παρουσίαση της ανανεωτικής θεωρίας είναι αρκετά αναλυτική. Οι αποδείξεις απαιτητικών θεωρημάτων, όπως είναι το Θεώρημα του Blackwell και το Βασικό Ανανεωτικό Θεώρημα, παραλείπονται, δίνουμε όμως ακριβείς διατυπώσεις. Επιπλέον, ένα σύντομο κεφάλαιο αφιερώνεται στην εφαρμογή των ανανεωτικών εξισώσεων στη Θεωρία Κινδύνου και σε πληθυσμιακά μοντέλα. Περιορισμοί χώρου και χρόνου δεν επέτρεψαν δυστυχώς μια συζήτηση των αναγεννητικών διαδικασιών, η οποία θα αναδείκνυε περισσότερο τη σημασία της ανανεωτικής θεωρίας. Η παρουσίαση της κίνησης Brown παραμένει σε στοιχειώδες μαθηματικό επίπεδο, ενώ το κεφάλαιο στα martingales έχει ένα στοιχειώδες και ένα λίγο πιο προχωρημένο τμήμα, προοριζόμενο για φοιτητές που έχουν το κατάλληλο μαθηματικό υπόβαθρο.

This book is an introduction to stochastic processes and stochastic models at the undergraduate level. While the emphasis is placed in developing the theory and computational techniques, a number of applications is presented in detail. Two introductory chapters, in discrete and “continuous” probability are included. The emphasis in these chapters is placed on topics and techniques that will be useful in the study of stochastic processes. We begin this study with the simple random walk and discrete time Markov chains. Following what is becoming the standard approach in the literature, a purely probabilistic approach is used in their analysis. However, a whole separate chapter is dedicated to the algebraic treatment, including the fundamental theorem of Perron and Frobenius, because we believe that the interplay between probability and linear algebra, on one hand deepens the understanding of the concepts and, on the other, prepares the student for the computational aspects of the subject. Time reversibility in Markov chains is studied both as a fundamental concept and in terms of its computational implications. The Poisson process and its properties are studied in some depth (for an undergraduate account) whereas continuous time Markov chains are treated with emphasis on the intuitive part of the theory and on applications, in order to maintain the mathematical tools needed at a modest level. The discussion of renewal theory is extensive. It includes precise statements of Blackwell’s Theorem and the Key Renewal Theorem but not its proof. Furthermore, a whole chapter is dedicated to applications of the renewal equation to Risk Theory and mathematical population models. Unfortunately, space and time limitations prevented us from discussing regenerative processes. The presentation of Brownian motion is kept at a mathematically elementary level while the chapter on martingales includes both an elementary and a mathematically more advanced part, adequate for students with the appropriate preparation.