Αλυσίδες Markov

Κεφάλαιο 6b: Στοχαστικές διαδικασίες - Σύγκλιση σε στάσιμη κατανομή

Εκπαιδευτικός Στόχος: Μια αλυσίδα Markov είναι μια στοχαστική διαδικασία όπου η επόμενη κατάσταση εξαρτάται μόνο από την τρέχουσα κατάσταση. Ο πίνακας μετάβασης P περιέχει πιθανότητες μεταβάσεων. Με τον καιρό, η κατανομή πιθανοτήτων συγκλίνει σε μια στάσιμη κατανομή.

Πιθανότητα Κ₁ → Κ₁: 0.7

Πιθανότητα Κ₁ → Κ₂: 0.3

Πιθανότητα Κ₂ → Κ₁: 0.4

Πιθανότητα Κ₂ → Κ₂: 0.6

Κατανομή Πιθανοτήτων κατά Βήμα

Κατάσταση 1 50%

Κατάσταση 2 50%

Βήμα: 0 | Σύγκλιση: σε εξέλιξη...

Αλυσίδες Markov

Μια αλυσίδα Markov είναι τυχαία διαδικασία όπου η επόμενη κατάσταση εξαρτάται μόνο από την τρέχουσα.

Πίνακας μεταβάσεων P: Pᵢⱼ = P(j→i). Κατανομή: π(n+1) = P·π(n)

Μακροπρόθεσμα: η κατανομή συγκλίνει στη στάσιμη κατανομή π* με P·π* = π*. Αυτό είναι ιδιοδιάνυσμα με ιδιοτιμή λ=1.

📖 Συμπληρωματικό υλικό από το βιβλίο «Στοιχεία Γραμμικής Άλγεβρας, Διαφορικού & Ολοκληρωτικού Λογισμού» Νίκος Ματζάκος, Αναπληρωτής Καθηγητής · nikmatz@gmail.com