Eine Markow-Kette (englisch Markov chain; auch Markow-Prozess, nach Andrei Andrejewitsch Markow; andere Schreibweisen Markov-Kette, Markoff-Kette, Markof-Kette) ist ein spezieller stochastischer Prozess. Ziel bei der Anwendung von Markow-Ketten ist es, Wahrscheinlichkeiten für das Eintreten zukünftiger Ereignisse anzugeben. Eine Markow-Kette ist darüber definiert, dass auch durch Kenntnis einer nur begrenzten Vorgeschichte ebenso gute Prognosen über die zukünftige Entwicklung möglich sind wie bei Kenntnis der gesamten Vorgeschichte des Prozesses.
Man unterscheidet Markow-Ketten unterschiedlicher Ordnung. Im Falle einer Markow-Kette erster Ordnung heißt das: Der zukünftige Zustand des Prozesses ist nur durch den aktuellen Zustand bedingt und wird nicht durch vergangene Zustände beeinflusst. Die mathematische Formulierung im Falle einer endlichen Zustandsmenge benötigt lediglich den Begriff der diskreten Verteilung sowie der bedingten Wahrscheinlichkeit, während im zeitstetigen Falle die Konzepte der Filtration sowie der bedingten Erwartung benötigt werden.
Die Begriffe Markow-Kette und Markow-Prozess werden im Allgemeinen synonym verwendet. Zum Teil sind aber zur Abgrenzung mit Markow-Ketten Prozesse in diskreter Zeit (diskreter Zustandsraum) gemeint und mit Markow-Prozessen Prozesse in stetiger Zeit (stetiger Zustandsraum).
Numerisches Beispiel einer einfachen Markow-Kette mit den zwei Zuständen E und A. Jede Zahl steht für die Wahrscheinlichkeit, dass der Markov-Prozess von einem Zustand in einen anderen wechselt, wobei die Richtung durch den Pfeil angegeben ist. Befindet sich der Markov-Prozess beispielsweise im Zustand A, so ist die Wahrscheinlichkeit, dass er in den Zustand E wechselt, 0.4, während die Wahrscheinlichkeit, dass er im Zustand A bleibt, 0.6 beträgt. (Hinweis: Als Dezimaltrennzeichen wurde der Punkt vom Bild im Text übernommen.)
Bildquelle: Wikipedia