मार्कोव चेन: अवधारणा, ट्रांजिशन मैट्रिक्स और डीप लर्निंग में अनुप्रयोग

Markov Chain एक प्रायिकता आधारित गणितीय मॉडल है जो यह वर्णन करता है कि एक सिस्टम एक अवस्था (state) से दूसरी अवस्था में कैसे और किस संभावना (probability) के साथ बदलता है। यह मॉडल इस विचार पर आधारित है कि भविष्य की अवस्था केवल वर्तमान अवस्था पर निर्भर करती है — अतीत पर नहीं। इसे Memoryless Property कहा जाता है।

📘 मार्कोव चेन क्या है?

यदि किसी प्रणाली के पास सीमित अवस्थाएँ (states) हों और उसका परिवर्तन एक प्रायिकता वितरण से संचालित हो, तो उसे Markov Chain कहते हैं।

⚙️ गणितीय परिभाषा:

P(Xₙ₊₁ = x | Xₙ = xₙ, Xₙ₋₁ = xₙ₋₁, ..., X₀ = x₀) = P(Xₙ₊₁ = x | Xₙ = xₙ)

इसका अर्थ है कि अगली अवस्था केवल वर्तमान अवस्था पर निर्भर करती है।

🔢 ट्रांजिशन मैट्रिक्स (Transition Matrix):

मार्कोव चेन को अक्सर एक Transition Probability Matrix (P) के रूप में दर्शाया जाता है, जहाँ प्रत्येक तत्व Pᵢⱼ दर्शाता है कि state i से state j में जाने की क्या संभावना है।

        S₁    S₂    S₃
S₁   [0.6,  0.3,  0.1]
S₂   [0.2,  0.5,  0.3]
S₃   [0.1,  0.4,  0.5]

🧮 स्टेडी स्टेट प्रायिकता (Steady State Probability):

जब मार्कोव चेन लंबे समय तक चलता है, तो यह एक स्थिर अवस्था (steady state) पर पहुँच जाता है, जहाँ प्रायिकता वितरण बदलना बंद हो जाता है:

π = πP

📗 Python उदाहरण (Markov Chain Simulation):

import numpy as np

states = ['Sunny', 'Cloudy', 'Rainy']
P = np.array([[0.7, 0.2, 0.1],
              [0.3, 0.4, 0.3],
              [0.2, 0.5, 0.3]])

def next_state(current, P):
    return np.random.choice(states, p=P[states.index(current)])

current = 'Sunny'
for _ in range(10):
    current = next_state(current, P)
    print(current)

🧠 मार्कोव चेन के प्रकार:

• 1️⃣ Discrete-Time Markov Chain: सीमित समय अंतराल पर अपडेट।
• 2️⃣ Continuous-Time Markov Chain: निरंतर समय पर संक्रमण।
• 3️⃣ Hidden Markov Model (HMM): जब अवस्थाएँ सीधे दिखाई नहीं देतीं।

🚀 डीप लर्निंग में अनुप्रयोग:

• 🔹 Speech Recognition: Hidden Markov Models का उपयोग phoneme sequences सीखने में।
• 🔹 Natural Language Processing: अगले शब्द की भविष्यवाणी (language modeling)।
• 🔹 Reinforcement Learning: Markov Decision Process (MDP) के आधार पर निर्णय लेना।
• 🔹 Stock Price Prediction: Time Series Modeling के लिए।
• 🔹 Weather Forecasting: संभावनाओं के आधार पर मौसम का अनुमान।

⚖️ मार्कोव नेटवर्क बनाम मार्कोव चेन:

विशेषता	Markov Network	Markov Chain
Edge Type	Undirected	Sequential Transition
Representation	Graphical (Variables)	States & Probabilities
Focus	Mutual Dependence	Temporal Dependence

📙 निष्कर्ष:

Markov Chain एक सरल लेकिन शक्तिशाली मॉडल है जो यादृच्छिक प्रक्रियाओं (stochastic processes) के व्यवहार को समझने में मदद करता है। यह डीप लर्निंग, स्पीच, NLP और रीइन्फोर्समेंट लर्निंग में एक मौलिक भूमिका निभाता है। 2025 में भी, Markov Chains और उनके विस्तार जैसे HMMs और MDPs, AI सिस्टम्स में temporal reasoning के लिए अत्यंत प्रासंगिक बने हुए हैं।