मार्कोव श्रृंखला (Markov Chain)

परिचय

मार्कोव श्रृंखला (Markov Chain) एक प्रकार की आकस्मिक प्रक्रिया (Stochastic Process) है जिसमें किसी सिस्टम की अगली अवस्था केवल उसकी वर्तमान अवस्था पर निर्भर करती है, न कि उसके पिछले इतिहास पर। इस गुणधर्म को Markov Property कहा जाता है।

मार्कोव श्रृंखला का नाम प्रसिद्ध रूसी गणितज्ञ आंद्रे मार्कोव (Andrey Markov) के नाम पर रखा गया है। यह प्रक्रिया डेटा साइंस, मशीन लर्निंग, सांख्यिकी, फाइनेंस, नेटवर्क एनालिटिक्स, और क्रिप्टोग्राफी जैसे क्षेत्रों में व्यापक रूप से प्रयुक्त होती है।

मार्कोव श्रृंखला की परिभाषा

किसी यादृच्छिक चर (Random Variable) X₀, X₁, X₂, ... का अनुक्रम मार्कोव श्रृंखला कहलाता है यदि यह निम्न शर्त पूरी करता है:

P[Xₙ₊₁ = j | Xₙ = i, Xₙ₋₁ = k, ..., X₀ = m] = P[Xₙ₊₁ = j | Xₙ = i]

अर्थात, भविष्य की अवस्था (Future State) केवल वर्तमान अवस्था पर निर्भर करती है, न कि उससे पहले की अवस्थाओं पर।

मुख्य तत्व

• State Space (स्थिति स्थान): सभी संभावित अवस्थाओं का समूह।
• Transition Probability (संक्रमण प्रायिकता): एक अवस्था से दूसरी अवस्था में जाने की संभावना।
• Transition Matrix (संक्रमण मैट्रिक्स): सभी संक्रमण प्रायिकताओं का सारणीबद्ध रूप।
• Initial Probability Distribution (प्रारंभिक प्रायिकता वितरण): किसी अवस्था से शुरुआत होने की संभावना।

मार्कोव गुणधर्म (Markov Property)

यह गुणधर्म कहता है कि किसी प्रणाली की वर्तमान अवस्था उसकी भविष्यवाणी के लिए पर्याप्त है — भविष्य की अवस्था वर्तमान अवस्था पर निर्भर करती है, अतीत पर नहीं। इसलिए इसे “Memoryless Property” भी कहा जाता है।

मार्कोव श्रृंखला का वर्गीकरण

• 1️⃣ Discrete-time Markov Chain (DTMC): समय को चरणों (Steps) में विभाजित किया जाता है, जैसे t = 0, 1, 2, ...
• 2️⃣ Continuous-time Markov Chain (CTMC): समय निरंतर (Continuous) होता है, जैसे t ∈ ℝ।

संक्रमण प्रायिकता मैट्रिक्स

यदि किसी मार्कोव श्रृंखला में n अवस्थाएँ हैं, तो संक्रमण प्रायिकताओं को एक n×n मैट्रिक्स के रूप में व्यक्त किया जा सकता है:

P = ⎡ P₁₁ P₁₂ P₁₃ ⎤
⎣ P₂₁ P₂₂ P₂₃ ⎦
⎣ P₃₁ P₃₂ P₃₃ ⎦

यहाँ, P_ij = P[X_t+1 = j | X_t = i]

उदाहरण

मान लीजिए किसी मौसम प्रणाली में तीन अवस्थाएँ हैं: “धूप”, “बादल”, और “बारिश”।

P = ⎡ 0.6 0.3 0.1 ⎤
⎣ 0.4 0.4 0.2 ⎦
⎣ 0.2 0.3 0.5 ⎦

यदि आज धूप है, तो कल धूप होने की संभावना 0.6, बादल होने की 0.3, और बारिश की 0.1 है।

मार्कोव श्रृंखला के प्रकार

• 1️⃣ Homogeneous Markov Chain: संक्रमण प्रायिकता समय के साथ स्थिर रहती है।
• 2️⃣ Non-Homogeneous Markov Chain: संक्रमण प्रायिकता समय पर निर्भर करती है।

मार्कोव श्रृंखला के गुणधर्म

• प्रत्येक पंक्ति का योग 1 होता है।
• सभी संक्रमण प्रायिकताएँ 0 और 1 के बीच होती हैं।
• स्थिर अवस्था (Steady State) संभव होती है जहाँ प्रणाली संतुलन में आ जाती है।
• Markov Property हमेशा लागू होती है।

n-चरण संक्रमण

यदि हमें n चरणों के बाद किसी अवस्था में जाने की संभावना निकालनी हो, तो संक्रमण मैट्रिक्स का nवाँ घात निकाला जाता है:

P⁽ⁿ⁾ = Pⁿ

स्थिर अवस्था (Steady State)

जब मार्कोव श्रृंखला कई संक्रमणों के बाद स्थिर हो जाती है (अर्थात किसी भी अवस्था से शुरू करने पर समान दीर्घकालिक संभावना प्राप्त होती है), तो उसे स्थिर अवस्था कहा जाता है। इस स्थिति में:

πP = π और Σ π_i = 1

वास्तविक जीवन अनुप्रयोग

• Google PageRank: वेबसाइट लिंकिंग के आधार पर स्थिर संभावना वितरण।
• Speech Recognition: Hidden Markov Models के माध्यम से ध्वनि अनुक्रमों की पहचान।
• Finance: मार्केट स्टेट का मॉडलिंग (Bullish, Bearish, Neutral)।
• Weather Prediction: कई दिनों के बाद मौसम की भविष्यवाणी।
• Genetic Modeling: डीएनए अनुक्रमों का अध्ययन।

Python द्वारा मॉडलिंग

import numpy as np

# Transition Matrix
P = np.array([[0.6, 0.3, 0.1],
              [0.4, 0.4, 0.2],
              [0.2, 0.3, 0.5]])

# Initial State
pi0 = np.array([1, 0, 0])  # Sunny initially

# After 5 steps
pi5 = np.dot(pi0, np.linalg.matrix_power(P, 5))
print(pi5)

यह कोड पाँच चरणों के बाद प्रत्येक मौसम अवस्था की संभावना देगा।

महत्व

• भविष्यवाणी और निर्णय-निर्माण में सहायक।
• सिस्टम की दीर्घकालिक स्थिरता को मापने में उपयोगी।
• Machine Learning मॉडलिंग में अनुक्रम डेटा की समझ के लिए आधारभूत।
• Complex सिस्टमों (जैसे नेटवर्क, ट्रैफिक, मार्केट) के व्यवहार का विश्लेषण।

निष्कर्ष

मार्कोव श्रृंखला एक अत्यंत शक्तिशाली गणितीय उपकरण है जो समय-आधारित, यादृच्छिक प्रणालियों के मॉडलिंग और विश्लेषण के लिए प्रयोग की जाती है। इसकी सहायता से हम यह समझ सकते हैं कि एक सिस्टम समय के साथ कैसे विकसित होता है और किस अवस्था में संतुलन प्राप्त करता है। डेटा साइंस और मशीन लर्निंग में मार्कोव श्रृंखला भविष्यवाणी, जोखिम विश्लेषण और निर्णय प्रणाली में एक मजबूत आधार प्रदान करती है।