मार्कोव प्रक्रिया (Markov Process)

परिचय

मार्कोव प्रक्रिया (Markov Process) संख्या सिद्धांत और आकस्मिक प्रक्रियाओं (Stochastic Processes) की सबसे महत्वपूर्ण अवधारणाओं में से एक है। इस प्रक्रिया का नाम रूसी गणितज्ञ आंद्रे मार्कोव (Andrey Markov) के नाम पर रखा गया है। यह ऐसी आकस्मिक प्रक्रिया है जिसमें किसी सिस्टम की अगली अवस्था केवल उसकी वर्तमान अवस्था पर निर्भर करती है, न कि उसके पिछले इतिहास पर। इसी गुण को Markov Property कहा जाता है।

मार्कोव प्रक्रिया का उपयोग डेटा साइंस, मशीन लर्निंग, सांख्यिकीय मॉडलिंग, क्रिप्टोग्राफी, और नेटवर्क एनालिसिस जैसे क्षेत्रों में किया जाता है।

परिभाषा

किसी आकस्मिक प्रक्रिया X(t) को मार्कोव प्रक्रिया कहा जाता है यदि यह शर्त पूरी होती है:

P[X(tₙ₊₁) = xₙ₊₁ | X(tₙ) = xₙ, X(tₙ₋₁) = xₙ₋₁, …, X(t₀) = x₀] = P[X(tₙ₊₁) = xₙ₊₁ | X(tₙ) = xₙ]

अर्थात, भविष्य की अवस्था केवल वर्तमान अवस्था पर निर्भर करती है, अतीत पर नहीं।

मुख्य घटक

• State (अवस्था): किसी सिस्टम की वर्तमान स्थिति।
• State Space: संभावित सभी अवस्थाओं का समूह।
• Transition Probability: किसी एक अवस्था से दूसरी अवस्था में जाने की प्रायिकता।
• Time Parameter: प्रक्रिया का समय मापदंड — Discrete या Continuous।

मार्कोव प्रक्रिया के प्रकार

• 1. Discrete-time Markov Process: समय को सीमित या डिस्क्रीट चरणों में मापा जाता है (जैसे t = 0,1,2,...)
• 2. Continuous-time Markov Process: समय निरंतर (Continuous) होता है।

मार्कोव गुणधर्म (Markov Property)

यदि X(t) एक Markov Process है, तो भविष्य का अनुमान केवल वर्तमान स्थिति पर आधारित होता है, अर्थात:

P[X(t+Δt) | X(t)] = P[X(t+Δt) | X(t), X(t-Δt), ...]

यह गुणधर्म किसी सिस्टम को मेमोरी-लेस (Memoryless) बनाता है।

उदाहरण

1️⃣ मौसम परिवर्तन मॉडल

मान लीजिए कि किसी दिन का मौसम केवल पिछले दिन के मौसम पर निर्भर करता है। यदि आज धूप है तो कल धूप होने की संभावना 0.7 है और बारिश होने की 0.3। इसी प्रकार, यदि आज बारिश है, तो कल धूप होने की संभावना 0.4 और बारिश की 0.6 है। यह एक सरल Discrete-time Markov Process है।

2️⃣ वेबसाइट ट्रैफिक मॉडल

किसी यूजर के एक पेज से दूसरे पेज पर जाने की संभावना मार्कोव प्रक्रिया द्वारा व्यक्त की जा सकती है। उदाहरण के लिए, होमपेज से “प्रोडक्ट पेज” पर जाने की संभावना 0.5 और “अबाउट पेज” पर जाने की संभावना 0.3 हो सकती है। यह मॉडल “Markov Chain Based Recommendation System” में उपयोग किया जाता है।

संक्रमण प्रायिकता (Transition Probability)

मार्कोव प्रक्रिया में संक्रमण प्रायिकता वह प्रायिकता होती है कि सिस्टम समय t में अवस्था i में है और समय t+1 पर अवस्था j में पहुँच जाता है।

P_ij = P[X_t+1 = j | X_t = i]

संक्रमण मैट्रिक्स (Transition Matrix)

किसी Markov Process की सभी संक्रमण प्रायिकताओं को एक मैट्रिक्स रूप में दर्शाया जा सकता है:

P = ⎡ P₁₁ P₁₂ P₁₃ ⎤
⎣ P₂₁ P₂₂ P₂₃ ⎦

इसमें प्रत्येक पंक्ति का योग 1 होता है क्योंकि किसी भी स्थिति से किसी स्थिति में जाने की कुल प्रायिकता 1 होती है।

गुणधर्म (Properties)

• Markov Property (Memoryless)
• Transition probabilities are non-negative and ≤ 1
• Sum of transition probabilities from each state = 1
• It can be time-dependent or time-independent (homogeneous)

मार्कोव प्रक्रिया का उपयोग

• वित्तीय मॉडलिंग (Stock Market Prediction)
• Machine Learning (Hidden Markov Models)
• Genetics (Gene Sequence Analysis)
• Queueing Systems (Customer Arrival and Service)
• Search Engine Ranking (PageRank Algorithm)

वास्तविक उदाहरण — PageRank Algorithm

Google का PageRank Algorithm एक मार्कोव मॉडल पर आधारित है जिसमें प्रत्येक वेबसाइट को एक “State” माना जाता है और एक वेबसाइट से दूसरी वेबसाइट पर जाने की संभावना को “Transition Probability” कहा जाता है। यह प्रक्रिया लगातार दोहराई जाती है जब तक कि सिस्टम एक स्थिर अवस्था (Steady State) पर नहीं पहुँच जाता।

गणितीय मॉडलिंग

यदि P संक्रमण प्रायिकता मैट्रिक्स है और π(t) स्थिति वितरण वेक्टर है, तो अगले समय की स्थिति दी जाएगी:

π(t+1) = π(t) × P

जब प्रक्रिया स्थिर अवस्था में पहुँचती है, तब π(t+1) = π(t), जिसे Steady State कहा जाता है।

निष्कर्ष

मार्कोव प्रक्रिया एक अत्यंत शक्तिशाली गणितीय उपकरण है जो Random Systems के विश्लेषण और भविष्यवाणी के लिए उपयोगी है। इसका उपयोग डेटा साइंस, आर्टिफिशियल इंटेलिजेंस और नेटवर्क थ्योरी में व्यापक रूप से किया जाता है। यह जटिल वास्तविक प्रणालियों को मॉडल करने में सहायता करता है, जैसे कि वेबसाइट ट्रैफिक, मौसम परिवर्तन, शेयर बाजार या ग्राहक व्यवहार।