मार्कोव श्रृंखला

दो-राज्य मार्कोव प्रक्रिया का प्रतिनिधित्व करने वाला आरेख। संख्या एक राज्य से दूसरे राज्य में बदलने की संभावना है।

एक मार्कोव श्रृंखला या मार्कोव प्रक्रिया संभावित घटनाओं के अनुक्रम का वर्णन करने वाली एक अनेक संभावनाओं में से चुनी हूई प्रक्रिया है जिसमें प्रत्येक घटना की संभावना केवल पिछली घटना में प्राप्त स्थिति पर निर्भर करती है। अनौपचारिक रूप से, इसके बारे में सोचा जा सकता है, आगे क्या होता है यह केवल अब मामलों की स्थिति पर निर्भर करता है। एक अनगिनत अनंत अनुक्रम, जिसमें श्रृंखला असतत समय चरणों में चलती है, असतत समय मार्कोव श्रृंखला (DTMC) देती है। निरंतर समय की प्रक्रिया को निरंतर समय मार्कोव श्रृंखला (सीटीएमसी) कहा जाता है। इसका नाम रूसी गणितज्ञ एंड्री मार्कोव के नाम पर रखा गया है।

मार्कोव श्रृंखलाओं में वास्तविक दुनिया की प्रक्रियाओं के सांख्यिकीय मॉडल के रूप में कई अनुप्रयोग हैं, जैसे कि मोटर वाहनों में क्रूज नियंत्रण का अध्ययन, हवाईअड्डे पर आने वाले ग्राहकों की कतारें या कतारें, मुद्रा विनिमय दर और पशु आबादी की गतिशीलता। मार्कोव प्रक्रियाएं मार्कोव चेन मोंटे कार्लो के रूप में जानी जाने वाली सामान्य स्टोचैस्टिक सिमुलेशन विधियों का आधार हैं, जिनका उपयोग जटिल संभाव्यता वितरण से नमूने के अनुकरण के लिए किया जाता है, और बायेसियन सांख्यिकी, ऊष्मप्रवैगिकी, सांख्यिकीय यांत्रिकी, भौतिकी, रसायन विज्ञान, अर्थशास्त्र, वित्त, संकेत में आवेदन पाया है। प्रसंस्करण, सूचना सिद्धांत और भाषण प्रसंस्करण। विशेषण मार्कोवियन और मार्कोव का उपयोग मार्कोव प्रक्रिया से संबंधित किसी चीज का वर्णन करने के लिए किया जाता है।

सिद्धांत

286x286 पीएक्स

परिभाषा

मार्कोव प्रक्रिया एक स्टोकेस्टिक प्रक्रिया है जो मार्कोव संपत्ति को संतुष्ट करती है(कभी-कभी स्मृतिहीनता के रूप में जाना जाता है)। सरल शब्दों में, यह एक ऐसी प्रक्रिया है जिसके लिए भविष्य के परिणामों के बारे में भविष्यवाणियां पूरी तरह से इसकी वर्तमान स्थिति के आधार पर की जा सकती हैं और सबसे महत्वपूर्ण बात यह है कि इस तरह की भविष्यवाणियां उतनी ही अच्छी होती हैं जितनी कि प्रक्रिया के पूरे इतिहास को जानकर की जा सकती हैं। दूसरे शब्दों में, सिस्टम की वर्तमान स्थिति, उसके भविष्य और पिछले राज्यों पर सशर्त संभाव्यता स्वतंत्रता (संभावना सिद्धांत) है।

मार्कोव श्रृंखला एक प्रकार की मार्कोव प्रक्रिया है जिसमें या तो असतत राज्य स्थान या असतत सूचकांक सेट होता है (अक्सर समय का प्रतिनिधित्व करता है), लेकिन मार्कोव श्रृंखला की सटीक परिभाषा भिन्न होती है। उदाहरण के लिए, एक मार्कोव श्रृंखला को एक मार्कोव प्रक्रिया के रूप में परिभाषित करना आम है या तो निरंतर या असतत चर में एक गणनीय राज्य स्थान के साथ (इस प्रकार समय की प्रकृति की परवाह किए बिना), लेकिन मार्कोव श्रृंखला को गणनीय या निरंतर राज्य स्थान (इस प्रकार राज्य स्थान की परवाह किए बिना) में असतत समय के रूप में परिभाषित करना भी आम है।

मार्कोव चेन के प्रकार

सिस्टम के स्टेट स्पेस और टाइम पैरामीटर इंडेक्स को निर्दिष्ट करने की आवश्यकता है। निम्न तालिका राज्य अंतरिक्ष सामान्यता के विभिन्न स्तरों और असतत समय बनाम निरंतर समय के लिए मार्कोव प्रक्रियाओं के विभिन्न उदाहरणों का एक सिंहावलोकन देती है:

	Countable state space	Continuous or general state space
Discrete-time	(discrete-time) Markov chain on a countable or finite state space	Markov chain on a measurable state space (for example, Harris chain)
Continuous-time	Continuous-time Markov process or Markov jump process	Any continuous stochastic process with the Markov property (for example, the Wiener process)

ध्यान दें कि मार्कोव प्रक्रियाओं के विशेष मामलों को दर्शाने वाले कुछ शब्दों के उपयोग पर साहित्य में कोई निश्चित सहमति नहीं है। आमतौर पर मार्कोव श्रृंखला शब्द असतत समय के साथ एक प्रक्रिया के लिए आरक्षित होता है, जो कि असतत-समय मार्कोव श्रृंखला (DTMC) है। लेकिन कुछ लेखक स्पष्ट उल्लेख के बिना निरंतर-समय मार्कोव श्रृंखला (सीटीएमसी) को संदर्भित करने के लिए मार्कोव प्रक्रिया शब्द का उपयोग करते हैं। इसके अलावा, मार्कोव प्रक्रियाओं के अन्य विस्तार भी हैं जिन्हें इस तरह संदर्भित किया जाता है लेकिन जरूरी नहीं कि वे इन चार श्रेणियों में से किसी के अंतर्गत आते हों (मार्कोव मॉडल देखें)। इसके अलावा, समय सूचकांक का वास्तविक मूल्य होना जरूरी नहीं है; राज्य स्थान की तरह, ऐसी बोधगम्य प्रक्रियाएँ हैं जो अन्य गणितीय निर्माणों के साथ सूचकांक सेटों के माध्यम से चलती हैं। ध्यान दें कि सामान्य स्थिति स्थान निरंतर-समय मार्कोव श्रृंखला इस हद तक सामान्य है कि इसकी कोई निर्दिष्ट अवधि नहीं है।

जबकि समय पैरामीटर आमतौर पर असतत होता है, मार्कोव श्रृंखला के राज्य स्थान में आम तौर पर कोई प्रतिबंध नहीं होता है: यह शब्द एक मनमाना राज्य स्थान पर एक प्रक्रिया को संदर्भित कर सकता है। हालांकि, मार्कोव श्रृंखलाओं के कई अनुप्रयोग परिमित या गणनीय सेट स्टेट स्पेस को नियोजित करते हैं, जिनका अधिक सीधा सांख्यिकीय विश्लेषण होता है। टाइम-इंडेक्स और स्टेट-स्पेस पैरामीटर के अलावा, कई अन्य भिन्नताएं, एक्सटेंशन और सामान्यीकरण हैं (देखें #विविधताएं)। सादगी के लिए, इस लेख का अधिकांश भाग असतत-समय, असतत राज्य-स्थान मामले पर केंद्रित है, जब तक कि अन्यथा उल्लेख न किया गया हो।

संक्रमण

सिस्टम की स्थिति के परिवर्तन को संक्रमण कहा जाता है।विभिन्न राज्य परिवर्तनों से जुड़ी संभावनाओं को संक्रमण संभावनाएं कहा जाता है। इस प्रक्रिया को एक राज्य स्थान, विशेष संक्रमण की संभावनाओं का वर्णन करने वाला एक स्टोकेस्टिक मैट्रिक्स, और राज्य अंतरिक्ष में एक प्रारंभिक अवस्था (या प्रारंभिक वितरण) की विशेषता है। परिपाटी के अनुसार, हम मानते हैं कि प्रक्रिया की परिभाषा में सभी संभावित अवस्थाएं और संक्रमण शामिल किए गए हैं, इसलिए हमेशा एक अगली स्थिति होती है, और प्रक्रिया समाप्त नहीं होती है।

असतत-समय की यादृच्छिक प्रक्रिया में एक प्रणाली शामिल होती है जो प्रत्येक चरण में एक निश्चित स्थिति में होती है, जिसमें राज्य चरणों के बीच यादृच्छिक रूप से बदलते हैं।चरणों को अक्सर समय के क्षणों के रूप में माना जाता है, लेकिन वे भौतिक दूरी या किसी अन्य असतत माप को समान रूप से अच्छी तरह से संदर्भित कर सकते हैं। औपचारिक रूप से, चरण पूर्णांक या प्राकृतिक संख्याएं हैं, और यादृच्छिक प्रक्रिया राज्यों के लिए इनकी मैपिंग है। मार्कोव संपत्ति बताती है कि अगले चरण में सिस्टम के लिए सशर्त संभाव्यता वितरण (और वास्तव में सभी भविष्य के चरणों में) केवल सिस्टम की वर्तमान स्थिति पर निर्भर करता है, और इसके अतिरिक्त पिछले चरणों में सिस्टम की स्थिति पर नहीं।

चूंकि प्रणाली बेतरतीब ढंग से बदलती है, भविष्य में किसी निश्चित बिंदु पर मार्कोव श्रृंखला की स्थिति की भविष्यवाणी करना आम तौर पर असंभव है।हालाँकि, सिस्टम के भविष्य के सांख्यिकीय गुणों का अनुमान लगाया जा सकता है।कई अनुप्रयोगों में, ये सांख्यिकीय गुण हैं जो महत्वपूर्ण हैं।

इतिहास

मार्कोव ने 20वीं शताब्दी की शुरुआत में मार्कोव प्रक्रियाओं का अध्ययन किया, 1906 में इस विषय पर अपना पहला पेपर प्रकाशित किया। 20वीं शताब्दी की शुरुआत में एंड्री मार्कोव के काम से बहुत पहले निरंतर समय में मार्कोव प्रक्रियाओं की खोज की गई थीपोइसन बिंदु प्रक्रिया के रूप में। मार्कोव स्वतंत्र यादृच्छिक अनुक्रमों के विस्तार का अध्ययन करने में रुचि रखते थे, जो पावेल नेक्रासोव के साथ असहमति से प्रेरित थे जिन्होंने दावा किया था कि बड़ी संख्या के कमजोर कानून को बनाए रखने के लिए स्वतंत्रता आवश्यक थी। 1906 में प्रकाशित मार्कोव श्रृंखलाओं पर अपने पहले पेपर में, मार्कोव ने दिखाया कि कुछ शर्तों के तहत मार्कोव श्रृंखला के औसत परिणाम मूल्यों के एक निश्चित सदिश में परिवर्तित हो जाएंगे, इसलिए स्वतंत्रता धारणा के बिना बड़ी संख्या के कमजोर कानून को साबित करना,जिसे आमतौर पर ऐसे गणितीय कानूनों को धारण करने के लिए एक आवश्यकता के रूप में माना जाता था।मार्कोव ने बाद में अलेक्जेंडर पुश्किन द्वारा लिखित यूजीन वनगिन में स्वरों के वितरण का अध्ययन करने के लिए मार्कोव श्रृंखलाओं का उपयोग किया और इस तरह की श्रृंखलाओं के लिए मार्कोव श्रृंखला केंद्रीय सीमा प्रमेय साबित किया।

1912 में हेनरी पोंकारे ने कार्ड शफलिंग का अध्ययन करने के उद्देश्य से परिमित समूहों पर मार्कोव श्रृंखलाओं का अध्ययन किया। मार्कोव श्रृंखलाओं के अन्य शुरुआती उपयोगों में 1907 में पॉल एहरनफेस्ट और तात्याना एरेनफेस्ट द्वारा पेश किया गया प्रसार मॉडल और मार्कोव के काम से पहले 1873 में फ्रांसिस गैल्टन और हेनरी विलियम वाटसन द्वारा शुरू की गई एक शाखा प्रक्रिया शामिल है।गैल्टन और वाटसन के काम के बाद, बाद में यह पता चला कि उनकी शाखाओं की प्रक्रिया स्वतंत्र रूप से खोजी गई थी और लगभग तीन दशक पहले इरेनी-जूल्स बिएनमे द्वारा अध्ययन किया गया था। 1928 में शुरू होकर, मौरिस फ्रेचेट मार्कोव श्रृंखलाओं में दिलचस्पी लेने लगे, जिसके परिणामस्वरूप उन्हें 1938 में मार्कोव श्रृंखलाओं पर एक विस्तृत अध्ययन प्रकाशित करना पड़ा। एंड्री कोलमोगोरोव ने 1931 के पेपर में निरंतर-समय मार्कोव प्रक्रियाओं के प्रारंभिक सिद्धांत का एक बड़ा हिस्सा विकसित किया। कोलमोगोरोव आंशिक रूप से स्टॉक मार्केट में उतार-चढ़ाव पर लुइस बैचलर के 1900 के काम के साथ-साथ आइंस्टीन के ब्राउनियन आंदोलन के मॉडल पर नॉर्बर्ट वीनर के काम से प्रेरित थे। उन्होंने मार्कोव प्रक्रियाओं के एक विशेष सेट को पेश किया और अध्ययन किया, जिसे प्रसार प्रक्रियाओं के रूप में जाना जाता है, जहां उन्होंने प्रक्रियाओं का वर्णन करने वाले अंतर समीकरणों का एक सेट निकाला। कोल्मोगोरोव के काम से स्वतंत्र, सिडनी चैपमैन (गणितज्ञ) ने 1928 के पेपर ए इक्वेशन में व्युत्पन्न किया, जिसे अब चैपमैन-कोल्मोगोरोव समीकरण कहा जाता है, कोलमोगोरोव की तुलना में गणितीय रूप से कम कठोर तरीके से, ब्राउनियन आंदोलन का अध्ययन करते हुए। अवकल समीकरणों को अब कोलमोगोरोव समीकरण कहा जाता है या कोलमोगोरोव-चैपमैन समीकरण। मार्कोव प्रक्रियाओं की नींव में महत्वपूर्ण योगदान देने वाले अन्य गणितज्ञों में विलियम फेलर शामिल हैं, जो 1930 के दशक में शुरू हुआ, और फिर बाद में 1950 के दशक में यूजीन डायनकिन।

उदाहरण

Main article: Examples of Markov chains

• पूर्णांकों पर आधारित यादृच्छिक चाल और जुआरी की बर्बादी की समस्या मार्कोव प्रक्रियाओं के उदाहरण हैं। स्वतंत्र चर के संदर्भ में इन प्रक्रियाओं की कुछ विविधताओं का सैकड़ों साल पहले अध्ययन किया गया था। मार्कोव प्रक्रियाओं के दो महत्वपूर्ण उदाहरण हैं वीनर प्रक्रिया, जिसे ब्राउनियन गति प्रक्रिया के रूप में भी जाना जाता है, और पॉसों प्रक्रिया,जिन्हें स्टोकेस्टिक प्रक्रियाओं के सिद्धांत में सबसे महत्वपूर्ण और केंद्रीय स्टोकेस्टिक प्रक्रियाएं माना जाता है। ये दो प्रक्रियाएँ निरंतर समय में मार्कोव प्रक्रियाएँ हैं, जबकि पूर्णांकों पर यादृच्छिक चलना और जुआरी की बर्बादी की समस्या असतत समय में मार्कोव प्रक्रियाओं के उदाहरण हैं।*एक प्रसिद्ध मार्कोव श्रृंखला तथाकथित शराबी का चलना है, संख्या रेखा पर एक यादृच्छिक चलना है, जहां प्रत्येक चरण पर, समान संभावना के साथ स्थिति +1 या -1 से बदल सकती है। किसी भी स्थिति से अगले या पिछले पूर्णांक में दो संभावित संक्रमण होते हैं। संक्रमण की संभावनाएं केवल वर्तमान स्थिति पर निर्भर करती हैं, उस तरीके पर नहीं जिस पर स्थिति पहुंची थी। उदाहरण के लिए, 5 से 4 और 5 से 6 में संक्रमण की संभावनाएं दोनों 0.5 हैं, और 5 से अन्य सभी संक्रमण संभावनाएं 0 हैं। ये संभावनाएं इस बात से स्वतंत्र हैं कि सिस्टम पहले 4 या 6 में था।
• एक अन्य उदाहरण एक अत्यधिक सैद्धांतिक जानवर की आहार संबंधी आदतें हैं जो केवल अंगूर, पनीर, या सलाद खाता है, और जिनकी आहार संबंधी आदतें निम्नलिखित नियमों के अनुरूप हैं:
  • यह दिन में ठीक एक बार खाता है।
  • अगर उसने आज पनीर खाया, तो कल वह सलाद या अंगूर खाएगा, इसकी समान संभावना है।
  • अगर उसने आज अंगूर खाया, तो कल वह 1/10 प्रायिकता वाला अंगूर खाएगा, चीज़ 4/10 प्रायिकता वाला, और लेट्यूस 5/10 प्रायिकता वाला।
  • अगर उसने आज सलाद खाया, तो कल वह 4/10 प्रायिकता के साथ अंगूर या 6/10 संभावना वाला पनीर खाएगा। यह कल फिर से सलाद नहीं खाएगा।
• इस जानवर की खाने की आदतों को एक मार्कोव श्रृंखला के साथ तैयार किया जा सकता है, क्योंकि कल का चुनाव पूरी तरह से इस बात पर निर्भर करता है कि उसने आज क्या खाया, न कि उसने कल या अतीत में किसी अन्य समय में क्या खाया। एक सांख्यिकीय संपत्ति जिसकी गणना की जा सकती है, लंबी अवधि में, उन दिनों का अपेक्षित प्रतिशत है, जिस दिन जानवर अंगूर खाएगा।
• स्वतंत्र घटनाओं की एक श्रृंखला (उदाहरण के लिए, सिक्के की एक श्रृंखला) एक मार्कोव श्रृंखला की औपचारिक परिभाषा को संतुष्ट करती है। हालांकि, सिद्धांत आमतौर पर केवल तभी लागू होता है जब अगले चरण की संभाव्यता वितरण गैर-तुच्छ रूप से वर्तमान स्थिति पर निर्भर करता है।

एक गैर-मार्कोव उदाहरण

मान लीजिए कि एक सिक्का पर्स है जिसमें पाँच क्वार्टर (प्रत्येक का मूल्य 25 ¢), पाँच डाइम्स (प्रत्येक का मूल्य 10 ¢), और पाँच निकल (प्रत्येक का मूल्य 5 ¢) है, और एक-एक करके, सिक्कों को पर्स से बेतरतीब ढंग से निकाला जाता है और एक टेबल पर सेट करें। यदि $X_{n}$ के बाद टेबल पर सेट किए गए सिक्कों के कुल मूल्य का प्रतिनिधित्व करता है n साथ खींचता है $X_{0}=0$, फिर क्रम $\{X_{n}:n\in \mathbb {N} \}$ मार्कोव प्रक्रिया नहीं है।

यह देखने के लिए कि ऐसा क्यों है, मान लीजिए कि पहले छह ड्रॉ में, सभी पाँच निकल और एक चौथाई निकाल लिए गए हैं। इस प्रकार $X_{6}=\$0.50$. अगर हम नहीं जानते हैं $X_{6}$, लेकिन पहले के मान भी, तब हम यह निर्धारित कर सकते हैं कि कौन से सिक्के निकाले गए हैं, और हम जानते हैं कि अगला सिक्का निकल नहीं होगा; इसलिए हम यह निर्धारित कर सकते हैं $X_{7}\geq \$0.60$ प्रायिकता 1 के साथ। लेकिन यदि हम पहले के मान नहीं जानते हैं, तो केवल मान के आधार पर $X_{6}$ हम अनुमान लगा सकते हैं कि हमने चार डाइम और दो निकल निकाले थे, इस मामले में निश्चित रूप से एक और निकल निकालना संभव होगा। इस प्रकार, हमारा अनुमान है $X_{7}$ से पहले मूल्यों के बारे में हमारे ज्ञान से प्रभावित होते हैं $X_{6}$.

हालाँकि, इस परिदृश्य को मार्कोव प्रक्रिया के रूप में मॉडल करना संभव है। परिभाषित करने के बजाय $X_{n}$ मेज पर सिक्कों के कुल मूल्य का प्रतिनिधित्व करने के लिए, हम परिभाषित कर सकते हैं $X_{n}$ मेज पर विभिन्न प्रकार के सिक्कों की गिनती का प्रतिनिधित्व करने के लिए। उदाहरण के लिए, $X_{6}=1,0,5$ उस राज्य का प्रतिनिधित्व करने के लिए परिभाषित किया जा सकता है जहां 6 एक-एक-एक ड्रॉ के बाद मेज पर एक चौथाई, शून्य डिम और पांच निकल हैं। इस नए मॉडल का प्रतिनिधित्व किया जा सकता है $6\times 6\times 6=216$ संभावित राज्य, जहां प्रत्येक राज्य टेबल पर मौजूद प्रत्येक प्रकार के सिक्कों (0 से 5 तक) की संख्या का प्रतिनिधित्व करता है। (ये सभी राज्य 6 ड्रॉ के भीतर उपलब्ध नहीं हैं।) मान लीजिए कि राज्य में पहले ड्रा का परिणाम है $X_{1}=0,1,0$. प्राप्ति की संभावना है $X_{2}$ अब निर्भर करता है $X_{1}$; उदाहरण के लिए, राज्य $X_{2}=1,0,1$ संभव नहीं है। दूसरे ड्रॉ के बाद, तीसरा ड्रॉ इस बात पर निर्भर करता है कि अब तक कौन से सिक्के निकाले गए हैं, लेकिन अब केवल उन सिक्कों पर नहीं है जो पहले राज्य के लिए निकाले गए थे (चूंकि संभावित रूप से महत्वपूर्ण जानकारी परिदृश्य में जोड़ दी गई है)। ऐसे में की संभावना है $X_{n}=i,j,k$ राज्य विशेष रूप से के परिणाम पर निर्भर करता है $X_{n-1}=\ell ,m,p$ राज्य।

औपचारिक परिभाषा

असतत-समय मार्कोव श्रृंखला

Main article: Discrete-time Markov chain

असतत-समय मार्कोव श्रृंखला यादृच्छिक चर X का एक क्रम है₁, एक्स₂, एक्स₃, ... मार्कोव संपत्ति के साथ, अर्थात् अगले राज्य में जाने की संभावना केवल वर्तमान स्थिति पर निर्भर करती है और पिछले राज्यों पर नहीं:

$\Pr(X_{n+1}=x\mid X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n})=\Pr(X_{n+1}=x\mid X_{n}=x_{n}),$ यदि दोनों सशर्त संभाव्यता अच्छी तरह से परिभाषित हैं, अर्थात यदि $\Pr(X_{1}=x_{1},\ldots ,X_{n}=x_{n})>0.$

X के संभावित मान_i एक गणनीय सेट S का निर्माण करें जिसे श्रृंखला का राज्य स्थान कहा जाता है।

विविधताएं

• समय-सजातीय मार्कोव श्रृंखलाएं ऐसी प्रक्रियाएं हैं जहां
  $$\Pr(X_{n+1}=x\mid X_{n}=y)=\Pr(X_{n}=x\mid X_{n-1}=y)$$
  सभी के लिए एन। संक्रमण की संभावना n से स्वतंत्र है।
• स्टेशनरी मार्कोव चेन ऐसी प्रक्रियाएं हैं जहां
  $$\Pr(X_{0}=x_{0},X_{1}=x_{1},\ldots ,X_{k}=x_{k})=\Pr(X_{n}=x_{0},X_{n+1}=x_{1},\ldots ,X_{n+k}=x_{k})$$
  सभी एन और के के लिए। बेयस के नियम से प्रत्येक स्थिर श्रृंखला को समय-सजातीय साबित किया जा सकता है।
  समय-सजातीय मार्कोव श्रृंखला के स्थिर होने के लिए एक आवश्यक और पर्याप्त शर्त यह है कि का वितरण $X_{0}$ मार्कोव श्रृंखला का एक स्थिर वितरण है।
• स्मृति के साथ एक मार्कोव श्रृंखला (या क्रम m की एक मार्कोव श्रृंखला) जहां m परिमित है, एक प्रक्रिया संतोषजनक है
  $${\begin{aligned}{}&\Pr(X_{n}=x_{n}\mid X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{1}=x_{1})\\=&\Pr(X_{n}=x_{n}\mid X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{n-m}=x_{n-m}){\text{ for }}n>m\end{aligned}}$$
  दूसरे शब्दों में, भविष्य की स्थिति पिछले एम राज्यों पर निर्भर करती है। शृंखला का निर्माण संभव है $(Y_{n})$ से $(X_{n})$ जिसमें 'शास्त्रीय' मार्कोव संपत्ति है, राज्य स्थान के रूप में एक्स मानों के आदेशित एम-टुपल्स, यानी, $Y_{n}=\left(X_{n},X_{n-1},\ldots ,X_{n-m+1}\right)$.

सतत समय मार्कोव श्रृंखला

Main article: Continuous-time Markov chain

एक सतत समय मार्कोव श्रृंखला (एक्स_t)_t ≥ 0 एक परिमित या गणनीय राज्य स्थान S द्वारा परिभाषित किया गया है, एक संक्रमण दर मैट्रिक्स Q राज्य स्थान के बराबर आयामों के साथ और प्रारंभिक संभाव्यता वितरण राज्य स्थान पर परिभाषित है। i ≠ j के लिए, तत्व q_ij गैर-नकारात्मक हैं और राज्य i से राज्य j तक प्रक्रिया के संक्रमण की दर का वर्णन करते हैं। तत्व क्यू_ii ऐसे चुने जाते हैं कि संक्रमण दर मैट्रिक्स की प्रत्येक पंक्ति का योग शून्य हो जाता है, जबकि एक (असतत) मार्कोव श्रृंखला में संभाव्यता संक्रमण मैट्रिक्स की पंक्ति-राशि सभी एक के बराबर होती है।

प्रक्रिया की तीन समकक्ष परिभाषाएँ हैं।

अनंत परिभाषा

निरंतर समय मार्कोव श्रृंखला को संक्रमण दर, राज्यों i और j के बीच संक्रमण संभावनाओं के समय के संबंध में डेरिवेटिव की विशेषता है।

होने देना $X_{t}$ समय टी पर प्रक्रिया की स्थिति का वर्णन करने वाला यादृच्छिक चर हो, और मान लें कि प्रक्रिया समय टी पर एक राज्य में है।

फिर, जानना $X_{t}=i$, $X_{t+h}=j$ पिछले मूल्यों से स्वतंत्र है $\left(X_{s}:s<t\right)$, और h → 0 के रूप में सभी j के लिए और सभी t के लिए,

$$\Pr(X(t+h)=j\mid X(t)=i)=\delta _{ij}+q_{ij}h+o(h),$$

कहाँ पे $\delta _{ij}$ थोड़ा-ओ अंकन का उपयोग करते हुए क्रोनकर डेल्टा है। $q_{ij}$ h> को यह मापने के रूप में देखा जा सकता है कि i से j में संक्रमण कितनी जल्दी होता है।

जंप चेन/होल्डिंग टाइम डेफिनिशन

असतत-समय मार्कोव श्रृंखला Y को परिभाषित करें_n प्रक्रिया और चर एस की n वीं छलांग का वर्णन करने के लिए₁, एस₂, एस₃, ... प्रत्येक राज्य में होल्डिंग समय का वर्णन करने के लिए जहां एस_i दर पैरामीटर -q के साथ घातीय वितरण का अनुसरण करता है_{YiYi</उप>।}

संक्रमण संभाव्यता परिभाषा

किसी भी मान n = 0, 1, 2, 3, ... और बार के लिए n: t के इस मान तक अनुक्रमित₀, टी₁, टी₂, ... और सभी राज्यों को इस समय दर्ज किया गया i₀, मैं₁, मैं₂, मैं₃, ... यह मानता है

$\Pr(X_{t_{n+1}}=i_{n+1}\mid X_{t_{0}}=i_{0},X_{t_{1}}=i_{1},\ldots ,X_{t_{n}}=i_{n})=p_{i_{n}i_{n+1}}(t_{n+1}-t_{n})$

जहां प_ij आगे के समीकरण का समाधान है (एक प्रथम-क्रम अंतर समीकरण)

$P'(t)=P(t)Q$

प्रारंभिक स्थिति के साथ P(0) तत्समक आव्यूह है।

परिमित राज्य स्थान

यदि राज्य स्थान परिमित सेट है, तो संक्रमण संभाव्यता वितरण को एक मैट्रिक्स (गणित) द्वारा दर्शाया जा सकता है, जिसे संक्रमण मैट्रिक्स कहा जाता है, 'P' के बराबर (i, j)वें तत्व (गणित) के साथ

$p_{ij}=\Pr(X_{n+1}=j\mid X_{n}=i).$

चूँकि P की प्रत्येक पंक्ति का योग एक है और सभी तत्व गैर-नकारात्मक हैं, P एक सही स्टोकेस्टिक मैट्रिक्स है।

ईजेनवेक्टरों और सरलताओं के लिए स्थिर वितरण संबंध

एक स्थिर वितरण π एक (पंक्ति) वेक्टर है, जिसकी प्रविष्टियां गैर-नकारात्मक हैं और योग 1 है, उस पर संक्रमण मैट्रिक्स पी के संचालन से अपरिवर्तित है और इसलिए इसे परिभाषित किया गया है

$\pi \mathbf {P} =\pi .$

इस परिभाषा की तुलना आइजन्वेक्टर की परिभाषा से करने पर हम देखते हैं कि दो अवधारणाएं संबंधित हैं और वह

$\pi ={\frac {e}{\sum _{i}{e_{i}}}}$

सामान्यीकृत है (${\textstyle \sum _{i}\pi _{i}=1}$) ट्रांज़िशन मैट्रिक्स P के बाएँ eigenvector e का गुणक 1 के eigenvalue के साथ। यदि एक से अधिक इकाई eigenvector हैं, तो संबंधित स्थिर अवस्थाओं का भारित योग भी एक स्थिर अवस्था है। लेकिन एक मार्कोव श्रृंखला के लिए आमतौर पर एक स्थिर स्थिति में अधिक रुचि होती है जो कि कुछ प्रारंभिक वितरण के लिए वितरण के अनुक्रम की सीमा है।

एक स्थिर वितरण के मान $\textstyle \pi _{i}$ पी के राज्य स्थान से जुड़े हैं और इसके ईजेनवेक्टरों के सापेक्ष अनुपात संरक्षित हैं। चूंकि π के घटक सकारात्मक हैं और बाधा है कि उनका योग एकता के रूप में फिर से लिखा जा सकता है ${\textstyle \sum _{i}1\cdot \pi _{i}=1}$ हम देखते हैं कि एक सदिश के साथ π का ​​डॉट गुणन जिसके सभी घटक 1 हैं एकता है और वह π एक मानक सिंप्लेक्स पर स्थित है।

समय-सजातीय मार्कोव श्रृंखला एक परिमित राज्य स्थान के साथ

यदि मार्कोव श्रृंखला समय-सजातीय है, तो संक्रमण मैट्रिक्स P प्रत्येक चरण के बाद समान है, इसलिए k-चरण संक्रमण संभावना की गणना संक्रमण मैट्रिक्स की k-th शक्ति के रूप में की जा सकती है, पी^{क</सुप>.}

यदि मार्कोव श्रृंखला इरेड्यूसिबल और एपेरियोडिक है, तो एक अद्वितीय स्थिर वितरण है π. साथ ही, इस मामले में पी^k रैंक-वन मैट्रिक्स में परिवर्तित होता है जिसमें प्रत्येक पंक्ति स्थिर वितरण है π:

$\lim _{k\to \infty }\mathbf {P} ^{k}=\mathbf {1} \pi$

जहां 1 कॉलम वेक्टर है जिसमें सभी प्रविष्टियां 1 के बराबर हैं। यह पेरोन-फ्रोबेनियस प्रमेय द्वारा कहा गया है। अगर, किसी भी तरह से, ${\textstyle \lim _{k\to \infty }\mathbf {P} ^{k}}$ पाया जाता है, तो विचाराधीन मार्कोव श्रृंखला का स्थिर वितरण किसी भी प्रारंभिक वितरण के लिए आसानी से निर्धारित किया जा सकता है, जैसा कि नीचे बताया जाएगा।

कुछ स्टोकेस्टिक मेट्रिसेस पी के लिए, सीमा ${\textstyle \lim _{k\to \infty }\mathbf {P} ^{k}}$ मौजूद नहीं है जबकि स्थिर वितरण करता है, जैसा कि इस उदाहरण द्वारा दिखाया गया है:

$\mathbf {P} ={\begin{pmatrix}0&1\\1&0\end{pmatrix}}\qquad \mathbf {P} ^{2k}=I\qquad \mathbf {P} ^{2k+1}=\mathbf {P}$

${\begin{pmatrix}{\frac {1}{2}}&{\frac {1}{2}}\end{pmatrix}}{\begin{pmatrix}0&1\\1&0\end{pmatrix}}={\begin{pmatrix}{\frac {1}{2}}&{\frac {1}{2}}\end{pmatrix}}$

(यह उदाहरण आवधिक मार्कोव श्रृंखला दिखाता है।)

क्योंकि विचार करने के लिए कई अलग-अलग विशेष मामले हैं, यदि यह मौजूद है तो इस सीमा को खोजने की प्रक्रिया एक लंबा काम हो सकती है। हालाँकि, ऐसी कई तकनीकें हैं जो इस सीमा को खोजने में सहायता कर सकती हैं। P को एक n×n मैट्रिक्स होने दें, और परिभाषित करें ${\textstyle \mathbf {Q} =\lim _{k\to \infty }\mathbf {P} ^{k}.}$ यह हमेशा सच होता है

$\mathbf {QP} =\mathbf {Q} .$

दोनों पक्षों से Q घटाना और गुणनखंडन करना फिर प्राप्त होता है

$\mathbf {Q} (\mathbf {P} -\mathbf {I} _{n})=\mathbf {0} _{n,n},$

जहां मैं_n आकार n, और '0' की पहचान मैट्रिक्स है_n,n आकार n×n का शून्य मैट्रिक्स है। स्टोचैस्टिक मैट्रिक्स को एक साथ गुणा करने से हमेशा एक और स्टोचैस्टिक मैट्रिक्स प्राप्त होता है, इसलिए 'क्यू' एक स्टोचैस्टिक मैट्रिक्स होना चाहिए (ऊपर परिभाषा देखें)। यह कभी-कभी उपरोक्त मैट्रिक्स समीकरण का उपयोग करने के लिए पर्याप्त होता है और तथ्य यह है कि 'क्यू' 'क्यू' के लिए हल करने के लिए एक स्टोकास्टिक मैट्रिक्स है। इस तथ्य को शामिल करते हुए कि 'पी' में प्रत्येक पंक्तियों का योग 1 है, एन अज्ञात का निर्धारण करने के लिए एन + 1 समीकरण हैं, इसलिए यह कम्प्यूटेशनल रूप से आसान है यदि एक तरफ कोई 'क्यू' में एक पंक्ति का चयन करता है और प्रत्येक को प्रतिस्थापित करता है इसके तत्वों को एक से, और दूसरे पर वेक्टर '0' में संबंधित तत्व (उसी कॉलम में एक) को प्रतिस्थापित करता है, और अगले बाएं-इस बाद वाले वेक्टर को 'क्यू' खोजने के लिए रूपांतरित पूर्व मैट्रिक्स के व्युत्क्रम से गुणा करता है।

ऐसा करने के लिए यहां एक तरीका दिया गया है: सबसे पहले, फ़ंक्शन f('A') को मैट्रिक्स 'A' को वापस करने के लिए परिभाषित करें, जिसके सबसे दाहिने कॉलम को सभी 1 से बदल दिया गया है। अगर [एफ ('पी' - 'आई'_n)]⁻¹ तब मौजूद होता है

$\mathbf {Q} =f(\mathbf {0} _{n,n})[f(\mathbf {P} -\mathbf {I} _{n})]^{-1}.$

व्याख्या करें: मूल मैट्रिक्स समीकरण रैखिक समीकरणों की प्रणाली के बराबर है। n×n चरों में n×n रैखिक समीकरणों की प्रणाली। और इस तथ्य से n अधिक रैखिक समीकरण हैं कि Q एक सही स्टोकेस्टिक मैट्रिक्स है जिसकी प्रत्येक पंक्ति 1 के बराबर है। इसलिए इसे n× के लिए हल करने के लिए (n×n+n) समीकरणों के किसी भी n×n स्वतंत्र रैखिक समीकरणों की आवश्यकता है। एन चर। इस उदाहरण में, "क्यू गुणा (पी-इन) के सबसे दाहिने कॉलम से गुणा" के एन समीकरणों को एन स्टोचैस्टिक द्वारा प्रतिस्थापित किया गया है।

ध्यान देने वाली एक बात यह है कि यदि P में एक अवयव P है_i,i इसके मुख्य विकर्ण पर जो 1 के बराबर है और i वीं पंक्ति या स्तंभ अन्यथा 0 से भरा है, तो वह पंक्ति या स्तंभ बाद की सभी शक्तियों 'P' में अपरिवर्तित रहेगा^{क</सुप>. इसलिए, 'क्यू' की आठवीं पंक्ति या कॉलम में 1 और 0 'पी' के समान स्थिति में होंगे।}

स्थिर वितरण के लिए अभिसरण गति

जैसा कि पहले कहा गया है, समीकरण से ${\boldsymbol {\pi }}={\boldsymbol {\pi }}\mathbf {P} ,$ (यदि मौजूद है) स्थिर (या स्थिर स्थिति) वितरणπपंक्ति स्टोचैस्टिक मैट्रिक्स पी का एक बायां ईजेनवेक्टर है। फिर यह मानते हुए कि पी विकर्ण है या समकक्ष है कि पी में एन रैखिक रूप से स्वतंत्र ईजेनवेक्टर हैं, अभिसरण की गति निम्नानुसार विस्तृत है। (गैर-विकर्ण करने योग्य, यानी दोषपूर्ण मैट्रिक्स के लिए, पी के जॉर्डन सामान्य रूप से शुरू हो सकता है और इसी तरह तर्कों के कुछ और शामिल सेट के साथ आगे बढ़ सकता है। यू को ईजेनवेक्टरों का मैट्रिक्स होने दें (प्रत्येक को 1 के बराबर एल 2 मानक होने के लिए सामान्यीकृत किया जाता है) जहां प्रत्येक कॉलम पी का बाएं ईजेनवेक्टर होता है और Σ को पी के बाएं ईगेनवैल्यू का विकर्ण मैट्रिक्स होता है, यानी, Σ = diag( λ₁, एल₂, एल₃,..., एल_n). फिर eigendecomposition द्वारा

$\mathbf {P} =\mathbf {U\Sigma U} ^{-1}.$

बता दें कि eigenvalues ​​​​इस तरह गिना जाता है कि:

$1=|\lambda _{1}|>|\lambda _{2}|\geq |\lambda _{3}|\geq \cdots \geq |\lambda _{n}|.$

चूँकि P एक पंक्ति स्टोचैस्टिक मैट्रिक्स है, इसका सबसे बड़ा बायाँ eigenvalue 1 है। यदि कोई अद्वितीय स्थिर वितरण है, तो सबसे बड़ा eigenvalue और संबंधित eigenvector भी अद्वितीय है (क्योंकि कोई अन्य नहीं हैπजो उपरोक्त स्थिर वितरण समीकरण को हल करता है)। चलो तुम_i 'यू' मैट्रिक्स का i-वां कॉलम हो, यानी 'यू'_i λ के संगत P का बायाँ eigenvector है_i. साथ ही x को लंबाई n पंक्ति सदिश होने दें जो एक मान्य संभाव्यता वितरण का प्रतिनिधित्व करता है; ईजेनवेक्टर यू के बाद से_i अवधि $\mathbb {R} ^{n},$ हम लिख सकते हैं

$\mathbf {x} ^{\mathsf {T}}=\sum _{i=1}^{n}a_{i}\mathbf {u} _{i},\qquad a_{i}\in \mathbb {R} .$

यदि हम दाईं ओर से x को P से गुणा करते हैं और परिणामों के साथ इस संक्रिया को जारी रखते हैं, तो अंत में हमें स्थिर बंटन प्राप्त होता हैπ. दूसरे शब्दों में,π= यू_i ← xPP...P = xP^k as k → ∞. इसका मत

${\begin{aligned}{\boldsymbol {\pi }}^{(k)}&=\mathbf {x} \left(\mathbf {U\Sigma U} ^{-1}\right)\left(\mathbf {U\Sigma U} ^{-1}\right)\cdots \left(\mathbf {U\Sigma U} ^{-1}\right)\\&=\mathbf {xU\Sigma } ^{k}\mathbf {U} ^{-1}\\&=\left(a_{1}\mathbf {u} _{1}^{\mathsf {T}}+a_{2}\mathbf {u} _{2}^{\mathsf {T}}+\cdots +a_{n}\mathbf {u} _{n}^{\mathsf {T}}\right)\mathbf {U\Sigma } ^{k}\mathbf {U} ^{-1}\\&=a_{1}\lambda _{1}^{k}\mathbf {u} _{1}^{\mathsf {T}}+a_{2}\lambda _{2}^{k}\mathbf {u} _{2}^{\mathsf {T}}+\cdots +a_{n}\lambda _{n}^{k}\mathbf {u} _{n}^{\mathsf {T}}&&u_{i}\bot u_{j}{\text{ for }}i\neq j\\&=\lambda _{1}^{k}\left\{a_{1}\mathbf {u} _{1}^{\mathsf {T}}+a_{2}\left({\frac {\lambda _{2}}{\lambda _{1}}}\right)^{k}\mathbf {u} _{2}^{\mathsf {T}}+a_{3}\left({\frac {\lambda _{3}}{\lambda _{1}}}\right)^{k}\mathbf {u} _{3}^{\mathsf {T}}+\cdots +a_{n}\left({\frac {\lambda _{n}}{\lambda _{1}}}\right)^{k}\mathbf {u} _{n}^{\mathsf {T}}\right\}\end{aligned}}$

तब सेπ= यू₁,π^(के) 'के पास पहुंचता हैπk के रूप में → ∞ λ के क्रम में गति के साथ₂/मिनट₁ घातीय रूप से। यह इस प्रकार है क्योंकि $|\lambda _{2}|\geq \cdots \geq |\lambda _{n}|,$ इसलिए λ₂/मिनट₁ प्रधान पद है। अनुपात जितना छोटा होता है, अभिसरण उतना ही तेज़ होता है। राज्य वितरण में यादृच्छिक शोरπइस अभिसरण को स्थिर वितरण में भी गति दे सकते हैं।

सामान्य राज्य स्थान

Main article: Markov chains on a measurable state space

हैरिस चेन्स

परिमित राज्य स्थान के साथ मार्कोव श्रृंखलाओं के कई परिणामों को हैरिस श्रृंखलाओं के माध्यम से बेशुमार राज्य स्थान वाली श्रृंखलाओं के लिए सामान्यीकृत किया जा सकता है।

मार्कोव श्रृंखला मोंटे कार्लो विधियों में मार्कोव श्रृंखलाओं का उपयोग उन मामलों को कवर करता है जहां प्रक्रिया एक निरंतर राज्य स्थान का अनुसरण करती है।

स्थानीय रूप से मार्कोव श्रृंखलाओं से बातचीत

मार्कोव श्रृंखलाओं के एक संग्रह को ध्यान में रखते हुए, जिसका विकास अन्य मार्कोव श्रृंखलाओं की स्थिति को ध्यान में रखता है, स्थानीय रूप से मार्कोव श्रृंखलाओं को इंटरैक्ट करने की धारणा से संबंधित है। यह उस स्थिति से मेल खाता है जब राज्य अंतरिक्ष में (कार्टेशियन-) उत्पाद का रूप होता है। अंतःक्रियात्मक कण प्रणाली और स्टोकेस्टिक सेलुलर ऑटोमेटा (संभाव्य सेलुलर ऑटोमेटा) देखें। उदाहरण के लिए मार्कोव प्रक्रियाओं की सहभागिता देखें या।

गुण

दो राज्यों को एक दूसरे के साथ संवाद करने के लिए कहा जाता है यदि दोनों सकारात्मक संभावना वाले संक्रमणों के अनुक्रम द्वारा एक दूसरे से पहुंच योग्य हैं। यह एक तुल्यता संबंध है जो संचार कक्षाओं का एक सेट उत्पन्न करता है। कक्षा छोड़ने की संभावना शून्य होने पर कक्षा बंद हो जाती है। एक संचार वर्ग, राज्य स्थान होने पर एक मार्कोव श्रृंखला अप्रासंगिक है।

एक राज्य i की अवधि k है यदि k उन संक्रमणों की संख्या का सबसे बड़ा सामान्य विभाजक है जिनके द्वारा i तक पहुँचा जा सकता है, i से शुरू। वह है:

$k=\gcd\{n>0:\Pr(X_{n}=i\mid X_{0}=i)>0\}$

एक अवस्था i को क्षणिक कहा जाता है, यदि i से शुरू होकर, गैर-शून्य संभावना है कि श्रृंखला कभी भी i पर वापस नहीं आएगी। इसे आवर्तक (या लगातार) अन्यथा कहा जाता है। एक आवर्तक स्थिति i के लिए, माध्य हिटिंग टाइम को इस प्रकार परिभाषित किया गया है:

$M_{i}=E[T_{i}]=\sum _{n=1}^{\infty }n\cdot f_{ii}^{(n)}.$

राज्य मैं सकारात्मक आवर्तक है अगर $M_{i}$ परिमित और अशक्त आवर्तक अन्यथा है। आवधिकता, चंचलता, पुनरावृत्ति और सकारात्मक और अशक्त पुनरावृत्ति वर्ग गुण हैं - अर्थात, यदि एक राज्य की संपत्ति है तो उसके संचार वर्ग के सभी राज्यों में संपत्ति है।

एक राज्य i को अवशोषित कहा जाता है यदि राज्य से कोई आउटगोइंग संक्रमण नहीं होता है।

कर्मठता

एक राज्य i को एर्गोडिक सिद्धांत कहा जाता है यदि यह एपेरियोडिक और सकारात्मक आवर्तक है। दूसरे शब्दों में, एक राज्य मैं ergodic है अगर यह आवर्तक है, 1 की अवधि है, और परिमित पुनरावृत्ति समय है। यदि एक अलघुकरणीय मार्कोव श्रृंखला में सभी अवस्थाएं एर्गोडिक हैं, तो श्रृंखला को एर्गोडिक कहा जाता है। कुछ लेखक किसी भी अप्रासंगिक, सकारात्मक आवर्तक मार्कोव श्रृंखला को एर्गोडिक, यहां तक ​​कि आवधिक भी कहते हैं। यह दिखाया जा सकता है कि एक परिमित राज्य अलघुकरणीय मार्कोव श्रृंखला एर्गोडिक है यदि इसमें एपेरियोडिक अवस्था है। अधिक आम तौर पर, एक मार्कोव श्रृंखला एर्गोडिक है यदि कोई संख्या एन है जैसे कि किसी भी राज्य से किसी भी संख्या में किसी भी संख्या में एन के बराबर या उससे कम चरणों में पहुंचा जा सकता है। पूरी तरह से जुड़े संक्रमण मैट्रिक्स के मामले में, जहां सभी संक्रमण एक गैर-शून्य संभावना है, यह स्थिति N = 1 के साथ पूरी होती है।

एक से अधिक राज्यों के साथ एक मार्कोव श्रृंखला और प्रति राज्य केवल एक आउटगोइंग संक्रमण या तो इरेड्यूसिबल नहीं है या एपेरियोडिक नहीं है, इसलिए यह एर्गोडिक नहीं हो सकता है।

मार्कोवियन अभ्यावेदन

कुछ मामलों में, स्पष्ट रूप से गैर-मार्कोवियन प्रक्रियाओं में अभी भी मार्कोवियन अभ्यावेदन हो सकते हैं, जो वर्तमान और भविष्य के राज्यों की अवधारणा का विस्तार करके निर्मित होते हैं। उदाहरण के लिए, X को एक गैर-मार्कोवियन प्रक्रिया होने दें। फिर एक प्रक्रिया Y को परिभाषित करें, जैसे कि Y की प्रत्येक अवस्था X की अवस्थाओं के समय-अंतराल का प्रतिनिधित्व करती है। गणितीय रूप से, यह रूप लेता है:

$Y(t)={\big \{}X(s):s\in [a(t),b(t)]\,{\big \}}.$

यदि Y के पास मार्कोव संपत्ति है, तो यह X का मार्कोवियन प्रतिनिधित्व है।

एक मार्कोवियन प्रतिनिधित्व के साथ एक गैर-मार्कोवियन प्रक्रिया का एक उदाहरण एक से अधिक ऑर्डर की ऑटोरेग्रेसिव मॉडल समय श्रृंखला है।

हिटिंग टाइम

Main article: Phase-type distribution

हिटिंग टाइम वह समय है, जो राज्यों के दिए गए सेट में शुरू होता है, जब तक कि चेन किसी दिए गए राज्य या राज्यों के सेट में नहीं आ जाता। ऐसी समयावधि के वितरण में चरण प्रकार का वितरण होता है। इस तरह का सबसे सरल वितरण एकल घातीय रूप से वितरित संक्रमण का है।

अपेक्षित हिटिंग समय

राज्यों A ⊆ S के एक सबसेट के लिए, वेक्टर k^{हिटिंग टाइम का A} (जहां एलिमेंट $k_{i}^{A}$ अपेक्षित मूल्य का प्रतिनिधित्व करता है, राज्य से शुरू होता है कि श्रृंखला सेट ए में राज्यों में से एक में प्रवेश करती है) न्यूनतम गैर-नकारात्मक समाधान है

${\begin{aligned}k_{i}^{A}=0&{\text{ for }}i\in A\\-\sum _{j\in S}q_{ij}k_{j}^{A}=1&{\text{ for }}i\notin A.\end{aligned}}$

समय उलटा

सीटीएमसी एक्स के लिए_t, समय-उलट प्रक्रिया को परिभाषित किया गया है ${\hat {X}}_{t}=X_{T-t}$. केली के लेम्मा द्वारा इस प्रक्रिया का आगे की प्रक्रिया के समान स्थिर वितरण है।

एक श्रृंखला को उत्क्रमणीय कहा जाता है यदि उलटी प्रक्रिया आगे की प्रक्रिया के समान है। कोल्मोगोरोव की कसौटी बताती है कि एक प्रक्रिया के प्रतिवर्ती होने के लिए आवश्यक और पर्याप्त शर्त यह है कि एक बंद लूप के चारों ओर संक्रमण दर का उत्पाद दोनों दिशाओं में समान होना चाहिए।

एंबेडेड मार्कोव श्रृंखला

स्थिर संभाव्यता वितरण खोजने की एक विधि, π, एर्गोडिक निरंतर-समय मार्कोव श्रृंखला, क्यू, पहले अपनी 'एम्बेडेड मार्कोव श्रृंखला (ईएमसी)' खोज कर है। कड़ाई से बोलना, EMC एक नियमित असतत-समय मार्कोव श्रृंखला है, जिसे कभी-कभी 'कूदने की प्रक्रिया' के रूप में संदर्भित किया जाता है। ईएमसी, एस के एक-चरण संक्रमण संभाव्यता मैट्रिक्स के प्रत्येक तत्व को एस द्वारा दर्शाया गया है_ij, और राज्य i से राज्य j में संक्रमण की सशर्त संभावना का प्रतिनिधित्व करता है। इन सशर्त संभावनाओं द्वारा पाया जा सकता है

$s_{ij}={\begin{cases}{\frac {q_{ij}}{\sum _{k\neq i}q_{ik}}}&{\text{if }}i\neq j\\0&{\text{otherwise}}.\end{cases}}$

इससे S को इस प्रकार लिखा जा सकता है

$S=I-\left(\operatorname {diag} (Q)\right)^{-1}Q$

जहां मैं पहचान मैट्रिक्स हूं और डायग (क्यू) मैट्रिक्स क्यू से मुख्य विकर्ण का चयन करके और अन्य सभी तत्वों को शून्य पर सेट करके बनाई गई विकर्ण मैट्रिक्स है।

स्थिर प्रायिकता बंटन सदिश ज्ञात करने के लिए, हमें अगली खोज करनी होगी $\varphi$ ऐसा है कि

$\varphi S=\varphi ,$

साथ $\varphi$ एक पंक्ति वेक्टर होने के नाते, जैसे कि सभी तत्व $\varphi$ 0 से अधिक हैं और मानक (गणित) |$\|\varphi \|_{1}$= 1. इससे, π रूप में मिल सकता है

$\pi ={-\varphi (\operatorname {diag} (Q))^{-1} \over \left\|\varphi (\operatorname {diag} (Q))^{-1}\right\|_{1}}.$

(एस आवधिक हो सकता है, भले ही क्यू नहीं है। एक बार π पाया जाता है, इसे एक इकाई सदिश के लिए सामान्यीकृत किया जाना चाहिए।)

एक अन्य असतत-समय की प्रक्रिया जो निरंतर-समय की मार्कोव श्रृंखला से प्राप्त की जा सकती है, एक δ-कंकाल है- (असतत-समय) मार्कोव श्रृंखला, समय की δ इकाइयों के अंतराल पर एक्स (टी) को देखकर बनाई गई है। यादृच्छिक चर X(0), X(δ), X(2δ), ... δ-कंकाल द्वारा देखी गई अवस्थाओं का क्रम देते हैं।

विशेष प्रकार के मार्कोव चेन

मार्कोव मॉडल

Main article: Markov model

मार्कोव मॉडल का उपयोग बदलती प्रणालियों के मॉडल के लिए किया जाता है। 4 मुख्य प्रकार के मॉडल हैं, जो इस आधार पर मार्कोव श्रृंखलाओं का सामान्यीकरण करते हैं कि प्रत्येक अनुक्रमिक स्थिति अवलोकन योग्य है या नहीं, और क्या सिस्टम को किए गए अवलोकनों के आधार पर समायोजित किया जाना है:

	System state is fully observable	System state is partially observable
System is autonomous	Markov chain	Hidden Markov model
System is controlled	Markov decision process	Partially observable Markov decision process

बरनौली योजना

Main article: Bernoulli scheme

एक बर्नौली योजना एक मार्कोव श्रृंखला का एक विशेष मामला है जहां संक्रमण संभावना मैट्रिक्स में समान पंक्तियां होती हैं, जिसका अर्थ है कि अगला राज्य वर्तमान स्थिति से भी स्वतंत्र है (पिछले राज्यों से स्वतंत्र होने के अलावा)। केवल दो संभावित अवस्थाओं वाली बर्नौली योजना को बर्नौली प्रक्रिया के रूप में जाना जाता है।

ध्यान दें, हालांकि, ऑर्नस्टीन समरूपता प्रमेय द्वारा, कि प्रत्येक एपेरियोडिक और इरेड्यूसिबल मार्कोव श्रृंखला एक बर्नौली योजना के लिए आइसोमोर्फिक है; इस प्रकार, कोई भी समान रूप से यह दावा कर सकता है कि मार्कोव श्रृंखला बर्नौली योजनाओं का एक विशेष मामला है। समरूपता को आम तौर पर एक जटिल रिकोडिंग की आवश्यकता होती है। समरूपता प्रमेय और भी मजबूत है: इसमें कहा गया है कि कोई भी स्थिर स्टोकेस्टिक प्रक्रिया बर्नौली योजना के लिए समरूप है; मार्कोव श्रृंखला ऐसा ही एक उदाहरण है।

परिमित प्रकार का सबशिफ्ट

Main article: Subshift of finite type

जब मार्कोव मैट्रिक्स को एक परिमित ग्राफ के आसन्न मैट्रिक्स द्वारा प्रतिस्थापित किया जाता है, तो परिणामी बदलाव को एक टोपोलॉजिकल मार्कोव श्रृंखला या परिमित प्रकार की उपशिफ्ट कहा जाता है।एक मार्कोव मैट्रिक्स जो आसन्न मैट्रिक्स के साथ संगत है, फिर सबशिफ्ट पर एक माप (गणित) प्रदान कर सकता है। कई अराजक गतिकीय प्रणालियां टोपोलॉजिकल मार्कोव श्रृंखलाओं के लिए आइसोमॉर्फिक हैं; उदाहरणों में बंद कई गुना, थू-मोर्स अनुक्रम | प्राउहेट-थू-मोर्स सिस्टम, चाकोन प्रणाली, सोफिक प्रणाली, संदर्भ-मुक्त सिस्टम और ब्लॉक-कोडिंग प्रणाली के डिफियोमोर्फिज्म शामिल हैं।

अनुप्रयोग

अनुसंधान ने भौतिकी, रसायन विज्ञान, जीव विज्ञान, चिकित्सा, संगीत, खेल सिद्धांत और खेल जैसे विषयों की एक विस्तृत श्रृंखला में मार्कोव श्रृंखलाओं के अनुप्रयोग और उपयोगिता की सूचना दी है।

भौतिकी

मार्कोवियन प्रणालियां उष्मागतिकी और सांख्यिकीय यांत्रिकी में बड़े पैमाने पर दिखाई देती हैं, जब भी संभावनाओं का उपयोग प्रणाली के अज्ञात या अप्रतिरूपित विवरणों का प्रतिनिधित्व करने के लिए किया जाता है, अगर यह माना जा सकता है कि गतिकी समय-अपरिवर्तनीय हैं, और किसी प्रासंगिक इतिहास पर विचार करने की आवश्यकता नहीं है जो पहले से शामिल नहीं है राज्य विवरण में। उदाहरण के लिए, एक ऊष्मप्रवैगिकी राज्य संभाव्यता वितरण के तहत संचालित होता है जो अधिग्रहण करना मुश्किल या महंगा है। इसलिए, मार्कोव चेन मोंटे कार्लो विधि का उपयोग ब्लैक-बॉक्स से बेतरतीब ढंग से नमूने लेने के लिए किया जा सकता है ताकि वस्तुओं की एक श्रृंखला पर विशेषताओं के संभाव्यता वितरण का अनुमान लगाया जा सके।

पथ, क्वांटम यांत्रिकी के अभिन्न सूत्रीकरण के पथ में, मार्कोव श्रृंखलाएं हैं। जाली क्यूसीडी सिमुलेशन में मार्कोव चेन का उपयोग किया जाता है।

रसायन विज्ञान

${\ce {{E}+{\underset {Substrate \atop binding}{S<=>E}}{\overset {Catalytic \atop step}{S->E}}+P}}$

Michaelis-Menten kinetics. The enzyme (E) binds a substrate (S) and produces a product (P). Each reaction is a state transition in a Markov chain.

एक प्रतिक्रिया नेटवर्क एक रासायनिक प्रणाली है जिसमें कई प्रतिक्रियाएं और रासायनिक प्रजातियां शामिल होती हैं। इस तरह के नेटवर्क के सबसे सरल स्टोकेस्टिक मॉडल सिस्टम को निरंतर समय मार्कोव श्रृंखला के रूप में देखते हैं, जिसमें प्रत्येक प्रजाति के अणुओं की संख्या होती है और श्रृंखला के संभावित संक्रमण के रूप में प्रतिरूपित प्रतिक्रियाओं के साथ। मार्कोव चेन और निरंतर-समय की मार्कोव प्रक्रियाएं रसायन विज्ञान में तब उपयोगी होती हैं जब भौतिक प्रणालियां मार्कोव संपत्ति के करीब पहुंचती हैं। उदाहरण के लिए, राज्य ए में समाधान में बड़ी संख्या में अणुओं की कल्पना करें, जिनमें से प्रत्येक एक निश्चित औसत दर के साथ राज्य बी के लिए रासायनिक प्रतिक्रिया से गुजर सकता है। शायद अणु एक एंजाइम है, और राज्यों का उल्लेख है कि यह कैसे मुड़ा हुआ है। किसी भी एक एंजाइम की स्थिति एक मार्कोव श्रृंखला का अनुसरण करती है, और चूंकि अणु अनिवार्य रूप से एक दूसरे से स्वतंत्र होते हैं, एक समय में राज्य ए या बी में अणुओं की संख्या उस स्थिति में दिए गए अणु की संभावना का n गुना होती है।

एंजाइम गतिविधि का शास्त्रीय मॉडल, माइकलिस-मेन्टेन कैनेटीक्स, को मार्कोव श्रृंखला के रूप में देखा जा सकता है, जहां हर बार किसी दिशा में प्रतिक्रिया आगे बढ़ती है। जबकि माइकलिस-मेंटेन काफी सीधा है, कहीं अधिक जटिल प्रतिक्रिया नेटवर्क भी मार्कोव श्रृंखलाओं के साथ तैयार किए जा सकते हैं। मार्कोव श्रृंखला पर आधारित एक एल्गोरिथ्म का उपयोग सिलिको में रसायनों के खंड-आधारित विकास पर ध्यान केंद्रित करने के लिए किया गया था, जो दवाओं या प्राकृतिक उत्पादों जैसे यौगिकों के वांछित वर्ग की ओर था। जैसा कि एक अणु विकसित होता है, नवजात अणु से वर्तमान स्थिति के रूप में एक टुकड़ा चुना जाता है। यह अपने अतीत से अवगत नहीं है (अर्थात, यह इसके बारे में जागरूक नहीं है कि इससे पहले से क्या जुड़ा हुआ है)। यह तब अगली अवस्था में परिवर्तित हो जाता है जब एक टुकड़ा इससे जुड़ा होता है। संक्रमण की संभावनाओं को यौगिकों के प्रामाणिक वर्गों के डेटाबेस पर प्रशिक्षित किया जाता है। साथ ही, सहबहुलकों की वृद्धि (और संरचना) को मार्कोव श्रृंखलाओं का उपयोग करके प्रतिरूपित किया जा सकता है। बढ़ती बहुलक श्रृंखला बनाने वाले मोनोमर्स की प्रतिक्रियाशीलता अनुपात के आधार पर, श्रृंखला की संरचना की गणना की जा सकती है (उदाहरण के लिए, क्या मोनोमर्स वैकल्पिक फैशन में या उसी मोनोमर के लंबे समय में जोड़ते हैं)। स्टेरिक प्रभावों के कारण, दूसरे क्रम के मार्कोव प्रभाव भी कुछ बहुलक श्रृंखलाओं के विकास में भूमिका निभा सकते हैं।

इसी तरह, यह सुझाव दिया गया है कि मार्कोव चेन द्वारा कुछ एपिटैक्सियल सुपर लेटेक्स ऑक्साइड सामग्री के क्रिस्टलीकरण और विकास का सटीक वर्णन किया जा सकता है।

जीव विज्ञान

जीव विज्ञान के विभिन्न क्षेत्रों में मार्कोव श्रृंखलाओं का उपयोग किया जाता है। उल्लेखनीय उदाहरणों में शामिल हैं:

• फाइलोजेनेटिक्स और जैव सूचना विज्ञान, जहां डीएनए विकास के अधिकांश मॉडल जीनोम में किसी दिए गए स्थान पर मौजूद न्यूक्लियोटाइड का वर्णन करने के लिए निरंतर-समय मार्कोव श्रृंखला का उपयोग करते हैं।
• जनसंख्या की गतिशीलता, जहां मार्कोव श्रृंखला विशेष रूप से मैट्रिक्स जनसंख्या मॉडल के सैद्धांतिक अध्ययन में एक केंद्रीय उपकरण है।
• तंत्रिका जीव विज्ञान, जहां मार्कोव चेन का उपयोग किया गया है, उदाहरण के लिए, स्तनधारी नियोकोर्टेक्स का अनुकरण करने के लिए।
• सिस्टम बायोलॉजी, उदाहरण के लिए एकल कोशिकाओं के वायरल संक्रमण के मॉडलिंग के साथ।
• रोग प्रकोप और महामारी मॉडलिंग के लिए महामारी विज्ञान में कंपार्टमेंटल मॉडल।

परीक्षण

कई सिद्धांतकारों ने मार्कोव श्रृंखला सांख्यिकीय परीक्षण (एमसीएसटी) के विचार का प्रस्ताव दिया है, मार्कोव श्रृंखला को एक मार्कोव कंबल बनाने के लिए जोड़ने की एक विधि, इन श्रृंखलाओं को कई पुनरावर्ती परतों (वेफरिंग) में व्यवस्थित करना और प्रतिस्थापन के रूप में अधिक कुशल परीक्षण सेट-नमूने-उत्पादित करना संपूर्ण परीक्षण के लिए। एमसीएसटी का अस्थायी राज्य-आधारित नेटवर्क में भी उपयोग होता है; चिलुकुरी एट अल। का पेपर ऑब्जेक्ट डिटेक्शन और ट्रैकिंग (साइंसडायरेक्ट) के लिए एविडेंस फ्यूजन के लिए टेम्पोरल अनसर्टेनिटी रीजनिंग नेटवर्क्स नामक पेपर अनुप्रयोगों की एक विस्तृत श्रृंखला के लिए एमसीएसटी लागू करने के लिए एक पृष्ठभूमि और केस स्टडी देता है।

सौर विकिरण परिवर्तनशीलता

सौर विकिरण परिवर्तनशीलता आकलन सौर ऊर्जा अनुप्रयोगों के लिए उपयोगी होते हैं। समय के साथ किसी भी स्थान पर सौर विकिरण परिवर्तनशीलता मुख्य रूप से आकाश गुंबद के पार सूर्य के मार्ग की नियतात्मक परिवर्तनशीलता और मेघाच्छन्नता में परिवर्तनशीलता का परिणाम है। मार्कोव श्रृंखलाओं का उपयोग करके पृथ्वी की सतह पर सुलभ सौर विकिरण की परिवर्तनशीलता को प्रतिरूपित किया गया है, दो-राज्य मार्कोव श्रृंखला के रूप में स्पष्ट और बादल वाले दो राज्यों को मॉडलिंग करना भी शामिल है।

वाक् पहचान

छिपे छिपा हुआ मार्कोव मॉडल अधिकांश आधुनिक वाक् पहचान # छिपे हुए मार्कोव मॉडल सिस्टम का आधार हैं।

सूचना सिद्धांत

सूचना संसाधन के दौरान मार्कोव श्रृंखलाओं का उपयोग किया जाता है। क्लाउड शैनन का प्रसिद्ध 1948 का पेपर संचार का एक गणितीय सिद्धांत, जिसने एक ही चरण में सूचना सिद्धांत के क्षेत्र का निर्माण किया, अंग्रेजी भाषा के मार्कोव मॉडलिंग के माध्यम से सूचना एन्ट्रापी की अवधारणा को पेश करके शुरू होता है। इस तरह के आदर्श मॉडल सिस्टम की कई सांख्यिकीय नियमितताओं को पकड़ सकते हैं। यहां तक ​​​​कि सिस्टम की पूरी संरचना का पूरी तरह से वर्णन किए बिना, ऐसे सिग्नल मॉडल एन्ट्रापी एन्कोडिंग तकनीकों जैसे कि अंकगणितीय कोडिंग के माध्यम से बहुत प्रभावी डेटा संपीड़न को संभव बना सकते हैं। वे प्रभावी राज्य अनुमान और पैटर्न पहचान की भी अनुमति देते हैं। सुदृढीकरण सीखने में मार्कोव श्रृंखला भी महत्वपूर्ण भूमिका निभाती है।

मार्कोव चेन छिपे हुए मार्कोव मॉडल का आधार भी हैं, जो टेलीफोन नेटवर्क (जो त्रुटि सुधार के लिए विटरबी एल्गोरिथ्म का उपयोग करते हैं), वाक् पहचान और जैव सूचना विज्ञान (जैसे कि पुनर्व्यवस्था का पता लगाने में) जैसे विविध क्षेत्रों में एक महत्वपूर्ण उपकरण हैं।).

लेम्पेल-ज़िव-मार्कोव श्रृंखला एल्गोरिदम हानि रहित डेटा संपीड़न एल्गोरिदम बहुत उच्च संपीड़न अनुपात प्राप्त करने के लिए LZ77 और LZ78 | Lempel-Ziv संपीड़न के साथ मार्कोव श्रृंखलाओं को जोड़ती है।

कतार सिद्धांत

Main article: Queueing theory

मार्कोव चेन कतारों (कतारबद्ध सिद्धांत) के विश्लेषणात्मक उपचार का आधार हैं। 1917 में एग्नेर क्रारुप एरलांग ने इस विषय की शुरुआत की। यह उन्हें दूरसंचार नेटवर्क के प्रदर्शन को अनुकूलित करने के लिए महत्वपूर्ण बनाता है, जहां संदेशों को अक्सर सीमित संसाधनों (जैसे बैंडविड्थ) के लिए प्रतिस्पर्धा करनी पड़ती है। रेफरी नाम= सीटीसीएन >एस। पी. मेन, 2007. जटिल नेटवर्क के लिए नियंत्रण तकनीक Archived 2015-05-13 at the Wayback Machine, कैम्ब्रिज यूनिवर्सिटी प्रेस, 2007।</ref>

कई कतारबद्ध मॉडल निरंतर-समय मार्कोव श्रृंखला का उपयोग करते हैं। उदाहरण के लिए, एक M/M/1 कतार गैर-ऋणात्मक पूर्णांकों पर एक CTMC है, जहां i से i + 1 तक ऊपर की ओर संक्रमण एक पोइसन प्रक्रिया के अनुसार λ की दर से होता है और नौकरी के आगमन का वर्णन करता है, जबकि i से i - 1 में संक्रमण (i > 1 के लिए) μ दर पर घटित होते हैं (नौकरी सेवा समय चरघातांकी रूप से वितरित होते हैं) और कतार से पूरी की गई सेवाओं (प्रस्थान) का वर्णन करते हैं।

इंटरनेट एप्लिकेशन

एक स्टेट डायग्राम जो एम, या की संक्रमणकालीन संभावना के साथ पेजरैंक एल्गोरिथम का प्रतिनिधित्व करता है ${\frac {\alpha }{k_{i}}}+{\frac {1-\alpha }{N}}$.

Google द्वारा उपयोग किए जाने वाले वेबपृष्ठ का पृष्ठ स्तर एक मार्कोव श्रृंखला द्वारा परिभाषित किया गया है। पेज पर होने की संभावना है $i$ सभी (ज्ञात) वेबपेजों पर निम्नलिखित मार्कोव श्रृंखला पर स्थिर वितरण में। यदि $N$ ज्ञात वेबपृष्ठों की संख्या और एक पृष्ठ है $i$ है $k_{i}$ इससे लिंक करता है तो इसमें संक्रमण की संभावना होती है ${\frac {\alpha }{k_{i}}}+{\frac {1-\alpha }{N}}$ और से जुड़े सभी पेजों के लिए ${\frac {1-\alpha }{N}}$ उन सभी पेजों के लिए जो लिंक नहीं हैं। पैरामीटर $\alpha$ लगभग 0.15 लिया जाता है।

मार्कोव मॉडल का उपयोग उपयोगकर्ताओं के वेब नेविगेशन व्यवहार का विश्लेषण करने के लिए भी किया गया है। किसी विशेष वेबसाइट पर एक उपयोगकर्ता के वेब लिंक संक्रमण को पहले या दूसरे क्रम के मार्कोव मॉडल का उपयोग करके मॉडल किया जा सकता है और इसका उपयोग भविष्य के नेविगेशन के बारे में भविष्यवाणी करने और व्यक्तिगत उपयोगकर्ता के लिए वेब पेज को वैयक्तिकृत करने के लिए किया जा सकता है।

सांख्यिकी

मार्कोव श्रृंखला मोंटे कार्लो (MCMC) नामक एक प्रक्रिया के माध्यम से, बहुत जटिल वांछित संभाव्यता वितरण को सटीक रूप से प्रतिबिंबित करने के लिए यादृच्छिक संख्याओं के अनुक्रम उत्पन्न करने के लिए मार्कोव श्रृंखला विधियां भी बहुत महत्वपूर्ण हो गई हैं। हाल के वर्षों में इसने बायेसियन अनुमान विधियों की व्यावहारिकता में क्रांति ला दी है, जिससे पश्च वितरणों की एक विस्तृत श्रृंखला को सिम्युलेट किया जा सकता है और उनके पैरामीटर संख्यात्मक रूप से पाए जा सकते हैं।

अर्थशास्त्र और वित्त

मार्कोव श्रृंखलाओं का उपयोग वित्त और अर्थशास्त्र में आय के वितरण, फर्मों के आकार वितरण, संपत्ति की कीमतों और बाजार में गिरावट सहित विभिन्न प्रकार की घटनाओं को मॉडल करने के लिए किया जाता है। 1953 में D. G. Champernowne ने आय के वितरण का एक मार्कोव श्रृंखला मॉडल बनाया। हर्बर्ट ए। साइमन और सह-लेखक चार्ल्स बोनिनी ने फर्म आकार के एक स्थिर यूल वितरण को प्राप्त करने के लिए मार्कोव श्रृंखला मॉडल का उपयोग किया। लुई बैचलर ने सबसे पहले यह देखा कि स्टॉक की कीमतें एक यादृच्छिक चाल का पालन करती हैं। रैंडम वॉक को बाद में कुशल-बाजार परिकल्पना के पक्ष में साक्ष्य के रूप में देखा गया और रैंडम वॉक मॉडल 1960 के दशक के साहित्य में लोकप्रिय थे। जेम्स डी. हैमिल्टन (1989) द्वारा व्यापार चक्रों के शासन-परिवर्तन मॉडल को लोकप्रिय बनाया गया, जिन्होंने उच्च और निम्न जीडीपी विकास (या वैकल्पिक रूप से, आर्थिक विस्तार और मंदी) की अवधि के बीच मॉडल स्विच करने के लिए मार्कोव श्रृंखला का उपयोग किया। एक और हालिया उदाहरण लॉरेंट ई. कैल्वेट और एडलाई जे. फिशर का मार्कोव स्विचिंग मल्टीफ़्रैक्टल मॉडल है, जो पहले के शासन-स्विचिंग मॉडल की सुविधा पर आधारित है। यह एसेट रिटर्न की अस्थिरता के स्तर को चलाने के लिए मनमाने ढंग से बड़ी मार्कोव श्रृंखला का उपयोग करता है।

डायनेमिक मैक्रोइकॉनॉमिक्स मार्कोव चेन का भारी उपयोग करता है। एक उदाहरण एक सामान्य संतुलन सेटिंग में इक्विटी (स्टॉक) के बाहरी रूप से मॉडल की कीमतों के लिए मार्कोव चेन का उपयोग कर रहा है। क्रेडिट रेटिंग एजेंसी विभिन्न क्रेडिट रेटिंग के बॉन्ड के लिए ट्रांज़िशन संभावनाओं की वार्षिक सारणी तैयार करती है।

सामाजिक विज्ञान

मार्कोव श्रृंखलाओं का उपयोग आम तौर पर पथ-निर्भर तर्कों का वर्णन करने में किया जाता है, जहां वर्तमान संरचनात्मक विन्यास भविष्य के परिणामों की स्थिति बनाते हैं। एक उदाहरण विचार का सुधार है, मूल रूप से काल मार्क्स के राजधानी के कारण, आर्थिक विकास को पूंजीवाद के उदय से बांधना। वर्तमान शोध में, मार्कोव श्रृंखला का उपयोग करना आम बात है यह मॉडल करने के लिए कि कैसे एक बार एक देश आर्थिक विकास के एक विशिष्ट स्तर तक पहुँच जाता है, संरचनात्मक कारकों का विन्यास, जैसे कि मध्यम वर्ग का आकार, शहरी से ग्रामीण निवास का अनुपात, राजनीतिक गतिशीलता की दर, आदि, एक उच्च संभावना उत्पन्न करेगा अधिनायकवादी से लोकतांत्रिक शासन में संक्रमण।

गेम्स

मार्कोव श्रृंखलाओं का उपयोग संयोग के कई खेलों के मॉडल के लिए किया जा सकता है।बच्चों के खेल साँप और सीढ़ी तथा हाय हो! चेरी-ओ, उदाहरण के लिए, मार्कोव श्रृंखलाओं द्वारा बिल्कुल प्रतिनिधित्व किया जाता है। प्रत्येक मोड़ पर, खिलाड़ी किसी दिए गए राज्य (किसी दिए गए वर्ग पर) में शुरू होता है और वहां से निश्चित अन्य राज्यों (वर्गों) में जाने की संभावनाएं होती हैं।

संगीत

मार्कोव चेन एल्गोरिथम रचना में कार्यरत हैं, विशेष रूप से सीध्वनि, मैक्स (सॉफ़्टवेयर) और सुपर कोलाइडर मैक्स (सॉफ्टवेयर) में। पहले क्रम की श्रृंखला में, सिस्टम की अवस्थाएँ नोट या पिच मान बन जाती हैं, और प्रत्येक नोट के लिए एक प्रायिकता वेक्टर का निर्माण किया जाता है, जो एक ट्रांज़िशन प्रायिकता मैट्रिक्स को पूरा करता है (नीचे देखें)। संक्रमण मैट्रिक्स भार के आधार पर आउटपुट नोट मान उत्पन्न करने के लिए एक एल्गोरिथ्म का निर्माण किया जाता है, जो मिडी नोट मान, आवृत्ति (हेटर्स़), या कोई अन्य वांछनीय मीट्रिक हो सकता है।

1st-order matrix

Note	A	C♯	E♭
A	0.1	0.6	0.3
C♯	0.25	0.05	0.7
E♭	0.7	0.3	0

2nd-order matrix

Notes	A	D	G
AA	0.18	0.6	0.22
AD	0.5	0.5	0
AG	0.15	0.75	0.1
DD	0	0	1
DA	0.25	0	0.75
DG	0.9	0.1	0
GG	0.4	0.4	0.2
GA	0.5	0.25	0.25
GD	1	0	0

एक दूसरे क्रम की मार्कोव श्रृंखला को वर्तमान स्थिति और पिछली स्थिति पर विचार करके पेश किया जा सकता है, जैसा कि दूसरी तालिका में दर्शाया गया है। उच्च, nवें क्रम की श्रृंखला विशेष नोटों को एक साथ समूहित करती है, जबकि कभी-कभी अन्य पैटर्न और अनुक्रमों में 'ब्रेक ऑफ' हो जाती है। ये उच्च-क्रम शृंखला प्रथम-क्रम प्रणाली द्वारा निर्मित 'उद्देश्यहीन भटकन' के बजाय वाक्यांश (संगीत) संरचना की भावना के साथ परिणाम उत्पन्न करती हैं। मार्कोव श्रृंखलाओं को संरचनात्मक रूप से इस्तेमाल किया जा सकता है, जैसा कि ज़ेनाकिस के एनालॉगिक ए और बी में है। मार्कोव श्रृंखलाओं का उपयोग उन प्रणालियों में भी किया जाता है जो संगीत इनपुट पर अंतःक्रियात्मक रूप से प्रतिक्रिया करने के लिए मार्कोव मॉडल का उपयोग करते हैं। आमतौर पर संगीत प्रणालियों को उनके द्वारा उत्पन्न परिमित-लंबाई अनुक्रमों पर विशिष्ट नियंत्रण बाधाओं को लागू करने की आवश्यकता होती है, लेकिन नियंत्रण बाधाएं मार्कोव मॉडल के साथ संगत नहीं होती हैं, क्योंकि वे लंबी दूरी की निर्भरता को प्रेरित करती हैं जो सीमित स्मृति की मार्कोव परिकल्पना का उल्लंघन करती हैं। इस सीमा को पार करने के लिए, एक नया दृष्टिकोण प्रस्तावित किया गया है।

बेसबॉल

1960 से उन्नत बेसबॉल विश्लेषण में मार्कोव श्रृंखला मॉडल का उपयोग किया गया है, हालांकि उनका उपयोग अभी भी दुर्लभ है। जब रनर्स और आउट्स की संख्या पर विचार किया जाता है तो बेसबॉल गेम की प्रत्येक हाफ-इनिंग मार्कोव चेन स्थिति में फिट बैठती है। किसी भी एट-बैट के दौरान, आउट की संख्या और धावकों की स्थिति के 24 संभावित संयोजन होते हैं। मार्क पैंकिन दिखाते हैं कि मार्कोव श्रृंखला मॉडल का उपयोग व्यक्तिगत खिलाड़ियों और साथ ही एक टीम दोनों के लिए बनाए गए रनों का मूल्यांकन करने के लिए किया जा सकता है। वह विभिन्न प्रकार की रणनीतियों और खेल की स्थितियों पर भी चर्चा करता है: कैसे मार्कोव श्रृंखला मॉडल का उपयोग खेल स्थितियों जैसे कि बंट (बेसबॉल) और आधार चोरी और घास बनाम एस्ट्रोटर्फ पर खेलते समय अंतर के आंकड़ों का विश्लेषण करने के लिए किया गया है।

मार्कोव पाठ जनरेटर

मार्कोव प्रक्रियाओं का उपयोग प्राकृतिक भाषा निर्माण के लिए भी किया जा सकता है। एक नमूना दस्तावेज़ दिए जाने पर सतही रूप से वास्तविक दिखने वाला पाठ उत्पन्न करें। मार्कोव प्रक्रियाओं का उपयोग विभिन्न मनोरंजक पैरोडी जनरेटर सॉफ़्टवेयर में किया जाता है (असंबद्ध प्रेस देखें, जेफ हैरिसन, मार्क वी. शनी, और एकेडेमियास न्यूट्रोनियम)। मार्कोव श्रृंखलाओं का उपयोग करते हुए कई ओपन-सोर्स टेक्स्ट जेनरेशन लाइब्रेरी मौजूद हैं, जिसमें द रीटा टूलकिट भी शामिल है।

संभाव्य पूर्वानुमान

मार्कोव श्रृंखलाओं का उपयोग कई क्षेत्रों में पूर्वानुमान के लिए किया गया है: उदाहरण के लिए, मूल्य रुझान, पवन ऊर्जा, और सौर विकिरण। मार्कोव श्रृंखला पूर्वानुमान मॉडल समय श्रृंखला को अलग करने से लेकर विभिन्न प्रकार की सेटिंग्स का उपयोग करते हैं,छिपे हुए मार्कोव मॉडल के लिए वेवलेट्स के साथ संयुक्त,और मार्कोव श्रृंखला मिश्रण वितरण मॉडल (एमसीएम)।

यह भी देखें

• मार्कोवियन कणों की गतिशीलता
• गॉस-मार्कोव प्रक्रिया
• मार्कोव श्रृंखला सन्निकटन विधि
• मार्कोव श्रृंखला भू-सांख्यिकी
• मार्कोव श्रृंखला मिश्रण समय
• मार्कोव श्रृंखला वृक्ष प्रमेय
• मार्कोव निर्णय प्रक्रिया
• मार्कोव सूचना स्रोत
• मार्कोव ओडोमीटर
• मार्कोव यादृच्छिक क्षेत्र
• मास्टर समीकरण
• क्वांटम मार्कोव श्रृंखला
• सेमी-मार्कोव प्रक्रिया
• स्टोकेस्टिक सेलुलर automaton
• टेलीस्कोपिंग मार्कोव श्रृंखला
• चर-क्रम मार्कोव मॉडल

संदर्भ

• A. A. Markov (1906) "Rasprostranenie zakona bol'shih chisel na velichiny, zavisyaschie drug ot druga". Izvestiya Fiziko-matematicheskogo obschestva pri Kazanskom universitete, 2-ya seriya, tom 15, pp. 135–156.
• A. A. Markov (1971). "Extension of the limit theorems of probability theory to a sum of variables connected in a chain". reprinted in Appendix B of: R. Howard. Dynamic Probabilistic Systems, volume 1: Markov Chains. John Wiley and Sons.
• Classical Text in Translation: Markov, A. A. (2006). Translated by Link, David. "An Example of Statistical Investigation of the Text Eugene Onegin Concerning the Connection of Samples in Chains". Science in Context. 19 (4): 591–600. doi:10.1017/s0269889706001074. S2CID 144854176.
• Leo Breiman (1992) [1968] Probability. Original edition published by Addison-Wesley; reprinted by Society for Industrial and Applied Mathematics ISBN 0-89871-296-3. (See Chapter 7)
• J. L. Doob (1953) Stochastic Processes. New York: John Wiley and Sons ISBN 0-471-52369-0.
• S. P. Meyn and R. L. Tweedie (1993) Markov Chains and Stochastic Stability. London: Springer-Verlag ISBN 0-387-19832-6. online: MCSS . Second edition to appear, Cambridge University Press, 2009.
• S. P. Meyn. Control Techniques for Complex Networks. Cambridge University Press, 2007. ISBN 978-0-521-88441-9. Appendix contains abridged Meyn & Tweedie. online: [1]
• Booth, Taylor L. (1967). Sequential Machines and Automata Theory (1st ed.). New York, NY: John Wiley and Sons, Inc. Library of Congress Card Catalog Number 67-25924. ] Extensive, wide-ranging book meant for specialists, written for both theoretical computer scientists as well as electrical engineers. With detailed explanations of state minimization techniques, FSMs, Turing machines, Markov processes, and undecidability. Excellent treatment of Markov processes pp. 449ff. Discusses Z-transforms, D transforms in their context.
• Kemeny, John G.; Hazleton Mirkil; J. Laurie Snell; Gerald L. Thompson (1959). Finite Mathematical Structures (1st ed.). Englewood Cliffs, NJ: Prentice-Hall, Inc. Library of Congress Card Catalog Number 59-12841. Classical text. cf Chapter 6 Finite Markov Chains pp. 384ff.
• John G. Kemeny & J. Laurie Snell (1960) Finite Markov Chains, D. van Nostrand Company ISBN 0-442-04328-7
• E. Nummelin. "General irreducible Markov chains and non-negative operators". Cambridge University Press, 1984, 2004. ISBN 0-521-60494-X
• Seneta, E. Non-negative matrices and Markov chains. 2nd rev. ed., 1981, XVI, 288 p., Softcover Springer Series in Statistics. (Originally published by Allen & Unwin Ltd., London, 1973) ISBN 978-0-387-29765-1
• Kishor S. Trivedi, Probability and Statistics with Reliability, Queueing, and Computer Science Applications, John Wiley & Sons, Inc. New York, 2002. ISBN 0-471-33341-7.
• K. S. Trivedi and R.A.Sahner, SHARPE at the age of twenty-two, vol. 36, no. 4, pp. 52–57, ACM SIGMETRICS Performance Evaluation Review, 2009.
• R. A. Sahner, K. S. Trivedi and A. Puliafito, Performance and reliability analysis of computer systems: an example-based approach using the SHARPE software package, Kluwer Academic Publishers, 1996. ISBN 0-7923-9650-2.
• G. Bolch, S. Greiner, H. de Meer and K. S. Trivedi, Queueing Networks and Markov Chains, John Wiley, 2nd edition, 2006. ISBN 978-0-7923-9650-5.

इस पेज में लापता आंतरिक लिंक की सूची

• गणनीय रूप से अनंत
• निरंतर-समय मार्कोव श्रृंखला
• मोटर गाड़ी
• भौतिक विज्ञान
• संकेत का प्रक्रमण
• राज्य अंतरिक्ष
• स्वतंत्रता (संभाव्यता सिद्धांत)
• पूर्णांकों
• पॉसों बिंदु प्रक्रिया
• बड़ी संख्या का कमजोर कानून
• पॉइसन प्रक्रिया
• अनियमित चर
• आगे का समीकरण
• पहचान मैट्रिक्स
• स्थानीय रूप से मार्कोव श्रृंखलाओं से बातचीत करना
• महत्तम सामान्य भाजक
• इकाई वेक्टर
• बरनौली प्रक्रिया
• बरनौली योजना
• सहखंडज मैट्रिक्स
• गतिशील प्रणाली
• उपाय (गणित)
• कई गुना बंद
• संदर्भ-मुक्त प्रणाली
• copolymer
• जनसंख्या में गतिशीलता
• डीएनए विकास के मॉडल
• बायोइनफॉरमैटिक्स
• महामारी विज्ञान में विभागीय मॉडल
• पैटर्न मान्यता
• आधार - सामग्री संकोचन
• सुदृढीकरण सीखना
• कतार सिद्धांत
• बायेसियन निष्कर्ष
• लुइस बैचलर
• निपुण बाजार अवधारणा
• निर्भर पथ
• सत्तावादी
• सांप और सीढ़ी
• संभाव्यता वेक्टर
• मुहावरा (संगीत)
• प्राकृतिक भाषा पीढ़ी
• अलग प्रेस

बाहरी संबंध

• Introduction to Markov Chains on YouTube
• "Markov chain", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• Techniques to Understand Computer Simulations: Markov Chain Analysis
• Markov Chains chapter in American Mathematical Society's introductory probability book Archived 2008-05-22 at the Wayback Machine(pdf)
• A beautiful visual explanation of Markov Chains
• Making Sense and Nonsense of Markov Chains
• Original paper by A.A Markov(1913): An Example of Statistical Investigation of the Text Eugene Onegin Concerning the Connection of Samples in Chains (translated from Russian)