मार्कोव श्रृंखला

दो-स्थिति मार्कोव प्रक्रिया का प्रतिनिधित्व करने वाला आरेख। संख्या एक स्थिति से दूसरे स्थिति में बदलने की संभावना है।

मार्कोव श्रृंखला या मार्कोव प्रक्रिया एक संक्रमण मॉडल है जो संभावित घटनाओं के अनुक्रम का वर्णन करती है प्रत्येक घटना की संभावना केवल पिछली घटना में प्राप्त स्थिति पर निर्भर करती है। अनौपचारिक रूप से, इसके बारे में सोचा जा सकता है, "आगे क्या होता है यह केवल स्थितियों की स्थिति पर निर्भर करता है।" एक अनगिनत अनंत अनुक्रम, जिसमें श्रृंखला असतत समय चरणों में चलती है, असतत समय मार्कोव श्रृंखला (डीटीएमसी) देती है। निरंतर समय की प्रक्रिया को निरंतर समय मार्कोव श्रृंखला (सीटीएमसी) कहा जाता है। इसका नाम रूसी गणितज्ञ एंड्री मार्कोव के नाम पर रखा गया है।

मार्कोव श्रृंखलाओं में वास्तविक दुनिया की प्रक्रियाओं के सांख्यिकीय मॉडल के रूप में कई अनुप्रयोग हैं, जैसे कि मोटर वाहनों में क्रूज नियंत्रण प्रणाली का अध्ययन, हवाईअड्डे पर आने वाले ग्राहकों की कतार या लाइनें, मुद्रा विनिमय दर और पशु आबादी की गतिशीलता।

मार्कोव प्रक्रियाएं मार्कोव श्रृंखला मोंटे कार्लो के रूप में जानी जाने वाली सामान्य संक्रमण अनुकरण विधियों का आधार हैं, जिनका उपयोग जटिल संभाव्यता वितरण से नमूने के अनुकरण के लिए किया जाता है, और बायेसियन सांख्यिकी, ऊष्मप्रवैगिकी, सांख्यिकीय यांत्रिकी, भौतिकी, रसायन विज्ञान, अर्थशास्त्र, वित्त, संकेत प्रसंस्करण, सूचना सिद्धांत और भाषण प्रसंस्करण में अनुप्रयोग पाया गया है।।

विशेषण मार्कोवियन और मार्कोव का उपयोग मार्कोव प्रक्रिया से संबंधित किसी चीज का वर्णन करने के लिए किया जाता है।

सिद्धांत

286x286 पीएक्स

परिभाषा

मार्कोव प्रक्रिया संक्रमण प्रक्रिया है जो मार्कोव गुण (कभी-कभी स्मृतिहीनता के रूप में वर्णित) को संतुष्ट करती है। सरल शब्दों में, यह एक ऐसी प्रक्रिया है जिसके लिए केवल इसकी वर्तमान स्थिति के आधार पर भविष्य के परिणामों के बारे में भविष्यवाणी की जा सकती है और सबसे महत्वपूर्ण बात यह है कि इस तरह की भविष्यवाणियां उतनी ही अच्छी होती हैं जितनी कि प्रक्रिया के पूरे इतिहास को जानकर की जा सकती हैं। दूसरे शब्दों में, व्यवस्था की वर्तमान स्थिति पर सशर्त इसके भविष्य और पिछली स्थिति स्वतंत्र हैं।

मार्कोव श्रृंखला मार्कोव प्रक्रिया का एक प्रकार है जिसमें या तो असतत स्थिति स्थान या असतत सूचकांक समुच्चय होता है (अधिकांशतः समय का प्रतिनिधित्व करता है), लेकिन मार्कोव श्रृंखला की सटीक परिभाषा भिन्न होती है।उदाहरण के लिए, मार्कोव श्रृंखला को मार्कोव प्रक्रिया के रूप में या तो असतत या निरंतर समय में गणनीय स्थिति स्थान के साथ परिभाषित करना आम है (इस प्रकार समय की प्रकृति की परवाह किए बिना), लेकिन यह मार्कोव श्रृंखला को गणनीय या निरंतर स्थिति स्थान में असतत समय के रूप में परिभाषित करना भी आम है (इस प्रकार स्थिति स्थान की परवाह किए बिना)।

मार्कोव श्रृंखला के प्रकार

प्रणाली के स्थिति स्थान और समय मापदण्ड सूचकांक को निर्दिष्ट करने की आवश्यकता है। निम्न तालिका स्थिति स्थान सामान्यता के विभिन्न स्तरों और असतत समय बनाम निरंतर समय के लिए मार्कोव प्रक्रियाओं के विभिन्न उदाहरणों का सिंहावलोकन देती है:

	गणनीय स्थिति स्थान	निरंतर या सामान्य स्थिति स्थान
असतत-समय	असतत-समय) मार्कोव श्रृंखला एक गणनीय या परिमित स्थिति स्थान पर	मापने योग्य राज्य स्थान पर मार्कोव श्रृंखला (उदाहरण के लिए, हैरिस श्रृंखला)
निरंतर-समय	सतत-समय सतत-समय मार्कोव प्रक्रिया या मार्कोव कूद प्रक्रिया	मार्कोव संपत्ति के साथ कोई निरंतर स्टोकेस्टिक प्रक्रिया (उदाहरण के लिए, वीनर प्रक्रिया)

ध्यान दें कि मार्कोव प्रक्रियाओं के विशेष स्थितियों को दर्शाने वाले कुछ शब्दों के उपयोग पर साहित्य में कोई निश्चित सहमति नहीं है। सामान्यतः शब्द "मार्कोव श्रृंखला" असतत समय के साथ एक प्रक्रिया के लिए आरक्षित है, जो कि असतत-समय मार्कोव श्रृंखला (डीटीएमसी) है, लेकिन कुछ लेखक "मार्कोव प्रक्रिया" शब्द का उपयोग करते हैं स्पष्ट उल्लेख के बिना निरंतर-समय मार्कोव श्रृंखला (सीटीएमसी) का संदर्भ लें। इसके अतिरिक्त, मार्कोव प्रक्रियाओं के अन्य विस्तार भी हैं जिन्हें इस तरह संदर्भित किया जाता है लेकिन जरूरी नहीं कि वे इन चार श्रेणियों में से किसी के अंतर्गत आते हों (मार्कोव मॉडल देखें)। इसके अतिरिक्त, समय सूचकांक का वास्तविक मान होना जरूरी नहीं है, स्थिति स्थान की तरह, ऐसी बोधगम्य प्रक्रियाएँ हैं जो अन्य गणितीय निर्माणों के साथ सूचकांक समुच्चय के माध्यम से चलती हैं। ध्यान दें कि सामान्य स्थिति स्थान निरंतर-समय मार्कोव श्रृंखला इस हद तक सामान्य है कि इसकी कोई निर्दिष्ट अवधि नहीं है।

जबकि समय मापदण्ड सामान्यतः असतत होता है, मार्कोव श्रृंखला के स्थिति स्थान में सामान्यतः सहमत प्रतिबंध नहीं होते हैं: यह शब्द मनमाना स्थिति स्थान पर प्रक्रिया को संदर्भित कर सकता है। चूंकि, मार्कोव श्रृंखलाओं के कई अनुप्रयोग परिमित या गणनीय रूप से अनंत स्थिति स्थानों को नियोजित करते हैं, जिनका अधिक सीधा सांख्यिकीय विश्लेषण होता है। समय सूचकांक और स्थिति-स्थान मापदण्ड के अतिरिक्त, कई अन्य भिन्नताएं, विस्तार और सामान्यीकरण हैं (भिन्नताएं देखें)। सरलता के लिए, इस लेख का अधिकांश भाग असतत-समय, असतत स्थिति-स्थान मामले पर केंद्रित है, जब तक कि अन्यथा उल्लेख न किया गया हो।

संक्रमण

प्रणाली की स्थिति के परिवर्तन को संक्रमण कहा जाता है।विभिन्न स्थिति परिवर्तनों से जुड़ी संभावनाओं को संक्रमण संभावनाएं कहा जाता है। प्रक्रिया को स्थिति स्थान, विशेष संक्रमण की संभावनाओं का वर्णन करने वाला संक्रमण आव्यूह, और स्थिति के स्थान पर प्रारंभिक अवस्था (या प्रारंभिक वितरण) की विशेषता है। परिपाटी के अनुसार, हम मानते हैं कि प्रक्रिया की परिभाषा में सभी संभावित अवस्थाएं और संक्रमण सम्मलित किए गए हैं, इसलिए हमेशा अगली स्थिति होती है, और प्रक्रिया समाप्त नहीं होती है।

असतत-समय की यादृच्छिक प्रक्रिया में प्रणाली सम्मलित होती है जो प्रत्येक चरण पर निश्चित स्थिति में होती है, जिसमें स्थिति चरणों के बीच यादृच्छिक रूप से बदलते हैं।चरणों को अधिकांशतः समय के क्षणों के रूप में माना जाता है, लेकिन वे भौतिक दूरी या किसी अन्य असतत माप को समान रूप से अच्छी तरह से संदर्भित कर सकते हैं। औपचारिक रूप से, चरण पूर्णांक या प्राकृतिक संख्याएं हैं, और यादृच्छिक प्रक्रिया स्थिति के लिए इनकी मैपिंग है। [23] मार्कोव गुण बताती है कि अगले चरण में प्रणाली के लिए सशर्त संभाव्यता वितरण (और वास्तव में सभी भविष्य के चरणों में) केवल प्रणाली की वर्तमान स्थिति पर निर्भर करता है, और इसके अतिरिक्त पिछले चरणों में प्रणाली की स्थिति पर निर्भर नहीं करता है।

चूंकि प्रणाली बेतरतीब ढंग से बदलती है, भविष्य में किसी निश्चित बिंदु पर निश्चित रूप से मार्कोव श्रृंखला की स्थिति का अनुमान लगाना असंभव है।चूंकि, प्रणाली के भविष्य के सांख्यिकीय गुणों का अनुमान लगाया जा सकता है।कई अनुप्रयोगों में, ये सांख्यिकीय गुण हैं जो महत्वपूर्ण हैं।

इतिहास

मार्कोव ने 20वीं सदी की प्रारंभ में मार्कोव प्रक्रियाओं का अध्ययन किया, 1906 में इस विषय पर अपना पहला पेपर प्रकाशित किया। 20वीं सदी की प्रारंभ में एंड्री मार्कोव के काम से बहुत पहले मार्कोव प्रक्रियाओं की खोज निरंतर समय में पोइसन प्रक्रिया के रूप में की गई थी।मार्कोव स्वतंत्र यादृच्छिक अनुक्रमों के विस्तार का अध्ययन करने में रुचि रखते थे, जो पावेल नेक्रासोव के साथ असहमति से प्रेरित थे जिन्होंने दावा किया था कि बड़ी संख्या के कमजोर कानून के लिए स्वतंत्रता आवश्यक थी। 1906 में प्रकाशित मार्कोव श्रृंखलाओं पर अपने पहले पेपर में, मार्कोव ने दिखाया कि कुछ शर्तों के अनुसार मार्कोव श्रृंखला के औसत परिणाम मान के निश्चित सदिश में परिवर्तित हो जाएंगे, इसलिए स्वतंत्रता धारणा के बिना बड़ी संख्या के कमजोर कानून को सिद्ध करना,जिसे सामान्यतः इस तरह के गणितीय कानूनों को धारण करने के लिए आवश्यकता के रूप में माना जाता था।मार्कोव ने बाद में अलेक्जेंडर पुश्किन द्वारा लिखित यूजीन वनगिन में स्वरों के वितरण का अध्ययन करने के लिए मार्कोव श्रृंखलाओं का उपयोग किया और इस तरह की श्रृंखलाओं के लिए मार्कोव श्रृंखला केंद्रीय सीमा प्रमेय सिद्ध किया।

1912 में हेनरी पोंकारे ने कार्ड समवकुलन का अध्ययन करने के उद्देश्य से परिमित समूहों पर मार्कोव श्रृंखलाओं का अध्ययन किया। मार्कोव श्रृंखलाओं के अन्य प्रारंभिक उपयोगों में 1907 में पॉल एहरनफेस्ट और तात्याना एरेनफेस्ट द्वारा पेश किया गया प्रसार मॉडल और मार्कोव के काम से पहले 1873 में फ्रांसिस गैल्टन और हेनरी विलियम वाटसन द्वारा प्रारम्भ की गई शाखा प्रक्रिया सम्मलित है।गैल्टन और वॉटसन के काम के बाद, में यह पता चला कि उनकी शाखाओं में बंटने की प्रक्रिया स्वतंत्र रूप से खोजी गई थी और लगभग तीन दशक पहले इरेनी-जूल्स बिएन मे द्वारा अध्ययन किया गया था। 1928 में प्रारम्भ होकर, मौरिस फ्रेचेट की मार्कोव श्रृंखलाओं में रुचि हो गई, जिसके परिणामस्वरूप उन्हें 1938 में मार्कोव श्रृंखलाओं पर विस्तृत अध्ययन प्रकाशित करना पड़ा।

एंड्री कोलमोगोरोव ने 1931 के पेपर में निरंतर-समय मार्कोव प्रक्रियाओं के प्रारंभिक सिद्धांत का बड़ा हिस्सा विकसित किया। कोलमोगोरोव आंशिक रूप से शेयर बाज़ार में उतार-चढ़ाव पर लुई बैचलर के 1900 के काम के साथ-साथ आइंस्टीन के ब्राउनियन आंदोलन के मॉडल पर नॉर्बर्ट वीनर के काम से प्रेरित थे। उन्होंने मार्कोव प्रक्रियाओं के विशेष समुच्चय को पेश किया और अध्ययन किया, जिसे प्रसार प्रक्रियाओं के रूप में जाना जाता है, जहां उन्होंने प्रक्रियाओं का वर्णन करने वाले अंतर समीकरणों का समुच्चय निकाला। कोल्मोगोरोव के काम से स्वतंत्र, सिडनी चैपमैन (गणितज्ञ) ने ब्राउनियन आंदोलन का अध्ययन करते हुए, कोलमोगोरोव की तुलना में गणितीय रूप से कम कठोर तरीके से, 1928 के पेपर समीकरण, जिसे अब चैपमैन-कोल्मोगोरोव समीकरण कहा जाता है, में व्युत्पन्न किया। अंतर समीकरणों को अब कोलमोगोरोव समीकरणया कोलमोगोरोव-चैपमैन समीकरण कहा जाता है। मार्कोव प्रक्रियाओं की नींव में महत्वपूर्ण योगदान देने वाले अन्य गणितज्ञों मेंविलियम फेलर शामिल हैं, जो 1930 के दशक में प्रारम्भ हुआ, और फिर बाद में यूजीन डायनकिन 1950 के दशक में प्रारम्भ हुआ।

उदाहरण

Main article: मार्कोव श्रृंखलाओं के उदाहरण

• पूर्णांकों पर आधारित यादृच्छिक चाल और जुआरीकावित्‍तनाश की समस्या मार्कोव प्रक्रियाओं के उदाहरण हैं। सैकड़ों साल पहले स्वतंत्र चर के संदर्भ में इन प्रक्रियाओं की कुछ विविधताओं का अध्ययन किया गया था।मार्कोव प्रक्रियाओं के दो महत्वपूर्ण उदाहरण हैं वीनर प्रक्रिया, जिसे ब्राउनियन गति प्रक्रिया के रूप में भी जाना जाता है, और पॉइसन प्रक्रिया,जिन्हें संक्रमण प्रक्रियाओं के सिद्धांत में सबसे महत्वपूर्ण और केंद्रीय संक्रमण प्रक्रिया माना जाता है।ये दो प्रक्रियाएँ निरंतर समय में मार्कोव प्रक्रियाएँ हैं, जबकि पूर्णांकों पर यादृच्छिक चलना और जुआरीकावित्‍तनाश की समस्या असतत समय में मार्कोव प्रक्रियाओं के उदाहरण हैं।
• एक प्रसिद्ध मार्कोव श्रृंखला तथाकथित "शराबी की चाल" है, संख्या रेखा पर एक यादृच्छिक चलना है, जहां प्रत्येक चरण पर, समान संभावना के साथ स्थिति +1 या -1 से बदल सकती है। किसी भी स्थिति से अगले या पिछले पूर्णांक में दो संभावित संक्रमण होते हैं। संक्रमण की संभावनाएं केवल वर्तमान स्थिति पर निर्भर करती हैं, उस तरीके पर नहीं जिस पर स्थिति पहुंची थी। उदाहरण के लिए, 5 से 4 और 5 से 6 में संक्रमण की संभावनाएं दोनों 0.5 हैं, और 5 से अन्य सभी संक्रमण संभावनाएं 0 हैं। ये संभावनाएं इस बात से स्वतंत्र हैं कि प्रणाली पहले 4 या 6 में था।
• अन्य उदाहरण अत्यधिक सैद्धांतिक जानवर की आहार संबंधी आदतें हैं जो केवल अंगूर, पनीर, या सलाद खाता है, और जिनकी आहार संबंधी आदतें निम्नलिखित नियमों के अनुरूप हैं:
  • यह दिन में ठीक एक बार खाता है।
  • यदि उसने आज पनीर खाया, तो कल वह सलाद या अंगूर खाएगा, इसकी समान संभावना है।
  • यदि उसने आज अंगूर खाया, तो कल वह 1/10 प्रायिकता वाला अंगूर खाएगा, चीज़ 4/10 प्रायिकता वाला, और लेट्यूस 5/10 प्रायिकता वाला।
  • यदि उसने आज सलाद खाया, तो कल वह 4/10 प्रायिकता के साथ अंगूर या 6/10 संभावना वाला पनीर खाएगा। यह कल फिर से सलाद नहीं खाएगा।
• इस जानवर की खाने की आदतों को मार्कोव श्रृंखला के साथ तैयार किया जा सकता है, क्योंकि कल का चुनाव पूरी तरह से इस बात पर निर्भर करता है कि उसने आज क्या खाया, न कि उसने कल या अतीत में किसी अन्य समय में क्या खाया। सांख्यिकीय गुण जिसकी गणना की जा सकती है, लंबी अवधि में, उन दिनों का अपेक्षित प्रतिशत है, जिस दिन जानवर अंगूर खाएगा।
• स्वतंत्र घटनाओं की श्रृंखला (उदाहरण के लिए, सिक्का उछालो की श्रृंखला) मार्कोव श्रृंखला की औपचारिक परिभाषा को संतुष्ट करती है। चूंकि, सिद्धांत सामान्यतः केवल तभी लागू होता है जब अगले चरण की संभाव्यता वितरण गैर-तुच्छ रूप से वर्तमान स्थिति पर निर्भर करता है। (निर्भरता की तुच्छता इस बात से बदल सकती है कि स्थिति को कैसे परिभाषित किया जाता है, यदि सिक्के की श्रृंखला की स्थिति को सबसे हाल के सिक्के के रूप में परिभाषित किया जाता है, तो निर्भरता तुच्छ है, जबकि यदि स्थिति कुल बार की संख्या है सिक्का ऊपर आ गया है, यह शराबी के चलने के लिए समरूप है।)

गैर-मार्कोव उदाहरण

मान लीजिए कि सिक्के का पर्स है जिसमें पाँच तिमाहि (प्रत्येक का मान 25 ¢), पाँच डाइम्स (प्रत्येक का मान 10 ¢), और पाँच निकल (प्रत्येक का मान 5 ¢) है, और एक-एक करके, सिक्कों को पर्स से बेतरतीब ढंग से निकाला जाता है और एक टेबल पर समुच्चय करें। यदि $X_{n}$ के बाद टेबल पर समुच्चय किए गए सिक्कों के कुल मान का प्रतिनिधित्व करता है n निष्कासन है $X_{0}=0$, फिर क्रम $\{X_{n}:n\in \mathbb {N} \}$ मार्कोव प्रक्रिया नहीं है।

यह देखने के लिए कि ऐसा क्यों है, मान लीजिए कि पहले छह निष्कासन में, सभी पाँच निकल और एक चौथाई निकाल लिए गए हैं। इस प्रकार $X_{6}=\$0.50$. यदि हम नहीं जानते हैं $X_{6}$, लेकिन पहले के मान भी, तब हम यह निर्धारित कर सकते हैं कि कौन से सिक्के निकाले गए हैं, और हम जानते हैं कि अगला सिक्का निकल नहीं होगा, इसलिए हम यह निर्धारित कर सकते हैं $X_{7}\geq \$0.60$ प्रायिकता 1 के साथ। लेकिन यदि हम पहले के मान नहीं जानते हैं, तो केवल मान के आधार पर $X_{6}$ हम अनुमान लगा सकते हैं कि हमने चार डाइम और दो निकल निकाले थे, इस मामले में निश्चित रूप से एक और निकल निकालना संभव होगा। इस प्रकार, हमारा अनुमान है $X_{7}$ से पहले मान के बारे में हमारे ज्ञान से $X_{6}$ प्रभावित होते हैं .

चूंकि, इस परिदृश्य को मार्कोव प्रक्रिया के रूप में मॉडल करना संभव है। परिभाषित करने के अतिरिक्त $X_{n}$ मेज पर सिक्कों के कुल मान का प्रतिनिधित्व करने के लिए, $X_{n}$ मेज पर विभिन्न प्रकार के सिक्कों की गिनती का प्रतिनिधित्व करने के लिए हम परिभाषित कर सकते हैं। उदाहरण के लिए, $X_{6}=1,0,5$ उस स्थिति का प्रतिनिधित्व करने के लिए परिभाषित किया जा सकता है जहां 6 एक-एक-एक निष्कासन के बाद मेज पर चौथाई, शून्य डिम और पांच निकल हैं। इस नए मॉडल का प्रतिनिधित्व किया जा सकता है $6\times 6\times 6=216$ संभावित स्थिति, जहां प्रत्येक स्थिति टेबल पर सम्मलित प्रत्येक प्रकार के सिक्कों (0 से 5 तक) की संख्या का प्रतिनिधित्व करता है। (ये सभी स्थिति 6 निष्कासन के भीतर उपलब्ध नहीं हैं।) मान लीजिए कि स्थिति में पहले ड्रा का परिणाम है $X_{1}=0,1,0$. प्राप्ति की संभावना है $X_{2}$ अब निर्भर करता है $X_{1}$, उदाहरण के लिए, स्थिति $X_{2}=1,0,1$ संभव नहीं है। दूसरे निष्कासन के बाद, तीसरा निष्कासन इस बात पर निर्भर करता है कि अब तक कौन से सिक्के निकाले गए हैं, लेकिन अब केवल उन सिक्कों पर नहीं है जो पहले स्थिति के लिए निकाले गए थे (चूंकि संभावित रूप से महत्वपूर्ण जानकारी परिदृश्य में जोड़ दी गई है)। ऐसे में की संभावना है $X_{n}=i,j,k$ स्थिति विशेष रूप से के परिणाम $X_{n-1}=\ell ,m,p$ स्थिति पर निर्भर करता है।

औपचारिक परिभाषा

असतत-समय मार्कोव श्रृंखला

Main article: असतत-समय मार्कोव श्रृंखला

असतत-समय मार्कोव श्रृंखला यादृच्छिक चर X₁, X₂, X₃, ... का क्रम है, मार्कोव गुण के साथ, अर्थात् अगले स्थिति में जाने की संभावना केवल वर्तमान स्थिति पर निर्भर करती है और पिछले स्थिति पर नहीं:

$\Pr(X_{n+1}=x\mid X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n})=\Pr(X_{n+1}=x\mid X_{n}=x_{n}),$ यदि दोनों सशर्त संभाव्यता अच्छी तरह से परिभाषित हैं, अर्थात यदि $\Pr(X_{1}=x_{1},\ldots ,X_{n}=x_{n})>0.$

X_i के संभावित मान गणनीय समुच्चय S का निर्माण करें जिसे श्रृंखला का स्थिति स्थान कहा जाता है।

विविधताएं

• समय-सजातीय मार्कोव श्रृंखलाएं ऐसी प्रक्रियाएं हैं जहां
  $$\Pr(X_{n+1}=x\mid X_{n}=y)=\Pr(X_{n}=x\mid X_{n-1}=y)$$
  सभी n के लिए। संक्रमण की संभावना n से स्वतंत्र है।
• स्थिर मार्कोव श्रृंखला ऐसी प्रक्रियाएं हैं जहां
  $$\Pr(X_{0}=x_{0},X_{1}=x_{1},\ldots ,X_{k}=x_{k})=\Pr(X_{n}=x_{0},X_{n+1}=x_{1},\ldots ,X_{n+k}=x_{k})$$
  सभी n और k के लिए। बेयस के नियम से प्रत्येक स्थिर श्रृंखला को समय-सजातीय सिद्ध किया जा सकता है।
  समय-सजातीय मार्कोव श्रृंखला के स्थिर होने के लिए आवश्यक और पर्याप्त शर्त यह है कि का वितरण $X_{0}$ मार्कोव श्रृंखला का स्थिर वितरण है।
• स्मृति के साथ मार्कोव श्रृंखला (या क्रम m की मार्कोव श्रृंखला) जहां m परिमित है, एक प्रक्रिया संतोषजनक है
  $${\begin{aligned}{}&\Pr(X_{n}=x_{n}\mid X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{1}=x_{1})\\=&\Pr(X_{n}=x_{n}\mid X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{n-m}=x_{n-m}){\text{ for }}n>m\end{aligned}}$$
  दूसरे शब्दों में, भविष्य की स्थिति पिछले m स्थिति पर निर्भर करती है। शृंखला का निर्माण संभव है $(Y_{n})$ से $(X_{n})$ जिसमें 'चिरसम्मत' मार्कोव गुण है, स्थिति स्थान के रूप में X मानों के आदेशित m-टुपल्स, अर्थात, $Y_{n}=\left(X_{n},X_{n-1},\ldots ,X_{n-m+1}\right)$.

सतत समय मार्कोव श्रृंखला

Main article: सतत समय मार्कोव श्रृंखला

सतत समय मार्कोव श्रृंखला (X_t)_{t ≥ 0} परिमित या गणनीय स्थिति स्थान S द्वारा परिभाषित किया गया है, संक्रमण दर आव्यूह Q स्थिति स्थान के बराबर आयामों के साथ और प्रारंभिक संभाव्यता वितरण स्थिति स्थान पर परिभाषित है। i ≠ j के लिए, तत्व q_ij ऋणेतर हैं और स्थिति i से स्थिति j तक प्रक्रिया के संक्रमण की दर का वर्णन करते हैं। तत्व q_ij ऐसे चुने जाते हैं कि संक्रमण दर आव्यूह की प्रत्येक पंक्ति का योग शून्य हो जाता है, जबकि (असतत) मार्कोव श्रृंखला में संभाव्यता संक्रमण आव्यूह की पंक्ति-राशि सभी एक के बराबर होती है।

प्रक्रिया की तीन समकक्ष परिभाषाएँ हैं।

अनंत परिभाषा

निरंतर समय मार्कोव श्रृंखला को संक्रमण दर, स्थिति i और j के बीच संक्रमण संभावनाओं के समय के संबंध में डेरिवेटिव की विशेषता है।

मान लें कि $X_{t}$ समय t पर प्रक्रिया की स्थिति का वर्णन करने वाला यादृच्छिक चर हो, और मान लें कि प्रक्रिया समय t पर एक स्थिति में है।

फिर, जानना $X_{t}=i$, $X_{t+h}=j$ पिछले मान से स्वतंत्र है $\left(X_{s}:s<t\right)$, और h → 0 के रूप में सभी j के लिए और सभी t के लिए,

$$\Pr(X(t+h)=j\mid X(t)=i)=\delta _{ij}+q_{ij}h+o(h),$$

जहाँ पे $\delta _{ij}$ थोड़ा-ओ अंकन का उपयोग करते हुए क्रोनकर डेल्टा है। $q_{ij}$ को यह मापने के रूप में देखा जा सकता है कि i से j में संक्रमण कितनी जल्दी होता है।

जंप श्रृंखला/होल्डिंग समय परिभाषा

असतत-समय मार्कोव श्रृंखला Y_n को परिभाषित करें प्रक्रिया और चर S₁, S₂, S₃, ...की n वीं छलांग का वर्णन करने के लिए प्रत्येक स्थिति में होल्डिंग समय का वर्णन करने के लिए जहां S_i दर मापदण्ड −q_YiYi के साथ घातीय वितरण का अनुसरण करता है।

संक्रमण संभाव्यता परिभाषा

किसी भी मान n = 0, 1, 2, 3, ... और बार के लिए n: t₀, t₁, t₂, ... के इस मान तक अनुक्रमित और सभी स्थिति को इस समय दर्ज किया गया i₀, मैं₁, मैं₂, मैं₃, ... यह मानता है

$\Pr(X_{t_{n+1}}=i_{n+1}\mid X_{t_{0}}=i_{0},X_{t_{1}}=i_{1},\ldots ,X_{t_{n}}=i_{n})=p_{i_{n}i_{n+1}}(t_{n+1}-t_{n})$

जहां p_ijआगे के समीकरण का समाधान है (प्रथम-क्रम अंतर समीकरण)

$P'(t)=P(t)Q$

प्रारंभिक स्थिति के साथ P(0) तत्समक आव्यूह है।

परिमित स्थिति स्थान

यदि स्थिति स्थान परिमित समुच्चय है, तो संक्रमण संभाव्यता वितरण को आव्यूह (गणित) द्वारा दर्शाया जा सकता है, जिसे संक्रमण आव्यूह कहा जाता है, 'P' के बराबर (i, j)वें तत्व (गणित) के साथ

$p_{ij}=\Pr(X_{n+1}=j\mid X_{n}=i).$

चूँकि P की प्रत्येक पंक्ति का योग एक है और सभी तत्व ऋणेतर हैं, P एक सही संक्रमण आव्यूह है।

अभिलक्षणिक सदिश और सरलताओं के लिए स्थिर वितरण संबंध

स्थिर वितरण π (पंक्ति) सदिश है, जिसकी प्रविष्टियां ऋणेतर हैं और योग 1 है, उस पर संक्रमण आव्यूह P के संचालन से अपरिवर्तित है और इसलिए इसे परिभाषित किया गया है

$\pi \mathbf {P} =\pi .$

इस परिभाषा की तुलना अभिलक्षणिक सदिश की परिभाषा से करने पर हम देखते हैं कि दो अवधारणाएं संबंधित हैं और वह

$\pi ={\frac {e}{\sum _{i}{e_{i}}}}$

सामान्यीकृत है (${\textstyle \sum _{i}\pi _{i}=1}$) संक्रमण आव्यूह P के बाएँ अभिलक्षणिक सदिश e का गुणक अभिलक्षणिक मान के साथ 1 हैं। यदि एक से अधिक इकाई अभिलक्षणिक सदिश हैं, तो संबंधित स्थिर अवस्थाओं का भारित योग भी स्थिर अवस्था है। लेकिन मार्कोव श्रृंखला के लिए सामान्यतः स्थिर स्थिति में अधिक रुचि होती है जो कि कुछ प्रारंभिक वितरण के लिए वितरण के अनुक्रम की सीमा है।

स्थिर वितरण के मान $\textstyle \pi _{i}$ P के स्थिति स्थान से जुड़े हैं और इसके अभिलक्षणिक सदिश के सापेक्ष अनुपात संरक्षित हैं। चूंकि π के घटक घनात्मक हैं और बाधा है कि उनका योग एकता के रूप में फिर से लिखा जा सकता है ${\textstyle \sum _{i}1\cdot \pi _{i}=1}$ हम देखते हैं कि सदिश के साथ π का ​​अदिश गुणनफल जिसके सभी घटक 1 हैं एकता है और वह π मानक संकेतन पर स्थित है।

समय-सजातीय मार्कोव श्रृंखला परिमित स्थिति स्थान के साथ

यदि मार्कोव श्रृंखला समय-सजातीय है, तो संक्रमण आव्यूह P प्रत्येक चरण के बाद समान है, इसलिए k-चरण संक्रमण संभावना की गणना संक्रमण आव्यूह P^k की k-th घात के रूप में की जा सकती है।

यदि मार्कोव श्रृंखला अलघुकरणीय और अनावर्ती है, तो अद्वितीय स्थिर वितरण π है . साथ ही, इस मामले में P^k श्रेणी एक आव्यूह में परिवर्तित होता है जिसमें प्रत्येक पंक्ति स्थिर वितरण π है :

$\lim _{k\to \infty }\mathbf {P} ^{k}=\mathbf {1} \pi$

जहां 1 कॉलम सदिश है जिसमें सभी प्रविष्टियां 1 के बराबर हैं। यह पेरोन-फ्रोबेनियस प्रमेय द्वारा कहा गया है। यदि, किसी भी तरह से, ${\textstyle \lim _{k\to \infty }\mathbf {P} ^{k}}$ पाया जाता है, तो विचाराधीन मार्कोव श्रृंखला का स्थिर वितरण किसी भी प्रारंभिक वितरण के लिए आसानी से निर्धारित किया जा सकता है, जैसा कि नीचे बताया जाएगा।

कुछ संक्रमण आव्यूह P के लिए, सीमा ${\textstyle \lim _{k\to \infty }\mathbf {P} ^{k}}$ सम्मलित नहीं है जबकि स्थिर वितरण करता है, जैसा कि इस उदाहरण द्वारा दिखाया गया है:

$\mathbf {P} ={\begin{pmatrix}0&1\\1&0\end{pmatrix}}\qquad \mathbf {P} ^{2k}=I\qquad \mathbf {P} ^{2k+1}=\mathbf {P}$

${\begin{pmatrix}{\frac {1}{2}}&{\frac {1}{2}}\end{pmatrix}}{\begin{pmatrix}0&1\\1&0\end{pmatrix}}={\begin{pmatrix}{\frac {1}{2}}&{\frac {1}{2}}\end{pmatrix}}$

(यह उदाहरण आवधिक मार्कोव श्रृंखला दिखाता है।)

क्योंकि विचार करने के लिए कई अलग-अलग विशेष मामले हैं, यदि यह सम्मलित है तो इस सीमा को खोजने की प्रक्रिया लंबा काम हो सकती है। चूंकि, ऐसी कई तकनीकें हैं जो इस सीमा को खोजने में सहायता कर सकती हैं। P को n×n आव्यूह होने दें, और परिभाषित करें ${\textstyle \mathbf {Q} =\lim _{k\to \infty }\mathbf {P} ^{k}.}$

यह हमेशा सच होता है

$\mathbf {QP} =\mathbf {Q} .$

दोनों पक्षों से Q घटाना और गुणनखंडन करना फिर प्राप्त होता है

$\mathbf {Q} (\mathbf {P} -\mathbf {I} _{n})=\mathbf {0} _{n,n},$

जहां I_n पहचान आव्यूह आकार n और 0_n,n शून्य आव्यूह है आकार n×n है। संक्रमण आव्यूह को एक साथ गुणा करने से हमेशा एक और संक्रमण आव्यूह प्राप्त होता है, इसलिए Q संक्रमण आव्यूह होना चाहिए (ऊपर परिभाषा देखें)। यह कभी-कभी उपरोक्त आव्यूह समीकरण का उपयोग करने के लिए पर्याप्त होता है और तथ्य यह है कि Q, Q के लिए हल करने के लिए संक्रमण आव्यूह है। इस तथ्य को सम्मलित करते हुए कि P में प्रत्येक पंक्तियों का योग 1 है, n अज्ञात का निर्धारण करने के लिए n + 1 समीकरण हैं, इसलिए यह संगणनात्मक रूप से आसान है यदि एक तरफ कोई Q में पंक्ति का चयन करता है और प्रत्येक को प्रतिस्थापित करता है इसके तत्वों को एक से, और दूसरे पर सदिश '0' में संबंधित तत्व (उसी कॉलम में एक) को प्रतिस्थापित करता है, और अगले बाएं-इस बाद वाले सदिश को Q खोजने के लिए रूपांतरित पूर्व आव्यूह के व्युत्क्रम से गुणा करता है।

ऐसा करने के लिए यहां तरीका दिया गया है: सबसे पहले, फलन f('A') को आव्यूह 'A' को वापस करने के लिए परिभाषित करें, जिसके सबसे दाहिने कॉलम को सभी 1 से बदल दिया गया है। यदि [f(P − I_n)]⁻¹ तब सम्मलित होता है

$\mathbf {Q} =f(\mathbf {0} _{n,n})[f(\mathbf {P} -\mathbf {I} _{n})]^{-1}.$

व्याख्या करें: मूल आव्यूह समीकरण रैखिक समीकरणों की प्रणाली n×n चरों में n×n रैखिक समीकरणों की प्रणाली के बराबर है।और इस तथ्य से n अधिक रैखिक समीकरण हैं कि Q सही संक्रमण आव्यूह है जिसकी प्रत्येक पंक्ति 1 के बराबर है। इसलिए इसे n×n चर के लिए हल करने के लिए (n×n+n) समीकरणों के किसी भी n×n स्वतंत्र रैखिक समीकरणों की आवश्यकता है। इस उदाहरण में, "Q गुणा (P-In) के सबसे दाहिने कॉलम से गुणा" के n समीकरणों को n संक्रमण द्वारा प्रतिस्थापित किया गया है।

ध्यान देने वाली एक बात यह है कि यदि P में अवयव P_i,i है इसके मुख्य विकर्ण पर जो 1 के बराबर है और i वीं पंक्ति या स्तंभ अन्यथा 0 से भरा है, तो वह पंक्ति या स्तंभ बाद की सभी घात P^k' में अपरिवर्तित रहेगा इसलिए, Q की आठवीं पंक्ति या कॉलम में 1 और 0 P के समान स्थिति में होंगे।

स्थिर वितरण के लिए अभिसरण गति

जैसा कि पहले कहा गया है, समीकरण से ${\boldsymbol {\pi }}={\boldsymbol {\pi }}\mathbf {P} ,$ (यदि सम्मलित है) स्थिर (या स्थिर स्थिति) वितरण π पंक्ति संक्रमण आव्यूह P का बायां अभिलक्षणिक सदिश है। फिर यह मानते हुए कि पी विकर्ण है या समकक्ष है कि P में n रैखिक रूप से स्वतंत्र अभिलक्षणिक सदिश हैं, अभिसरण की गति निम्नानुसार विस्तृत है। (गैर-विकर्ण करने योग्य, अर्थात दोषपूर्ण आव्यूह के लिए, P के जॉर्डन सामान्य रूप से प्रारम्भ हो सकता है और इसी तरह तर्कों के कुछ और सम्मलित समुच्चय के साथ आगे बढ़ सकता है।

U को अभिलक्षणिक सदिश का आव्यूह होने दें (प्रत्येक को 1 के बराबर L2 मानक होने के लिए सामान्यीकृत किया जाता है) जहां प्रत्येक कॉलम P का बाएं अभिलक्षणिक सदिश होता है और Σ को P के बाएं अभिलक्षणिक मान का विकर्ण आव्यूह होता है, अर्थात,Σ = diag(λ₁,λ₂,λ₃,...,λ_n) फिर आइगेनडीकंपोजीशन द्वारा

$\mathbf {P} =\mathbf {U\Sigma U} ^{-1}.$

बता दें कि अभिलक्षणिक मान ​​​​इस तरह गिना जाता है कि:

$1=|\lambda _{1}|>|\lambda _{2}|\geq |\lambda _{3}|\geq \cdots \geq |\lambda _{n}|.$

चूँकि P पंक्ति संक्रमण आव्यूह है, इसका सबसे बड़ा बायाँ अभिलक्षणिक मान 1 है। यदि कोई अद्वितीय स्थिर वितरण है, तो सबसे बड़ा अभिलक्षणिक मान और संबंधित अभिलक्षणिक सदिश भी अद्वितीय है (क्योंकि कोई अन्य नहीं है π जो उपरोक्त स्थिर वितरण समीकरण को हल करता है)। चलो u_{i ,} U आव्यूह का i-वां कॉलम हो, अर्थात u_i λ के संगत P का बायाँ अभिलक्षणिक सदिश है साथ ही x को लंबाई n पंक्ति सदिश होने दें जो एक मान्य संभाव्यता वितरण का प्रतिनिधित्व करता है, अभिलक्षणिक सदिश u_i के बाद से अवधि $\mathbb {R} ^{n},$ हम लिख सकते हैं

$\mathbf {x} ^{\mathsf {T}}=\sum _{i=1}^{n}a_{i}\mathbf {u} _{i},\qquad a_{i}\in \mathbb {R} .$

यदि हम दाईं ओर से x को P से गुणा करते हैं और परिणामों के साथ इस संक्रिया को जारी रखते हैं, तो अंत में हमें स्थिर वितरण π प्राप्त होता है दूसरे शब्दों में,π = u_i ← xPP...P = xP^k , k → ∞ के रूप में इसका मत

${\begin{aligned}{\boldsymbol {\pi }}^{(k)}&=\mathbf {x} \left(\mathbf {U\Sigma U} ^{-1}\right)\left(\mathbf {U\Sigma U} ^{-1}\right)\cdots \left(\mathbf {U\Sigma U} ^{-1}\right)\\&=\mathbf {xU\Sigma } ^{k}\mathbf {U} ^{-1}\\&=\left(a_{1}\mathbf {u} _{1}^{\mathsf {T}}+a_{2}\mathbf {u} _{2}^{\mathsf {T}}+\cdots +a_{n}\mathbf {u} _{n}^{\mathsf {T}}\right)\mathbf {U\Sigma } ^{k}\mathbf {U} ^{-1}\\&=a_{1}\lambda _{1}^{k}\mathbf {u} _{1}^{\mathsf {T}}+a_{2}\lambda _{2}^{k}\mathbf {u} _{2}^{\mathsf {T}}+\cdots +a_{n}\lambda _{n}^{k}\mathbf {u} _{n}^{\mathsf {T}}&&u_{i}\bot u_{j}{\text{ for }}i\neq j\\&=\lambda _{1}^{k}\left\{a_{1}\mathbf {u} _{1}^{\mathsf {T}}+a_{2}\left({\frac {\lambda _{2}}{\lambda _{1}}}\right)^{k}\mathbf {u} _{2}^{\mathsf {T}}+a_{3}\left({\frac {\lambda _{3}}{\lambda _{1}}}\right)^{k}\mathbf {u} _{3}^{\mathsf {T}}+\cdots +a_{n}\left({\frac {\lambda _{n}}{\lambda _{1}}}\right)^{k}\mathbf {u} _{n}^{\mathsf {T}}\right\}\end{aligned}}$

तब से π = u₁, π^(k)), π, k → ∞ के रूप में पास पहुंचता है λ₂/λ₁ के क्रम में गति के साथ घातीय रूप से। यह इस प्रकार है क्योंकि $|\lambda _{2}|\geq \cdots \geq |\lambda _{n}|,$ इसलिए λ₂/λ₁ प्रधान पद है। अनुपात जितना छोटा होता है, अभिसरण उतना ही तेज़ होता है। स्थिति वितरण में यादृच्छिक वितरण π इस अभिसरण को स्थिर वितरण में भी गति दे सकते हैं।

सामान्य स्थिति स्थान

Main article: मापने योग्य स्थिति स्थान पर मार्कोव श्रृंखला

हैरिस श्रृंखला

परिमित स्थिति स्थान के साथ मार्कोव श्रृंखलाओं के कई परिणामों को हैरिस श्रृंखलाओं के माध्यम से बेशुमार स्थिति स्थान वाली श्रृंखलाओं के लिए सामान्यीकृत किया जा सकता है।

मार्कोव श्रृंखला मोंटे कार्लो विधियों में मार्कोव श्रृंखलाओं का उपयोग उन स्थितियों को आच्छादित करता है जहां प्रक्रिया एक निरंतर स्थिति स्थान का अनुसरण करती है।

स्थानीय रूप से मार्कोव श्रृंखलाओं से बातचीत

मार्कोव श्रृंखलाओं के संग्रह को ध्यान में रखते हुए, जिसका विकास अन्य मार्कोव श्रृंखलाओं की स्थिति को ध्यान में रखता है, स्थानीय रूप से मार्कोव श्रृंखलाओं को परस्पर प्रभाव करने की धारणा से संबंधित है। यह उस स्थिति से मेल खाता है जब स्थिति स्थान में (कार्टेशियन-) उत्पाद का रूप होता है। अंतःक्रियात्मक कण प्रणाली और संक्रमण सेलुलर ऑटोमेटा (संभाव्य सेलुलर ऑटोमेटा) देखें। उदाहरण के लिए मार्कोव प्रक्रियाओं की सहभागिता देखेंया।

गुण

दो स्थिति को एक दूसरे के साथ संवाद करने के लिए कहा जाता है यदि दोनों घनात्मक संभावना वाले संक्रमणों के अनुक्रम द्वारा एक दूसरे से पहुंच योग्य हैं। यह एक तुल्यता संबंध है जो संचार वर्ग का समुच्चय उत्पन्न करता है। वर्ग छोड़ने की संभावना शून्य होने पर वर्ग बंद हो जाती है। संचार वर्ग, स्थिति स्थान होने पर मार्कोव श्रृंखला अलघुकरणीय है।

स्थिति i की अवधि k है यदि k उन संक्रमणों की संख्या का सबसे बड़ा सामान्य विभाजक है जिनके द्वारा, i से प्रारम्भ i तक पहुँचा जा सकता है। वह है:

$k=\gcd\{n>0:\Pr(X_{n}=i\mid X_{0}=i)>0\}$

एक अवस्था i को क्षणिक कहा जाता है, यदि i से प्रारम्भ होकर, गैर-शून्य संभावना है कि श्रृंखला कभी भी i पर वापस नहीं आएगी। इसे आवर्तक (या लगातार) अन्यथा कहा जाता है।आवर्तक स्थिति i के लिए, माध्य हिटिंग समय को इस प्रकार परिभाषित किया गया है:

$M_{i}=E[T_{i}]=\sum _{n=1}^{\infty }n\cdot f_{ii}^{(n)}.$

स्थिति मैं घनात्मक आवर्तक है यदि $M_{i}$ परिमित और अशक्त आवर्तक अन्यथा है। आवधिकता, क्षणिकता, पुनरावृत्ति और घनात्मक और अशक्त पुनरावृत्ति वर्ग गुण हैं - अर्थात, यदि एक स्थिति की गुण है तो उसके संचार वर्ग के सभी स्थिति में गुण है।

स्थिति i को अवशोषित कहा जाता है यदि स्थिति से कोई निवर्तमान संक्रमण नहीं होता है।

अभ्यतिप्रायता

स्थिति i को अभ्यतिप्राय सिद्धांत कहा जाता है यदि यह अनावर्ती और घनात्मक आवर्तक है। दूसरे शब्दों में, स्थिति i अभ्यतिप्राय है यदि यह आवर्तक है, 1 की अवधि है, और परिमित पुनरावृत्ति समय है। यदि अलघुकरणीय मार्कोव श्रृंखला में सभी अवस्थाएं अभ्यतिप्राय हैं, तो श्रृंखला को अभ्यतिप्राय कहा जाता है। कुछ लेखक किसी भी अलघुकरणीय, घनात्मक आवर्तक मार्कोव श्रृंखला को अभ्यतिप्राय, यहां तक ​​कि आवधिक भी कहते हैं।

यह दिखाया जा सकता है कि परिमित स्थिति अलघुकरणीय मार्कोव श्रृंखला अभ्यतिप्राय है यदि इसमें अनावर्ती अवस्था है। अधिक सामान्यतः, मार्कोव श्रृंखला अभ्यतिप्राय है यदि कोई संख्या N है जैसे कि किसी भी स्थिति से किसी भी संख्या में किसी भी संख्या में N के बराबर या उससे कम चरणों में पहुंचा जा सकता है। पूरी तरह से जुड़े संक्रमण आव्यूह के मामले में, जहां सभी संक्रमण गैर-शून्य संभावना है, यह स्थिति N = 1 के साथ पूरी होती है।

एक से अधिक स्थिति के साथ मार्कोव श्रृंखला और प्रति स्थिति केवल निवर्तमान संक्रमण या तो अलघुकरणीय नहीं है या अनावर्ती नहीं है, इसलिए यह अभ्यतिप्राय नहीं हो सकता है।

मार्कोवियन अभ्यावेदन

कुछ स्थितियों में, स्पष्ट रूप से गैर-मार्कोवियन प्रक्रियाओं में अभी भी मार्कोवियन अभ्यावेदन हो सकते हैं, जो वर्तमान और भविष्य के स्थिति की अवधारणा का विस्तार करके निर्मित होते हैं। उदाहरण के लिए, X को गैर-मार्कोवियन प्रक्रिया होने दें। फिर एक प्रक्रिया Y को परिभाषित करें, जैसे कि Y की प्रत्येक अवस्था X की अवस्थाओं के समय-अंतराल का प्रतिनिधित्व करती है। गणितीय रूप से, यह रूप लेता है:

$Y(t)={\big \{}X(s):s\in [a(t),b(t)]\,{\big \}}.$

यदि Y के पास मार्कोव गुण है, तो यह X का मार्कोवियन प्रतिनिधित्व है।

मार्कोवियन प्रतिनिधित्व के साथ गैर-मार्कोवियन प्रक्रिया का उदाहरण एक से अधिक ऑर्डर की ऑटोरेग्रेसिव मॉडल समय श्रृंखला है।

हिटिंग समय

Main article: चरण-प्रकार वितरण

हिटिंग समय वह समय है, जो स्थिति के दिए गए समुच्चय में प्रारम्भ होता है, जब तक कि श्रृंखला किसी दिए गए स्थिति या स्थिति के समुच्चय में नहीं आ जाता। ऐसी समयावधि के वितरण में चरण प्रकार का वितरण होता है। इस तरह का सबसे सरल वितरण एकल घातीय रूप से वितरित संक्रमण का है।

अपेक्षित हिटिंग समय

स्थिति A ⊆ S के उपसमुच्चय के लिए, सदिश k^A का हिटिंग समय (जहां तत्व $k_{i}^{A}$ अपेक्षित मान का प्रतिनिधित्व करता है, स्थिति से प्रारम्भ होता है कि श्रृंखला समुच्चय A में स्थिति में से एक में प्रवेश करती है) न्यूनतम ऋणेतर समाधान है

${\begin{aligned}k_{i}^{A}=0&{\text{ for }}i\in A\\-\sum _{j\in S}q_{ij}k_{j}^{A}=1&{\text{ for }}i\notin A.\end{aligned}}$

कालोत्क्रमण

सीटीएमसी X_t के लिए, कालोत्क्रमण प्रक्रिया को परिभाषित किया गया है ${\hat {X}}_{t}=X_{T-t}$केली के लेम्मा द्वारा इस प्रक्रिया का आगे की प्रक्रिया के समान स्थिर वितरण है।

श्रृंखला को उत्क्रमणीय कहा जाता है यदि उलटी प्रक्रिया आगे की प्रक्रिया के समान है। कोल्मोगोरोव की कसौटी बताती है कि प्रक्रिया के प्रतिवर्ती होने के लिए आवश्यक और पर्याप्त शर्त यह है कि एक बंद लूप के चारों ओर संक्रमण दर का उत्पाद दोनों दिशाओं में समान होना चाहिए।

अंतः स्थापित मार्कोव श्रृंखला

स्थिर संभाव्यता वितरण खोजने की विधि, π, अभ्यतिप्राय निरंतर-समय मार्कोव श्रृंखला, Q पहले अपनी 'अंतः स्थापित मार्कोव श्रृंखला (ईएमसी)' खोज कर है। कड़ाई से बोलना, ईएमसी नियमित असतत-समय मार्कोव श्रृंखला है, जिसे कभी-कभी 'जम्प प्रक्रिया' के रूप में संदर्भित किया जाता है। ईएमसी, S के एक-चरण संक्रमण संभाव्यता आव्यूह के प्रत्येक तत्व को s_ij द्वारा दर्शाया गया है, और स्थिति i से स्थिति j में संक्रमण की सशर्त संभावना का प्रतिनिधित्व करता है। इन सशर्त संभावनाओं द्वारा पाया जा सकता है

$s_{ij}={\begin{cases}{\frac {q_{ij}}{\sum _{k\neq i}q_{ik}}}&{\text{if }}i\neq j\\0&{\text{otherwise}}.\end{cases}}$

इससे S को इस प्रकार लिखा जा सकता है

$S=I-\left(\operatorname {diag} (Q)\right)^{-1}Q$

जहां I पहचान आव्यूह है और diag(Q) आव्यूह Q से मुख्य विकर्ण का चयन करके और अन्य सभी तत्वों को शून्य पर समुच्चय करके बनाई गई विकर्ण आव्यूह है।

स्थिर प्रायिकता वितरण सदिश ज्ञात करने के लिए, हमें अगली खोज करनी होगी $\varphi$ ऐसा है कि

$\varphi S=\varphi ,$

साथ $\varphi$ पंक्ति सदिश होने के नाते, जैसे कि सभी तत्व $\varphi$, 0 से अधिक हैं और मानक (गणित) |$\|\varphi \|_{1}$= 1 है इससे, π रूप में मिल सकता है

$\pi ={-\varphi (\operatorname {diag} (Q))^{-1} \over \left\|\varphi (\operatorname {diag} (Q))^{-1}\right\|_{1}}.$

(S आवधिक हो सकता है, भले ही Q नहीं है। एक बार π पाया जाता है, इसे एक इकाई सदिश के लिए सामान्यीकृत किया जाना चाहिए।)

एक अन्य असतत-समय की प्रक्रिया जो निरंतर-समय की मार्कोव श्रृंखला से प्राप्त की जा सकती है, एक δ-सारांश है- (असतत-समय) मार्कोव श्रृंखला, समय की δ इकाइयों के अंतराल पर X(t) को देखकर बनाई गई है। यादृच्छिक चर X(0), X(δ), X(2δ), ... δ-सारांश द्वारा देखी गई अवस्थाओं का क्रम देते हैं।

विशेष प्रकार के मार्कोव श्रृंखला

मार्कोव मॉडल

Main article: मार्कोव मॉडल

मार्कोव मॉडल का उपयोग बदलती प्रणालियों के मॉडल के लिए किया जाता है। 4 मुख्य प्रकार के मॉडल हैं, जो इस आधार पर मार्कोव श्रृंखलाओं का सामान्यीकरण करते हैं कि प्रत्येक अनुक्रमिक स्थिति अवलोकन योग्य है या नहीं, और क्या प्रणाली को किए गए अवलोकनों के आधार पर समायोजित किया जाना है:

	प्रणाली स्थिति पूरी तरह से देखने योग्य है	प्रणाली स्थिति आंशिक रूप से देखने योग्य है
प्रणाली स्वायत्त	मार्कोव श्रृंखला	हिडन मार्कोव मॉडल
प्रणाली नियंत्रित	मार्कोव निर्णय प्रक्रिया	आंशिक रूप से देखने योग्य मार्कोव निर्णय प्रक्रिया

बरनौली योजना

Main article: बरनौली योजना

बर्नौली योजना एक मार्कोव श्रृंखला का विशेष मामला है जहां संक्रमण संभावना आव्यूह में समान पंक्तियां होती हैं, जिसका अर्थ है कि अगला स्थिति वर्तमान स्थिति से भी स्वतंत्र है (पिछले स्थिति से स्वतंत्र होने के अतिरिक्त)। केवल दो संभावित अवस्थाओं वाली बर्नौली योजना को बर्नौली प्रक्रिया के रूप में जाना जाता है।

ध्यान दें, चूंकि, ऑर्नस्टीन समरूपता प्रमेय द्वारा, प्रत्येक अनावर्ती और अलघुकरणीय मार्कोव श्रृंखला बर्नौली योजना के लिए समरूपता है, इस प्रकार, कोई भी समान रूप से यह दावा कर सकता है कि मार्कोव श्रृंखला बर्नौली योजनाओं का विशेष मामला है। समरूपता को सामान्यतः जटिल पुनर्कोडिंग की आवश्यकता होती है। समरूपता प्रमेय और भी मजबूत है: इसमें कहा गया है कि कोई भी स्थिर संक्रमण प्रक्रिया बर्नौली योजना के लिए समरूप है, मार्कोव श्रृंखला ऐसा ही एक उदाहरण है।

परिमित प्रकार का उप-शिफ्ट

Main article: परिमित प्रकार का उप-शिफ्ट

जब मार्कोव आव्यूह को परिमित ग्राफ के आसन्न आव्यूह द्वारा प्रतिस्थापित किया जाता है, तो परिणामी संक्रमण को सामयिक मार्कोव श्रृंखला या परिमित प्रकार की उपशिफ्ट कहा जाता है।मार्कोव आव्यूह जो आसन्न आव्यूह के साथ संगत है, फिर उप-शिफ्ट पर एक माप (गणित) प्रदान कर सकता है। कई अराजक गतिकीय प्रणालियां सामयिक मार्कोव श्रृंखलाओं के लिए समरूप हैं, उदाहरणों में बंद मैनिफोल्ड्स, प्रूहेट-थू-मोर्स प्रणाली, चाकोन प्रणाली, सोफिक प्रणाली, संदर्भ-मुक्त प्रणाली और ब्लॉक-कोडिंग प्रणाली के अंतर सम्मलित हैं।

अनुप्रयोग

अनुसंधान ने भौतिकी, रसायन विज्ञान, जीव विज्ञान, चिकित्सा, संगीत, खेल सिद्धांत और खेल जैसे विषयों की विस्तृत श्रृंखला में मार्कोव श्रृंखलाओं के अनुप्रयोग और उपयोगिता की सूचना दी है।

भौतिकी

मार्कोवियन प्रणालियां उष्मागतिकी और सांख्यिकीय यांत्रिकी में बड़े पैमाने पर दिखाई देती हैं, जब भी संभावनाओं का उपयोग प्रणाली के अज्ञात या अप्रतिरूपित विवरणों का प्रतिनिधित्व करने के लिए किया जाता है, यदि यह माना जा सकता है कि गतिकी समय-अपरिवर्तनीय हैं, और किसी प्रासंगिक इतिहास पर विचार करने की आवश्यकता नहीं है जो पहले से स्थिति विवरण में सम्मलित नहीं है। उदाहरण के लिए, ऊष्मप्रवैगिकी स्थिति संभाव्यता वितरण के अनुसार संचालित होता है जो अधिग्रहण करना मुश्किल या महंगा है। इसलिए, मार्कोव श्रृंखला मोंटे कार्लो विधि का उपयोग ब्लैक-बॉक्स से बेतरतीब ढंग से नमूने लेने के लिए किया जा सकता है जिससे कि वस्तुओं की श्रृंखला पर विशेषताओं के संभाव्यता वितरण का अनुमान लगाया जा सके।

पथ, क्वांटम यांत्रिकी के अभिन्न सूत्रीकरण के पथ में, मार्कोव श्रृंखलाएं हैं।

जाली क्यूसीडी अनुकरण में मार्कोव श्रृंखला का उपयोग किया जाता है।

रसायन विज्ञान

${\ce {{E}+{\underset {Substrate \atop binding}{S<=>E}}{\overset {Catalytic \atop step}{S->E}}+P}}$

Michaelis-Menten kinetics. The enzyme (E) binds a substrate (S) and produces a product (P). Each reaction is a state transition in a Markov chain.

प्रतिक्रिया नेटवर्क रासायनिक प्रणाली है जिसमें कई प्रतिक्रियाएं और रासायनिक प्रजातियां सम्मलित होती हैं। इस तरह के नेटवर्क के सबसे सरल संक्रमण मॉडल प्रणाली को निरंतर समय मार्कोव श्रृंखला के रूप में, जिसमें प्रत्येक प्रजाति के अणुओं की संख्या होती है और श्रृंखला के संभावित संक्रमण के रूप में प्रतिरूपित प्रतिक्रियाओं के साथ देखते हैं। मार्कोव श्रृंखला और निरंतर-समय की मार्कोव प्रक्रियाएं रसायन विज्ञान में तब उपयोगी होती हैं जब भौतिक प्रणालियां मार्कोव गुण के करीब पहुंचती हैं। उदाहरण के लिए, स्थिति A में समाधान में बड़ी संख्या में अणुओं की कल्पना करें, जिनमें से प्रत्येक निश्चित औसत दर के साथ स्थिति B के लिए रासायनिक प्रतिक्रिया से गुजर सकता है। शायद अणु एंजाइम है, और स्थिति का उल्लेख है कि यह कैसे मुड़ा हुआ है। किसी भी एक एंजाइम की स्थिति मार्कोव श्रृंखला का अनुसरण करती है, और चूंकि अणु अनिवार्य रूप से एक दूसरे से स्वतंत्र होते हैं, एक समय में स्थिति A या B में अणुओं की संख्या उस स्थिति में दिए गए अणु की संभावना का n गुना होती है।

एंजाइम गतिविधि का चिरसम्मत मॉडल, माइकलिस-मेन्टेन गतिविज्ञान, को मार्कोव श्रृंखला के रूप में देखा जा सकता है, जहां हर बार किसी दिशा में प्रतिक्रिया आगे बढ़ती है। जबकि माइकलिस-मेंटेन काफी सीधा है, कहीं अधिक जटिल प्रतिक्रिया नेटवर्क भी मार्कोव श्रृंखलाओं के साथ तैयार किए जा सकते हैं।

मार्कोव श्रृंखला पर आधारित कलन विधि का उपयोग सिलिको में रसायनों के खंड-आधारित विकास पर ध्यान केंद्रित करने के लिए किया गया था, जो दवाओं या प्राकृतिक उत्पादों जैसे यौगिकों के वांछित वर्ग की ओर था। जैसा कि अणु विकसित होता है, नवजात अणु से वर्तमान स्थिति के रूप में एक टुकड़ा चुना जाता है। यह अपने अतीत से अवगत नहीं है (अर्थात, यह इसके बारे में जागरूक नहीं है कि इससे पहले से क्या जुड़ा हुआ है)। यह तब अगली अवस्था में परिवर्तित हो जाता है जब टुकड़ा इससे जुड़ा होता है। संक्रमण की संभावनाओं को यौगिकों के प्रामाणिक वर्गों के आंकड़ाकोष पर प्रशिक्षित किया जाता है।

साथ ही, सहबहुलकों की वृद्धि (और संरचना) को मार्कोव श्रृंखलाओं का उपयोग करके प्रतिरूपित किया जा सकता है। बढ़ती बहुलक श्रृंखला बनाने वाले मोनोमर्स की प्रतिक्रियाशीलता अनुपात के आधार पर, श्रृंखला की संरचना की गणना की जा सकती है (उदाहरण के लिए, क्या मोनोमर्स वैकल्पिक फैशन में या उसी एकलक के लंबे समय में जोड़ते हैं)। स्टेरिक प्रभाव के कारण, दूसरे क्रम के मार्कोव प्रभाव भी कुछ बहुलक श्रृंखलाओं के विकास में भूमिका निभा सकते हैं।

इसी तरह, यह सुझाव दिया गया है कि मार्कोव श्रृंखला द्वारा कुछ अधिअक्षीय सुपर लेटेक्स ऑक्साइड सामग्री के क्रिस्टलीकरण और विकास का सटीक वर्णन किया जा सकता है।

जीव विज्ञान

जीव विज्ञान के विभिन्न क्षेत्रों में मार्कोव श्रृंखलाओं का उपयोग किया जाता है। उल्लेखनीय उदाहरणों में सम्मलित हैं:

• वर्गानुवंशिकी और जैव सूचना विज्ञान, जहां डीएनए विकास के अधिकांश मॉडल जीनोम में किसी दिए गए स्थान पर सम्मलित न्यूक्लियोटाइड का वर्णन करने के लिए निरंतर-समय मार्कोव श्रृंखला का उपयोग करते हैं।
• जनसंख्या की गतिशीलता, जहां मार्कोव श्रृंखला विशेष रूप से आव्यूह जनसंख्या मॉडल के सैद्धांतिक अध्ययन में केंद्रीय उपकरण है।
• तंत्रिका जीव विज्ञान, जहां मार्कोव श्रृंखला का उपयोग किया गया है, उदाहरण के लिए, स्तनधारी नवप्रावार का अनुकरण करने के लिए।
• प्रणाली जीव विज्ञान, उदाहरण के लिए एकल कोशिकाओं के वायरल संक्रमण के मॉडलिंग के साथ।
• रोग प्रकोप और महामारी मॉडलिंग के लिए महामारी विज्ञान में पूरक मॉडल।

परीक्षण

कई सिद्धांतकारों ने मार्कोव श्रृंखला सांख्यिकीय परीक्षण (एमसीएसटी) के विचार का प्रस्ताव दिया है, मार्कोव श्रृंखला को मार्कोव ब्लैंकेट बनाने के लिए जोड़ने की विधि, इन श्रृंखलाओं को कई पुनरावर्ती परतों (वेफरिंग) में व्यवस्थित करना और प्रतिस्थापन के रूप में अधिक कुशल परीक्षण समुच्चय-नमूने-उत्पादित संपूर्ण परीक्षण के लिए करना है। एमसीएसटी का अस्थायी स्थिति-आधारित नेटवर्क में भी उपयोग होता है, चिलुकुरी एट अल का पेपर ऑब्जेक्ट डिटेक्शन और ट्रैकिंग (साइंसडायरेक्ट) के लिए साक्ष्य संलयन के लिए टेम्पोरल अनसर्टेनिटी रीजनिंग नेटवर्क्स नामक पेपर अनुप्रयोगों की विस्तृत श्रृंखला के लिए एमसीएसटी लागू करने के लिए एक पृष्ठभूमि और मामले का अध्ययन देता है।

सौर विकिरण परिवर्तनशीलता

सौर विकिरण परिवर्तनशीलता आकलन सौर ऊर्जा अनुप्रयोगों के लिए उपयोगी होते हैं। समय के साथ किसी भी स्थान पर सौर विकिरण परिवर्तनशीलता मुख्य रूप से आकाश गुंबद के पार सूर्य के मार्ग की नियतात्मक परिवर्तनशीलता और मेघाच्छन्नता में परिवर्तनशीलता का परिणाम है। मार्कोव श्रृंखलाओं का उपयोग करके पृथ्वी की सतह पर सुलभ सौर विकिरण की परिवर्तनशीलता को प्रतिरूपित किया गया है, दो-स्थिति मार्कोव श्रृंखला के रूप में स्पष्ट और बादल वाले दो स्थिति को मॉडलिंग करना भी सम्मलित है।

वाक् पहचान

हिडन मार्कोव मॉडल अधिकांश आधुनिक स्वचालित वाक् पहचान प्रणालियों का आधार हैं।

सूचना सिद्धांत

सूचना संसाधन के दौरान मार्कोव श्रृंखलाओं का उपयोग किया जाता है। क्लाउड शैनन का प्रसिद्ध 1948 का पेपर संचार का गणितीय सिद्धांत, जिसने एक ही चरण में सूचना सिद्धांत के क्षेत्र का निर्माण किया, अंग्रेजी भाषा के मार्कोव मॉडलिंग के माध्यम से सूचना एन्ट्रापी की अवधारणा को पेश करके प्रारम्भ होता है। इस तरह के आदर्श मॉडल प्रणाली की कई सांख्यिकीय नियमितताओं को पकड़ सकते हैं। यहां तक ​​​​कि प्रणाली की पूरी संरचना का पूरी तरह से वर्णन किए बिना, ऐसे संकेत मॉडल एन्ट्रापी एन्कोडिंग तकनीकों जैसे कि अंकगणितीय कोडिंग के माध्यम से बहुत प्रभावी आँकड़े संपीड़न को संभव बना सकते हैं। वे प्रभावी स्थिति अनुमान और प्रतिरूप पहचान की भी अनुमति देते हैं। सुदृढीकरण सीखने में मार्कोव श्रृंखला भी महत्वपूर्ण भूमिका निभाती है।

मार्कोव श्रृंखला छिपे हुए मार्कोव मॉडल का आधार भी हैं, जो टेलीफोन नेटवर्क (जो त्रुटि सुधार के लिए विटरबी कलन विधि का उपयोग करते हैं), वाक् पहचान और जैव सूचना विज्ञान (जैसे कि पुनर्व्यवस्था का पता लगाने में) जैसे विविध क्षेत्रों में महत्वपूर्ण उपकरण हैं।).

एलजेडएमए दोषरहित आँकड़े संपीड़न कलन विधि मार्कोव चेन को लेम्पेल-ज़िव संपीड़न के साथ जोड़ता है ताकि बहुत उच्च संपीड़न अनुपात प्राप्त किया जा सके।

कतार सिद्धांत

Main article: कतार सिद्धांत

मार्कोव श्रृंखला कतारों (कतारबद्ध सिद्धांत) के विश्लेषणात्मक उपचार का आधार हैं। 1917 में एग्नेर क्रारुप एरलांग ने इस विषय की प्रारंभ की। यह उन्हें दूरसंचार नेटवर्क के प्रदर्शन को अनुकूलित करने के लिए महत्वपूर्ण बनाता है, जहां संदेशों को अधिकांशतः सीमित संसाधनों (जैसे बैंडविड्थ) के लिए प्रतिस्पर्धा करनी पड़ती है। रेफरी नाम= सीटीसीएन >एस। पी. मेन, 2007. जटिल नेटवर्क के लिए नियंत्रण तकनीक Archived 2015-05-13 at the Wayback Machine, कैम्ब्रिज यूनिवर्सिटी प्रेस, 2007।</ref>

कई कतारबद्ध मॉडल निरंतर-समय मार्कोव श्रृंखला का उपयोग करते हैं। उदाहरण के लिए, M/M/1 कतार गैर-ऋणात्मक पूर्णांकों पर एक सीटीएमसी है, जहां i से i + 1 तक ऊपर की ओर संक्रमण पोइसन प्रक्रिया के अनुसार λ की दर से होता है और प्रकरण के आगमन का वर्णन करता है, जबकि i से i - 1 में संक्रमण (i > 1 के लिए) μ दर पर घटित होते हैं (प्रकरण सेवा समय चरघातांकी रूप से वितरित होते हैं) और कतार से पूरी की गई सेवाओं (प्रस्थान) का वर्णन करते हैं।

इंटरनेट अनुप्रयोग

एक स्थिति डायग्राम जो एम, या की संक्रमणकालीन संभावना के साथ पेजरैंक कलन विधि का प्रतिनिधित्व करता है ${\frac {\alpha }{k_{i}}}+{\frac {1-\alpha }{N}}$.

गूगल द्वारा उपयोग किए जाने वाले वेबपृष्ठ का पृष्ठ स्तर मार्कोव श्रृंखला द्वारा परिभाषित किया गया है। पेज पर होने की संभावना $i$ सभी (ज्ञात) वेबपेजों पर निम्नलिखित मार्कोव श्रृंखला पर स्थिर वितरण में है। यदि $N$ ज्ञात वेबपृष्ठों की संख्या और एक पृष्ठ है $i$ है $k_{i}$ इससे लिंक करता है तो इसमें संक्रमण की संभावना होती है ${\frac {\alpha }{k_{i}}}+{\frac {1-\alpha }{N}}$ और से जुड़े सभी पेजों के लिए ${\frac {1-\alpha }{N}}$ उन सभी पेजों के लिए जो लिंक नहीं हैं। मापदण्ड $\alpha$ लगभग 0.15 लिया जाता है।

मार्कोव मॉडल का उपयोग उपयोगकर्ताओं के वेब संचालन व्यवहार का विश्लेषण करने के लिए भी किया गया है। किसी विशेष वेबसाइट पर उपयोगकर्ता के वेब लिंक संक्रमण को पहले या दूसरे क्रम के मार्कोव मॉडल का उपयोग करके मॉडल किया जा सकता है और इसका उपयोग भविष्य के संचालन के बारे में भविष्यवाणी करने और व्यक्तिगत उपयोगकर्ता के लिए वेब पेज को वैयक्तिकृत करने के लिए किया जा सकता है।

सांख्यिकी

मार्कोव श्रृंखला मोंटे कार्लो (एमसीएमसी) नामक प्रक्रिया के माध्यम से, बहुत जटिल वांछित संभाव्यता वितरण को सटीक रूप से प्रतिबिंबित करने के लिए यादृच्छिक संख्याओं के अनुक्रम उत्पन्न करने के लिए मार्कोव श्रृंखला विधियां भी बहुत महत्वपूर्ण हो गई हैं। हाल के वर्षों में इसने बायेसियन अनुमान विधियों की व्यावहारिकता में क्रांति ला दी है, जिससे पश्च वितरणों की विस्तृत श्रृंखला को अनुकरण किया जा सकता है और उनके मापदण्ड संख्यात्मक रूप से पाए जा सकते हैं।

अर्थशास्त्र और वित्त

मार्कोव श्रृंखलाओं का उपयोग वित्त और अर्थशास्त्र में आय के वितरण, फर्मों के आकार वितरण, गुण की कीमतों और बाजार में गिरावट सहित विभिन्न प्रकार की घटनाओं को मॉडल करने के लिए किया जाता है। 1953 में डी. जी. चेम्परनाउने ने आय के वितरण का एक मार्कोव श्रृंखला मॉडल बनाया। हर्बर्ट ए. साइमन और सह-लेखक चार्ल्स बोनिनी ने फर्म आकार के स्थिर यूल वितरण को प्राप्त करने के लिए एक मार्कोव श्रृंखला मॉडल का उपयोग किया।लुइस बैचलर पहले व्यक्ति थे जिन्होंने देखा कि शेयर की कीमतें यादृच्छिक चाल का अनुसरण करती हैं।यादृच्छिक भ्रमण को बाद में कुशल-बाजार परिकल्पना के पक्ष में साक्ष्य के रूप में देखा गया और यादृच्छिक भ्रमण मॉडल 1960 के दशक के साहित्य में लोकप्रिय थे।जेम्स डी. हैमिल्टन (1989) द्वारा व्यापार चक्रों के शासन-परिवर्तन मॉडल को लोकप्रिय बनाया गया था, जिन्होंने उच्च और निम्न जीडीपी विकास (या वैकल्पिक रूप से, आर्थिक विस्तार और मंदी) की अवधि के बीच मॉडल परिवर्तन करने के लिए मार्कोव श्रृंखला का उपयोग किया था। एक और हालिया उदाहरण लॉरेंट ई. कैल्वेट और अदलाई जे. फिशर का मार्कोव परिवर्तन मल्टीफ़्रैक्टल मॉडल है, जो पहले के शासन-परिवर्तन मॉडल की सुविधा पर आधारित है। यह एसेट रिटर्न की अस्थिरता के स्तर को चलाने के लिए मनमाने ढंग से बड़ी मार्कोव श्रृंखला का उपयोग करता है।

गतिशील समष्टि अर्थशास्त्र मार्कोव श्रृंखला का भारी उपयोग करता है। एक उदाहरण सामान्य संतुलन सेटिंग में इक्विटी (शेयर) के बाहरी रूप से मॉडल की कीमतों के लिए मार्कोव श्रृंखला का उपयोग कर रहा है।

क्रेडिट रेटिंग एजेंसी विभिन्न क्रेडिट रेटिंग के बॉन्ड के लिए संक्रमण संभावनाओं की वार्षिक सारणी तैयार करती है।

सामाजिक विज्ञान

मार्कोव श्रृंखलाओं का उपयोग सामान्यतः पथ-निर्भर तर्कों का वर्णन करने में किया जाता है, जहां वर्तमान संरचनात्मक विन्यास भविष्य के परिणामों की स्थिति बनाते हैं। एक उदाहरण विचार का सुधार है, मूल रूप से काल मार्क्स के दास कैपिटल के कारण, आर्थिक विकास को पूंजीवाद के उदय से बांधना है। वर्तमान शोध में, मार्कोव श्रृंखला का उपयोग करना आम बात है कि कैसे देश एक बार आर्थिक विकास के विशिष्ट स्तर पर पहुंच जाता है, संरचनात्मक कारकों का विन्यास, जैसे कि मध्यम वर्ग का आकार, शहरी से ग्रामीण निवास का अनुपात, दर राजनीतिक लामबंदी, आदि, अधिनायकवादी से लोकतांत्रिक शासन में परिवर्तन की उच्च संभावना उत्पन्न करेगा।

गेम्स

मार्कोव की श्रृंखलाओं का उपयोग मौका के कई खेलों के मॉडल के लिए किया जा सकता है।बच्चों के खेल साँप और सीढ़ी और "हाय हो! चेरी-ओ", उदाहरण के लिए, बिल्कुल मार्कोव श्रृंखलाओं द्वारा दर्शाए गए हैं। प्रत्येक मोड़ पर, खिलाड़ी किसी दिए गए स्थिति (किसी दिए गए वर्ग पर) में प्रारम्भ होता है और वहां से निश्चित अन्य स्थिति (वर्गों) में जाने की संभावनाएं होती हैं।

संगीत

मार्कोव श्रृंखला कलन विधि संगीत रचना में विशेष रूप से सीध्वनि, मैक्स (सॉफ़्टवेयर) और सुपर कोलाइडर मैक्स (सॉफ्टवेयर)जैसे सॉफ़्टवेयर में कार्यरत हैं। पहले क्रम की श्रृंखला में, प्रणाली की अवस्थाएँ टिप्पणि या पिच मान बन जाती हैं, और प्रत्येक टिप्पणि के लिए प्रायिकता सदिश का निर्माण किया जाता है, जो संक्रमण प्रायिकता आव्यूह को पूरा करता है (नीचे देखें)। संक्रमण आव्यूह भार के आधार पर निर्गत टिप्पणि मान उत्पन्न करने के लिए कलन विधि का निर्माण किया जाता है, जो मिडी टिप्पणि मान, आवृत्ति (हेटर्स), या कोई अन्य वांछनीय मीट्रिक हो सकता है।

प्रथम-क्रम मैट्रिक्स

नोट	A	C♯	E♭
A	0.1	0.6	0.3
C♯	0.25	0.05	0.7
E♭	0.7	0.3	0

दूसरा क्रम मैट्रिक्स

नोट	A	D	G
AA	0.18	0.6	0.22
AD	0.5	0.5	0
AG	0.15	0.75	0.1
DD	0	0	1
DA	0.25	0	0.75
DG	0.9	0.1	0
GG	0.4	0.4	0.2
GA	0.5	0.25	0.25
GD	1	0	0

एक दूसरे क्रम की मार्कोव श्रृंखला को वर्तमान स्थिति और पिछली स्थिति पर विचार करके पेश किया जा सकता है, जैसा कि दूसरी तालिका में दर्शाया गया है। उच्च, n वें क्रम की शृंखला विशेष टिप्पणियाँ को एक साथ "समूह" करती है, जबकि कभी-कभी अन्य प्रतिरूप और अनुक्रमों में 'तोड़ना' करती है। ये उच्च-क्रम शृंखला प्रथम-क्रम प्रणाली द्वारा उत्पन्न 'उद्देश्यहीन भटकन' के अतिरिक्त वाक्यांश संरचना की भावना के साथ परिणाम उत्पन्न करती हैं।

मार्कोव श्रृंखलाओं को संरचनात्मक रूप से उपयोग किया जा सकता है, जैसा कि जेनाकिस के एनालोगिक A और B में है। मार्कोव श्रृंखलाओं का उपयोग उन प्रणालियों में भी किया जाता है जो संगीत निविष्ट पर अंतःक्रियात्मक रूप से प्रतिक्रिया करने के लिए मार्कोव मॉडल का उपयोग करती हैं।

सामान्यतः संगीत प्रणालियों को उनके द्वारा उत्पन्न परिमित-लंबाई अनुक्रमों पर विशिष्ट नियंत्रण बाधाओं को लागू करने की आवश्यकता होती है, लेकिन नियंत्रण बाधाएं मार्कोव मॉडल के साथ संगत नहीं होती हैं, क्योंकि वे लंबी दूरी की निर्भरता को प्रेरित करती हैं जो सीमित स्मृति की मार्कोव परिकल्पना का उल्लंघन करती हैं। इस सीमा को पार करने के लिए, एक नया दृष्टिकोण प्रस्तावित किया गया है।

बेसबॉल

1960 से उन्नत बेसबॉल विश्लेषण में मार्कोव श्रृंखला मॉडल का उपयोग किया गया है, चूंकि उनका उपयोग अभी भी दुर्लभ है। जब धावक और बाहरी की संख्या पर विचार किया जाता है तो बेसबॉल गेम की प्रत्येक अर्ध-पारी मार्कोव श्रृंखला स्थिति में उपयुक्त बैठती है। किसी भी बल्ले पर के दौरान, बाहरी की संख्या और धावकों की स्थिति के 24 संभावित संयोजन होते हैं। मार्क पैंकिन दिखाते हैं कि मार्कोव श्रृंखला मॉडल का उपयोग व्यक्तिगत खिलाड़ियों और टीम दोनों के लिए बनाए गए रनों के मूल्यांकन के लिए किया जा सकता है।वह विभिन्न प्रकार की रणनीतियों और खेल की स्थितियों पर भी चर्चा करता है: कैसे मार्कोव श्रृंखला मॉडल का उपयोग खेल स्थितियों जैसे कि बंट (बेसबॉल) और चोरी का आधार और घास बनाम एस्ट्रोटर्फपर खेलते समय अंतर के लिए आंकड़ों का विश्लेषण करने के लिए किया गया है।

मार्कोव टेक्स्ट जेनरेटर

नमूना दस्तावेज़ दिए जाने पर सतही रूप से वास्तविक दिखने वाले पाठ को उत्पन्न करने के लिए मार्कोव प्रक्रियाओं का भी उपयोग किया जा सकता है। मार्कोव प्रक्रियाओं का उपयोग विभिन्न प्रकार के मनोरंजक " पैरोडी जनरेटर" सॉफ़्टवेयर में किया जाता है (असंबद्ध प्रेस देखें, जेफ हैरिसन, मार्क वी. शनी, और एकेडेमियास न्यूट्रोनियम)। मार्कोव श्रृंखलाओं का उपयोग करते हुए कई मुक्त स्रोत टेक्स्ट जेनरेशन लाइब्रेरी सम्मलित हैं, जिसमें द रीटा टूलकिट भी सम्मलित है।

संभाव्य पूर्वानुमान

मार्कोव श्रृंखलाओं का उपयोग कई क्षेत्रों में पूर्वानुमान के लिए किया गया है: उदाहरण के लिए, मान रुझान, पवन ऊर्जा, और सौर विकिरण। मार्कोव श्रृंखला पूर्वानुमान मॉडल विभिन्न प्रकार की समायोजन का उपयोग करते हैं, समय श्रृंखला को अलग करने से,वेवलेट्स के साथ संयुक्त छिपे हुए मार्कोव मॉडल,और मार्कोव श्रृंखला मिश्रण वितरण मॉडल (एमसीएम)।

यह भी देखें

• मार्कोवियन कणों की गतिशीलता
• गॉस-मार्कोव प्रक्रिया
• मार्कोव श्रृंखला सन्निकटन विधि
• मार्कोव श्रृंखला भू-सांख्यिकी
• मार्कोव श्रृंखला मिश्रण समय
• मार्कोव श्रृंखला वृक्ष प्रमेय
• मार्कोव निर्णय प्रक्रिया
• मार्कोव सूचना स्रोत
• मार्कोव ओडोमीटर
• मार्कोव यादृच्छिक क्षेत्र
• मास्टर समीकरण
• क्वांटम मार्कोव श्रृंखला
• सेमी-मार्कोव प्रक्रिया
• स्टोकेस्टिक सेलुलर automaton
• टेलीस्कोपिंग मार्कोव श्रृंखला
• चर-क्रम मार्कोव मॉडल

संदर्भ

• A. A. Markov (1906) "Rasprostranenie zakona bol'shih chisel na velichiny, zavisyaschie drug ot druga". Izvestiya Fiziko-matematicheskogo obschestva pri Kazanskom universitete, 2-ya seriya, tom 15, pp. 135–156.
• A. A. Markov (1971). "Extension of the limit theorems of probability theory to a sum of variables connected in a chain". reprinted in Appendix B of: R. Howard. Dynamic Probabilistic Systems, volume 1: Markov Chains. John Wiley and Sons.
• Classical Text in Translation: Markov, A. A. (2006). Translated by Link, David. "An Example of Statistical Investigation of the Text Eugene Onegin Concerning the Connection of Samples in Chains". Science in Context. 19 (4): 591–600. doi:10.1017/s0269889706001074. S2CID 144854176.
• Leo Breiman (1992) [1968] Probability. Original edition published by Addison-Wesley; reprinted by Society for Industrial and Applied Mathematics ISBN 0-89871-296-3. (See Chapter 7)
• J. L. Doob (1953) Stochastic Processes. New York: John Wiley and Sons ISBN 0-471-52369-0.
• S. P. Meyn and R. L. Tweedie (1993) Markov Chains and Stochastic Stability. London: Springer-Verlag ISBN 0-387-19832-6. online: MCSS . Second edition to appear, Cambridge University Press, 2009.
• S. P. Meyn. Control Techniques for Complex Networks. Cambridge University Press, 2007. ISBN 978-0-521-88441-9. Appendix contains abridged Meyn & Tweedie. online: [1]
• Booth, Taylor L. (1967). Sequential Machines and Automata Theory (1st ed.). New York, NY: John Wiley and Sons, Inc. Library of Congress Card Catalog Number 67-25924. ] Extensive, wide-ranging book meant for specialists, written for both theoretical computer scientists as well as electrical engineers. With detailed explanations of state minimization techniques, FSMs, Turing machines, Markov processes, and undecidability. Excellent treatment of Markov processes pp. 449ff. Discusses Z-transforms, D transforms in their context.
• Kemeny, John G.; Hazleton Mirkil; J. Laurie Snell; Gerald L. Thompson (1959). Finite Mathematical Structures (1st ed.). Englewood Cliffs, NJ: Prentice-Hall, Inc. Library of Congress Card Catalog Number 59-12841. Classical text. cf Chapter 6 Finite Markov Chains pp. 384ff.
• John G. Kemeny & J. Laurie Snell (1960) Finite Markov Chains, D. van Nostrand Company ISBN 0-442-04328-7
• E. Nummelin. "General irreducible Markov chains and non-negative operators". Cambridge University Press, 1984, 2004. ISBN 0-521-60494-X
• Seneta, E. Non-negative matrices and Markov chains. 2nd rev. ed., 1981, XVI, 288 p., Softcover Springer Series in Statistics. (Originally published by Allen & Unwin Ltd., London, 1973) ISBN 978-0-387-29765-1
• Kishor S. Trivedi, Probability and Statistics with Reliability, Queueing, and Computer Science Applications, John Wiley & Sons, Inc. New York, 2002. ISBN 0-471-33341-7.
• K. S. Trivedi and R.A.Sahner, SHARPE at the age of twenty-two, vol. 36, no. 4, pp. 52–57, ACM SIGMETRICS Performance Evaluation Review, 2009.
• R. A. Sahner, K. S. Trivedi and A. Puliafito, Performance and reliability analysis of computer systems: an example-based approach using the SHARPE software package, Kluwer Academic Publishers, 1996. ISBN 0-7923-9650-2.
• G. Bolch, S. Greiner, H. de Meer and K. S. Trivedi, Queueing Networks and Markov Chains, John Wiley, 2nd edition, 2006. ISBN 978-0-7923-9650-5.

बाहरी संबंध

• Introduction to Markov Chains on YouTube
• "Markov chain", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• Techniques to Understand Computer Simulations: Markov Chain Analysis
• Markov Chains chapter in American Mathematical Society's introductory probability book Archived 2008-05-22 at the Wayback Machine(pdf)
• A beautiful visual explanation of Markov Chains
• Making Sense and Nonsense of Markov Chains
• Original paper by A.A Markov(1913): An Example of Statistical Investigation of the Text Eugene Onegin Concerning the Connection of Samples in Chains (translated from Russian)