संभाव्य अंक: Difference between revisions

From Vigyanwiki
(Created page with "{{Short description|Scientific field at the intersection of statistics, machine learning and applied mathematics}} संभाव्य अंकगणित एक [https://...")
 
No edit summary
Line 1: Line 1:
{{Short description|Scientific field at the intersection of statistics, machine learning and applied mathematics}}
{{Short description|Scientific field at the intersection of statistics, machine learning and applied mathematics}}
संभाव्य अंकगणित एक [https://www.probabilistic-numerics.org सक्रिय] अध्ययन का क्षेत्र है, जो [[गणना]] में अनिश्चितता की अवधारणा पर केंद्रित अनुप्रयुक्त गणित, सांख्यिकी और [[ यंत्र अधिगम ]] के चौराहे पर है। संभाव्य संख्यात्मक में, [[संख्यात्मक विश्लेषण]] में कार्य जैसे [[संख्यात्मक एकीकरण]] के लिए संख्यात्मक समाधान खोजना, [[संख्यात्मक रैखिक बीजगणित]], [[संख्यात्मक अनुकूलन]] और [[कंप्यूटर सिमुलेशन]] को सांख्यिकीय, संभाव्यता या बायेसियन अनुमान की समस्याओं के रूप में देखा जाता है।<ref name="HennigOsborneKersting2022">{{cite book | author1 = Hennig, P.
प्रायिकतात्मक अंकगणित एक [https://www.probabilistic-numerics.org सक्रिय] अध्ययन का क्षेत्र है, जो [[गणना]] में अनिश्चितता की अवधारणा पर केंद्रित अनुप्रयुक्त गणित, सांख्यिकी और [[ यंत्र अधिगम |यंत्र अधिगम]] के अंतरा प्रतिच्छेदन पर आधारित है। प्रायिकतात्मक संख्यात्मक में, [[संख्यात्मक विश्लेषण]] में कार्य जैसे [[संख्यात्मक एकीकरण|संख्यात्मक]] समाकलन के लिए संख्यात्मक समाधान खोजना, [[संख्यात्मक रैखिक बीजगणित]], [[संख्यात्मक अनुकूलन]] और [[कंप्यूटर सिमुलेशन|कंप्यूटर अनुरूपण]] को सांख्यिकीय, प्रायिकतात्मकता या बायेसियन अनुमान की समस्याओं के रूप में देखा जाता है।<ref name="HennigOsborneKersting2022">{{cite book | author1 = Hennig, P.
| author2 = Osborne, M. A.
| author2 = Osborne, M. A.
| author3 = Kersting, H. P.
| author3 = Kersting, H. P.
Line 38: Line 38:
== परिचय ==
== परिचय ==


एक संख्यात्मक विधि एक एल्गोरिथ्म है जो एक गणितीय समस्या के समाधान का अनुमान लगाती है (नीचे दिए गए उदाहरणों में एक #रेखीय बीजगणित का समाधान, एक #एकीकरण का मान, एक #सामान्य अंतर समीकरणों का समाधान, एक बहुभिन्नरूपी फ़ंक्शन का #अनुकूलन शामिल है) . एक संभाव्य संख्यात्मक एल्गोरिथ्म में, सन्निकटन की इस प्रक्रिया को अनुमान, अनुमान या सीखने की समस्या के रूप में माना जाता है और बायेसियन अनुमान (अक्सर, लेकिन हमेशा नहीं, बायेसियन अनुमान) के ढांचे में महसूस किया जाता है।<ref name'CockayneOatesSullivanGirolami2019">{{cite journal
एक संख्यात्मक विधि एक कलन विधि है जो एक गणितीय समस्या के समाधान का अनुमान लगाती है (नीचे दिए गए उदाहरणों में एक रेखीय बीजगणित (रैखिक प्रणाली) का समाधान, एक समाकलन का मान, एक सामान्य अंतर समीकरणों का समाधान, एक बहुभिन्नरूपी फलन का अनुकूलन सम्मिलित है) एक प्रायिकतात्मक संख्यात्मक कलन विधि में, सन्निकटन की इस प्रक्रिया को अनुमान और बायेसियन अनुमान (अधिकांशतः, लेकिन हमेशा नहीं, बायेसियन अनुमान) के ढांचे में महसूस किया जाता है और अनुमान या सीखने की समस्या के रूप में माना जाता है।<ref name'CockayneOatesSullivanGirolami2019">{{cite journal
| author1 = Cockayne, J.
| author1 = Cockayne, J.
| author2 = Oates, C. J.
| author2 = Oates, C. J.
Line 52: Line 52:
| url = http://wrap.warwick.ac.uk/135647/1/WRAP-Bayesian-probabilistic-numerical-methods-Sullivan-2019.pdf
| url = http://wrap.warwick.ac.uk/135647/1/WRAP-Bayesian-probabilistic-numerical-methods-Sullivan-2019.pdf
}}</ref>
}}</ref>
औपचारिक रूप से, इसका मतलब है कि [[पूर्व संभावना]] के संदर्भ में कम्प्यूटेशनल समस्या का सेटअप करना, कंप्यूटर द्वारा गणना की गई संख्याओं के बीच संबंध तैयार करना (उदाहरण के लिए रैखिक बीजगणित में मैट्रिक्स-वेक्टर गुणन, अनुकूलन में ग्रेडिएंट, इंटीग्रैंड के मूल्य या वेक्टर क्षेत्र को परिभाषित करना) एक विभेदक समीकरण) और प्रश्न में मात्रा (रैखिक समस्या का समाधान, न्यूनतम, अभिन्न, समाधान वक्र) एक [[संभावना समारोह]] में, और आउटपुट के रूप में एक [[पश्च वितरण]] लौटाता है। ज्यादातर मामलों में, संख्यात्मक एल्गोरिदम आंतरिक अनुकूली निर्णय भी लेते हैं कि किन संख्याओं की गणना की जाए, जो एक सक्रिय शिक्षण (मशीन लर्निंग) समस्या का निर्माण करती हैं।


संभाव्य ढांचे में सबसे लोकप्रिय क्लासिक संख्यात्मक एल्गोरिदम में से कई की फिर से व्याख्या की जा सकती है। इसमें संयुग्म ढाल विधि की विधि शामिल है,<ref name="Hennig2015PLS" /><ref name="Cockayne2019bayescg" /><ref name="Wenger2020problinsolve" />[[रैखिक मल्टीस्टेप विधि]], [[गाऊसी चतुर्भुज]] नियम,<ref name="KarvonenSarkka2017">{{cite conference
औपचारिक रूप से, इसका तात्पर्य यह है कि [[पूर्व संभावना|पूर्व]] प्रायिकतात्मक के संदर्भ में संगणनात्मक समस्या का सेटअप करना, कंप्यूटर द्वारा गणना की गई संख्याओं के बीच संबंध तैयार करना (उदाहरण के लिए रैखिक बीजगणित में आव्यूह -सदिश गुणन, अनुकूलन में ग्रेडिएंट, समाकलित के मूल्य या सदिश क्षेत्र को परिभाषित करना) एक विभेदक समीकरण) और प्रश्न में मात्रा (रैखिक समस्या का समाधान, न्यूनतम, अभिन्न, समाधान वक्र) एक [[संभावना समारोह|प्रायिकतात्मक फलन]] में, और आउटपुट के रूप में एक [[पश्च वितरण]] वापस करता है। ज्यादातर स्थितियों में, संख्यात्मक कलन विधि आंतरिक अनुकूली निर्णय भी लेते हैं कि किन संख्याओं की गणना की जाए, जो एक सक्रिय शिक्षण (मशीन अधिगम) समस्या का निर्माण करती हैं।
 
प्रायिकतात्मक ढांचे में सबसे लोकप्रिय पारम्परिक संख्यात्मक कलन विधि में से कई की फिर से व्याख्या की जा सकती है। इसमें संयुग्म ढाल विधि की विधि ,<ref name="Hennig2015PLS" /><ref name="Cockayne2019bayescg" /><ref name="Wenger2020problinsolve" />[[रैखिक मल्टीस्टेप विधि]], [[गाऊसी चतुर्भुज]] नियम,<ref name="KarvonenSarkka2017">{{cite conference
| author1 = Karvonen, Toni
| author1 = Karvonen, Toni
| author2 = Särkkä, Simo
| author2 = Särkkä, Simo
Line 60: Line 61:
| title = Classical quadrature rules via Gaussian processes
| title = Classical quadrature rules via Gaussian processes
| conference = 2017 IEEE 27th International Workshop on Machine Learning for Signal Processing (MLSP)
| conference = 2017 IEEE 27th International Workshop on Machine Learning for Signal Processing (MLSP)
}}</ref> और [[अर्ध-न्यूटन विधि]]याँ।<ref name="hennigkiefel13">{{cite journal
}}</ref> और [[अर्ध-न्यूटन विधि]]याँ सम्मिलित है।<ref name="hennigkiefel13">{{cite journal
   | title = Quasi-Newton methods: A new direction
   | title = Quasi-Newton methods: A new direction
   | author1 = Hennig, Philipp
   | author1 = Hennig, Philipp
Line 69: Line 70:
   | pages = 843–865
   | pages = 843–865
   | year = 2013| arxiv = 1206.4602
   | year = 2013| arxiv = 1206.4602
  }}</ref> इन सभी मामलों में, क्लासिक विधि एक नियमित न्यूनतम वर्गों पर आधारित है। कम से कम वर्ग अनुमान है कि एक गॉसियन प्रक्रिया से पहले और संभावना से उत्पन्न होने वाले पश्च माध्य से जुड़ा हो सकता है। ऐसे मामलों में, गॉसियन पोस्टीरियर का प्रसरण तब एक सर्वश्रेष्ठ, सबसे खराब और औसत मामले से जुड़ा होता है। चुकता त्रुटि के लिए सबसे खराब स्थिति का अनुमान।
  }}</ref> इन सभी स्थितियों में, पारम्परिक विधि एक नियमित न्यूनतम वर्गों पर आधारित है। कम से कम वर्ग अनुमान है कि एक गॉसियन प्रक्रिया से पहले और प्रायिकतात्मक से उत्पन्न होने वाले पश्च माध्य से जुड़ा हो सकता है। ऐसे स्थितियों में, गॉसियन पोस्टीरियर का प्रसरण चुकता त्रुटि के लिए सर्वाधिक बुरा स्थिति का अनुमान तब एक सर्वश्रेष्ठ, सर्वाधिक बुरा और औसत स्थितियों से जुड़ा होता है।  


संभाव्य संख्यात्मक पद्धतियाँ क्लासिक, बिंदु-अनुमान आधारित सन्निकटन तकनीकों पर कई वैचारिक लाभों का वादा करती हैं:
प्रायिकतात्मक संख्यात्मक पद्धतियाँ पारम्परिक, बिंदु-अनुमान आधारित सन्निकटन तकनीकों पर कई वैचारिक लाभों का वादा करती हैं:


* वे संरचित त्रुटि अनुमान लौटाते हैं (विशेष रूप से, संयुक्त पश्च नमूनों को वापस करने की क्षमता, यानी समस्या के सही अज्ञात समाधान के लिए कई यथार्थवादी परिकल्पनाएं)
* वे संरचित त्रुटि अनुमान (विशेष रूप से, संयुक्त पश्च नमूनों को वापस करने की क्षमता, अर्थात समस्या के सही अज्ञात समाधान के लिए कई यथार्थवादी परिकल्पनाएं) वापस करते हैं।
* पदानुक्रमित बायेसियन अनुमान का उपयोग प्रत्येक पैरामीटर के लिए उपन्यास विधियों का पुन: आविष्कार करने के बजाय, सामान्य तरीके से आंतरिक हाइपरपैरामीटर को सेट और नियंत्रित करने के लिए किया जा सकता है।
* पदानुक्रमित बायेसियन अनुमान का उपयोग प्रत्येक पैरामीटर के लिए उपन्यास विधियों का पुन: आविष्कार करने के अतिरिक्त, सामान्य तरीके से आंतरिक हाइपरपैरामीटर को सेट और नियंत्रित करने के लिए किया जा सकता है।
* चूँकि वे परिकलित संख्याओं और लक्ष्य मात्रा के बीच संबंध का वर्णन करने वाली स्पष्ट संभावना का उपयोग करते हैं और अनुमति देते हैं, संभाव्य संख्यात्मक विधियाँ अत्यधिक सटीक, पक्षपाती और स्टोकेस्टिक संगणनाओं के परिणामों का उपयोग कर सकती हैं।<ref name="Mahsereci2015">{{cite conference
* चूँकि वे परिकलित संख्याओं और लक्ष्य मात्रा के बीच संबंध का वर्णन करने वाली स्पष्ट प्रायिकतात्मक का उपयोग करते हैं और अनुमति देते हैं, प्रायिकतात्मक संख्यात्मक विधियाँ अत्यधिक सटीक, पक्षपाती और प्रसंभाव्य संगणनाओं के परिणामों का उपयोग कर सकती हैं।<ref name="Mahsereci2015">{{cite conference
| author1 = Maren Mahsereci
| author1 = Maren Mahsereci
| author2 = Philipp Hennig  
| author2 = Philipp Hennig  
Line 81: Line 82:
| title = Probabilistic line searches for stochastic optimization
| title = Probabilistic line searches for stochastic optimization
| conference = Advances in Neural Information Processing Systems (NeurIPS)
| conference = Advances in Neural Information Processing Systems (NeurIPS)
}}</ref> इसके विपरीत, संभाव्य संख्यात्मक विधियाँ संगणनाओं में एक संभावना भी प्रदान कर सकती हैं जिन्हें अक्सर [[अनुमानित बायेसियन संगणना]] माना जाता है। संभावना-मुक्त कहीं और<ref name="Kerstingetal2020">{{cite conference
}}</ref> इसके विपरीत, संभावना-मुक्त कहीं और प्रायिकतात्मक संख्यात्मक विधियाँ संगणनाओं में एक प्रायिकतात्मक भी प्रदान कर सकती हैं जिन्हें अधिकांशतः [[अनुमानित बायेसियन संगणना]] माना जाता है। <ref name="Kerstingetal2020">{{cite conference
| author1 = Hans Kersting
| author1 = Hans Kersting
| author2 = Nicholas Krämer  
| author2 = Nicholas Krämer  
Line 92: Line 93:
| conference = International Conference on Machine Learning (ICML)
| conference = International Conference on Machine Learning (ICML)
}}</ref>
}}</ref>
* क्योंकि सभी संभाव्य संख्यात्मक विधियां अनिवार्य रूप से एक ही डेटा प्रकार - संभाव्यता उपायों का उपयोग करती हैं - इनपुट और आउटपुट दोनों पर अनिश्चितता को मापने के लिए उन्हें बड़े पैमाने पर, समग्र कंप्यूटेशंस में अनिश्चितता फैलाने के लिए एक साथ जोड़ा जा सकता है।
* क्योंकि सभी प्रायिकतात्मक संख्यात्मक विधियां अनिवार्य रूप से एक ही डेटा प्रकार - प्रायिकतात्मकता उपायों का उपयोग करती हैं - इनपुट और आउटपुट दोनों पर अनिश्चितता को मापने के लिए उन्हें बड़े पैमाने पर, समग्र कंप्यूटेशंस में अनिश्चितता फैलाने के लिए एक साथ जोड़ा जा सकता है।
* सूचना के कई स्रोतों से स्रोत (उदाहरण के लिए बीजगणितीय, अंतर समीकरण के रूप के बारे में यंत्रवत ज्ञान, और भौतिक दुनिया में एकत्रित प्रणाली के प्रक्षेपवक्र के अवलोकन) को स्वाभाविक रूप से और एल्गोरिथम के आंतरिक लूप के अंदर जोड़ा जा सकता है, अन्यथा हटा दिया जा सकता है संगणना में आवश्यक नेस्टेड लूप, उदा। विपरीत समस्याओं में।<ref name="SchmidtKramerHennig2021">{{cite conference
* सूचना के कई स्रोतों से स्रोत (उदाहरण के लिए बीजगणितीय, अंतर समीकरण के रूप के बारे में यंत्रवत ज्ञान, और भौतिक दुनिया में एकत्रित प्रणाली के प्रक्षेपवक्र के अवलोकन) को स्वाभाविक रूप से और कलन विधि के आंतरिक लूप के अंदर जोड़ा जा सकता है, अन्यथा संगणना में आवश्यक नेस्टेड लूप, विपरीत समस्याओं में हटा दिया जा सकता है।<ref name="SchmidtKramerHennig2021">{{cite conference
| author1 = Schmidt, Jonathan
| author1 = Schmidt, Jonathan
| author2 = Krämer, Peter Nicholas
| author2 = Krämer, Peter Nicholas
Line 101: Line 102:
| conference = Advances in Neural Information Processing Systems (NeurIPS)
| conference = Advances in Neural Information Processing Systems (NeurIPS)
}}</ref>
}}</ref>
ये लाभ अनिवार्य रूप से समान कार्यात्मक लाभों के समतुल्य हैं जो बायेसियन विधियों को मशीन लर्निंग में बिंदु-अनुमानों पर लागू या कम्प्यूटेशनल डोमेन में स्थानांतरित करने का आनंद लेते हैं।
ये लाभ अनिवार्य रूप से समान कार्यात्मक लाभों के समतुल्य हैं जो बायेसियन विधियों को मशीन अधिगम में बिंदु-अनुमानों पर लागू या संगणनात्मक डोमेन में स्थानांतरित करने का आनंद लेते हैं।


== संख्यात्मक कार्य ==
== संख्यात्मक कार्य ==


=== एकीकरण ===
=== एकीकरण ===
{{main|Bayesian quadrature}}
{{main|बायेसियन चतुर्भुज}}


[[File:Bayesian quadrature.svg|thumb|गौसियन प्रक्रिया के साथ बायेसियन चतुर्भुज पर सशर्त <math> n = 0, 3,\ \text{and}\ 8 </math> इंटीग्रैंड का मूल्यांकन (काले रंग में दिखाया गया है)। बाएं स्तंभ में छायांकित क्षेत्र सीमांत मानक विचलन दर्शाते हैं। सही आंकड़ा पूर्व दिखाता है (<math> n=0 </math>) और पीछे (<math> n=3, 8 </math>) समाकल के मान के साथ-साथ वास्तविक समाधान पर गाऊसी वितरण।|400x400px]]संभाव्य संख्यात्मक विधियों को संख्यात्मक एकीकरण की समस्या के लिए विकसित किया गया है, जिसमें [[बायेसियन चतुर्भुज]] नामक सबसे लोकप्रिय विधि है।<ref name="Diaconis1988">{{cite journal
[[File:Bayesian quadrature.svg|thumb|गौसियन प्रक्रिया के साथ बायेसियन चतुर्भुज पर सशर्त <math> n = 0, 3,\ \text{and}\ 8 </math> समाकलित का मूल्यांकन (काले रंग में दिखाया गया है)। बाएं स्तंभ में छायांकित क्षेत्र सीमांत मानक विचलन दर्शाते हैं। सही आंकड़ा पूर्व दिखाता है (<math> n=0 </math>) और पीछे (<math> n=3, 8 </math>) समाकल के मान के साथ-साथ वास्तविक समाधान पर गाऊसी वितरण।|400x400px]]प्रायिकतात्मक संख्यात्मक विधियों को संख्यात्मक समाकलन की समस्या के लिए विकसित किया गया है, जिसमें [[बायेसियन चतुर्भुज]] नामक सबसे लोकप्रिय विधि है।<ref name="Diaconis1988">{{cite journal
| author1 = Diaconis, P.
| author1 = Diaconis, P.
| year = 1988
| year = 1988
Line 144: Line 145:
| doi = 10.1214/18-STS660| arxiv = 1512.00933
| doi = 10.1214/18-STS660| arxiv = 1512.00933
| s2cid = 13932715
| s2cid = 13932715
}}</ref> संख्यात्मक एकीकरण में, कार्य मूल्यांकन <math>f(x_1), \ldots, f(x_n)</math> कई बिंदुओं पर <math>x_1, \ldots, x_n</math> अभिन्न का अनुमान लगाने के लिए उपयोग किया जाता है <math> \textstyle \int f(x) \nu(dx) </math> एक समारोह का <math> f </math> किसी उपाय के खिलाफ <math> \nu </math>. बायेसियन चतुर्भुज में एक पूर्व वितरण को निर्दिष्ट करना शामिल है <math>f</math> और इससे पहले कंडीशनिंग करें <math>f(x_1), \ldots, f(x_n)</math> एक पश्च वितरण प्राप्त करने के लिए <math>f</math>, फिर निहित पश्च वितरण की गणना करना <math> \textstyle \int f(x) \nu(dx) </math>. प्रायर का सबसे आम विकल्प एक गाऊसी प्रक्रिया है क्योंकि यह हमें इंटीग्रल पर एक क्लोज-फॉर्म पोस्टीरियर डिस्ट्रीब्यूशन प्राप्त करने की अनुमति देता है जो कि एक अविभाज्य गॉसियन डिस्ट्रीब्यूशन है। कार्य करते समय बायेसियन चतुर्भुज विशेष रूप से उपयोगी होता है <math> f </math> मूल्यांकन करना महंगा है और डेटा का आयाम छोटा से मध्यम है।
}}</ref> संख्यात्मक समाकलन में, कार्य मूल्यांकन <math>f(x_1), \ldots, f(x_n)</math> कई बिंदुओं पर <math>x_1, \ldots, x_n</math> अभिन्न का अनुमान लगाने के लिए उपयोग किया जाता है <math> \textstyle \int f(x) \nu(dx) </math> एक फलन का <math> f </math> किसी उपाय के खिलाफ <math> \nu </math>. बायेसियन चतुर्भुज में एक पूर्व वितरण को निर्दिष्ट करना सम्मिलित है <math>f</math> और इससे पहले कंडीशनिंग करें <math>f(x_1), \ldots, f(x_n)</math> एक पश्च वितरण प्राप्त करने के लिए <math>f</math>, फिर निहित पश्च वितरण की गणना करना <math> \textstyle \int f(x) \nu(dx) </math>. प्रायर का सबसे आम विकल्प एक गाऊसी प्रक्रिया है क्योंकि यह हमें इंटीग्रल पर एक क्लोज-फॉर्म पोस्टीरियर डिस्ट्रीब्यूशन प्राप्त करने की अनुमति देता है जो कि एक अविभाज्य गॉसियन डिस्ट्रीब्यूशन है। कार्य करते समय बायेसियन चतुर्भुज विशेष रूप से उपयोगी होता है <math> f </math> मूल्यांकन करना महंगा है और डेटा का आयाम छोटा से मध्यम है।


=== अनुकूलन ===
=== अनुकूलन ===
{{see also|Bayesian optimization}}
{{see also|बायेसियन अनुकूलन}}


[[File:GpParBayesAnimationSmall.gif|thumb|440x330px | गॉसियन प्रक्रियाओं (बैंगनी) के साथ एक फ़ंक्शन (काला) का बायेसियन अनुकूलन। तीन अधिग्रहण कार्य (नीला) नीचे दिखाए गए हैं।<ref>{{Citation|last=Wilson|first=Samuel|title=ParBayesianOptimization R package|date=2019-11-22|url=https://github.com/AnotherSamWilson/ParBayesianOptimization|access-date=2019-12-12}}</ref>]][[गणितीय अनुकूलन]] के लिए संभाव्य अंकगणित का भी अध्ययन किया गया है, जिसमें कुछ उद्देश्य फलन का न्यूनतम या अधिकतम पता लगाना शामिल है <math> f </math> दिए गए (संभवतः शोर या अप्रत्यक्ष) बिंदुओं के एक सेट पर उस फ़ंक्शन का मूल्यांकन।
[[File:GpParBayesAnimationSmall.gif|thumb|440x330px | गॉसियन प्रक्रियाओं (बैंगनी) के साथ एक फलन (काला) का बायेसियन अनुकूलन। तीन अधिग्रहण कार्य (नीला) नीचे दिखाए गए हैं।<ref>{{Citation|last=Wilson|first=Samuel|title=ParBayesianOptimization R package|date=2019-11-22|url=https://github.com/AnotherSamWilson/ParBayesianOptimization|access-date=2019-12-12}}</ref>]][[गणितीय अनुकूलन]] के लिए प्रायिकतात्मक अंकगणित का भी अध्ययन किया गया है, जिसमें कुछ उद्देश्य फलन का न्यूनतम या अधिकतम पता लगाना सम्मिलित है <math> f </math> दिए गए (संभवतः शोर या अप्रत्यक्ष) बिंदुओं के एक सेट पर उस फलन का मूल्यांकन।


शायद इस दिशा में सबसे उल्लेखनीय प्रयास [[बायेसियन अनुकूलन]] है,<ref name="garnett_bayesopt_2022">{{Cite book|last=Garnett|first=Roman|url=https://bayesoptbook.com|title=बायेसियन अनुकूलन|date=2021|publisher=Cambridge University Press|location=Cambridge}}</ref> अनुकूलन के लिए एक सामान्य दृष्टिकोण बायेसियन अनुमान पर आधारित है। बायेसियन ऑप्टिमाइज़ेशन एल्गोरिदम के बारे में एक संभाव्य विश्वास बनाए रखते हुए काम करते हैं <math> f </math> अनुकूलन प्रक्रिया के दौरान; यह अक्सर एक गाऊसी प्रक्रिया का रूप ले लेता है जो पहले प्रेक्षणों पर आधारित होती है। यह विश्वास तब एल्गोरिदम को अवलोकन प्राप्त करने में मार्गदर्शन करता है जो अनुकूलन प्रक्रिया को आगे बढ़ाने की संभावना रखते हैं। बायेसियन ऑप्टिमाइज़ेशन नीतियों को आमतौर पर उद्देश्य फ़ंक्शन को एक सस्ती, अलग-अलग अधिग्रहण फ़ंक्शन में परिवर्तित करके महसूस किया जाता है जो प्रत्येक क्रमिक अवलोकन स्थान का चयन करने के लिए अधिकतम होता है। एक प्रमुख दृष्टिकोण [[बायेसियन प्रयोगात्मक डिजाइन]] के माध्यम से मॉडल अनुकूलन के लिए है, जो एक उपयुक्त उपयोगिता फ़ंक्शन द्वारा मूल्यांकन के रूप में सबसे अधिक अनुकूलन प्रगति प्रदान करने वाले अवलोकनों का अनुक्रम प्राप्त करने की मांग कर रहा है। इस दृष्टिकोण से एक स्वागत योग्य पक्ष प्रभाव यह है कि अंतर्निहित संभाव्य विश्वास द्वारा मापी गई वस्तुनिष्ठ फ़ंक्शन में अनिश्चितता क्लासिक मल्टी-आर्म्ड बैंडिट|अन्वेषण बनाम शोषण ट्रेडऑफ़ को संबोधित करने में एक अनुकूलन नीति का मार्गदर्शन कर सकती है।
शायद इस दिशा में सबसे उल्लेखनीय प्रयास [[बायेसियन अनुकूलन]] है,<ref name="garnett_bayesopt_2022">{{Cite book|last=Garnett|first=Roman|url=https://bayesoptbook.com|title=बायेसियन अनुकूलन|date=2021|publisher=Cambridge University Press|location=Cambridge}}</ref> अनुकूलन के लिए एक सामान्य दृष्टिकोण बायेसियन अनुमान पर आधारित है। बायेसियन ऑप्टिमाइज़ेशन कलन विधि के बारे में एक प्रायिकतात्मक विश्वास बनाए रखते हुए काम करते हैं <math> f </math> अनुकूलन प्रक्रिया के दौरान; यह अधिकांशतः एक गाऊसी प्रक्रिया का रूप ले लेता है जो पहले प्रेक्षणों पर आधारित होती है। यह विश्वास तब कलन विधि को अवलोकन प्राप्त करने में मार्गदर्शन करता है जो अनुकूलन प्रक्रिया को आगे बढ़ाने की प्रायिकतात्मक रखते हैं। बायेसियन ऑप्टिमाइज़ेशन नीतियों को आमतौर पर उद्देश्य फलन को एक सस्ती, अलग-अलग अधिग्रहण फलन में परिवर्तित करके महसूस किया जाता है जो प्रत्येक क्रमिक अवलोकन स्थान का चयन करने के लिए अधिकतम होता है। एक प्रमुख दृष्टिकोण [[बायेसियन प्रयोगात्मक डिजाइन]] के माध्यम से मॉडल अनुकूलन के लिए है, जो एक उपयुक्त उपयोगिता फलन द्वारा मूल्यांकन के रूप में सबसे अधिक अनुकूलन प्रगति प्रदान करने वाले अवलोकनों का अनुक्रम प्राप्त करने की मांग कर रहा है। इस दृष्टिकोण से एक स्वागत योग्य पक्ष प्रभाव यह है कि अंतर्निहित प्रायिकतात्मक विश्वास द्वारा मापी गई वस्तुनिष्ठ फलन में अनिश्चितता पारम्परिक मल्टी-आर्म्ड बैंडिट|अन्वेषण बनाम शोषण ट्रेडऑफ़ को संबोधित करने में एक अनुकूलन नीति का मार्गदर्शन कर सकती है।


=== स्थानीय अनुकूलन ===
=== स्थानीय अनुकूलन ===
गहरी शिक्षा के लिए [[स्टोचैस्टिक अनुकूलन]] के संदर्भ में संभाव्य संख्यात्मक विधियों का विकास किया गया है, विशेष रूप से मुख्य मुद्दों जैसे कि
गहरी शिक्षा के लिए [[स्टोचैस्टिक अनुकूलन]] के संदर्भ में प्रायिकतात्मक संख्यात्मक विधियों का विकास किया गया है, विशेष रूप से मुख्य मुद्दों जैसे कि
[[सीखने की दर]] ट्यूनिंग और लाइन खोज,<ref name="Mahsereci2017">{{cite journal
[[सीखने की दर]] ट्यूनिंग और लाइन खोज,<ref name="Mahsereci2017">{{cite journal
| author1 = Mahsereci, M.
| author1 = Mahsereci, M.
Line 211: Line 212:
|  url      = http://proceedings.mlr.press/v80/balles18a.html
|  url      = http://proceedings.mlr.press/v80/balles18a.html
}}</ref>
}}</ref>
इस सेटिंग में, अनुकूलन उद्देश्य अक्सर फॉर्म का [[अनुभवजन्य जोखिम न्यूनीकरण]] होता है <math>\textstyle L(\theta) = \frac{1}{N}\sum_{n=1}^N \ell(y_n, f_{\theta}(x_n))</math> एक डेटासेट द्वारा परिभाषित <math>\textstyle \mathcal{D}=\{(x_n, y_n)\}_{n=1}^N</math>, और एक नुकसान <math>\ell(y, f_{\theta}(x)) </math> यह परिमाणित करता है कि एक पूर्वानुमानित मॉडल कितना अच्छा है <math> f_{\theta}(x)</math> द्वारा पैरामीटर किया गया <math> \theta</math> लक्ष्य की भविष्यवाणी करने पर प्रदर्शन करता है <math> y </math> इसके संगत इनपुट से <math> x </math> .
इस सेटिंग में, अनुकूलन उद्देश्य अधिकांशतः फॉर्म का [[अनुभवजन्य जोखिम न्यूनीकरण]] होता है <math>\textstyle L(\theta) = \frac{1}{N}\sum_{n=1}^N \ell(y_n, f_{\theta}(x_n))</math> एक डेटासेट द्वारा परिभाषित <math>\textstyle \mathcal{D}=\{(x_n, y_n)\}_{n=1}^N</math>, और एक नुकसान <math>\ell(y, f_{\theta}(x)) </math> यह परिमाणित करता है कि एक पूर्वानुमानित मॉडल कितना अच्छा है <math> f_{\theta}(x)</math> द्वारा पैरामीटर किया गया <math> \theta</math> लक्ष्य की भविष्यवाणी करने पर प्रदर्शन करता है <math> y </math> इसके संगत इनपुट से <math> x </math> .
महामारी संबंधी अनिश्चितता तब उत्पन्न होती है जब डेटासेट का आकार <math> N </math> बड़ा है और एक बार में संसाधित नहीं किया जा सकता है जिसका अर्थ है कि स्थानीय मात्राएँ (कुछ दी गई हैं <math> \theta </math>) जैसे हानि समारोह  <math> L(\theta) </math> खुद या उसकी ढाल <math>\nabla L(\theta)</math> उचित समय में गणना नहीं की जा सकती।
महामारी संबंधी अनिश्चितता तब उत्पन्न होती है जब डेटासेट का आकार <math> N </math> बड़ा है और एक बार में संसाधित नहीं किया जा सकता है जिसका अर्थ है कि स्थानीय मात्राएँ (कुछ दी गई हैं <math> \theta </math>) जैसे हानि फलन <math> L(\theta) </math> खुद या उसकी ढाल <math>\nabla L(\theta)</math> उचित समय में गणना नहीं की जा सकती।
इसलिए, आम तौर पर डेटा के एक यादृच्छिक सबसेट पर इन मात्राओं के अनुमानक के निर्माण के लिए मिनी-बैचिंग का उपयोग किया जाता है। संभाव्य संख्यात्मक तरीके इस अनिश्चितता को स्पष्ट रूप से मॉडल करते हैं और स्वचालित निर्णय और पैरामीटर ट्यूनिंग की अनुमति देते हैं।
इसलिए, आम तौर पर डेटा के एक यादृच्छिक सबसेट पर इन मात्राओं के अनुमानक के निर्माण के लिए मिनी-बैचिंग का उपयोग किया जाता है। प्रायिकतात्मक संख्यात्मक तरीके इस अनिश्चितता को स्पष्ट रूप से मॉडल करते हैं और स्वचालित निर्णय और पैरामीटर ट्यूनिंग की अनुमति देते हैं।


=== रेखीय बीजगणित ===
=== रेखीय बीजगणित ===
रैखिक बीजगणित के लिए संभाव्य संख्यात्मक तरीके<ref name="Hennig2015PLS">{{cite journal
रैखिक बीजगणित के लिए प्रायिकतात्मक संख्यात्मक तरीके<ref name="Hennig2015PLS">{{cite journal
| author = Hennig, P.
| author = Hennig, P.
| year = 2015
| year = 2015
Line 323: Line 324:
}}</ref>
}}</ref>


[[File:Matrix-based-probabilistic-linear-solver.svg|thumb|एक मैट्रिक्स-आधारित संभाव्य रैखिक सॉल्वर का चित्रण।<ref name="Wenger2020problinsolve" />|600x400पीएक्स]]विधियों का एक बड़ा वर्ग प्रकृति में पुनरावृत्त है और बार-बार मैट्रिक्स-वेक्टर गुणन के माध्यम से हल करने के लिए रैखिक प्रणाली के बारे में जानकारी एकत्र करता है। <math>v \mapsto Av</math> सिस्टम मैट्रिक्स के साथ <math>A</math> विभिन्न वैक्टर के साथ <math>v</math>.
[[File:Matrix-based-probabilistic-linear-solver.svg|thumb|एक मैट्रिक्स-आधारित संभाव्य रैखिक सॉल्वर का चित्रण।<ref name="Wenger2020problinsolve" />|600x400पीएक्स]]विधियों का एक बड़ा वर्ग प्रकृति में पुनरावृत्त है और बार-बार आव्यूह -सदिश गुणन के माध्यम से हल करने के लिए रैखिक प्रणाली के बारे में जानकारी एकत्र करता है। <math>v \mapsto Av</math> सिस्टम आव्यूह के साथ <math>A</math> विभिन्न वैक्टर के साथ <math>v</math>.
इस तरह के तरीकों को मोटे तौर पर समाधान में विभाजित किया जा सकता है-<ref name="Cockayne2019bayescg" /><ref name="Cockayne2021iterative" />और एक मैट्रिक्स आधारित परिप्रेक्ष्य,<ref name="Hennig2015PLS" /><ref name="Wenger2020problinsolve" />इस पर निर्भर करता है कि समाधान पर विश्वास व्यक्त किया गया है या नहीं <math>x</math> मैट्रिक्स के रैखिक प्रणाली या (छद्म-) व्युत्क्रम <math>H=A^{\dagger}</math>.
इस तरह के तरीकों को मोटे तौर पर समाधान में विभाजित किया जा सकता है-<ref name="Cockayne2019bayescg" /><ref name="Cockayne2021iterative" />और एक आव्यूह आधारित परिप्रेक्ष्य,<ref name="Hennig2015PLS" /><ref name="Wenger2020problinsolve" />इस पर निर्भर करता है कि समाधान पर विश्वास व्यक्त किया गया है या नहीं <math>x</math> आव्यूह के रैखिक प्रणाली या (छद्म-) व्युत्क्रम <math>H=A^{\dagger}</math>.
विश्वास अद्यतन उपयोग करता है कि अनुमानित वस्तु मैट्रिक्स गुणा से जुड़ी हुई है <math> y= Av </math> या <math> z=A^\intercal v </math> के जरिए <math> b^\intercal z = x^\intercal v </math> और <math> v = A^{-1} y </math>.
विश्वास अद्यतन उपयोग करता है कि अनुमानित वस्तु आव्यूह गुणा से जुड़ी हुई है <math> y= Av </math> या <math> z=A^\intercal v </math> के जरिए <math> b^\intercal z = x^\intercal v </math> और <math> v = A^{-1} y </math>.
समस्या की रैखिक टिप्पणियों के तहत इसकी निकटता के कारण, तरीके आमतौर पर एक गॉसियन वितरण मानते हैं। वैचारिक रूप से भिन्न होने के बावजूद, ये दो विचार कम्प्यूटेशनल रूप से समतुल्य हैं और स्वाभाविक रूप से दाहिने हाथ की ओर से जुड़े हुए हैं <math>x = A^{-1}b</math>.<ref name="Bartels2019unifying" />
समस्या की रैखिक टिप्पणियों के तहत इसकी निकटता के कारण, तरीके आमतौर पर एक गॉसियन वितरण मानते हैं। वैचारिक रूप से भिन्न होने के बावजूद, ये दो विचार संगणनात्मक रूप से समतुल्य हैं और स्वाभाविक रूप से दाहिने हाथ की ओर से जुड़े हुए हैं <math>x = A^{-1}b</math>.<ref name="Bartels2019unifying" />


संभाव्य संख्यात्मक रेखीय बीजगणित रूटीनों को गॉसियन प्रक्रियाओं को बड़े डेटासेट में स्केल करने के लिए सफलतापूर्वक लागू किया गया है।<ref name="wenger2022precondgp"/><ref name="Wenger2022computationaluncertainty">{{cite conference
प्रायिकतात्मक संख्यात्मक रेखीय बीजगणित रूटीनों को गॉसियन प्रक्रियाओं को बड़े डेटासेट में स्केल करने के लिए सफलतापूर्वक लागू किया गया है।<ref name="wenger2022precondgp"/><ref name="Wenger2022computationaluncertainty">{{cite conference
| author1 = Wenger, J.
| author1 = Wenger, J.
| author2 = Pförtner, M.
| author2 = Pförtner, M.
Line 337: Line 338:
| journal = Advances in Neural Information Processing Systems (NeurIPS)
| journal = Advances in Neural Information Processing Systems (NeurIPS)
| arxiv = 2205.15449
| arxiv = 2205.15449
}}</ref> विशेष रूप से, वे <i>सटीक</i> एक संयुक्त गाऊसी प्रक्रिया पश्च में सन्निकटन त्रुटि के प्रसार को सक्षम करते हैं, जो देखे गए <i>परिमित डेटा संख्या</i> और <i> दोनों से उत्पन्न होने वाली अनिश्चितता की मात्रा निर्धारित करता है। संगणना की सीमित मात्रा</i> व्यय की गई।<ref name="Wenger2022computationaluncertainty"/>
}}</ref> विशेष रूप से, वे <i>सटीक</i> एक संयुक्त गाऊसी प्रक्रिया पश्च में सन्निकटन त्रुटि के प्रसार को सक्षम करते हैं, जो देखे गए <i>परिमित डेटा संख्या</i> और <i>दोनों से उत्पन्न होने वाली अनिश्चितता की मात्रा निर्धारित करता है। संगणना की सीमित मात्रा</i> व्यय की गई।<ref name="Wenger2022computationaluncertainty"/>




=== साधारण अंतर समीकरण ===
=== साधारण अंतर समीकरण ===
[[File:Lorenz Probabilistic Numerics.jpg|thumb|लॉरेंज प्रणाली के संख्यात्मक समाधान के पहले घटक से नमूने एक संभाव्य संख्यात्मक समाकलक के साथ प्राप्त किए गए।<ref name="Conrad2016" />|320x118पीएक्स]][[साधारण अंतर समीकरण]]ों के लिए संभाव्य संख्यात्मक तरीके <math> \dot{y}(t) = f(t, y(t)) </math>, प्रारंभिक और सीमा मूल्य समस्याओं के लिए विकसित किए गए हैं। साधारण अंतर समीकरणों के लिए डिज़ाइन किए गए कई अलग-अलग संभाव्य संख्यात्मक तरीके प्रस्तावित किए गए हैं, और इन्हें मोटे तौर पर निम्नलिखित दो श्रेणियों में बांटा जा सकता है:
[[File:Lorenz Probabilistic Numerics.jpg|thumb|लॉरेंज प्रणाली के संख्यात्मक समाधान के पहले घटक से नमूने एक संभाव्य संख्यात्मक समाकलक के साथ प्राप्त किए गए।<ref name="Conrad2016" />|320x118पीएक्स]][[साधारण अंतर समीकरण]]ों के लिए प्रायिकतात्मक संख्यात्मक तरीके <math> \dot{y}(t) = f(t, y(t)) </math>, प्रारंभिक और सीमा मूल्य समस्याओं के लिए विकसित किए गए हैं। साधारण अंतर समीकरणों के लिए डिज़ाइन किए गए कई अलग-अलग प्रायिकतात्मक संख्यात्मक तरीके प्रस्तावित किए गए हैं, और इन्हें मोटे तौर पर निम्नलिखित दो श्रेणियों में बांटा जा सकता है:


* रैंडमाइजेशन-आधारित विधियों को साधारण अंतर समीकरणों के लिए मानक नियतात्मक संख्यात्मक विधियों के यादृच्छिक गड़बड़ी के माध्यम से परिभाषित किया गया है। उदाहरण के लिए, यह एक-चरण इंटीग्रेटर्स के समाधान पर गॉसियन उलझन जोड़कर हासिल किया गया है<ref name="Conrad2016">{{cite journal
* रैंडमाइजेशन-आधारित विधियों को साधारण अंतर समीकरणों के लिए मानक नियतात्मक संख्यात्मक विधियों के यादृच्छिक गड़बड़ी के माध्यम से परिभाषित किया गया है। उदाहरण के लिए, यह एक-चरण इंटीग्रेटर्स के समाधान पर गॉसियन उलझन जोड़कर हासिल किया गया है<ref name="Conrad2016">{{cite journal
Line 363: Line 364:
| doi = 10.1007/s11222-020-09926-w| arxiv = 1801.01340
| doi = 10.1007/s11222-020-09926-w| arxiv = 1801.01340
| s2cid = 42880142
| s2cid = 42880142
}}</ref> यह नमूना किए जा सकने वाले अंतर समीकरण के समाधान पर एक संभाव्यता माप को परिभाषित करता है।
}}</ref> यह नमूना किए जा सकने वाले अंतर समीकरण के समाधान पर एक प्रायिकतात्मकता माप को परिभाषित करता है।
* गॉसियन प्रक्रिया प्रतिगमन विधियाँ गौसियन प्रक्रिया प्रतिगमन समस्या के रूप में अंतर समीकरण को हल करने की समस्या को प्रस्तुत करने पर आधारित हैं, व्युत्पन्न पर डेटा के रूप में दाईं ओर के मूल्यांकन की व्याख्या<ref name'Skilling1992">{{cite conference
* गॉसियन प्रक्रिया प्रतिगमन विधियाँ गौसियन प्रक्रिया प्रतिगमन समस्या के रूप में अंतर समीकरण को हल करने की समस्या को प्रस्तुत करने पर आधारित हैं, व्युत्पन्न पर डेटा के रूप में दाईं ओर के मूल्यांकन की व्याख्या<ref name'Skilling1992">{{cite conference
| author1 = Skilling, J.
| author1 = Skilling, J.
Line 370: Line 371:
| year = 1992
| year = 1992
| pages = 23&ndash;37
| pages = 23&ndash;37
}}</ref>. ये तकनीक बायेसियन क्यूबचर से मिलती-जुलती हैं, लेकिन अलग-अलग और अक्सर गैर-रैखिक अवलोकन मॉडल को नियोजित करती हैं<ref name'Tronarp2019">{{cite journal
}}</ref>. ये तकनीक बायेसियन क्यूबचर से मिलती-जुलती हैं, लेकिन अलग-अलग और अधिकांशतः गैर-रैखिक अवलोकन मॉडल को नियोजित करती हैं<ref name'Tronarp2019">{{cite journal
| author1 = Tronarp, F.
| author1 = Tronarp, F.
| author2 = Kersting, H.
| author2 = Kersting, H.
Line 414: Line 415:
| doi = 10.1007/s11222-017-9798-7
| doi = 10.1007/s11222-017-9798-7
| s2cid = 14299420
| s2cid = 14299420
}}</ref> [[स्टोचैस्टिक अंतर समीकरण]] द्वारा मॉडलिंग की गई <math> \mathrm{d}x(t) = A x(t) \, \mathrm{d} t + B \, \mathrm{d}v(t) </math>, कहाँ <math> x(t) </math> एक है <math> \nu </math>-आयामी वेक्टर मॉडलिंग पहले <math> \nu </math> के डेरिवेटिव <math> y(t) </math>, और कहाँ <math> v(t) </math> एक है <math> \nu </math>-आयामी ब्राउनियन गति। इस प्रकार Kalman फ़िल्टर आधारित विधियों के साथ अनुमान को कुशलतापूर्वक लागू किया जा सकता है।
}}</ref> [[स्टोचैस्टिक अंतर समीकरण]] द्वारा मॉडलिंग की गई <math> \mathrm{d}x(t) = A x(t) \, \mathrm{d} t + B \, \mathrm{d}v(t) </math>, कहाँ <math> x(t) </math> एक है <math> \nu </math>-आयामी सदिश मॉडलिंग पहले <math> \nu </math> के डेरिवेटिव <math> y(t) </math>, और कहाँ <math> v(t) </math> एक है <math> \nu </math>-आयामी ब्राउनियन गति। इस प्रकार Kalman फ़िल्टर आधारित विधियों के साथ अनुमान को कुशलतापूर्वक लागू किया जा सकता है।


इन दो श्रेणियों के बीच की सीमा स्पष्ट नहीं है, वास्तव में यादृच्छिक डेटा के आधार पर एक गाऊसी प्रक्रिया प्रतिगमन दृष्टिकोण भी विकसित किया गया था<ref name'Chkrebtii2016">{{cite journal
इन दो श्रेणियों के बीच की सीमा स्पष्ट नहीं है, वास्तव में यादृच्छिक डेटा के आधार पर एक गाऊसी प्रक्रिया प्रतिगमन दृष्टिकोण भी विकसित किया गया था<ref name'Chkrebtii2016">{{cite journal
Line 429: Line 430:
| doi = 10.1214/16-BA1017
| doi = 10.1214/16-BA1017
| s2cid = 14077995
| s2cid = 14077995
}}</ref>. कम्प्यूटेशनल रीमैनियन ज्यामिति में समस्याओं के लिए इन विधियों को लागू किया गया है<ref name'Hennig2014">{{cite conference
}}</ref>. संगणनात्मक रीमैनियन ज्यामिति में समस्याओं के लिए इन विधियों को लागू किया गया है<ref name'Hennig2014">{{cite conference
| author1 = Hennig, P.
| author1 = Hennig, P.
| author2 = Hauberg, S.
| author2 = Hauberg, S.
Line 439: Line 440:


=== [[आंशिक अंतर समीकरण]] ===
=== [[आंशिक अंतर समीकरण]] ===
आंशिक अवकल समीकरणों के लिए कई संभाव्य संख्यात्मक विधियों को भी प्रस्तावित किया गया है। साधारण अंतर समीकरणों की तरह, दृष्टिकोणों को मोटे तौर पर यादृच्छिकीकरण के आधार पर विभाजित किया जा सकता है, आम तौर पर कुछ अंतर्निहित परिमित-तत्व जाल के<ref name="Conrad2016" /><ref name="Abdulle2021">{{cite journal
आंशिक अवकल समीकरणों के लिए कई प्रायिकतात्मक संख्यात्मक विधियों को भी प्रस्तावित किया गया है। साधारण अंतर समीकरणों की तरह, दृष्टिकोणों को मोटे तौर पर यादृच्छिकीकरण के आधार पर विभाजित किया जा सकता है, आम तौर पर कुछ अंतर्निहित परिमित-तत्व जाल के<ref name="Conrad2016" /><ref name="Abdulle2021">{{cite journal
| author= Abdulle, A.; Garegnani, G.
| author= Abdulle, A.; Garegnani, G.
| title = A probabilistic finite element method based on random meshes: A posteriori error estimators and Bayesian inverse problems
| title = A probabilistic finite element method based on random meshes: A posteriori error estimators and Bayesian inverse problems
Line 459: Line 460:
}}</ref>
}}</ref>


[[File:Linpde-gp.png|thumb|600x800px|आंशिक अवकल समीकरण को हल करना सीखना। एक समस्या-विशिष्ट गाऊसी प्रक्रिया पूर्व <math>u</math> अनिश्चित सीमा स्थितियों (बीसी) और एक रैखिक पीडीई के साथ-साथ प्रयोग से शोर भौतिक मापों द्वारा दी गई आंशिक रूप से ज्ञात भौतिकी पर वातानुकूलित है। सीमा की स्थिति और पीडीई के दाहिने हाथ की ओर ज्ञात नहीं है, लेकिन शोर-दूषित माप के एक छोटे से सेट से अनुमान लगाया गया है। प्लॉट विश्वास को अलग करते हैं <math>u \mid \cdots</math> सच्चे समाधान के साथ <math>u^\star</math> अव्यक्त सीमा मान समस्या।<ref name="Pförtner2022linpde" />]]गॉसियन प्रक्रिया प्रतिगमन पर आधारित संभाव्य संख्यात्मक पीडीई सॉल्वर कुछ पुरोहितों के लिए रैखिक पीडीई पर शास्त्रीय तरीकों को पुनर्प्राप्त करते हैं, विशेष रूप से माध्य भारित अवशेषों के तरीकों में, जिसमें गैलेर्किन विधियाँ, परिमित तत्व विधियाँ, साथ ही वर्णक्रमीय विधियाँ शामिल हैं।<ref name="Pförtner2022linpde" />
[[File:Linpde-gp.png|thumb|600x800px|आंशिक अवकल समीकरण को हल करना सीखना। एक समस्या-विशिष्ट गाऊसी प्रक्रिया पूर्व <math>u</math> अनिश्चित सीमा स्थितियों (बीसी) और एक रैखिक पीडीई के साथ-साथ प्रयोग से शोर भौतिक मापों द्वारा दी गई आंशिक रूप से ज्ञात भौतिकी पर वातानुकूलित है। सीमा की स्थिति और पीडीई के दाहिने हाथ की ओर ज्ञात नहीं है, लेकिन शोर-दूषित माप के एक छोटे से सेट से अनुमान लगाया गया है। प्लॉट विश्वास को अलग करते हैं <math>u \mid \cdots</math> सच्चे समाधान के साथ <math>u^\star</math> अव्यक्त सीमा मान समस्या।<ref name="Pförtner2022linpde" />]]गॉसियन प्रक्रिया प्रतिगमन पर आधारित प्रायिकतात्मक संख्यात्मक पीडीई सॉल्वर कुछ पुरोहितों के लिए रैखिक पीडीई पर शास्त्रीय तरीकों को पुनर्प्राप्त करते हैं, विशेष रूप से माध्य भारित अवशेषों के तरीकों में, जिसमें गैलेर्किन विधियाँ, परिमित तत्व विधियाँ, साथ ही वर्णक्रमीय विधियाँ सम्मिलित हैं।<ref name="Pförtner2022linpde" />




== इतिहास और संबंधित क्षेत्र ==
== इतिहास और संबंधित क्षेत्र ==


संख्यात्मक विश्लेषण और संभाव्यता के बीच परस्पर क्रिया को गणित के कई अन्य क्षेत्रों द्वारा स्पर्श किया जाता है, जिसमें संख्यात्मक विधियों का औसत-केस विश्लेषण, [[सूचना-आधारित जटिलता]], [[खेल सिद्धांत]] और सांख्यिकीय [[निर्णय सिद्धांत]] शामिल हैं। जिसे अब संभाव्य अंक कहा जा रहा है, उसके पूर्ववर्ती 19वीं सदी के अंत और 20वीं सदी की शुरुआत में पाए जा सकते हैं।
संख्यात्मक विश्लेषण और प्रायिकतात्मकता के बीच परस्पर क्रिया को गणित के कई अन्य क्षेत्रों द्वारा स्पर्श किया जाता है, जिसमें संख्यात्मक विधियों का औसत-केस विश्लेषण, [[सूचना-आधारित जटिलता]], [[खेल सिद्धांत]] और सांख्यिकीय [[निर्णय सिद्धांत]] सम्मिलित हैं। जिसे अब प्रायिकतात्मक अंक कहा जा रहा है, उसके पूर्ववर्ती 19वीं सदी के अंत और 20वीं सदी की शुरुआत में पाए जा सकते हैं।


संभाव्य संख्या की उत्पत्ति हेनरी पॉइनकेयर द्वारा उनके कैलकुल डेस [[संभावना]] में बहुपद प्रक्षेप के लिए संभाव्य दृष्टिकोण की चर्चा के लिए खोजी जा सकती है।<ref name="Poincare1912">{{cite book
प्रायिकतात्मक संख्या की उत्पत्ति हेनरी पॉइनकेयर द्वारा उनके कैलकुल डेस प्रायिकतात्मक में बहुपद प्रक्षेप के लिए प्रायिकतात्मक दृष्टिकोण की चर्चा के लिए खोजी जा सकती है।<ref name="Poincare1912">{{cite book
| author-last = Poincaré
| author-last = Poincaré
| author-first = Henri
| author-first = Henri
Line 474: Line 475:
| publisher = Gauthier-Villars
| publisher = Gauthier-Villars
| edition = second}}</ref>
| edition = second}}</ref>
आधुनिक शब्दावली में, पॉइंकेयर ने एक समारोह पर एक गॉसियन उपाय माना <math>f \colon \mathbb{R} \to \mathbb{R}</math>, यादृच्छिक गुणांकों के साथ एक औपचारिक शक्ति श्रृंखला के रूप में व्यक्त किया गया, और के संभावित मूल्यों के लिए कहा <math>f(x)</math> यह पहले दिया और <math>n \in \mathbb{N}</math> टिप्पणियों <math>f(a_{i}) = B_{i}</math> के लिए <math>i = 1, \dots, n</math>.
आधुनिक शब्दावली में, पॉइंकेयर ने एक फलन पर एक गॉसियन उपाय माना <math>f \colon \mathbb{R} \to \mathbb{R}</math>, यादृच्छिक गुणांकों के साथ एक औपचारिक शक्ति श्रृंखला के रूप में व्यक्त किया गया, और के संभावित मूल्यों के लिए कहा <math>f(x)</math> यह पहले दिया और <math>n \in \mathbb{N}</math> टिप्पणियों <math>f(a_{i}) = B_{i}</math> के लिए <math>i = 1, \dots, n</math>.


संख्यात्मक विश्लेषण और संभाव्यता के परस्पर क्रिया के लिए बाद में मौलिक योगदान अल्बर्ट सल्दिन द्वारा अविभाजित संख्यात्मक एकीकरण के संदर्भ में प्रदान किया गया था।<ref name="Suldin1959">{{cite journal
संख्यात्मक विश्लेषण और प्रायिकतात्मकता के परस्पर क्रिया के लिए बाद में मौलिक योगदान अल्बर्ट सल्दिन द्वारा अविभाजित संख्यात्मक समाकलन के संदर्भ में प्रदान किया गया था।<ref name="Suldin1959">{{cite journal
| author-last = Suldin
| author-last = Suldin
| author-first = A. V.
| author-first = A. V.
Line 484: Line 485:
| year = 1959
| year = 1959
| number = 13
| number = 13
| pages = 145&ndash;158}}</ref> सुल्डिन द्वारा विचार की गई सांख्यिकीय समस्या निश्चित अभिन्न का सन्निकटन थी <math>\textstyle \int u(t) \, \mathrm{d} t</math> एक समारोह का <math>u \colon [a, b] \to \mathbb{R}</math>, इससे पहले एक ब्राउनियन गति के तहत <math>u</math>, के बिंदुवार मूल्यांकन तक पहुंच प्रदान की गई <math>u</math> नोड्स पर <math>t_{1}, \dots, t_{n} \in [a, b]</math>. सुल्डिन ने दिखाया कि, दिए गए चतुर्भुज नोड्स के लिए, न्यूनतम माध्य वर्ग त्रुटि वाला चतुर्भुज नियम समलम्बाकार नियम है; इसके अलावा, यह न्यूनतम त्रुटि इंटर-नोड स्पेसिंग के क्यूब्स के योग के समानुपाती होती है। नतीजतन, कोई समलम्बाकार नियम को समान दूरी वाले नोड्स के साथ कुछ अर्थों में सांख्यिकीय रूप से इष्टतम के रूप में देख सकता है - एक संख्यात्मक पद्धति के औसत-केस विश्लेषण का एक प्रारंभिक उदाहरण।
| pages = 145&ndash;158}}</ref> सुल्डिन द्वारा विचार की गई सांख्यिकीय समस्या निश्चित अभिन्न का सन्निकटन थी <math>\textstyle \int u(t) \, \mathrm{d} t</math> एक फलन का <math>u \colon [a, b] \to \mathbb{R}</math>, इससे पहले एक ब्राउनियन गति के तहत <math>u</math>, के बिंदुवार मूल्यांकन तक पहुंच प्रदान की गई <math>u</math> नोड्स पर <math>t_{1}, \dots, t_{n} \in [a, b]</math>. सुल्डिन ने दिखाया कि, दिए गए चतुर्भुज नोड्स के लिए, न्यूनतम माध्य वर्ग त्रुटि वाला चतुर्भुज नियम समलम्बाकार नियम है; इसके अलावा, यह न्यूनतम त्रुटि इंटर-नोड स्पेसिंग के क्यूब्स के योग के समानुपाती होती है। नतीजतन, कोई समलम्बाकार नियम को समान दूरी वाले नोड्स के साथ कुछ अर्थों में सांख्यिकीय रूप से इष्टतम के रूप में देख सकता है - एक संख्यात्मक पद्धति के औसत-केस विश्लेषण का एक प्रारंभिक उदाहरण।
सल्दिन के दृष्टिकोण को बाद में माइक लार्किन ने बढ़ाया था।<ref name="Larkin1972">{{cite journal
सल्दिन के दृष्टिकोण को बाद में माइक लार्किन ने बढ़ाया था।<ref name="Larkin1972">{{cite journal
| author-last = Larkin
| author-last = Larkin
Line 495: Line 496:
| pages = 379&ndash;421
| pages = 379&ndash;421
| doi = 10.1216/RMJ-1972-2-3-379}}</ref>
| doi = 10.1216/RMJ-1972-2-3-379}}</ref>
ध्यान दें कि इंटीग्रैंड से पहले सुल्डिन की ब्राउनियन गति <math>u</math> एक गॉसियन उपाय है और यह एकीकरण के संचालन और बिंदुवार मूल्यांकन का है <math>u</math> दोनों रेखीय मानचित्र हैं।
ध्यान दें कि समाकलित से पहले सुल्डिन की ब्राउनियन गति <math>u</math> एक गॉसियन उपाय है और यह समाकलन के संचालन और बिंदुवार मूल्यांकन का है <math>u</math> दोनों रेखीय मानचित्र हैं।
इस प्रकार, निश्चित अभिन्न <math>\textstyle \int u(t) \, \mathrm{d} t</math> एक वास्तविक-मूल्यवान गाऊसी यादृच्छिक चर है।
इस प्रकार, निश्चित अभिन्न <math>\textstyle \int u(t) \, \mathrm{d} t</math> एक वास्तविक-मूल्यवान गाऊसी यादृच्छिक चर है।
विशेष रूप से, के देखे गए बिंदुवार मूल्यों पर कंडीशनिंग के बाद <math>u</math>, यह ट्रैपेज़ॉइडल नियम के बराबर माध्य और समान विचरण के साथ एक [[सामान्य वितरण]] का अनुसरण करता है <math>\textstyle \frac{1}{12} \sum_{i = 2}^{n} (t_{i} - t_{i - 1})^{3}</math>.
विशेष रूप से, के देखे गए बिंदुवार मूल्यों पर कंडीशनिंग के बाद <math>u</math>, यह ट्रैपेज़ॉइडल नियम के बराबर माध्य और समान विचरण के साथ एक [[सामान्य वितरण]] का अनुसरण करता है <math>\textstyle \frac{1}{12} \sum_{i = 2}^{n} (t_{i} - t_{i - 1})^{3}</math>.
यह दृष्टिकोण बायेसियन चतुष्कोण के बहुत करीब है, न केवल एक बिंदु अनुमान के रूप में बल्कि अपने आप में संभाव्यता वितरण के रूप में एक द्विघात पद्धति के उत्पादन को देखते हुए।
यह दृष्टिकोण बायेसियन चतुष्कोण के बहुत करीब है, न केवल एक बिंदु अनुमान के रूप में बल्कि अपने आप में प्रायिकतात्मकता वितरण के रूप में एक द्विघात पद्धति के उत्पादन को देखते हुए।


जैसा कि ओव्हाडी और सहयोगियों ने उल्लेख किया है,<ref name=":1" /><ref>{{Cite journal
जैसा कि ओव्हाडी और सहयोगियों ने उल्लेख किया है,<ref name=":1" /><ref>{{Cite journal
Line 544: Line 545:
| issue = 2
| issue = 2
| pages = 495&ndash;502
| pages = 495&ndash;502
| doi = 10.1214/aoms/1177697089 }}</ref> (बेयसियन अनुमान और तख़्ता चौरसाई/प्रक्षेप के बीच पत्राचार पर) और लार्किन<ref name="Larkin1972" />(गाऊसी प्रक्रिया प्रतिगमन और संख्यात्मक सन्निकटन के बीच पत्राचार पर)। यद्यपि एक यादृच्छिक प्रक्रिया से एक नमूने के रूप में एक पूरी तरह से ज्ञात फ़ंक्शन को मॉडलिंग करने का दृष्टिकोण उल्टा लग सकता है, इसे समझने के लिए एक प्राकृतिक ढांचा सूचना-आधारित जटिलता (आईबीसी) में पाया जा सकता है।<ref name="TraubWasilkowskiWozniakowski1988">{{cite book
| doi = 10.1214/aoms/1177697089 }}</ref> (बेयसियन अनुमान और तख़्ता चौरसाई/प्रक्षेप के बीच पत्राचार पर) और लार्किन<ref name="Larkin1972" />(गाऊसी प्रक्रिया प्रतिगमन और संख्यात्मक सन्निकटन के बीच पत्राचार पर)। यद्यपि एक यादृच्छिक प्रक्रिया से एक नमूने के रूप में एक पूरी तरह से ज्ञात फलन को मॉडलिंग करने का दृष्टिकोण उल्टा लग सकता है, इसे समझने के लिए एक प्राकृतिक ढांचा सूचना-आधारित जटिलता (आईबीसी) में पाया जा सकता है।<ref name="TraubWasilkowskiWozniakowski1988">{{cite book
| author1= Traub, J. F.
| author1= Traub, J. F.
| author2 = Wasilkowski, G. W.
| author2 = Wasilkowski, G. W.
Line 553: Line 554:
| location = Boston, MA
| location = Boston, MA
| year = 1988
| year = 1988
| isbn = 0-12-697545-0 }}</ref> कम्प्यूटेशनल जटिलता की शाखा इस अवलोकन पर आधारित है कि संख्यात्मक कार्यान्वयन के लिए आंशिक जानकारी और सीमित संसाधनों के साथ संगणना की आवश्यकता होती है। IBC में, अधूरी जानकारी पर काम करने वाले एक एल्गोरिथ्म के प्रदर्शन का सबसे खराब स्थिति या औसत-मामले (यादृच्छिक) सेटिंग में लापता जानकारी के संबंध में विश्लेषण किया जा सकता है। इसके अलावा, पैकेल के रूप में<ref name="Packel1987">{{cite journal
| isbn = 0-12-697545-0 }}</ref> संगणनात्मक जटिलता की शाखा इस अवलोकन पर आधारित है कि संख्यात्मक कार्यान्वयन के लिए आंशिक जानकारी और सीमित संसाधनों के साथ संगणना की आवश्यकता होती है। IBC में, अधूरी जानकारी पर काम करने वाले एक कलन विधि के प्रदर्शन का सर्वाधिक बुरा स्थिति या औसत-स्थितियों  (यादृच्छिक) सेटिंग में लापता जानकारी के संबंध में विश्लेषण किया जा सकता है। इसके अलावा, पैकेल के रूप में<ref name="Packel1987">{{cite journal
| author-last = Packel
| author-last = Packel
| author-first = Edward W.
| author-first = Edward W.
Line 562: Line 563:
| number = 3
| number = 3
| pages = 244&ndash;257
| pages = 244&ndash;257
| doi = 10.1016/0885-064X(87)90014-8}}</ref> देखा गया है, औसत केस सेटिंग को मिश्रित (यादृच्छिक) रणनीतियों पर न्यूनतम अधिकतम समस्या के लिए एक (सबसे खराब स्थिति) न्यूनतम समस्या को उठाकर प्राप्त एक प्रतिकूल खेल में [[मिश्रित रणनीति]] के रूप में व्याख्या की जा सकती है। यह अवलोकन एक प्राकृतिक संबंध की ओर ले जाता है<ref name=":2">{{cite journal|author=Owhadi, H.|year=2017|title=किसी न किसी गुणांक के साथ मल्टीग्रिड और पदानुक्रमित सूचना गेम से बहु-रिज़ॉल्यूशन ऑपरेटर अपघटन|journal=SIAM Review|volume=59|pages=99&ndash;149|doi=10.1137/15M1013894|number=1|s2cid=5877877}}</ref><ref name=":1" />संख्यात्मक सन्निकटन और अब्राहम वाल्ड के बीच | वाल्ड का निर्णय सिद्धांत, स्पष्ट रूप से जॉन वॉन न्यूमैन | वॉन न्यूमैन के खेल सिद्धांत से प्रभावित है। इस कनेक्शन का वर्णन करने के लिए मिशेली और रिवलिन की इष्टतम पुनर्प्राप्ति सेटिंग पर विचार करें<ref>{{cite conference
| doi = 10.1016/0885-064X(87)90014-8}}</ref> देखा गया है, औसत केस सेटिंग को मिश्रित (यादृच्छिक) रणनीतियों पर न्यूनतम अधिकतम समस्या के लिए एक (सर्वाधिक बुरा स्थिति) न्यूनतम समस्या को उठाकर प्राप्त एक प्रतिकूल खेल में [[मिश्रित रणनीति]] के रूप में व्याख्या की जा सकती है। यह अवलोकन एक प्राकृतिक संबंध की ओर ले जाता है<ref name=":2">{{cite journal|author=Owhadi, H.|year=2017|title=किसी न किसी गुणांक के साथ मल्टीग्रिड और पदानुक्रमित सूचना गेम से बहु-रिज़ॉल्यूशन ऑपरेटर अपघटन|journal=SIAM Review|volume=59|pages=99&ndash;149|doi=10.1137/15M1013894|number=1|s2cid=5877877}}</ref><ref name=":1" />संख्यात्मक सन्निकटन और अब्राहम वाल्ड के बीच | वाल्ड का निर्णय सिद्धांत, स्पष्ट रूप से जॉन वॉन न्यूमैन | वॉन न्यूमैन के खेल सिद्धांत से प्रभावित है। इस कनेक्शन का वर्णन करने के लिए मिशेली और रिवलिन की इष्टतम पुनर्प्राप्ति सेटिंग पर विचार करें<ref>{{cite conference
| author1 = Micchelli, C. A.
| author1 = Micchelli, C. A.
| author2 = Rivlin, T. J.
| author2 = Rivlin, T. J.
Line 569: Line 570:
| pages = 1&ndash;54
| pages = 1&ndash;54
| year = 1977
| year = 1977
| doi = 10.1007/978-1-4684-2388-4_1 }}</ref> जिसमें कोई उस फ़ंक्शन पर रैखिक मापों की सीमित संख्या से अज्ञात फ़ंक्शन को अनुमानित करने का प्रयास करता है। इस इष्टतम पुनर्प्राप्ति समस्या को एक शून्य-राशि वाले खेल के रूप में व्याख्या करते हुए जहां खिलाड़ी I अज्ञात फ़ंक्शन का चयन करता है और खिलाड़ी II इसके सन्निकटन का चयन करता है, और नुकसान को परिभाषित करने के लिए द्विघात मानदंड में सापेक्ष त्रुटियों का उपयोग करते हुए, गॉसियन पुजारी उभर कर आते हैं<ref name=":1" /> इस तरह के खेलों के लिए इष्टतम मिश्रित रणनीतियों के रूप में, और इष्टतम गॉसियन पूर्व के सहप्रसरण ऑपरेटर को पुनर्प्राप्ति की सापेक्ष त्रुटि को परिभाषित करने के लिए उपयोग किए जाने वाले द्विघात मानदंड द्वारा निर्धारित किया जाता है।
| doi = 10.1007/978-1-4684-2388-4_1 }}</ref> जिसमें कोई उस फलन पर रैखिक मापों की सीमित संख्या से अज्ञात फलन को अनुमानित करने का प्रयास करता है। इस इष्टतम पुनर्प्राप्ति समस्या को एक शून्य-राशि वाले खेल के रूप में व्याख्या करते हुए जहां खिलाड़ी I अज्ञात फलन का चयन करता है और खिलाड़ी II इसके सन्निकटन का चयन करता है, और नुकसान को परिभाषित करने के लिए द्विघात मानदंड में सापेक्ष त्रुटियों का उपयोग करते हुए, गॉसियन पुजारी उभर कर आते हैं<ref name=":1" /> इस तरह के खेलों के लिए इष्टतम मिश्रित रणनीतियों के रूप में, और इष्टतम गॉसियन पूर्व के सहप्रसरण ऑपरेटर को पुनर्प्राप्ति की सापेक्ष त्रुटि को परिभाषित करने के लिए उपयोग किए जाने वाले द्विघात मानदंड द्वारा निर्धारित किया जाता है।


== सॉफ्टवेयर ==
== सॉफ्टवेयर ==


* [https://github.com/probabilistic-numerics/probnum ProbNum]: पायथन में संभाव्य अंक।
* [https://github.com/probabilistic-numerics/probnum ProbNum]: पायथन में प्रायिकतात्मक अंक।
* [https://github.com/nathanaelbosch/ProbNumDiffEq.jl ProbNumDiffEq.jl]: जूलिया में कार्यान्वित फ़िल्टरिंग पर आधारित संभाव्य संख्यात्मक ODE सॉल्वर।
* [https://github.com/nathanaelbosch/ProbNumDiffEq.jl ProbNumDiffEq.jl]: जूलिया में कार्यान्वित फ़िल्टरिंग पर आधारित प्रायिकतात्मक संख्यात्मक ODE सॉल्वर।
* [https://github.com/EmuKit/emukit Emukit]: अनिश्चितता के तहत निर्णय लेने के लिए अनुकूलन योग्य पायथन टूलबॉक्स।
* [https://github.com/EmuKit/emukit Emukit]: अनिश्चितता के तहत निर्णय लेने के लिए अनुकूलन योग्य पायथन टूलबॉक्स।
* [https://github.com/f-dangel/backpack Backpack]: PyTorch के ऊपर निर्मित। यह ग्रेडिएंट के अलावा अन्य मात्राओं की कुशलता से गणना करता है।
* [https://github.com/f-dangel/backpack Backpack]: PyTorch के ऊपर निर्मित। यह ग्रेडिएंट के अलावा अन्य मात्राओं की कुशलता से गणना करता है।
Line 580: Line 581:
== यह भी देखें ==
== यह भी देखें ==


* औसत-मामले का विश्लेषण
* औसत-स्थितियों  का विश्लेषण
* सूचना-आधारित जटिलता
* सूचना-आधारित जटिलता
* [[अनिश्चितता मात्रा का ठहराव]]
* [[अनिश्चितता मात्रा का ठहराव]]

Revision as of 10:08, 26 May 2023

प्रायिकतात्मक अंकगणित एक सक्रिय अध्ययन का क्षेत्र है, जो गणना में अनिश्चितता की अवधारणा पर केंद्रित अनुप्रयुक्त गणित, सांख्यिकी और यंत्र अधिगम के अंतरा प्रतिच्छेदन पर आधारित है। प्रायिकतात्मक संख्यात्मक में, संख्यात्मक विश्लेषण में कार्य जैसे संख्यात्मक समाकलन के लिए संख्यात्मक समाधान खोजना, संख्यात्मक रैखिक बीजगणित, संख्यात्मक अनुकूलन और कंप्यूटर अनुरूपण को सांख्यिकीय, प्रायिकतात्मकता या बायेसियन अनुमान की समस्याओं के रूप में देखा जाता है।[1][2][3][4][5]


परिचय

एक संख्यात्मक विधि एक कलन विधि है जो एक गणितीय समस्या के समाधान का अनुमान लगाती है (नीचे दिए गए उदाहरणों में एक रेखीय बीजगणित (रैखिक प्रणाली) का समाधान, एक समाकलन का मान, एक सामान्य अंतर समीकरणों का समाधान, एक बहुभिन्नरूपी फलन का अनुकूलन सम्मिलित है) एक प्रायिकतात्मक संख्यात्मक कलन विधि में, सन्निकटन की इस प्रक्रिया को अनुमान और बायेसियन अनुमान (अधिकांशतः, लेकिन हमेशा नहीं, बायेसियन अनुमान) के ढांचे में महसूस किया जाता है और अनुमान या सीखने की समस्या के रूप में माना जाता है।[6]

औपचारिक रूप से, इसका तात्पर्य यह है कि पूर्व प्रायिकतात्मक के संदर्भ में संगणनात्मक समस्या का सेटअप करना, कंप्यूटर द्वारा गणना की गई संख्याओं के बीच संबंध तैयार करना (उदाहरण के लिए रैखिक बीजगणित में आव्यूह -सदिश गुणन, अनुकूलन में ग्रेडिएंट, समाकलित के मूल्य या सदिश क्षेत्र को परिभाषित करना) एक विभेदक समीकरण) और प्रश्न में मात्रा (रैखिक समस्या का समाधान, न्यूनतम, अभिन्न, समाधान वक्र) एक प्रायिकतात्मक फलन में, और आउटपुट के रूप में एक पश्च वितरण वापस करता है। ज्यादातर स्थितियों में, संख्यात्मक कलन विधि आंतरिक अनुकूली निर्णय भी लेते हैं कि किन संख्याओं की गणना की जाए, जो एक सक्रिय शिक्षण (मशीन अधिगम) समस्या का निर्माण करती हैं।

प्रायिकतात्मक ढांचे में सबसे लोकप्रिय पारम्परिक संख्यात्मक कलन विधि में से कई की फिर से व्याख्या की जा सकती है। इसमें संयुग्म ढाल विधि की विधि ,[7][8][9]रैखिक मल्टीस्टेप विधि, गाऊसी चतुर्भुज नियम,[10] और अर्ध-न्यूटन विधियाँ सम्मिलित है।[11] इन सभी स्थितियों में, पारम्परिक विधि एक नियमित न्यूनतम वर्गों पर आधारित है। कम से कम वर्ग अनुमान है कि एक गॉसियन प्रक्रिया से पहले और प्रायिकतात्मक से उत्पन्न होने वाले पश्च माध्य से जुड़ा हो सकता है। ऐसे स्थितियों में, गॉसियन पोस्टीरियर का प्रसरण चुकता त्रुटि के लिए सर्वाधिक बुरा स्थिति का अनुमान तब एक सर्वश्रेष्ठ, सर्वाधिक बुरा और औसत स्थितियों से जुड़ा होता है।

प्रायिकतात्मक संख्यात्मक पद्धतियाँ पारम्परिक, बिंदु-अनुमान आधारित सन्निकटन तकनीकों पर कई वैचारिक लाभों का वादा करती हैं:

  • वे संरचित त्रुटि अनुमान (विशेष रूप से, संयुक्त पश्च नमूनों को वापस करने की क्षमता, अर्थात समस्या के सही अज्ञात समाधान के लिए कई यथार्थवादी परिकल्पनाएं) वापस करते हैं।
  • पदानुक्रमित बायेसियन अनुमान का उपयोग प्रत्येक पैरामीटर के लिए उपन्यास विधियों का पुन: आविष्कार करने के अतिरिक्त, सामान्य तरीके से आंतरिक हाइपरपैरामीटर को सेट और नियंत्रित करने के लिए किया जा सकता है।
  • चूँकि वे परिकलित संख्याओं और लक्ष्य मात्रा के बीच संबंध का वर्णन करने वाली स्पष्ट प्रायिकतात्मक का उपयोग करते हैं और अनुमति देते हैं, प्रायिकतात्मक संख्यात्मक विधियाँ अत्यधिक सटीक, पक्षपाती और प्रसंभाव्य संगणनाओं के परिणामों का उपयोग कर सकती हैं।[12] इसके विपरीत, संभावना-मुक्त कहीं और प्रायिकतात्मक संख्यात्मक विधियाँ संगणनाओं में एक प्रायिकतात्मक भी प्रदान कर सकती हैं जिन्हें अधिकांशतः अनुमानित बायेसियन संगणना माना जाता है। [13]
  • क्योंकि सभी प्रायिकतात्मक संख्यात्मक विधियां अनिवार्य रूप से एक ही डेटा प्रकार - प्रायिकतात्मकता उपायों का उपयोग करती हैं - इनपुट और आउटपुट दोनों पर अनिश्चितता को मापने के लिए उन्हें बड़े पैमाने पर, समग्र कंप्यूटेशंस में अनिश्चितता फैलाने के लिए एक साथ जोड़ा जा सकता है।
  • सूचना के कई स्रोतों से स्रोत (उदाहरण के लिए बीजगणितीय, अंतर समीकरण के रूप के बारे में यंत्रवत ज्ञान, और भौतिक दुनिया में एकत्रित प्रणाली के प्रक्षेपवक्र के अवलोकन) को स्वाभाविक रूप से और कलन विधि के आंतरिक लूप के अंदर जोड़ा जा सकता है, अन्यथा संगणना में आवश्यक नेस्टेड लूप, विपरीत समस्याओं में हटा दिया जा सकता है।[14]

ये लाभ अनिवार्य रूप से समान कार्यात्मक लाभों के समतुल्य हैं जो बायेसियन विधियों को मशीन अधिगम में बिंदु-अनुमानों पर लागू या संगणनात्मक डोमेन में स्थानांतरित करने का आनंद लेते हैं।

संख्यात्मक कार्य

एकीकरण

गौसियन प्रक्रिया के साथ बायेसियन चतुर्भुज पर सशर्त समाकलित का मूल्यांकन (काले रंग में दिखाया गया है)। बाएं स्तंभ में छायांकित क्षेत्र सीमांत मानक विचलन दर्शाते हैं। सही आंकड़ा पूर्व दिखाता है () और पीछे () समाकल के मान के साथ-साथ वास्तविक समाधान पर गाऊसी वितरण।

प्रायिकतात्मक संख्यात्मक विधियों को संख्यात्मक समाकलन की समस्या के लिए विकसित किया गया है, जिसमें बायेसियन चतुर्भुज नामक सबसे लोकप्रिय विधि है।[15][16][17][18] संख्यात्मक समाकलन में, कार्य मूल्यांकन कई बिंदुओं पर अभिन्न का अनुमान लगाने के लिए उपयोग किया जाता है एक फलन का किसी उपाय के खिलाफ . बायेसियन चतुर्भुज में एक पूर्व वितरण को निर्दिष्ट करना सम्मिलित है और इससे पहले कंडीशनिंग करें एक पश्च वितरण प्राप्त करने के लिए , फिर निहित पश्च वितरण की गणना करना . प्रायर का सबसे आम विकल्प एक गाऊसी प्रक्रिया है क्योंकि यह हमें इंटीग्रल पर एक क्लोज-फॉर्म पोस्टीरियर डिस्ट्रीब्यूशन प्राप्त करने की अनुमति देता है जो कि एक अविभाज्य गॉसियन डिस्ट्रीब्यूशन है। कार्य करते समय बायेसियन चतुर्भुज विशेष रूप से उपयोगी होता है मूल्यांकन करना महंगा है और डेटा का आयाम छोटा से मध्यम है।

अनुकूलन

File:GpParBayesAnimationSmall.gif
गॉसियन प्रक्रियाओं (बैंगनी) के साथ एक फलन (काला) का बायेसियन अनुकूलन। तीन अधिग्रहण कार्य (नीला) नीचे दिखाए गए हैं।[19]

गणितीय अनुकूलन के लिए प्रायिकतात्मक अंकगणित का भी अध्ययन किया गया है, जिसमें कुछ उद्देश्य फलन का न्यूनतम या अधिकतम पता लगाना सम्मिलित है दिए गए (संभवतः शोर या अप्रत्यक्ष) बिंदुओं के एक सेट पर उस फलन का मूल्यांकन।

शायद इस दिशा में सबसे उल्लेखनीय प्रयास बायेसियन अनुकूलन है,[20] अनुकूलन के लिए एक सामान्य दृष्टिकोण बायेसियन अनुमान पर आधारित है। बायेसियन ऑप्टिमाइज़ेशन कलन विधि के बारे में एक प्रायिकतात्मक विश्वास बनाए रखते हुए काम करते हैं अनुकूलन प्रक्रिया के दौरान; यह अधिकांशतः एक गाऊसी प्रक्रिया का रूप ले लेता है जो पहले प्रेक्षणों पर आधारित होती है। यह विश्वास तब कलन विधि को अवलोकन प्राप्त करने में मार्गदर्शन करता है जो अनुकूलन प्रक्रिया को आगे बढ़ाने की प्रायिकतात्मक रखते हैं। बायेसियन ऑप्टिमाइज़ेशन नीतियों को आमतौर पर उद्देश्य फलन को एक सस्ती, अलग-अलग अधिग्रहण फलन में परिवर्तित करके महसूस किया जाता है जो प्रत्येक क्रमिक अवलोकन स्थान का चयन करने के लिए अधिकतम होता है। एक प्रमुख दृष्टिकोण बायेसियन प्रयोगात्मक डिजाइन के माध्यम से मॉडल अनुकूलन के लिए है, जो एक उपयुक्त उपयोगिता फलन द्वारा मूल्यांकन के रूप में सबसे अधिक अनुकूलन प्रगति प्रदान करने वाले अवलोकनों का अनुक्रम प्राप्त करने की मांग कर रहा है। इस दृष्टिकोण से एक स्वागत योग्य पक्ष प्रभाव यह है कि अंतर्निहित प्रायिकतात्मक विश्वास द्वारा मापी गई वस्तुनिष्ठ फलन में अनिश्चितता पारम्परिक मल्टी-आर्म्ड बैंडिट|अन्वेषण बनाम शोषण ट्रेडऑफ़ को संबोधित करने में एक अनुकूलन नीति का मार्गदर्शन कर सकती है।

स्थानीय अनुकूलन

गहरी शिक्षा के लिए स्टोचैस्टिक अनुकूलन के संदर्भ में प्रायिकतात्मक संख्यात्मक विधियों का विकास किया गया है, विशेष रूप से मुख्य मुद्दों जैसे कि सीखने की दर ट्यूनिंग और लाइन खोज,[21] बैच-आकार चयन,[22] जल्दी रुकना,[23] छंटाई,[24] और प्रथम- और द्वितीय-क्रम खोज निर्देश।[25][26] इस सेटिंग में, अनुकूलन उद्देश्य अधिकांशतः फॉर्म का अनुभवजन्य जोखिम न्यूनीकरण होता है एक डेटासेट द्वारा परिभाषित , और एक नुकसान यह परिमाणित करता है कि एक पूर्वानुमानित मॉडल कितना अच्छा है द्वारा पैरामीटर किया गया लक्ष्य की भविष्यवाणी करने पर प्रदर्शन करता है इसके संगत इनपुट से . महामारी संबंधी अनिश्चितता तब उत्पन्न होती है जब डेटासेट का आकार बड़ा है और एक बार में संसाधित नहीं किया जा सकता है जिसका अर्थ है कि स्थानीय मात्राएँ (कुछ दी गई हैं ) जैसे हानि फलन खुद या उसकी ढाल उचित समय में गणना नहीं की जा सकती। इसलिए, आम तौर पर डेटा के एक यादृच्छिक सबसेट पर इन मात्राओं के अनुमानक के निर्माण के लिए मिनी-बैचिंग का उपयोग किया जाता है। प्रायिकतात्मक संख्यात्मक तरीके इस अनिश्चितता को स्पष्ट रूप से मॉडल करते हैं और स्वचालित निर्णय और पैरामीटर ट्यूनिंग की अनुमति देते हैं।

रेखीय बीजगणित

रैखिक बीजगणित के लिए प्रायिकतात्मक संख्यात्मक तरीके[7] [8] [27] [9] [28] [29] मुख्य रूप से फॉर्म के रैखिक समीकरणों की प्रणालियों को हल करने पर ध्यान केंद्रित किया है और निर्धारकों की गणना .[30][31]

Error creating thumbnail:
600x400पीएक्स

विधियों का एक बड़ा वर्ग प्रकृति में पुनरावृत्त है और बार-बार आव्यूह -सदिश गुणन के माध्यम से हल करने के लिए रैखिक प्रणाली के बारे में जानकारी एकत्र करता है। सिस्टम आव्यूह के साथ विभिन्न वैक्टर के साथ .

इस तरह के तरीकों को मोटे तौर पर समाधान में विभाजित किया जा सकता है-[8][28]और एक आव्यूह आधारित परिप्रेक्ष्य,[7][9]इस पर निर्भर करता है कि समाधान पर विश्वास व्यक्त किया गया है या नहीं आव्यूह के रैखिक प्रणाली या (छद्म-) व्युत्क्रम . विश्वास अद्यतन उपयोग करता है कि अनुमानित वस्तु आव्यूह गुणा से जुड़ी हुई है या के जरिए और . समस्या की रैखिक टिप्पणियों के तहत इसकी निकटता के कारण, तरीके आमतौर पर एक गॉसियन वितरण मानते हैं। वैचारिक रूप से भिन्न होने के बावजूद, ये दो विचार संगणनात्मक रूप से समतुल्य हैं और स्वाभाविक रूप से दाहिने हाथ की ओर से जुड़े हुए हैं .[27]

प्रायिकतात्मक संख्यात्मक रेखीय बीजगणित रूटीनों को गॉसियन प्रक्रियाओं को बड़े डेटासेट में स्केल करने के लिए सफलतापूर्वक लागू किया गया है।[31][32] विशेष रूप से, वे सटीक एक संयुक्त गाऊसी प्रक्रिया पश्च में सन्निकटन त्रुटि के प्रसार को सक्षम करते हैं, जो देखे गए परिमित डेटा संख्या और दोनों से उत्पन्न होने वाली अनिश्चितता की मात्रा निर्धारित करता है। संगणना की सीमित मात्रा व्यय की गई।[32]


साधारण अंतर समीकरण

File:Lorenz Probabilistic Numerics.jpg
320x118पीएक्स

साधारण अंतर समीकरणों के लिए प्रायिकतात्मक संख्यात्मक तरीके , प्रारंभिक और सीमा मूल्य समस्याओं के लिए विकसित किए गए हैं। साधारण अंतर समीकरणों के लिए डिज़ाइन किए गए कई अलग-अलग प्रायिकतात्मक संख्यात्मक तरीके प्रस्तावित किए गए हैं, और इन्हें मोटे तौर पर निम्नलिखित दो श्रेणियों में बांटा जा सकता है:

  • रैंडमाइजेशन-आधारित विधियों को साधारण अंतर समीकरणों के लिए मानक नियतात्मक संख्यात्मक विधियों के यादृच्छिक गड़बड़ी के माध्यम से परिभाषित किया गया है। उदाहरण के लिए, यह एक-चरण इंटीग्रेटर्स के समाधान पर गॉसियन उलझन जोड़कर हासिल किया गया है[33] या बेतरतीब ढंग से उनके समय-कदम को परेशान करके।[34] यह नमूना किए जा सकने वाले अंतर समीकरण के समाधान पर एक प्रायिकतात्मकता माप को परिभाषित करता है।
  • गॉसियन प्रक्रिया प्रतिगमन विधियाँ गौसियन प्रक्रिया प्रतिगमन समस्या के रूप में अंतर समीकरण को हल करने की समस्या को प्रस्तुत करने पर आधारित हैं, व्युत्पन्न पर डेटा के रूप में दाईं ओर के मूल्यांकन की व्याख्या[35]. ये तकनीक बायेसियन क्यूबचर से मिलती-जुलती हैं, लेकिन अलग-अलग और अधिकांशतः गैर-रैखिक अवलोकन मॉडल को नियोजित करती हैं[36][37]. अपनी प्रारंभिक अवस्था में, विधियों का यह वर्ग भोली गाऊसी प्रक्रिया प्रतिगमन पर आधारित था। गॉस के पक्ष में बाद में इसमें सुधार किया गया (कुशल संगणना के संदर्भ में)।–मार्कोव प्राथमिकताएं[38][39] स्टोचैस्टिक अंतर समीकरण द्वारा मॉडलिंग की गई , कहाँ एक है -आयामी सदिश मॉडलिंग पहले के डेरिवेटिव , और कहाँ एक है -आयामी ब्राउनियन गति। इस प्रकार Kalman फ़िल्टर आधारित विधियों के साथ अनुमान को कुशलतापूर्वक लागू किया जा सकता है।

इन दो श्रेणियों के बीच की सीमा स्पष्ट नहीं है, वास्तव में यादृच्छिक डेटा के आधार पर एक गाऊसी प्रक्रिया प्रतिगमन दृष्टिकोण भी विकसित किया गया था[40]. संगणनात्मक रीमैनियन ज्यामिति में समस्याओं के लिए इन विधियों को लागू किया गया है[41], व्युत्क्रम समस्याएं, अव्यक्त बल मॉडल, और एक ज्यामितीय संरचना जैसे कि सहानुभूति के साथ अंतर समीकरणों के लिए।

आंशिक अंतर समीकरण

आंशिक अवकल समीकरणों के लिए कई प्रायिकतात्मक संख्यात्मक विधियों को भी प्रस्तावित किया गया है। साधारण अंतर समीकरणों की तरह, दृष्टिकोणों को मोटे तौर पर यादृच्छिकीकरण के आधार पर विभाजित किया जा सकता है, आम तौर पर कुछ अंतर्निहित परिमित-तत्व जाल के[33][42] और जो गाऊसी प्रक्रिया प्रतिगमन पर आधारित हैं।[4][3][43][44]

File:Linpde-gp.png
आंशिक अवकल समीकरण को हल करना सीखना। एक समस्या-विशिष्ट गाऊसी प्रक्रिया पूर्व अनिश्चित सीमा स्थितियों (बीसी) और एक रैखिक पीडीई के साथ-साथ प्रयोग से शोर भौतिक मापों द्वारा दी गई आंशिक रूप से ज्ञात भौतिकी पर वातानुकूलित है। सीमा की स्थिति और पीडीई के दाहिने हाथ की ओर ज्ञात नहीं है, लेकिन शोर-दूषित माप के एक छोटे से सेट से अनुमान लगाया गया है। प्लॉट विश्वास को अलग करते हैं सच्चे समाधान के साथ अव्यक्त सीमा मान समस्या।[44]

गॉसियन प्रक्रिया प्रतिगमन पर आधारित प्रायिकतात्मक संख्यात्मक पीडीई सॉल्वर कुछ पुरोहितों के लिए रैखिक पीडीई पर शास्त्रीय तरीकों को पुनर्प्राप्त करते हैं, विशेष रूप से माध्य भारित अवशेषों के तरीकों में, जिसमें गैलेर्किन विधियाँ, परिमित तत्व विधियाँ, साथ ही वर्णक्रमीय विधियाँ सम्मिलित हैं।[44]


इतिहास और संबंधित क्षेत्र

संख्यात्मक विश्लेषण और प्रायिकतात्मकता के बीच परस्पर क्रिया को गणित के कई अन्य क्षेत्रों द्वारा स्पर्श किया जाता है, जिसमें संख्यात्मक विधियों का औसत-केस विश्लेषण, सूचना-आधारित जटिलता, खेल सिद्धांत और सांख्यिकीय निर्णय सिद्धांत सम्मिलित हैं। जिसे अब प्रायिकतात्मक अंक कहा जा रहा है, उसके पूर्ववर्ती 19वीं सदी के अंत और 20वीं सदी की शुरुआत में पाए जा सकते हैं।

प्रायिकतात्मक संख्या की उत्पत्ति हेनरी पॉइनकेयर द्वारा उनके कैलकुल डेस प्रायिकतात्मक में बहुपद प्रक्षेप के लिए प्रायिकतात्मक दृष्टिकोण की चर्चा के लिए खोजी जा सकती है।[45] आधुनिक शब्दावली में, पॉइंकेयर ने एक फलन पर एक गॉसियन उपाय माना , यादृच्छिक गुणांकों के साथ एक औपचारिक शक्ति श्रृंखला के रूप में व्यक्त किया गया, और के संभावित मूल्यों के लिए कहा यह पहले दिया और टिप्पणियों के लिए .

संख्यात्मक विश्लेषण और प्रायिकतात्मकता के परस्पर क्रिया के लिए बाद में मौलिक योगदान अल्बर्ट सल्दिन द्वारा अविभाजित संख्यात्मक समाकलन के संदर्भ में प्रदान किया गया था।[46] सुल्डिन द्वारा विचार की गई सांख्यिकीय समस्या निश्चित अभिन्न का सन्निकटन थी एक फलन का , इससे पहले एक ब्राउनियन गति के तहत , के बिंदुवार मूल्यांकन तक पहुंच प्रदान की गई नोड्स पर . सुल्डिन ने दिखाया कि, दिए गए चतुर्भुज नोड्स के लिए, न्यूनतम माध्य वर्ग त्रुटि वाला चतुर्भुज नियम समलम्बाकार नियम है; इसके अलावा, यह न्यूनतम त्रुटि इंटर-नोड स्पेसिंग के क्यूब्स के योग के समानुपाती होती है। नतीजतन, कोई समलम्बाकार नियम को समान दूरी वाले नोड्स के साथ कुछ अर्थों में सांख्यिकीय रूप से इष्टतम के रूप में देख सकता है - एक संख्यात्मक पद्धति के औसत-केस विश्लेषण का एक प्रारंभिक उदाहरण। सल्दिन के दृष्टिकोण को बाद में माइक लार्किन ने बढ़ाया था।[47] ध्यान दें कि समाकलित से पहले सुल्डिन की ब्राउनियन गति एक गॉसियन उपाय है और यह समाकलन के संचालन और बिंदुवार मूल्यांकन का है दोनों रेखीय मानचित्र हैं। इस प्रकार, निश्चित अभिन्न एक वास्तविक-मूल्यवान गाऊसी यादृच्छिक चर है। विशेष रूप से, के देखे गए बिंदुवार मूल्यों पर कंडीशनिंग के बाद , यह ट्रैपेज़ॉइडल नियम के बराबर माध्य और समान विचरण के साथ एक सामान्य वितरण का अनुसरण करता है . यह दृष्टिकोण बायेसियन चतुष्कोण के बहुत करीब है, न केवल एक बिंदु अनुमान के रूप में बल्कि अपने आप में प्रायिकतात्मकता वितरण के रूप में एक द्विघात पद्धति के उत्पादन को देखते हुए।

जैसा कि ओव्हाडी और सहयोगियों ने उल्लेख किया है,[3][48] संख्यात्मक सन्निकटन और सांख्यिकीय अनुमान के बीच परस्पर क्रियाओं को पलास्ती और रेनी में भी देखा जा सकता है,[49] सार्ड,[50] किमेलडॉर्फ और वाहबा[51] (बेयसियन अनुमान और तख़्ता चौरसाई/प्रक्षेप के बीच पत्राचार पर) और लार्किन[47](गाऊसी प्रक्रिया प्रतिगमन और संख्यात्मक सन्निकटन के बीच पत्राचार पर)। यद्यपि एक यादृच्छिक प्रक्रिया से एक नमूने के रूप में एक पूरी तरह से ज्ञात फलन को मॉडलिंग करने का दृष्टिकोण उल्टा लग सकता है, इसे समझने के लिए एक प्राकृतिक ढांचा सूचना-आधारित जटिलता (आईबीसी) में पाया जा सकता है।[52] संगणनात्मक जटिलता की शाखा इस अवलोकन पर आधारित है कि संख्यात्मक कार्यान्वयन के लिए आंशिक जानकारी और सीमित संसाधनों के साथ संगणना की आवश्यकता होती है। IBC में, अधूरी जानकारी पर काम करने वाले एक कलन विधि के प्रदर्शन का सर्वाधिक बुरा स्थिति या औसत-स्थितियों (यादृच्छिक) सेटिंग में लापता जानकारी के संबंध में विश्लेषण किया जा सकता है। इसके अलावा, पैकेल के रूप में[53] देखा गया है, औसत केस सेटिंग को मिश्रित (यादृच्छिक) रणनीतियों पर न्यूनतम अधिकतम समस्या के लिए एक (सर्वाधिक बुरा स्थिति) न्यूनतम समस्या को उठाकर प्राप्त एक प्रतिकूल खेल में मिश्रित रणनीति के रूप में व्याख्या की जा सकती है। यह अवलोकन एक प्राकृतिक संबंध की ओर ले जाता है[54][3]संख्यात्मक सन्निकटन और अब्राहम वाल्ड के बीच | वाल्ड का निर्णय सिद्धांत, स्पष्ट रूप से जॉन वॉन न्यूमैन | वॉन न्यूमैन के खेल सिद्धांत से प्रभावित है। इस कनेक्शन का वर्णन करने के लिए मिशेली और रिवलिन की इष्टतम पुनर्प्राप्ति सेटिंग पर विचार करें[55] जिसमें कोई उस फलन पर रैखिक मापों की सीमित संख्या से अज्ञात फलन को अनुमानित करने का प्रयास करता है। इस इष्टतम पुनर्प्राप्ति समस्या को एक शून्य-राशि वाले खेल के रूप में व्याख्या करते हुए जहां खिलाड़ी I अज्ञात फलन का चयन करता है और खिलाड़ी II इसके सन्निकटन का चयन करता है, और नुकसान को परिभाषित करने के लिए द्विघात मानदंड में सापेक्ष त्रुटियों का उपयोग करते हुए, गॉसियन पुजारी उभर कर आते हैं[3] इस तरह के खेलों के लिए इष्टतम मिश्रित रणनीतियों के रूप में, और इष्टतम गॉसियन पूर्व के सहप्रसरण ऑपरेटर को पुनर्प्राप्ति की सापेक्ष त्रुटि को परिभाषित करने के लिए उपयोग किए जाने वाले द्विघात मानदंड द्वारा निर्धारित किया जाता है।

सॉफ्टवेयर

  • ProbNum: पायथन में प्रायिकतात्मक अंक।
  • ProbNumDiffEq.jl: जूलिया में कार्यान्वित फ़िल्टरिंग पर आधारित प्रायिकतात्मक संख्यात्मक ODE सॉल्वर।
  • Emukit: अनिश्चितता के तहत निर्णय लेने के लिए अनुकूलन योग्य पायथन टूलबॉक्स।
  • Backpack: PyTorch के ऊपर निर्मित। यह ग्रेडिएंट के अलावा अन्य मात्राओं की कुशलता से गणना करता है।

यह भी देखें

संदर्भ

  1. Hennig, P.; Osborne, M. A.; Kersting, H. P. (2022). Probabilistic Numerics (PDF). Cambridge University Press. ISBN 978-1107163447.
  2. Oates, C. J.; Sullivan, T. J. (2019). "A modern retrospective on probabilistic numerics". Stat. Comput. 29 (6): 1335–1351. arXiv:1901.04457. doi:10.1007/s11222-019-09902-z. S2CID 67885786.
  3. 3.0 3.1 3.2 3.3 3.4 Owhadi, Houman; Scovel, Clint (2019). Operator-Adapted Wavelets, Fast Solvers, and Numerical Homogenization: From a Game Theoretic Approach to Numerical Approximation and Algorithm Design. Cambridge Monographs on Applied and Computational Mathematics. Cambridge: Cambridge University Press. ISBN 978-1-108-48436-7.
  4. 4.0 4.1 Owhadi, Houman (2015). "बायेसियन न्यूमेरिकल होमोजेनाइजेशन". Multiscale Modeling & Simulation. 13 (3): 812–828. doi:10.1137/140974596. ISSN 1540-3459. S2CID 7245255.
  5. Hennig, P.; Osborne, M. A.; Girolami, M. (2015). "Probabilistic numerics and uncertainty in computations". Proc. A. 471 (2179): 20150142, 17. arXiv:1506.01326. Bibcode:2015RSPSA.47150142H. doi:10.1098/rspa.2015.0142. PMC 4528661. PMID 26346321.
  6. Cockayne, J.; Oates, C. J.; Sullivan, T. J.; Girolami, M. (2019). "Bayesian probabilistic numerical methods" (PDF). SIAM Review. 61 (4): 756–789. doi:10.1137/17M1139357. S2CID 14696405.
  7. 7.0 7.1 7.2 Hennig, P. (2015). "Probabilistic interpretation of linear solvers". SIAM Journal on Optimization. 25 (1): 2347–260. arXiv:1402.2058. doi:10.1137/140955501. S2CID 16121233.
  8. 8.0 8.1 8.2 Cockayne, J.; Oates, C.; Ipsen, I.; Girolami, M. (2019). "A Bayesian conjugate gradient method". Bayesian Analysis. International Society for Bayesian Analysis. 14 (3): 937–1012. doi:10.1214/19-BA1145. S2CID 12460125.
  9. 9.0 9.1 9.2 9.3 Wenger, J.; Hennig, P. (2020). Probabilistic Linear Solvers for Machine Learning. Advances in Neural Information Processing Systems (NeurIPS). Vol. 33. pp. 6731–6742. arXiv:2010.09691.
  10. Karvonen, Toni; Särkkä, Simo (2017). Classical quadrature rules via Gaussian processes. 2017 IEEE 27th International Workshop on Machine Learning for Signal Processing (MLSP).
  11. Hennig, Philipp; Kiefel, Martin (2013). "Quasi-Newton methods: A new direction". Journal of Machine Learning Research (JMLR). 14 (1): 843–865. arXiv:1206.4602.
  12. Maren Mahsereci; Philipp Hennig (2015). Probabilistic line searches for stochastic optimization. Advances in Neural Information Processing Systems (NeurIPS).
  13. Hans Kersting; Nicholas Krämer; Martin Schiegg; Christian Daniel; Michael Tiemann; Philipp Hennig (2020). Differentiable Likelihoods for Fast Inversion of 'Likelihood-Free' Dynamical Systems. International Conference on Machine Learning (ICML).
  14. Schmidt, Jonathan; Krämer, Peter Nicholas; Hennig, Philipp (2021). A Probabilistic State Space Model for Joint Inference from Differential Equations and Data. Advances in Neural Information Processing Systems (NeurIPS).
  15. Diaconis, P. (1988). "Bayesian Numerical Analysis". Statistical Decision Theory and Related Topics IV: 163–175. doi:10.1007/978-1-4613-8768-8_20. ISBN 978-1-4613-8770-1.
  16. O'Hagan, A. (1991). "Bayes–Hermite quadrature". Journal of Statistical Planning and Inference. 29 (3): 245–260. doi:10.1016/0378-3758(91)90002-V.
  17. Rasmussen, C.; Ghahramani, Z. (2002). "Bayesian Monte Carlo" (PDF). Neural Information Processing Systems: 489–496.
  18. Briol, F.-X.; Oates, C. J.; Girolami, M.; Osborne, M. A.; Sejdinovic, D. (2019). "Probabilistic integration: A role in statistical computation? (with discussion and rejoinder)". Statistical Science. 34 (1): 1–22. arXiv:1512.00933. doi:10.1214/18-STS660. S2CID 13932715.
  19. Wilson, Samuel (2019-11-22), ParBayesianOptimization R package, retrieved 2019-12-12
  20. Garnett, Roman (2021). बायेसियन अनुकूलन. Cambridge: Cambridge University Press.
  21. Mahsereci, M.; Hennig, P. (2017). "Probabilistic Line Searches for Stochastic Optimization". Journal of Machine Learning Research. 18 (119): 1–59.
  22. Balles, L.; Romero, J.; Hennig, H. (2017). "Coupling Adaptive Batch Sizes with Learning Rates" (PDF). Proceedings of the 33rd Conference on Uncertainty in Artificial Intelligence (UAI). arXiv:1612.05086.
  23. Mahsereci, M.; Balles, L.; Lassner, C.; Hennig, H. (2021). "Early Stopping without a Validation Set". arXiv:1703.09580 [cs.LG].
  24. Siems J. N.; Klein A.; Archambeau C.; Mahsereci, M. (2021). "Dynamic Pruning of a Neural Network via Gradient Signal-to-Noise Ratio". 8th ICML Workshop on Automated Machine Learning (AutoML).
  25. Mahsereci, Maren (2018). "Chapter 8: First-Order Filter for Gradients; chapter 9: Second-Order Filter for Hessian Elements". Probabilistic Approaches to Stochastic Optimization (Thesis). Universität Tübingen. doi:10.15496/publikation-26116.
  26. Balles, L.; Hennig, H. (2018). "Dissecting Adam: The Sign, Magnitude and Variance of Stochastic Gradients". Proceedings of the 35th International Conference on Machine Learning: 404–413. arXiv:1705.07774.
  27. 27.0 27.1 Bartels, S.; Cockayne, J.; Ipsen, I.; Hennig, P. (2019). "Probabilistic linear solvers: a unifying view". Statistics and Computing. Springer. 29 (6): 1249–1263. doi:10.1007/s11222-019-09897-7. S2CID 53571618.
  28. 28.0 28.1 Cockayne, J.; Ipsen, I.; Oates, C.; Reid, T. (2021). "Probabilistic iterative methods for linear systems" (PDF). Journal of Machine Learning Research. 22 (232): 1–34. arXiv:2012.12615.
  29. Schäfer, Florian; Katzfuss, Matthias; Owhadi, Houman (2021). "Sparse Cholesky Factorization by Kullback–Leibler Minimization". SIAM Journal on Scientific Computing. 43 (3): A2019–A2046. arXiv:2004.14455. Bibcode:2021SJSC...43A2019S. doi:10.1137/20M1336254. ISSN 1064-8275. S2CID 216914317.
  30. Bartels, Simon (2020). "Probabilistic Kernel-Matrix Determinant Estimation". Probabilistic Linear Algebra (Thesis). doi:10.15496/publikation-56119.
  31. 31.0 31.1 Wenger, J.; Pleiss, G.; Hennig, P.; Cunningham, J. P.; Gardner, J. R. (2022). Preconditioning for Scalable Gaussian Process Hyperparameter Optimization. International Conference on Machine Learning (ICML). arXiv:2107.00243.
  32. 32.0 32.1 Wenger, J.; Pförtner, M.; Hennig, P.; Cunningham, J. P. (2022). Posterior and Computational Uncertainty in Gaussian Processes. Advances in Neural Information Processing Systems (NeurIPS). arXiv:2205.15449.
  33. 33.0 33.1 33.2 Conrad, P.R.; Girolami, M.; Särkkä, S.; Stuart, A.M.; Zygalakis, K. (2017). "Statistical analysis of differential equations: introducing probability measures on numerical solutions". Stat. Comput. 27 (4): 1065–1082. doi:10.1007/s11222-016-9671-0. PMC 7089645. PMID 32226237.{{cite journal}}: CS1 maint: multiple names: authors list (link)
  34. Abdulle, A.; Garegnani, G. (2020). "Random time step probabilistic methods for uncertainty quantification in chaotic and geometric numerical integration". Stat. Comput. 30 (4): 907–932. arXiv:1801.01340. doi:10.1007/s11222-020-09926-w. S2CID 42880142.{{cite journal}}: CS1 maint: multiple names: authors list (link)
  35. Skilling, J. (1992). Bayesian solution of ordinary differential equations. Maximum Entropy and Bayesian Methods. pp. 23–37.
  36. Tronarp, F.; Kersting, H.; Särkkä, S.; Hennig, P (2019). "Probabilistic solutions to ordinary differential equations as nonlinear Bayesian filtering: a new perspective". Statistics and Computing. 29 (6): 1297–1315. doi:10.1007/s11222-019-09900-1. S2CID 88517317.
  37. Tronarp, F.; Särkkä, S.; Hennig, P. (2021). "Bayesian ODE solvers: The maximum a posteriori estimate". Statistics and Computing. 31 (3): 1–18. doi:10.1007/s11222-021-09993-7. S2CID 214774980.
  38. Kersting, H.; Hennig, P. (2016). Active Uncertainty Calibration in Bayesian ODE Solvers. Uncertainty in Artificial Intelligence. pp. 309–318.
  39. Schober, M.; Särkkä, S.; Hennig, P (2019). "A probabilistic model for the numerical solution of initial value problems". Statistics and Computing. 29 (1): 99–122. doi:10.1007/s11222-017-9798-7. S2CID 14299420.
  40. Chkrebtii, O.; Campbell, D. A.; Calderhead, B.; Girolami, M. A. (2016). "Bayesian solution uncertainty quantification for differential equations". Bayesian Analysis. 11 (4): 1239–1267. doi:10.1214/16-BA1017. S2CID 14077995.
  41. Hennig, P.; Hauberg, S. (2014). Probabilistic solutions to differential equations and their application to Riemannian statistics. Artificial Intelligence and Statistics. pp. 347–355.
  42. Abdulle, A.; Garegnani, G. (2021). "A probabilistic finite element method based on random meshes: A posteriori error estimators and Bayesian inverse problems". Comput. Methods Appl. Mech. Engrg. 384: 113961. arXiv:2103.06204. Bibcode:2021CMAME.384k3961A. doi:10.1016/j.cma.2021.113961. S2CID 232170649.{{cite journal}}: CS1 maint: multiple names: authors list (link)
  43. Chkrebtii, Oksana A.; Campbell, David A.; Calderhead, Ben; Girolami, Mark A. (2016). "विभेदक समीकरणों के लिए बायेसियन समाधान अनिश्चितता मात्रा". Bayesian Analysis. 11 (4): 1239–1267. doi:10.1214/16-BA1017. ISSN 1936-0975. S2CID 14077995.
  44. 44.0 44.1 44.2 Pförtner, M.; Steinwart, I.; Hennig, P.; Wenger, J. (2022). "भौतिकी-सूचित गाऊसी प्रक्रिया प्रतिगमन रैखिक पीडीई सॉल्वर का सामान्यीकरण करता है". arXiv:2212.12474 [cs.LG].
  45. Poincaré, Henri (1912). Calcul des Probabilités (second ed.). Gauthier-Villars.
  46. Suldin, A. V. (1959). "Wiener measure and its applications to approximation methods. I". Izv. Vysš. Učebn. Zaved. Matematika. 6 (13): 145–158.
  47. 47.0 47.1 Larkin, F. M. (1972). "Gaussian measure in Hilbert space and applications in numerical analysis". Rocky Mountain J. Math. 2 (3): 379–421. doi:10.1216/RMJ-1972-2-3-379.
  48. Owhadi, Houman; Scovel, Clint; Schäfer, Florian (2019). "Statistical Numerical Approximation". Notices of the American Mathematical Society. 66 (10): 1608–1617. doi:10.1090/noti1963. S2CID 204830421.
  49. Palasti, I.; Renyi, A (1956). "On interpolation theory and the theory of games". MTA Mat. Kat. Int. Kozl. 1: 529–540.
  50. Sard, A. (1963). Linear Approximation. Mathematical Surveys and Monographs. Vol. 9. American Mathematical Society. doi:10.1090/surv/009. ISBN 9780821815090.
  51. Kimeldorf, George S.; Wahba, Grace (1970). "A correspondence between Bayesian estimation on stochastic processes and smoothing by splines". Ann. Math. Statist. 41 (2): 495–502. doi:10.1214/aoms/1177697089.
  52. Traub, J. F.; Wasilkowski, G. W.; Woźniakowski, H. (1988). Information-Based Complexity. Computer Science and Scientific Computing. Boston, MA: Academic Press, Inc. ISBN 0-12-697545-0.{{cite book}}: CS1 maint: multiple names: authors list (link)
  53. Packel, Edward W. (1987). "The algorithm designer versus nature: a game-theoretic approach to information-based complexity". J. Complexity. 3 (3): 244–257. doi:10.1016/0885-064X(87)90014-8.
  54. Owhadi, H. (2017). "किसी न किसी गुणांक के साथ मल्टीग्रिड और पदानुक्रमित सूचना गेम से बहु-रिज़ॉल्यूशन ऑपरेटर अपघटन". SIAM Review. 59 (1): 99–149. doi:10.1137/15M1013894. S2CID 5877877.
  55. Micchelli, C. A.; Rivlin, T. J. (1977). "A survey of optimal recovery". Optimal estimation in approximation theory (Proc. Internat. Sympos., Freudenstadt, 1976. pp. 1–54. doi:10.1007/978-1-4684-2388-4_1.