संभाव्य अंक

From Vigyanwiki
Revision as of 13:28, 23 May 2023 by alpha>Indicwiki (Created page with "{{Short description|Scientific field at the intersection of statistics, machine learning and applied mathematics}} संभाव्य अंकगणित एक [https://...")
(diff) ← Older revision | Latest revision (diff) | Newer revision → (diff)

संभाव्य अंकगणित एक सक्रिय अध्ययन का क्षेत्र है, जो गणना में अनिश्चितता की अवधारणा पर केंद्रित अनुप्रयुक्त गणित, सांख्यिकी और यंत्र अधिगम के चौराहे पर है। संभाव्य संख्यात्मक में, संख्यात्मक विश्लेषण में कार्य जैसे संख्यात्मक एकीकरण के लिए संख्यात्मक समाधान खोजना, संख्यात्मक रैखिक बीजगणित, संख्यात्मक अनुकूलन और कंप्यूटर सिमुलेशन को सांख्यिकीय, संभाव्यता या बायेसियन अनुमान की समस्याओं के रूप में देखा जाता है।[1][2][3][4][5]


परिचय

एक संख्यात्मक विधि एक एल्गोरिथ्म है जो एक गणितीय समस्या के समाधान का अनुमान लगाती है (नीचे दिए गए उदाहरणों में एक #रेखीय बीजगणित का समाधान, एक #एकीकरण का मान, एक #सामान्य अंतर समीकरणों का समाधान, एक बहुभिन्नरूपी फ़ंक्शन का #अनुकूलन शामिल है) . एक संभाव्य संख्यात्मक एल्गोरिथ्म में, सन्निकटन की इस प्रक्रिया को अनुमान, अनुमान या सीखने की समस्या के रूप में माना जाता है और बायेसियन अनुमान (अक्सर, लेकिन हमेशा नहीं, बायेसियन अनुमान) के ढांचे में महसूस किया जाता है।[6] औपचारिक रूप से, इसका मतलब है कि पूर्व संभावना के संदर्भ में कम्प्यूटेशनल समस्या का सेटअप करना, कंप्यूटर द्वारा गणना की गई संख्याओं के बीच संबंध तैयार करना (उदाहरण के लिए रैखिक बीजगणित में मैट्रिक्स-वेक्टर गुणन, अनुकूलन में ग्रेडिएंट, इंटीग्रैंड के मूल्य या वेक्टर क्षेत्र को परिभाषित करना) एक विभेदक समीकरण) और प्रश्न में मात्रा (रैखिक समस्या का समाधान, न्यूनतम, अभिन्न, समाधान वक्र) एक संभावना समारोह में, और आउटपुट के रूप में एक पश्च वितरण लौटाता है। ज्यादातर मामलों में, संख्यात्मक एल्गोरिदम आंतरिक अनुकूली निर्णय भी लेते हैं कि किन संख्याओं की गणना की जाए, जो एक सक्रिय शिक्षण (मशीन लर्निंग) समस्या का निर्माण करती हैं।

संभाव्य ढांचे में सबसे लोकप्रिय क्लासिक संख्यात्मक एल्गोरिदम में से कई की फिर से व्याख्या की जा सकती है। इसमें संयुग्म ढाल विधि की विधि शामिल है,[7][8][9]रैखिक मल्टीस्टेप विधि, गाऊसी चतुर्भुज नियम,[10] और अर्ध-न्यूटन विधियाँ।[11] इन सभी मामलों में, क्लासिक विधि एक नियमित न्यूनतम वर्गों पर आधारित है। कम से कम वर्ग अनुमान है कि एक गॉसियन प्रक्रिया से पहले और संभावना से उत्पन्न होने वाले पश्च माध्य से जुड़ा हो सकता है। ऐसे मामलों में, गॉसियन पोस्टीरियर का प्रसरण तब एक सर्वश्रेष्ठ, सबसे खराब और औसत मामले से जुड़ा होता है। चुकता त्रुटि के लिए सबसे खराब स्थिति का अनुमान।

संभाव्य संख्यात्मक पद्धतियाँ क्लासिक, बिंदु-अनुमान आधारित सन्निकटन तकनीकों पर कई वैचारिक लाभों का वादा करती हैं:

  • वे संरचित त्रुटि अनुमान लौटाते हैं (विशेष रूप से, संयुक्त पश्च नमूनों को वापस करने की क्षमता, यानी समस्या के सही अज्ञात समाधान के लिए कई यथार्थवादी परिकल्पनाएं)
  • पदानुक्रमित बायेसियन अनुमान का उपयोग प्रत्येक पैरामीटर के लिए उपन्यास विधियों का पुन: आविष्कार करने के बजाय, सामान्य तरीके से आंतरिक हाइपरपैरामीटर को सेट और नियंत्रित करने के लिए किया जा सकता है।
  • चूँकि वे परिकलित संख्याओं और लक्ष्य मात्रा के बीच संबंध का वर्णन करने वाली स्पष्ट संभावना का उपयोग करते हैं और अनुमति देते हैं, संभाव्य संख्यात्मक विधियाँ अत्यधिक सटीक, पक्षपाती और स्टोकेस्टिक संगणनाओं के परिणामों का उपयोग कर सकती हैं।[12] इसके विपरीत, संभाव्य संख्यात्मक विधियाँ संगणनाओं में एक संभावना भी प्रदान कर सकती हैं जिन्हें अक्सर अनुमानित बायेसियन संगणना माना जाता है। संभावना-मुक्त कहीं और[13]
  • क्योंकि सभी संभाव्य संख्यात्मक विधियां अनिवार्य रूप से एक ही डेटा प्रकार - संभाव्यता उपायों का उपयोग करती हैं - इनपुट और आउटपुट दोनों पर अनिश्चितता को मापने के लिए उन्हें बड़े पैमाने पर, समग्र कंप्यूटेशंस में अनिश्चितता फैलाने के लिए एक साथ जोड़ा जा सकता है।
  • सूचना के कई स्रोतों से स्रोत (उदाहरण के लिए बीजगणितीय, अंतर समीकरण के रूप के बारे में यंत्रवत ज्ञान, और भौतिक दुनिया में एकत्रित प्रणाली के प्रक्षेपवक्र के अवलोकन) को स्वाभाविक रूप से और एल्गोरिथम के आंतरिक लूप के अंदर जोड़ा जा सकता है, अन्यथा हटा दिया जा सकता है संगणना में आवश्यक नेस्टेड लूप, उदा। विपरीत समस्याओं में।[14]

ये लाभ अनिवार्य रूप से समान कार्यात्मक लाभों के समतुल्य हैं जो बायेसियन विधियों को मशीन लर्निंग में बिंदु-अनुमानों पर लागू या कम्प्यूटेशनल डोमेन में स्थानांतरित करने का आनंद लेते हैं।

संख्यात्मक कार्य

एकीकरण

File:Bayesian quadrature.svg
गौसियन प्रक्रिया के साथ बायेसियन चतुर्भुज पर सशर्त इंटीग्रैंड का मूल्यांकन (काले रंग में दिखाया गया है)। बाएं स्तंभ में छायांकित क्षेत्र सीमांत मानक विचलन दर्शाते हैं। सही आंकड़ा पूर्व दिखाता है () और पीछे () समाकल के मान के साथ-साथ वास्तविक समाधान पर गाऊसी वितरण।

संभाव्य संख्यात्मक विधियों को संख्यात्मक एकीकरण की समस्या के लिए विकसित किया गया है, जिसमें बायेसियन चतुर्भुज नामक सबसे लोकप्रिय विधि है।[15][16][17][18] संख्यात्मक एकीकरण में, कार्य मूल्यांकन कई बिंदुओं पर अभिन्न का अनुमान लगाने के लिए उपयोग किया जाता है एक समारोह का किसी उपाय के खिलाफ . बायेसियन चतुर्भुज में एक पूर्व वितरण को निर्दिष्ट करना शामिल है और इससे पहले कंडीशनिंग करें एक पश्च वितरण प्राप्त करने के लिए , फिर निहित पश्च वितरण की गणना करना . प्रायर का सबसे आम विकल्प एक गाऊसी प्रक्रिया है क्योंकि यह हमें इंटीग्रल पर एक क्लोज-फॉर्म पोस्टीरियर डिस्ट्रीब्यूशन प्राप्त करने की अनुमति देता है जो कि एक अविभाज्य गॉसियन डिस्ट्रीब्यूशन है। कार्य करते समय बायेसियन चतुर्भुज विशेष रूप से उपयोगी होता है मूल्यांकन करना महंगा है और डेटा का आयाम छोटा से मध्यम है।

अनुकूलन

File:GpParBayesAnimationSmall.gif
गॉसियन प्रक्रियाओं (बैंगनी) के साथ एक फ़ंक्शन (काला) का बायेसियन अनुकूलन। तीन अधिग्रहण कार्य (नीला) नीचे दिखाए गए हैं।[19]

गणितीय अनुकूलन के लिए संभाव्य अंकगणित का भी अध्ययन किया गया है, जिसमें कुछ उद्देश्य फलन का न्यूनतम या अधिकतम पता लगाना शामिल है दिए गए (संभवतः शोर या अप्रत्यक्ष) बिंदुओं के एक सेट पर उस फ़ंक्शन का मूल्यांकन।

शायद इस दिशा में सबसे उल्लेखनीय प्रयास बायेसियन अनुकूलन है,[20] अनुकूलन के लिए एक सामान्य दृष्टिकोण बायेसियन अनुमान पर आधारित है। बायेसियन ऑप्टिमाइज़ेशन एल्गोरिदम के बारे में एक संभाव्य विश्वास बनाए रखते हुए काम करते हैं अनुकूलन प्रक्रिया के दौरान; यह अक्सर एक गाऊसी प्रक्रिया का रूप ले लेता है जो पहले प्रेक्षणों पर आधारित होती है। यह विश्वास तब एल्गोरिदम को अवलोकन प्राप्त करने में मार्गदर्शन करता है जो अनुकूलन प्रक्रिया को आगे बढ़ाने की संभावना रखते हैं। बायेसियन ऑप्टिमाइज़ेशन नीतियों को आमतौर पर उद्देश्य फ़ंक्शन को एक सस्ती, अलग-अलग अधिग्रहण फ़ंक्शन में परिवर्तित करके महसूस किया जाता है जो प्रत्येक क्रमिक अवलोकन स्थान का चयन करने के लिए अधिकतम होता है। एक प्रमुख दृष्टिकोण बायेसियन प्रयोगात्मक डिजाइन के माध्यम से मॉडल अनुकूलन के लिए है, जो एक उपयुक्त उपयोगिता फ़ंक्शन द्वारा मूल्यांकन के रूप में सबसे अधिक अनुकूलन प्रगति प्रदान करने वाले अवलोकनों का अनुक्रम प्राप्त करने की मांग कर रहा है। इस दृष्टिकोण से एक स्वागत योग्य पक्ष प्रभाव यह है कि अंतर्निहित संभाव्य विश्वास द्वारा मापी गई वस्तुनिष्ठ फ़ंक्शन में अनिश्चितता क्लासिक मल्टी-आर्म्ड बैंडिट|अन्वेषण बनाम शोषण ट्रेडऑफ़ को संबोधित करने में एक अनुकूलन नीति का मार्गदर्शन कर सकती है।

स्थानीय अनुकूलन

गहरी शिक्षा के लिए स्टोचैस्टिक अनुकूलन के संदर्भ में संभाव्य संख्यात्मक विधियों का विकास किया गया है, विशेष रूप से मुख्य मुद्दों जैसे कि सीखने की दर ट्यूनिंग और लाइन खोज,[21] बैच-आकार चयन,[22] जल्दी रुकना,[23] छंटाई,[24] और प्रथम- और द्वितीय-क्रम खोज निर्देश।[25][26] इस सेटिंग में, अनुकूलन उद्देश्य अक्सर फॉर्म का अनुभवजन्य जोखिम न्यूनीकरण होता है एक डेटासेट द्वारा परिभाषित , और एक नुकसान यह परिमाणित करता है कि एक पूर्वानुमानित मॉडल कितना अच्छा है द्वारा पैरामीटर किया गया लक्ष्य की भविष्यवाणी करने पर प्रदर्शन करता है इसके संगत इनपुट से . महामारी संबंधी अनिश्चितता तब उत्पन्न होती है जब डेटासेट का आकार बड़ा है और एक बार में संसाधित नहीं किया जा सकता है जिसका अर्थ है कि स्थानीय मात्राएँ (कुछ दी गई हैं ) जैसे हानि समारोह खुद या उसकी ढाल उचित समय में गणना नहीं की जा सकती। इसलिए, आम तौर पर डेटा के एक यादृच्छिक सबसेट पर इन मात्राओं के अनुमानक के निर्माण के लिए मिनी-बैचिंग का उपयोग किया जाता है। संभाव्य संख्यात्मक तरीके इस अनिश्चितता को स्पष्ट रूप से मॉडल करते हैं और स्वचालित निर्णय और पैरामीटर ट्यूनिंग की अनुमति देते हैं।

रेखीय बीजगणित

रैखिक बीजगणित के लिए संभाव्य संख्यात्मक तरीके[7] [8] [27] [9] [28] [29] मुख्य रूप से फॉर्म के रैखिक समीकरणों की प्रणालियों को हल करने पर ध्यान केंद्रित किया है और निर्धारकों की गणना .[30][31]

विधियों का एक बड़ा वर्ग प्रकृति में पुनरावृत्त है और बार-बार मैट्रिक्स-वेक्टर गुणन के माध्यम से हल करने के लिए रैखिक प्रणाली के बारे में जानकारी एकत्र करता है। सिस्टम मैट्रिक्स के साथ विभिन्न वैक्टर के साथ .

इस तरह के तरीकों को मोटे तौर पर समाधान में विभाजित किया जा सकता है-[8][28]और एक मैट्रिक्स आधारित परिप्रेक्ष्य,[7][9]इस पर निर्भर करता है कि समाधान पर विश्वास व्यक्त किया गया है या नहीं मैट्रिक्स के रैखिक प्रणाली या (छद्म-) व्युत्क्रम . विश्वास अद्यतन उपयोग करता है कि अनुमानित वस्तु मैट्रिक्स गुणा से जुड़ी हुई है या के जरिए और . समस्या की रैखिक टिप्पणियों के तहत इसकी निकटता के कारण, तरीके आमतौर पर एक गॉसियन वितरण मानते हैं। वैचारिक रूप से भिन्न होने के बावजूद, ये दो विचार कम्प्यूटेशनल रूप से समतुल्य हैं और स्वाभाविक रूप से दाहिने हाथ की ओर से जुड़े हुए हैं .[27]

संभाव्य संख्यात्मक रेखीय बीजगणित रूटीनों को गॉसियन प्रक्रियाओं को बड़े डेटासेट में स्केल करने के लिए सफलतापूर्वक लागू किया गया है।[31][32] विशेष रूप से, वे सटीक एक संयुक्त गाऊसी प्रक्रिया पश्च में सन्निकटन त्रुटि के प्रसार को सक्षम करते हैं, जो देखे गए परिमित डेटा संख्या और दोनों से उत्पन्न होने वाली अनिश्चितता की मात्रा निर्धारित करता है। संगणना की सीमित मात्रा व्यय की गई।[32]


साधारण अंतर समीकरण

File:Lorenz Probabilistic Numerics.jpg
320x118पीएक्स

साधारण अंतर समीकरणों के लिए संभाव्य संख्यात्मक तरीके , प्रारंभिक और सीमा मूल्य समस्याओं के लिए विकसित किए गए हैं। साधारण अंतर समीकरणों के लिए डिज़ाइन किए गए कई अलग-अलग संभाव्य संख्यात्मक तरीके प्रस्तावित किए गए हैं, और इन्हें मोटे तौर पर निम्नलिखित दो श्रेणियों में बांटा जा सकता है:

  • रैंडमाइजेशन-आधारित विधियों को साधारण अंतर समीकरणों के लिए मानक नियतात्मक संख्यात्मक विधियों के यादृच्छिक गड़बड़ी के माध्यम से परिभाषित किया गया है। उदाहरण के लिए, यह एक-चरण इंटीग्रेटर्स के समाधान पर गॉसियन उलझन जोड़कर हासिल किया गया है[33] या बेतरतीब ढंग से उनके समय-कदम को परेशान करके।[34] यह नमूना किए जा सकने वाले अंतर समीकरण के समाधान पर एक संभाव्यता माप को परिभाषित करता है।
  • गॉसियन प्रक्रिया प्रतिगमन विधियाँ गौसियन प्रक्रिया प्रतिगमन समस्या के रूप में अंतर समीकरण को हल करने की समस्या को प्रस्तुत करने पर आधारित हैं, व्युत्पन्न पर डेटा के रूप में दाईं ओर के मूल्यांकन की व्याख्या[35]. ये तकनीक बायेसियन क्यूबचर से मिलती-जुलती हैं, लेकिन अलग-अलग और अक्सर गैर-रैखिक अवलोकन मॉडल को नियोजित करती हैं[36][37]. अपनी प्रारंभिक अवस्था में, विधियों का यह वर्ग भोली गाऊसी प्रक्रिया प्रतिगमन पर आधारित था। गॉस के पक्ष में बाद में इसमें सुधार किया गया (कुशल संगणना के संदर्भ में)।–मार्कोव प्राथमिकताएं[38][39] स्टोचैस्टिक अंतर समीकरण द्वारा मॉडलिंग की गई , कहाँ एक है -आयामी वेक्टर मॉडलिंग पहले के डेरिवेटिव , और कहाँ एक है -आयामी ब्राउनियन गति। इस प्रकार Kalman फ़िल्टर आधारित विधियों के साथ अनुमान को कुशलतापूर्वक लागू किया जा सकता है।

इन दो श्रेणियों के बीच की सीमा स्पष्ट नहीं है, वास्तव में यादृच्छिक डेटा के आधार पर एक गाऊसी प्रक्रिया प्रतिगमन दृष्टिकोण भी विकसित किया गया था[40]. कम्प्यूटेशनल रीमैनियन ज्यामिति में समस्याओं के लिए इन विधियों को लागू किया गया है[41], व्युत्क्रम समस्याएं, अव्यक्त बल मॉडल, और एक ज्यामितीय संरचना जैसे कि सहानुभूति के साथ अंतर समीकरणों के लिए।

आंशिक अंतर समीकरण

आंशिक अवकल समीकरणों के लिए कई संभाव्य संख्यात्मक विधियों को भी प्रस्तावित किया गया है। साधारण अंतर समीकरणों की तरह, दृष्टिकोणों को मोटे तौर पर यादृच्छिकीकरण के आधार पर विभाजित किया जा सकता है, आम तौर पर कुछ अंतर्निहित परिमित-तत्व जाल के[33][42] और जो गाऊसी प्रक्रिया प्रतिगमन पर आधारित हैं।[4][3][43][44]

File:Linpde-gp.png
आंशिक अवकल समीकरण को हल करना सीखना। एक समस्या-विशिष्ट गाऊसी प्रक्रिया पूर्व अनिश्चित सीमा स्थितियों (बीसी) और एक रैखिक पीडीई के साथ-साथ प्रयोग से शोर भौतिक मापों द्वारा दी गई आंशिक रूप से ज्ञात भौतिकी पर वातानुकूलित है। सीमा की स्थिति और पीडीई के दाहिने हाथ की ओर ज्ञात नहीं है, लेकिन शोर-दूषित माप के एक छोटे से सेट से अनुमान लगाया गया है। प्लॉट विश्वास को अलग करते हैं सच्चे समाधान के साथ अव्यक्त सीमा मान समस्या।[44]

गॉसियन प्रक्रिया प्रतिगमन पर आधारित संभाव्य संख्यात्मक पीडीई सॉल्वर कुछ पुरोहितों के लिए रैखिक पीडीई पर शास्त्रीय तरीकों को पुनर्प्राप्त करते हैं, विशेष रूप से माध्य भारित अवशेषों के तरीकों में, जिसमें गैलेर्किन विधियाँ, परिमित तत्व विधियाँ, साथ ही वर्णक्रमीय विधियाँ शामिल हैं।[44]


इतिहास और संबंधित क्षेत्र

संख्यात्मक विश्लेषण और संभाव्यता के बीच परस्पर क्रिया को गणित के कई अन्य क्षेत्रों द्वारा स्पर्श किया जाता है, जिसमें संख्यात्मक विधियों का औसत-केस विश्लेषण, सूचना-आधारित जटिलता, खेल सिद्धांत और सांख्यिकीय निर्णय सिद्धांत शामिल हैं। जिसे अब संभाव्य अंक कहा जा रहा है, उसके पूर्ववर्ती 19वीं सदी के अंत और 20वीं सदी की शुरुआत में पाए जा सकते हैं।

संभाव्य संख्या की उत्पत्ति हेनरी पॉइनकेयर द्वारा उनके कैलकुल डेस संभावना में बहुपद प्रक्षेप के लिए संभाव्य दृष्टिकोण की चर्चा के लिए खोजी जा सकती है।[45] आधुनिक शब्दावली में, पॉइंकेयर ने एक समारोह पर एक गॉसियन उपाय माना , यादृच्छिक गुणांकों के साथ एक औपचारिक शक्ति श्रृंखला के रूप में व्यक्त किया गया, और के संभावित मूल्यों के लिए कहा यह पहले दिया और टिप्पणियों के लिए .

संख्यात्मक विश्लेषण और संभाव्यता के परस्पर क्रिया के लिए बाद में मौलिक योगदान अल्बर्ट सल्दिन द्वारा अविभाजित संख्यात्मक एकीकरण के संदर्भ में प्रदान किया गया था।[46] सुल्डिन द्वारा विचार की गई सांख्यिकीय समस्या निश्चित अभिन्न का सन्निकटन थी एक समारोह का , इससे पहले एक ब्राउनियन गति के तहत , के बिंदुवार मूल्यांकन तक पहुंच प्रदान की गई नोड्स पर . सुल्डिन ने दिखाया कि, दिए गए चतुर्भुज नोड्स के लिए, न्यूनतम माध्य वर्ग त्रुटि वाला चतुर्भुज नियम समलम्बाकार नियम है; इसके अलावा, यह न्यूनतम त्रुटि इंटर-नोड स्पेसिंग के क्यूब्स के योग के समानुपाती होती है। नतीजतन, कोई समलम्बाकार नियम को समान दूरी वाले नोड्स के साथ कुछ अर्थों में सांख्यिकीय रूप से इष्टतम के रूप में देख सकता है - एक संख्यात्मक पद्धति के औसत-केस विश्लेषण का एक प्रारंभिक उदाहरण। सल्दिन के दृष्टिकोण को बाद में माइक लार्किन ने बढ़ाया था।[47] ध्यान दें कि इंटीग्रैंड से पहले सुल्डिन की ब्राउनियन गति एक गॉसियन उपाय है और यह एकीकरण के संचालन और बिंदुवार मूल्यांकन का है दोनों रेखीय मानचित्र हैं। इस प्रकार, निश्चित अभिन्न एक वास्तविक-मूल्यवान गाऊसी यादृच्छिक चर है। विशेष रूप से, के देखे गए बिंदुवार मूल्यों पर कंडीशनिंग के बाद , यह ट्रैपेज़ॉइडल नियम के बराबर माध्य और समान विचरण के साथ एक सामान्य वितरण का अनुसरण करता है . यह दृष्टिकोण बायेसियन चतुष्कोण के बहुत करीब है, न केवल एक बिंदु अनुमान के रूप में बल्कि अपने आप में संभाव्यता वितरण के रूप में एक द्विघात पद्धति के उत्पादन को देखते हुए।

जैसा कि ओव्हाडी और सहयोगियों ने उल्लेख किया है,[3][48] संख्यात्मक सन्निकटन और सांख्यिकीय अनुमान के बीच परस्पर क्रियाओं को पलास्ती और रेनी में भी देखा जा सकता है,[49] सार्ड,[50] किमेलडॉर्फ और वाहबा[51] (बेयसियन अनुमान और तख़्ता चौरसाई/प्रक्षेप के बीच पत्राचार पर) और लार्किन[47](गाऊसी प्रक्रिया प्रतिगमन और संख्यात्मक सन्निकटन के बीच पत्राचार पर)। यद्यपि एक यादृच्छिक प्रक्रिया से एक नमूने के रूप में एक पूरी तरह से ज्ञात फ़ंक्शन को मॉडलिंग करने का दृष्टिकोण उल्टा लग सकता है, इसे समझने के लिए एक प्राकृतिक ढांचा सूचना-आधारित जटिलता (आईबीसी) में पाया जा सकता है।[52] कम्प्यूटेशनल जटिलता की शाखा इस अवलोकन पर आधारित है कि संख्यात्मक कार्यान्वयन के लिए आंशिक जानकारी और सीमित संसाधनों के साथ संगणना की आवश्यकता होती है। IBC में, अधूरी जानकारी पर काम करने वाले एक एल्गोरिथ्म के प्रदर्शन का सबसे खराब स्थिति या औसत-मामले (यादृच्छिक) सेटिंग में लापता जानकारी के संबंध में विश्लेषण किया जा सकता है। इसके अलावा, पैकेल के रूप में[53] देखा गया है, औसत केस सेटिंग को मिश्रित (यादृच्छिक) रणनीतियों पर न्यूनतम अधिकतम समस्या के लिए एक (सबसे खराब स्थिति) न्यूनतम समस्या को उठाकर प्राप्त एक प्रतिकूल खेल में मिश्रित रणनीति के रूप में व्याख्या की जा सकती है। यह अवलोकन एक प्राकृतिक संबंध की ओर ले जाता है[54][3]संख्यात्मक सन्निकटन और अब्राहम वाल्ड के बीच | वाल्ड का निर्णय सिद्धांत, स्पष्ट रूप से जॉन वॉन न्यूमैन | वॉन न्यूमैन के खेल सिद्धांत से प्रभावित है। इस कनेक्शन का वर्णन करने के लिए मिशेली और रिवलिन की इष्टतम पुनर्प्राप्ति सेटिंग पर विचार करें[55] जिसमें कोई उस फ़ंक्शन पर रैखिक मापों की सीमित संख्या से अज्ञात फ़ंक्शन को अनुमानित करने का प्रयास करता है। इस इष्टतम पुनर्प्राप्ति समस्या को एक शून्य-राशि वाले खेल के रूप में व्याख्या करते हुए जहां खिलाड़ी I अज्ञात फ़ंक्शन का चयन करता है और खिलाड़ी II इसके सन्निकटन का चयन करता है, और नुकसान को परिभाषित करने के लिए द्विघात मानदंड में सापेक्ष त्रुटियों का उपयोग करते हुए, गॉसियन पुजारी उभर कर आते हैं[3] इस तरह के खेलों के लिए इष्टतम मिश्रित रणनीतियों के रूप में, और इष्टतम गॉसियन पूर्व के सहप्रसरण ऑपरेटर को पुनर्प्राप्ति की सापेक्ष त्रुटि को परिभाषित करने के लिए उपयोग किए जाने वाले द्विघात मानदंड द्वारा निर्धारित किया जाता है।

सॉफ्टवेयर

  • ProbNum: पायथन में संभाव्य अंक।
  • ProbNumDiffEq.jl: जूलिया में कार्यान्वित फ़िल्टरिंग पर आधारित संभाव्य संख्यात्मक ODE सॉल्वर।
  • Emukit: अनिश्चितता के तहत निर्णय लेने के लिए अनुकूलन योग्य पायथन टूलबॉक्स।
  • Backpack: PyTorch के ऊपर निर्मित। यह ग्रेडिएंट के अलावा अन्य मात्राओं की कुशलता से गणना करता है।

यह भी देखें

संदर्भ

  1. Hennig, P.; Osborne, M. A.; Kersting, H. P. (2022). Probabilistic Numerics (PDF). Cambridge University Press. ISBN 978-1107163447.
  2. Oates, C. J.; Sullivan, T. J. (2019). "A modern retrospective on probabilistic numerics". Stat. Comput. 29 (6): 1335–1351. arXiv:1901.04457. doi:10.1007/s11222-019-09902-z. S2CID 67885786.
  3. 3.0 3.1 3.2 3.3 3.4 Owhadi, Houman; Scovel, Clint (2019). Operator-Adapted Wavelets, Fast Solvers, and Numerical Homogenization: From a Game Theoretic Approach to Numerical Approximation and Algorithm Design. Cambridge Monographs on Applied and Computational Mathematics. Cambridge: Cambridge University Press. ISBN 978-1-108-48436-7.
  4. 4.0 4.1 Owhadi, Houman (2015). "बायेसियन न्यूमेरिकल होमोजेनाइजेशन". Multiscale Modeling & Simulation. 13 (3): 812–828. doi:10.1137/140974596. ISSN 1540-3459. S2CID 7245255.
  5. Hennig, P.; Osborne, M. A.; Girolami, M. (2015). "Probabilistic numerics and uncertainty in computations". Proc. A. 471 (2179): 20150142, 17. arXiv:1506.01326. Bibcode:2015RSPSA.47150142H. doi:10.1098/rspa.2015.0142. PMC 4528661. PMID 26346321.
  6. Cockayne, J.; Oates, C. J.; Sullivan, T. J.; Girolami, M. (2019). "Bayesian probabilistic numerical methods" (PDF). SIAM Review. 61 (4): 756–789. doi:10.1137/17M1139357. S2CID 14696405.
  7. 7.0 7.1 7.2 Hennig, P. (2015). "Probabilistic interpretation of linear solvers". SIAM Journal on Optimization. 25 (1): 2347–260. arXiv:1402.2058. doi:10.1137/140955501. S2CID 16121233.
  8. 8.0 8.1 8.2 Cockayne, J.; Oates, C.; Ipsen, I.; Girolami, M. (2019). "A Bayesian conjugate gradient method". Bayesian Analysis. International Society for Bayesian Analysis. 14 (3): 937–1012. doi:10.1214/19-BA1145. S2CID 12460125.
  9. 9.0 9.1 9.2 9.3 Wenger, J.; Hennig, P. (2020). Probabilistic Linear Solvers for Machine Learning. Advances in Neural Information Processing Systems (NeurIPS). Vol. 33. pp. 6731–6742. arXiv:2010.09691.
  10. Karvonen, Toni; Särkkä, Simo (2017). Classical quadrature rules via Gaussian processes. 2017 IEEE 27th International Workshop on Machine Learning for Signal Processing (MLSP).
  11. Hennig, Philipp; Kiefel, Martin (2013). "Quasi-Newton methods: A new direction". Journal of Machine Learning Research (JMLR). 14 (1): 843–865. arXiv:1206.4602.
  12. Maren Mahsereci; Philipp Hennig (2015). Probabilistic line searches for stochastic optimization. Advances in Neural Information Processing Systems (NeurIPS).
  13. Hans Kersting; Nicholas Krämer; Martin Schiegg; Christian Daniel; Michael Tiemann; Philipp Hennig (2020). Differentiable Likelihoods for Fast Inversion of 'Likelihood-Free' Dynamical Systems. International Conference on Machine Learning (ICML).
  14. Schmidt, Jonathan; Krämer, Peter Nicholas; Hennig, Philipp (2021). A Probabilistic State Space Model for Joint Inference from Differential Equations and Data. Advances in Neural Information Processing Systems (NeurIPS).
  15. Diaconis, P. (1988). "Bayesian Numerical Analysis". Statistical Decision Theory and Related Topics IV: 163–175. doi:10.1007/978-1-4613-8768-8_20. ISBN 978-1-4613-8770-1.
  16. O'Hagan, A. (1991). "Bayes–Hermite quadrature". Journal of Statistical Planning and Inference. 29 (3): 245–260. doi:10.1016/0378-3758(91)90002-V.
  17. Rasmussen, C.; Ghahramani, Z. (2002). "Bayesian Monte Carlo" (PDF). Neural Information Processing Systems: 489–496.
  18. Briol, F.-X.; Oates, C. J.; Girolami, M.; Osborne, M. A.; Sejdinovic, D. (2019). "Probabilistic integration: A role in statistical computation? (with discussion and rejoinder)". Statistical Science. 34 (1): 1–22. arXiv:1512.00933. doi:10.1214/18-STS660. S2CID 13932715.
  19. Wilson, Samuel (2019-11-22), ParBayesianOptimization R package, retrieved 2019-12-12
  20. Garnett, Roman (2021). बायेसियन अनुकूलन. Cambridge: Cambridge University Press.
  21. Mahsereci, M.; Hennig, P. (2017). "Probabilistic Line Searches for Stochastic Optimization". Journal of Machine Learning Research. 18 (119): 1–59.
  22. Balles, L.; Romero, J.; Hennig, H. (2017). "Coupling Adaptive Batch Sizes with Learning Rates" (PDF). Proceedings of the 33rd Conference on Uncertainty in Artificial Intelligence (UAI). arXiv:1612.05086.
  23. Mahsereci, M.; Balles, L.; Lassner, C.; Hennig, H. (2021). "Early Stopping without a Validation Set". arXiv:1703.09580 [cs.LG].
  24. Siems J. N.; Klein A.; Archambeau C.; Mahsereci, M. (2021). "Dynamic Pruning of a Neural Network via Gradient Signal-to-Noise Ratio". 8th ICML Workshop on Automated Machine Learning (AutoML).
  25. Mahsereci, Maren (2018). "Chapter 8: First-Order Filter for Gradients; chapter 9: Second-Order Filter for Hessian Elements". Probabilistic Approaches to Stochastic Optimization (Thesis). Universität Tübingen. doi:10.15496/publikation-26116.
  26. Balles, L.; Hennig, H. (2018). "Dissecting Adam: The Sign, Magnitude and Variance of Stochastic Gradients". Proceedings of the 35th International Conference on Machine Learning: 404–413. arXiv:1705.07774.
  27. 27.0 27.1 Bartels, S.; Cockayne, J.; Ipsen, I.; Hennig, P. (2019). "Probabilistic linear solvers: a unifying view". Statistics and Computing. Springer. 29 (6): 1249–1263. doi:10.1007/s11222-019-09897-7. S2CID 53571618.
  28. 28.0 28.1 Cockayne, J.; Ipsen, I.; Oates, C.; Reid, T. (2021). "Probabilistic iterative methods for linear systems" (PDF). Journal of Machine Learning Research. 22 (232): 1–34. arXiv:2012.12615.
  29. Schäfer, Florian; Katzfuss, Matthias; Owhadi, Houman (2021). "Sparse Cholesky Factorization by Kullback–Leibler Minimization". SIAM Journal on Scientific Computing. 43 (3): A2019–A2046. arXiv:2004.14455. Bibcode:2021SJSC...43A2019S. doi:10.1137/20M1336254. ISSN 1064-8275. S2CID 216914317.
  30. Bartels, Simon (2020). "Probabilistic Kernel-Matrix Determinant Estimation". Probabilistic Linear Algebra (Thesis). doi:10.15496/publikation-56119.
  31. 31.0 31.1 Wenger, J.; Pleiss, G.; Hennig, P.; Cunningham, J. P.; Gardner, J. R. (2022). Preconditioning for Scalable Gaussian Process Hyperparameter Optimization. International Conference on Machine Learning (ICML). arXiv:2107.00243.
  32. 32.0 32.1 Wenger, J.; Pförtner, M.; Hennig, P.; Cunningham, J. P. (2022). Posterior and Computational Uncertainty in Gaussian Processes. Advances in Neural Information Processing Systems (NeurIPS). arXiv:2205.15449.
  33. 33.0 33.1 33.2 Conrad, P.R.; Girolami, M.; Särkkä, S.; Stuart, A.M.; Zygalakis, K. (2017). "Statistical analysis of differential equations: introducing probability measures on numerical solutions". Stat. Comput. 27 (4): 1065–1082. doi:10.1007/s11222-016-9671-0. PMC 7089645. PMID 32226237.{{cite journal}}: CS1 maint: multiple names: authors list (link)
  34. Abdulle, A.; Garegnani, G. (2020). "Random time step probabilistic methods for uncertainty quantification in chaotic and geometric numerical integration". Stat. Comput. 30 (4): 907–932. arXiv:1801.01340. doi:10.1007/s11222-020-09926-w. S2CID 42880142.{{cite journal}}: CS1 maint: multiple names: authors list (link)
  35. Skilling, J. (1992). Bayesian solution of ordinary differential equations. Maximum Entropy and Bayesian Methods. pp. 23–37.
  36. Tronarp, F.; Kersting, H.; Särkkä, S.; Hennig, P (2019). "Probabilistic solutions to ordinary differential equations as nonlinear Bayesian filtering: a new perspective". Statistics and Computing. 29 (6): 1297–1315. doi:10.1007/s11222-019-09900-1. S2CID 88517317.
  37. Tronarp, F.; Särkkä, S.; Hennig, P. (2021). "Bayesian ODE solvers: The maximum a posteriori estimate". Statistics and Computing. 31 (3): 1–18. doi:10.1007/s11222-021-09993-7. S2CID 214774980.
  38. Kersting, H.; Hennig, P. (2016). Active Uncertainty Calibration in Bayesian ODE Solvers. Uncertainty in Artificial Intelligence. pp. 309–318.
  39. Schober, M.; Särkkä, S.; Hennig, P (2019). "A probabilistic model for the numerical solution of initial value problems". Statistics and Computing. 29 (1): 99–122. doi:10.1007/s11222-017-9798-7. S2CID 14299420.
  40. Chkrebtii, O.; Campbell, D. A.; Calderhead, B.; Girolami, M. A. (2016). "Bayesian solution uncertainty quantification for differential equations". Bayesian Analysis. 11 (4): 1239–1267. doi:10.1214/16-BA1017. S2CID 14077995.
  41. Hennig, P.; Hauberg, S. (2014). Probabilistic solutions to differential equations and their application to Riemannian statistics. Artificial Intelligence and Statistics. pp. 347–355.
  42. Abdulle, A.; Garegnani, G. (2021). "A probabilistic finite element method based on random meshes: A posteriori error estimators and Bayesian inverse problems". Comput. Methods Appl. Mech. Engrg. 384: 113961. arXiv:2103.06204. Bibcode:2021CMAME.384k3961A. doi:10.1016/j.cma.2021.113961. S2CID 232170649.{{cite journal}}: CS1 maint: multiple names: authors list (link)
  43. Chkrebtii, Oksana A.; Campbell, David A.; Calderhead, Ben; Girolami, Mark A. (2016). "विभेदक समीकरणों के लिए बायेसियन समाधान अनिश्चितता मात्रा". Bayesian Analysis. 11 (4): 1239–1267. doi:10.1214/16-BA1017. ISSN 1936-0975. S2CID 14077995.
  44. 44.0 44.1 44.2 Pförtner, M.; Steinwart, I.; Hennig, P.; Wenger, J. (2022). "भौतिकी-सूचित गाऊसी प्रक्रिया प्रतिगमन रैखिक पीडीई सॉल्वर का सामान्यीकरण करता है". arXiv:2212.12474 [cs.LG].
  45. Poincaré, Henri (1912). Calcul des Probabilités (second ed.). Gauthier-Villars.
  46. Suldin, A. V. (1959). "Wiener measure and its applications to approximation methods. I". Izv. Vysš. Učebn. Zaved. Matematika. 6 (13): 145–158.
  47. 47.0 47.1 Larkin, F. M. (1972). "Gaussian measure in Hilbert space and applications in numerical analysis". Rocky Mountain J. Math. 2 (3): 379–421. doi:10.1216/RMJ-1972-2-3-379.
  48. Owhadi, Houman; Scovel, Clint; Schäfer, Florian (2019). "Statistical Numerical Approximation". Notices of the American Mathematical Society. 66 (10): 1608–1617. doi:10.1090/noti1963. S2CID 204830421.
  49. Palasti, I.; Renyi, A (1956). "On interpolation theory and the theory of games". MTA Mat. Kat. Int. Kozl. 1: 529–540.
  50. Sard, A. (1963). Linear Approximation. Mathematical Surveys and Monographs. Vol. 9. American Mathematical Society. doi:10.1090/surv/009. ISBN 9780821815090.
  51. Kimeldorf, George S.; Wahba, Grace (1970). "A correspondence between Bayesian estimation on stochastic processes and smoothing by splines". Ann. Math. Statist. 41 (2): 495–502. doi:10.1214/aoms/1177697089.
  52. Traub, J. F.; Wasilkowski, G. W.; Woźniakowski, H. (1988). Information-Based Complexity. Computer Science and Scientific Computing. Boston, MA: Academic Press, Inc. ISBN 0-12-697545-0.{{cite book}}: CS1 maint: multiple names: authors list (link)
  53. Packel, Edward W. (1987). "The algorithm designer versus nature: a game-theoretic approach to information-based complexity". J. Complexity. 3 (3): 244–257. doi:10.1016/0885-064X(87)90014-8.
  54. Owhadi, H. (2017). "किसी न किसी गुणांक के साथ मल्टीग्रिड और पदानुक्रमित सूचना गेम से बहु-रिज़ॉल्यूशन ऑपरेटर अपघटन". SIAM Review. 59 (1): 99–149. doi:10.1137/15M1013894. S2CID 5877877.
  55. Micchelli, C. A.; Rivlin, T. J. (1977). "A survey of optimal recovery". Optimal estimation in approximation theory (Proc. Internat. Sympos., Freudenstadt, 1976. pp. 1–54. doi:10.1007/978-1-4684-2388-4_1.