सूचना-मिति

Not to be confused with सूचना विज्ञान.

सूचना-मिति [[वैज्ञानिक मॉडलिंग]], निष्कर्ष और कुशल सूचना प्रसंस्करण के लिए अंतःविषय दृष्टिकोण है। यह ध्वनि और सीमित सूचना की स्थितियों में मॉडलिंग, कथन और निष्कर्ष निकालने का विज्ञान है। विज्ञान के दृष्टिकोण से, यह संरचना सूचना सिद्धांत, अनुमान के सांख्यिकीय विधिया, अनुप्रयुक्त गणित, कंप्यूटर विज्ञान, अर्थमिति, जटिलता सिद्धांत, निर्णय विश्लेषण, मॉडलिंग और विज्ञान के दर्शन का प्रतिछेदन हैं।

सूचना-मिति कम-निर्धारित या गलत ढंग से प्रस्तुत की गई समस्याओं को हल करने के लिए एक सीमित अनुकूलन संरचना प्रदान करता है - ऐसी समस्याएं जहां एक अद्वितीय समाधान खोजने के लिए पर्याप्त सूचना नहीं है। ऐसी समस्याएँ सभी विज्ञानों में बहुत साधारण हैं: उपलब्ध सूचना असंपूर्ण हैं, सीमित, ध्वनि (संकेत संसाधन) और अनिश्चितता है। सूचना-मिति वैज्ञानिक मॉडलिंग, सूचना प्रसंस्करण, सिद्धांत निर्माण और वैज्ञानिक वर्णक्रम में अनुमान समस्याओं के लिए उपयोगी है। सूचना-मिति संरचना का उपयोग प्रतिस्पर्धी सिद्धांतों या आकाश्मिक यांत्रिकी के विषय में परिकल्पनाओं का परीक्षण करने के लिए भी किया जा सकता है।

इतिहास

सूचना-मिति अधिकतम एन्ट्रापी औपचारिकता के प्राचीन सिद्धांत से विकसित हुआ, जो क्लाउड शैनन के कार्य पर आधारित है। प्रारंभिक योगदान अधिकतर प्राकृतिक और गणितीय/सांख्यिकीय विज्ञान में थे। 1980 के दशक के मध्य से और विशेष रूप से 1990 के दशक के मध्य में, सामाजिक और व्यवहार विज्ञान में समस्याओं के वृहद् वर्ग को संभालने के लिए, विशेष रूप से जटिल समस्याओं और डेटा के लिए, अधिकतम एन्ट्रापी दृष्टिकोण को सामान्यीकृत और विस्तारित किया गया था। 'सूचना-मिति' शब्द 2009 में अमोस गोलान द्वारा अंतःविषय सूचना-मिति संस्थान के उद्घाटन से ठीक पहले बनाया गया था।

प्रारंभिक परिभाषाएँ

यादृच्छिक चर ${\textstyle X}$ पर विचार करें जिसके परिणामस्वरूप K विशिष्ट परिणामों में से एक हो सकता है। प्रायिकता ${\textstyle p_{k}}$ प्रत्येक परिणाम ${\textstyle p_{k}=p(x_{k})}$ के लिए ${\textstyle k=1,2,\ldots ,K}$ का ${\textstyle x_{k}}$ है। इस प्रकार, ${\textstyle P}$ के-आयामी प्रायिकता वितरण ${\textstyle X}$ के लिए परिभाषित किया गया है जैसे कि $p_{k}\epsilon [0,1]$ और ${\textstyle \sum _{k}p_{k}=1}$। किसी एकल परिणाम ${\textstyle x_{k}}$ का ${\textstyle h(x_{k})=h(p_{k})=\log _{2}(1/p_{k})}$ (जैसे, शैनन) होना की सूचनात्मक सामग्री को परिभाषित करते हैं। वितरण के अंत में एक परिणाम का अवलोकन करना (एक दुर्लभ घटना), दूसरे, अधिक संभावित, परिणाम को देखने की तुलना में बहुत अधिक सूचना प्रदान करता है। एन्ट्रापी यादृच्छिक चर X के परिणाम की अपेक्षित सूचना सामग्री है जिसका संभाव्यता वितरण P है:

$$H(P)=\sum _{k=1}^{K}p_{k}\log _{2}\left({\frac {1}{p_{k}}}\right)=-\sum _{k=1}^{K}p_{k}\log _{2}(p_{k})=\operatorname {E} \left[\log _{2}\left({\frac {1}{P(X)}}\right)\right]$$

यहाँ $p_{k}\log _{2}(p_{k})\equiv 0$ अगर $p_{k}=0$, और $\operatorname {E}$ अपेक्षित प्रचालक है।

मुलभुत सूचना-मिति समस्या

मॉडलिंग की समस्या पर विचार करें और उस चर के केवल माध्य (अपेक्षित मान) को देखते हुए कुछ k-विमीय असतत यादृच्छिक चर के न देखे गए प्रायिकता वितरण का अनुमान लगाया जाता हैं। हम यह भी जानते हैं कि संभावनाएँ ऋणोत्तर और सामान्यीकृत हैं (अर्थात, योग बिल्कुल 1 तक)। सभी K > 2 के लिए समस्या कम निर्धारित है। सूचना-मिति संरचना के भीतर, समाधान दो बाधाओं के अधीन यादृच्छिक चर: माध्य और सामान्यीकरण की एन्ट्रापी को अधिकतम करना है। इससे सामान्य अधिकतम एन्ट्रापी समाधान प्राप्त होता है। उस समस्या के समाधान को कई प्रकारो से विस्तारित और सामान्यीकृत किया जा सकता है। सबसे पहले, कोई शैनन की एन्ट्रॉपी के अतिरिक्त किसी अन्य एन्ट्रॉपी का उपयोग कर सकता है। दूसरा, एक ही दृष्टिकोण का उपयोग निरंतर यादृच्छिक चर के लिए, सभी प्रकार के सशर्त प्रतिरूप (उदाहरण के लिए, प्रतिगमन, असमानता और अरेखीय प्रतिरूप) और कई बाधाओं के लिए किया जा सकता है। तीसरा, पूर्ववर्ती को उस संरचना में सम्मिलित किया जा सकता है। चौथा, अधिक अनिश्चितता को समायोजित करने के लिए: देखे गए मानो के विषय में अनिश्चितता और/या प्रतिरूपके बारे में उसी ढांचे को अनिश्चितता बढ़ाया जा सकता है। अंत में, उसी मुलभुत संरचना का उपयोग नए प्रतिरूप/सिद्धांतों को विकसित करने, सभी उपलब्ध सूचना का उपयोग करके इन प्रतिरूपो को मान्य करने और प्रतिरूप के बारे में सांख्यिकीय परिकल्पनाओं का परीक्षण करने के लिए किया जा सकता है।

उदाहरण

छह पक्षीय पासा

बार-बार स्वतंत्र प्रयोगों से प्राप्त सूचना के आधार पर अनुमान हैं।

निम्नलिखित उदाहरण का श्रेय एल. बोल्ट्ज़मैन को दिया जाता है और इसे ईटी जेनेस द्वारा और अधिक लोकप्रिय बनाया गया था। छह-पक्षीय die पर विचार करें, जहाँ die उछालना है घटना है और इसके विशिष्ट परिणाम die के ऊपरी सतह पर 1 से 6 तक की संख्याएँ हैं। प्रयोग समान die उछालने की स्वतंत्र पुनरावृत्ति है।

मान लीजिए कि आप केवल die के छह-पक्षीय के N उछाल के प्रयोगसिद्ध औसत मान; y, का निरीक्षण करते हैं। उस सूचना को देखते हुए, आप प्रायिकताओं का अनुमान लगाना चाहते हैं कि तलो का एक विशिष्ट मूल्य die के अगले उछाल में दिखाई देता हैं। आप यह भी जानते हैं कि प्रायिकताओं का योग 1 होना चाहिए। इन दो बाधाओं (माध्य और सामान्यीकरण) के अधीन एन्ट्रॉपी को अधिकतम करना (और लॉग बेस 2 का उपयोग करना) सबसे अनभिज्ञ समाधान उत्पन्न करता है।

$${\begin{aligned}&{\underset {\{P\}}{\text{maximize}}}&&H(\mathbf {p} )=-\sum _{k=1}^{6}p_{k}\log _{2}(p_{k})\\&{\text{subject to}}&&\sum _{k}p_{k}x_{k}=y{\text{ and }}\sum _{k}p_{k}=1\end{aligned}}$$

${\textstyle x_{k}=k}$ और $k=1,2,\dots <!--\; \dots \; -->,$