सूचना-मिति

Not to be confused with Informetrics.

सूचना-मिति [[वैज्ञानिक मॉडलिंग]], निष्कर्ष और कुशल सूचना प्रसंस्करण के लिए अंतःविषय दृष्टिकोण है। यह ध्वनि और सीमित सूचना की स्थितियों में मॉडलिंग, कथन और निष्कर्ष निकालने का विज्ञान है। विज्ञान के दृष्टिकोण से, यह संरचना सूचना सिद्धांत, अनुमान के सांख्यिकीय विधिया, अनुप्रयुक्त गणित, कंप्यूटर विज्ञान, अर्थमिति, जटिलता सिद्धांत, निर्णय विश्लेषण, मॉडलिंग और विज्ञान के दर्शन का प्रतिछेदन हैं।

सूचना-मिति कम-निर्धारित या गलत ढंग से प्रस्तुत की गई समस्याओं को हल करने के लिए एक सीमित अनुकूलन संरचना प्रदान करता है - ऐसी समस्याएं जहां एक अद्वितीय समाधान खोजने के लिए पर्याप्त सूचना नहीं है। ऐसी समस्याएँ सभी विज्ञानों में बहुत साधारण हैं: उपलब्ध सूचना असंपूर्ण हैं, सीमित, ध्वनि (संकेत संसाधन) और अनिश्चितता है। सूचना-मिति वैज्ञानिक मॉडलिंग, सूचना प्रसंस्करण, सिद्धांत निर्माण और वैज्ञानिक वर्णक्रम में अनुमान समस्याओं के लिए उपयोगी है। सूचना-मिति संरचना का उपयोग प्रतिस्पर्धी सिद्धांतों या आकाश्मिक यांत्रिकी के विषय में परिकल्पनाओं का परीक्षण करने के लिए भी किया जा सकता है।

इतिहास

सूचना-मिति अधिकतम एन्ट्रापी औपचारिकता के प्राचीन सिद्धांत से विकसित हुआ, जो क्लाउड शैनन के कार्य पर आधारित है। प्रारंभिक योगदान अधिकतर प्राकृतिक और गणितीय/सांख्यिकीय विज्ञान में थे। 1980 के दशक के मध्य से और विशेष रूप से 1990 के दशक के मध्य में, सामाजिक और व्यवहार विज्ञान में समस्याओं के वृहद् वर्ग को संभालने के लिए, विशेष रूप से जटिल समस्याओं और डेटा के लिए, अधिकतम एन्ट्रापी दृष्टिकोण को सामान्यीकृत और विस्तारित किया गया था। 'सूचना-मिति' शब्द 2009 में अमोस गोलान द्वारा अंतःविषय सूचना-मिति संस्थान के उद्घाटन से ठीक पहले बनाया गया था।

प्रारंभिक परिभाषाएँ

यादृच्छिक चर ${\textstyle X}$ पर विचार करें जिसके परिणामस्वरूप K विशिष्ट परिणामों में से एक हो सकता है। प्रायिकता ${\textstyle p_{k}}$ प्रत्येक परिणाम ${\textstyle p_{k}=p(x_{k})}$ के लिए ${\textstyle k=1,2,\ldots ,K}$ का ${\textstyle x_{k}}$ है। इस प्रकार, ${\textstyle P}$ के-आयामी प्रायिकता वितरण ${\textstyle X}$ के लिए परिभाषित किया गया है जैसे कि $p_{k}\epsilon [0,1]$ और ${\textstyle \sum _{k}p_{k}=1}$। किसी एकल परिणाम ${\textstyle x_{k}}$ का ${\textstyle h(x_{k})=h(p_{k})=\log _{2}(1/p_{k})}$ (जैसे, शैनन) होना की सूचनात्मक सामग्री को परिभाषित करते हैं। वितरण के अंत में एक परिणाम का अवलोकन करना (एक दुर्लभ घटना), दूसरे, अधिक संभावित, परिणाम को देखने की तुलना में बहुत अधिक सूचना प्रदान करता है। एन्ट्रापी यादृच्छिक चर X के परिणाम की अपेक्षित सूचना सामग्री है जिसका संभाव्यता वितरण P है:

$$H(P)=\sum _{k=1}^{K}p_{k}\log _{2}\left({\frac {1}{p_{k}}}\right)=-\sum _{k=1}^{K}p_{k}\log _{2}(p_{k})=\operatorname {E} \left[\log _{2}\left({\frac {1}{P(X)}}\right)\right]$$

यहाँ $p_{k}\log _{2}(p_{k})\equiv 0$ अगर $p_{k}=0$, और $\operatorname {E}$ अपेक्षित प्रचालक है।

बुनियादी सूचना-मेट्रिक्स समस्या

मॉडलिंग की समस्या पर विचार करें और उस चर के केवल माध्य (अपेक्षित मान) को देखते हुए कुछ के-आयामी असतत यादृच्छिक चर के न देखे गए संभाव्यता वितरण का अनुमान लगाएं। हम यह भी जानते हैं कि संभावनाएँ गैर-नकारात्मक और सामान्यीकृत हैं (अर्थात, योग बिल्कुल 1 तक)। सभी K > 2 के लिए समस्या कम निर्धारित है। इन्फो-मेट्रिक्स ढांचे के भीतर, समाधान दो बाधाओं के अधीन यादृच्छिक चर की एन्ट्रापी को अधिकतम करना है: माध्य और सामान्यीकरण। इससे सामान्य अधिकतम एन्ट्रापी समाधान प्राप्त होता है। उस समस्या के समाधान को कई तरीकों से विस्तारित और सामान्यीकृत किया जा सकता है। सबसे पहले, कोई शैनन की एन्ट्रॉपी के बजाय किसी अन्य एन्ट्रॉपी का उपयोग कर सकता है। दूसरा, एक ही दृष्टिकोण का उपयोग निरंतर यादृच्छिक चर के लिए, सभी प्रकार के सशर्त मॉडल (उदाहरण के लिए, प्रतिगमन, असमानता और गैर-रेखीय मॉडल) और कई बाधाओं के लिए किया जा सकता है। तीसरा, पुजारियों को उस ढांचे में शामिल किया जा सकता है। चौथा, अधिक अनिश्चितता को समायोजित करने के लिए उसी ढांचे को बढ़ाया जा सकता है: देखे गए मूल्यों के बारे में अनिश्चितता और/या मॉडल के बारे में अनिश्चितता। अंत में, उसी बुनियादी ढांचे का उपयोग नए मॉडल/सिद्धांतों को विकसित करने, सभी उपलब्ध जानकारी का उपयोग करके इन मॉडलों को मान्य करने और मॉडल के बारे में सांख्यिकीय परिकल्पनाओं का परीक्षण करने के लिए किया जा सकता है।

उदाहरण

छह भुजाओं वाला पासा

बार-बार स्वतंत्र प्रयोगों से प्राप्त जानकारी के आधार पर अनुमान।

निम्नलिखित उदाहरण का श्रेय एल. बोल्ट्ज़मैन को दिया जाता है और इसे ईटी जेनेस द्वारा और अधिक लोकप्रिय बनाया गया। छह-तरफा पर विचार करें die, कहां उछालना है die घटना है और इसके विशिष्ट परिणाम ऊपरी सतह पर 1 से 6 तक की संख्याएँ हैं die. प्रयोग समान उछालने की स्वतंत्र पुनरावृत्ति है die. मान लीजिए कि आप केवल छह-तरफा के एन उछाल के अनुभवजन्य औसत मूल्य, वाई का निरीक्षण करते हैं die. उस जानकारी को देखते हुए, आप संभावनाओं का अनुमान लगाना चाहते हैं कि चेहरे का एक विशिष्ट मूल्य अगले टॉस में दिखाई देगा die. आप यह भी जानते हैं कि संभावनाओं का योग 1 होना चाहिए। इन दो बाधाओं (माध्य और सामान्यीकरण) के अधीन एन्ट्रॉपी को अधिकतम करना (और लॉग बेस 2 का उपयोग करना) सबसे अनजान समाधान उत्पन्न करता है।

$${\begin{aligned}&{\underset {\{P\}}{\text{maximize}}}&&H(\mathbf {p} )=-\sum _{k=1}^{6}p_{k}\log _{2}(p_{k})\\&{\text{subject to}}&&\sum _{k}p_{k}x_{k}=y{\text{ and }}\sum _{k}p_{k}=1\end{aligned}}$$

के लिए ${\textstyle x_{k}=k}$ और ${\textstyle k=1,2,\ldots ,6}$ . समाधान है

$${\stackrel{^<!--\; ^\; -->}{p}}_k=\frac{2^{-<!--\; -\; -->\stackrel{^<!--\; ^\; -->}{\mathrm{\lambda <!--\; \lambda \; -->}}{}_{}}}{}$$