सूचना सिद्धांत

सूचना सिद्धांत परिमाणीकरण (विज्ञान), कंप्यूटर डेटा भंडारण और सूचना के दूरसंचार का वैज्ञानिक अध्ययन है। 1920 के दशक में हैरी निक्विस्ट और राल्फ हार्टले और 1940 के दशक में क्लाउड शैनन के कार्यों द्वारा इस क्षेत्र को मौलिक रूप से स्थापित किया गया था। क्षेत्र संभाव्यता सिद्धांत, सांख्यिकी, कंप्यूटर विज्ञान, सांख्यिकीय यांत्रिकी, सूचना इंजीनियरिंग (क्षेत्र), और विद्युत अभियन्त्रण के चौराहे पर है।

सूचना सिद्धांत में एक महत्वपूर्ण उपाय सूचना एन्ट्रॉपी है। एन्ट्रापी एक यादृच्छिक चर के मूल्य या एक यादृच्छिक प्रक्रिया के परिणाम में शामिल अनिश्चितता की मात्रा निर्धारित करता है। उदाहरण के लिए, एक पासा के रोल से परिणाम निर्दिष्ट करने की तुलना में एक निष्पक्ष सिक्का फ्लिप (दो समान रूप से संभावित परिणामों के साथ) के परिणाम की पहचान करने से कम जानकारी (कम एन्ट्रापी) मिलती है। सूचना सिद्धांत में कुछ अन्य महत्वपूर्ण उपाय हैं आपसी सूचना, चैनल क्षमता, त्रुटि घातांक और सापेक्ष एन्ट्रापी। सूचना सिद्धांत के महत्वपूर्ण उप-क्षेत्रों में स्रोत कोडिंग, एल्गोरिथम जटिलता सिद्धांत, एल्गोरिथम सूचना सिद्धांत और सूचना-सैद्धांतिक सुरक्षा शामिल हैं।

सूचना सिद्धांत के मौलिक विषयों के अनुप्रयोगों में स्रोत कोडिंग/डेटा संपीड़न (उदाहरण के लिए ज़िप (फ़ाइल प्रारूप)), और चैनल कोडिंग/त्रुटि का पता लगाने और सुधार (जैसे डिजिटल खरीदारों की पंक्ति के लिए) शामिल हैं। गहरे अंतरिक्ष में वोयाजर कार्यक्रम मिशन की सफलता, कॉम्पैक्ट डिस्क का आविष्कार, मोबाइल फोन की व्यवहार्यता और इंटरनेट के विकास के लिए इसका प्रभाव महत्वपूर्ण रहा है। सिद्धांत को सांख्यिकीय निष्कर्ष सहित अन्य क्षेत्रों में भी आवेदन मिला है, क्रिप्टोग्राफी, तंत्रिका जीव विज्ञान, अनुभूति, भाषा विज्ञान, विकास और समारोह आणविक कोड (जैव सूचना विज्ञान), थर्मल भौतिकी, आणविक गतिकी, क्वांटम कंप्यूटिंग, ब्लैक होल, सूचना पुनर्प्राप्ति, इंटेलिजेंस (सूचना एकत्र करना), साहित्यिक चोरी का पता लगाना, पैटर्न पहचान, विसंगति पहचान और कला निर्माण भी।

सिंहावलोकन
सूचना सिद्धांत सूचना के प्रसारण, प्रसंस्करण, निष्कर्षण और उपयोग का अध्ययन करता है। संक्षेप में, सूचना को अनिश्चितता के समाधान के रूप में माना जा सकता है। एक शोर चैनल पर सूचना के संचार के मामले में, इस अमूर्त अवधारणा को 1948 में क्लॉड शैनन द्वारा संचार का एक गणितीय सिद्धांत नामक एक पेपर में औपचारिक रूप दिया गया था, जिसमें सूचना को संभावित संदेशों के एक सेट के रूप में माना जाता है, और लक्ष्य है इन संदेशों को एक शोर वाले चैनल पर भेजें, और रिसीवर को चैनल के शोर के बावजूद त्रुटि की कम संभावना के साथ संदेश को फिर से बनाने के लिए। शैनन का मुख्य परिणाम, नॉइज़-चैनल कोडिंग प्रमेय ने दिखाया कि, कई चैनल उपयोगों की सीमा में, सूचना की दर जो स्पर्शोन्मुख रूप से प्राप्त करने योग्य है, चैनल क्षमता के बराबर है, एक मात्रा जो केवल चैनल के आंकड़ों पर निर्भर करती है जिस पर संदेश भेजा जाता है।

कोडिंग सिद्धांत स्पष्ट तरीकों को खोजने से संबंधित है, जिन्हें कोड कहा जाता है, दक्षता बढ़ाने के लिए और शोर चैनलों पर डेटा संचार की त्रुटि दर को चैनल क्षमता के पास कम करने के लिए। इन कोडों को मोटे तौर पर डेटा कम्प्रेशन (स्रोत कोडिंग) और त्रुटि-सुधार (चैनल कोडिंग) तकनीकों में विभाजित किया जा सकता है। बाद के मामले में, शैनन के काम को साबित करने वाली विधियों को खोजने में कई साल लग गए।

सूचना सिद्धांत कोड का एक तीसरा वर्ग क्रिप्टोग्राफ़िक एल्गोरिदम (दोनों कोड (क्रिप्टोग्राफी) और सिफ़र) हैं। कोडिंग सिद्धांत और सूचना सिद्धांत से अवधारणाओं, विधियों और परिणामों का क्रिप्टोग्राफी और क्रिप्ट विश्लेषण में व्यापक रूप से उपयोग किया जाता है। एक ऐतिहासिक अनुप्रयोग के लिए लेख प्रतिबंध (इकाई) देखें।

ऐतिहासिक पृष्ठभूमि
जुलाई और अक्टूबर 1948 में बेल सिस्टम तकनीकी जर्नल में क्लॉड ई. शैनन के क्लासिक पेपर ए मैथमेटिकल थ्योरी ऑफ कम्युनिकेशन का प्रकाशन सूचना सिद्धांत के अनुशासन की स्थापना और इसे तत्काल दुनिया भर में ध्यान में लाने वाली ऐतिहासिक घटना थी।

इस पत्र से पहले, बेल लैब्स में सीमित सूचना-सैद्धांतिक विचारों को विकसित किया गया था, सभी समान संभावना की घटनाओं को मानते हुए। हैरी न्यक्विस्ट का 1924 का पेपर, टेलीग्राफ गति को प्रभावित करने वाले कुछ कारक, एक सैद्धांतिक खंड शामिल है जो खुफिया जानकारी और लाइन की गति को बताता है जिस पर इसे संचार प्रणाली द्वारा प्रेषित किया जा सकता है, संबंध देते हुए $W = K log m$ (बोल्ट्ज़मैन स्थिरांक को याद करते हुए), जहां W बुद्धि के संचरण की गति है, m प्रत्येक चरण में चुनने के लिए विभिन्न वोल्टेज स्तरों की संख्या है, और K एक स्थिरांक है। राल्फ हार्टले का 1928 का पेपर, सूचना का प्रसारण, शब्द सूचना का उपयोग एक मापने योग्य मात्रा के रूप में करता है, जो रिसीवर की क्षमता को किसी अन्य से प्रतीकों के एक क्रम को अलग करने की क्षमता को दर्शाता है, इस प्रकार जानकारी को परिमाणित करता है $H = log S^{n} = n log S$, जहां S संभव प्रतीकों की संख्या थी, और n संचरण में प्रतीकों की संख्या थी। सूचना की इकाई इसलिए दशमलव अंक थी, जिसे कभी-कभी एक इकाई या पैमाने या सूचना के माप के रूप में उनके सम्मान में हार्टले (इकाई) कहा जाता है। 1940 में एलन ट्यूरिंग ने जर्मन द्वितीय विश्व युद्ध के टूटने के सांख्यिकीय विश्लेषण के भाग के रूप में एनिग्मा सिफर के क्रिप्टैनालिसिस के समान विचारों का उपयोग किया।

लुडविग बोल्ट्जमैन और जे. विलार्ड गिब्स द्वारा ऊष्मप्रवैगिकी के क्षेत्र के लिए विभिन्न संभावनाओं की घटनाओं के साथ सूचना सिद्धांत के पीछे का अधिकांश गणित विकसित किया गया था। 1960 के दशक में रॉल्फ लैंडौएर द्वारा महत्वपूर्ण योगदान सहित सूचना-सैद्धांतिक एन्ट्रॉपी और थर्मोडायनामिक एन्ट्रापी के बीच संबंध, थर्मोडायनामिक्स और सूचना सिद्धांत में एंट्रॉपी में खोजे गए हैं।

शैनन के क्रांतिकारी और ग्राउंडब्रेकिंग पेपर में, जिसके लिए काम 1944 के अंत तक बेल लैब्स में काफी हद तक पूरा हो चुका था, शैनन ने पहली बार संचार के गुणात्मक और मात्रात्मक मॉडल को एक सांख्यिकीय प्रक्रिया के रूप में अंतर्निहित सूचना सिद्धांत के रूप में पेश किया, जो कि दावे के साथ शुरू हुआ:
 * संचार की मूलभूत समस्या एक बिंदु पर पुनरुत्पादन की है, या तो बिल्कुल या लगभग, एक संदेश दूसरे बिंदु पर चुना गया है।

इसके साथ के विचार आए
 * किसी स्रोत की सूचना एन्ट्रापी और अतिरेक (सूचना सिद्धांत), और स्रोत कोडिंग प्रमेय के माध्यम से इसकी प्रासंगिकता;
 * शोर-चैनल कोडिंग प्रमेय द्वारा दिए गए पूर्ण हानि-मुक्त संचार के वादे सहित एक शोर चैनल की पारस्परिक जानकारी और चैनल क्षमता;
 * गॉसियन चैनल की चैनल क्षमता के लिए शैनन-हार्टले कानून का व्यावहारिक परिणाम; साथ ही
 * द काटा—जानकारी की सबसे मौलिक इकाई को देखने का एक नया तरीका।

जानकारी की मात्रा
सूचना सिद्धांत संभाव्यता सिद्धांत और सांख्यिकी पर आधारित है, जहां सूचना की मात्रा को आमतौर पर बिट्स के रूप में वर्णित किया जाता है। सूचना सिद्धांत अक्सर यादृच्छिक चर से जुड़े वितरण की जानकारी के उपायों से संबंधित होता है। सबसे महत्वपूर्ण उपायों में से एक को एंट्रॉपी कहा जाता है, जो कई अन्य उपायों का निर्माण खंड बनाता है। एन्ट्रॉपी एक एकल यादृच्छिक चर में सूचना के मापन की अनुमति देता है। एक अन्य उपयोगी अवधारणा दो यादृच्छिक चरों पर परिभाषित आपसी जानकारी है, जो उन चरों के बीच आम सूचना के माप का वर्णन करती है, जिसका उपयोग उनके सहसंबंध का वर्णन करने के लिए किया जा सकता है। पूर्व मात्रा एक यादृच्छिक चर के संभाव्यता वितरण की एक संपत्ति है और उस दर पर एक सीमा देती है जिस पर दिए गए वितरण के साथ स्वतंत्र नमूनों द्वारा उत्पन्न डेटा को मज़बूती से संकुचित किया जा सकता है। उत्तरार्द्ध दो यादृच्छिक चर के संयुक्त वितरण की संपत्ति है, और लंबी ब्लॉक लंबाई की सीमा में एक शोर संचार चैनल में विश्वसनीय संचार की अधिकतम दर है, जब चैनल के आंकड़े संयुक्त वितरण द्वारा निर्धारित किए जाते हैं।

निम्नलिखित सूत्रों में लघुगणकीय आधार का चुनाव उपयोग की जाने वाली सूचना एन्ट्रॉपी के मापन की इकाइयों को निर्धारित करता है। सूचना की एक सामान्य इकाई बिट है, जो बाइनरी लघुगणक पर आधारित है। अन्य इकाइयों में नेट (इकाई) शामिल है, जो प्राकृतिक लघुगणक पर आधारित है, और उन्होंने कहा, जो सामान्य लघुगणक पर आधारित है।

निम्नलिखित में, रूप की अभिव्यक्ति $p log p$ सम्मेलन द्वारा जब भी शून्य के बराबर माना जाता है $p = 0$. यह उचित है क्योंकि $$\lim_{p \rightarrow 0+} p \log p = 0$$ किसी भी लघुगणकीय आधार के लिए।

सूचना स्रोत की एन्ट्रॉपी
संप्रेषित किए जाने वाले प्रत्येक स्रोत प्रतीक के संभाव्यता द्रव्यमान समारोह के आधार पर, शैनन एंट्रॉपी (सूचना सिद्धांत) $H$, बिट्स की इकाइयों में (प्रति प्रतीक), द्वारा दिया गया है
 * $$H = - \sum_{i} p_i \log_2 (p_i)$$

कहाँ पे $p_{i}$ होने की संभावना है $i$स्रोत प्रतीक का -वाँ संभावित मान। यह समीकरण बिट्स (प्रति प्रतीक) की इकाइयों में एंट्रॉपी देता है क्योंकि यह आधार 2 के लॉगरिदम का उपयोग करता है, और एंट्रॉपी के इस बेस -2 माप को कभी-कभी उनके सम्मान में शैनन (यूनिट) कहा जाता है। एंट्रॉपी की गणना आमतौर पर प्राकृतिक लघुगणक (बेस $e$, कहाँ पे $e$ यूलर की संख्या है), जो प्रति प्रतीक नेट्स में एंट्रॉपी का माप उत्पन्न करती है और कभी-कभी सूत्रों में अतिरिक्त स्थिरांक शामिल करने की आवश्यकता से बचकर विश्लेषण को सरल बनाती है। अन्य आधार भी संभव हैं, लेकिन आमतौर पर कम उपयोग किए जाते हैं। उदाहरण के लिए, आधार का एक लघुगणक 28 = 256 बाइट प्रति प्रतीक में एक माप उत्पन्न करेगा, और आधार 10 का एक लघुगणक प्रति प्रतीक दशमलव अंकों (या हार्टले (इकाई)) में माप का उत्पादन करेगा।

सहज रूप से, एन्ट्रापी $H_{X}$ असतत यादृच्छिक चर का $X$ के मूल्य से जुड़ी अनिश्चितता की मात्रा का एक उपाय है $X$ जब केवल इसका वितरण ज्ञात हो।

एक स्रोत की एन्ट्रापी जो अनुक्रम का उत्सर्जन करती है $N$ प्रतीक जो स्वतंत्र और समान रूप से वितरित (आईआईडी) हैं $N ⋅ H$ बिट्स (के प्रति संदेश $N$ प्रतीक)। यदि स्रोत डेटा प्रतीक समान रूप से वितरित किए जाते हैं लेकिन स्वतंत्र नहीं होते हैं, तो लंबाई के संदेश की एंट्रॉपी $N$ से कम होगा $N ⋅ H$.

यदि कोई 1000 बिट्स (0s और 1s) प्रसारित करता है, और इन बिट्स में से प्रत्येक का मूल्य रिसीवर को पता है (निश्चितता के साथ एक विशिष्ट मूल्य है) तो यह स्पष्ट है कि कोई सूचना प्रसारित नहीं होती है। यदि, हालांकि, प्रत्येक बिट स्वतंत्र रूप से समान रूप से 0 या 1 होने की संभावना है, सूचना के 1000 शैनन (अधिक बार बिट्स कहलाते हैं) प्रेषित किए गए हैं। इन दो चरम सीमाओं के बीच, सूचना को निम्नानुसार परिमाणित किया जा सकता है। यदि $$\mathbb{X}$$ सभी संदेशों का सेट है $H_{b}(p)$ वह $\{x_{1}, ..., x_{n}\}$ हो सकता है, और $X$ कुछ की संभावना है $$x \in \mathbb X$$, फिर एन्ट्रापी, $p(x)$, का $H$ परिभषित किया:
 * $$ H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x).$$

(यहां, $X$ स्व-सूचना है, जो एक व्यक्तिगत संदेश का एन्ट्रापी योगदान है, और $$\mathbb{E}_X$$ अपेक्षित मूल्य है।) एंट्रॉपी की एक संपत्ति यह है कि यह अधिकतम हो जाता है जब संदेश स्थान में सभी संदेश परिवर्तनीय होते हैं $I(x)$; यानी, सबसे अप्रत्याशित, किस मामले में $p(x) = 1/n$.

दो परिणामों के साथ एक यादृच्छिक चर के लिए सूचना एन्ट्रापी का विशेष मामला बाइनरी एन्ट्रापी फ़ंक्शन है, जिसे आमतौर पर लघुगणकीय आधार 2 पर ले जाया जाता है, इस प्रकार शैनन (Sh) को इकाई के रूप में रखा जाता है:


 * $$H_{\mathrm{b}}(p) = - p \log_2 p - (1-p)\log_2 (1-p).$$

संयुक्त एन्ट्रॉपी
}} दो असतत यादृच्छिक चर के $H(X) = log n$ तथा $X$ उनकी जोड़ी की एन्ट्रॉपी मात्र है: $Y$. इसका तात्पर्य यह है कि यदि $(X, Y)$ तथा $X$ सांख्यिकीय स्वतंत्रता हैं, तो उनकी संयुक्त एन्ट्रॉपी उनकी अलग-अलग एन्ट्रापी का योग है।

उदाहरण के लिए, यदि $Y$ शतरंज के मोहरे की स्थिति का प्रतिनिधित्व करता है—$(X, Y)$ पंक्ति और $X$ स्तंभ, तो टुकड़े की पंक्ति और टुकड़े के स्तंभ की संयुक्त एन्ट्रापी टुकड़े की स्थिति की एन्ट्रापी होगी।


 * $$H(X, Y) = \mathbb{E}_{X,Y} [-\log p(x,y)] = - \sum_{x, y} p(x, y) \log p(x, y) \,$$

समान अंकन के बावजूद, संयुक्त एंट्रॉपी को भ्रमित नहीं किया जाना चाहिए.

सशर्त एंट्रोपी (संतुलन)
}} या की सशर्त अनिश्चितता $Y$ यादृच्छिक चर दिया $X$ (जिसे इक्विवोकेशन भी कहा जाता है $Y$ के बारे में $X$) औसत सशर्त एंट्रॉपी ओवर है $Y$:
 * $$ H(X|Y) = \mathbb E_Y [H(X|y)] = -\sum_{y \in Y} p(y) \sum_{x \in X} p(x|y) \log p(x|y) = -\sum_{x,y} p(x,y) \log p(x|y).$$

क्योंकि एन्ट्रापी को एक यादृच्छिक चर पर वातानुकूलित किया जा सकता है या उस यादृच्छिक चर पर एक निश्चित मान होने पर, सशर्त एन्ट्रॉपी की इन दो परिभाषाओं को भ्रमित न करने के लिए देखभाल की जानी चाहिए, जिनमें से पूर्व अधिक सामान्य उपयोग में है। सशर्त एन्ट्रॉपी के इस रूप की एक मूल संपत्ति यह है कि:


 * $$ H(X|Y) = H(X,Y) - H(Y) .\,$$

पारस्परिक जानकारी (रूपांतरण)
पारस्परिक जानकारी उस जानकारी की मात्रा को मापती है जो एक यादृच्छिक चर के बारे में दूसरे को देखकर प्राप्त की जा सकती है। संचार में यह महत्वपूर्ण है जहां इसका उपयोग भेजे गए और प्राप्त संकेतों के बीच साझा की गई जानकारी की मात्रा को अधिकतम करने के लिए किया जा सकता है। की आपसी जानकारी $Y$ के सापेक्ष $X$ द्वारा दिया गया है:


 * $$I(X;Y) = \mathbb{E}_{X,Y} [SI(x,y)] = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)\, p(y)}$$

कहाँ पे $Y$ (विशिष्ट पारस्परिक सूचना) बिन्दुवार परस्पर सूचना है।

आपसी जानकारी की एक मूल संपत्ति यह है
 * $$I(X;Y) = H(X) - H(X|Y).\,$$

यानी Y को जानकर हम औसतन 200 रुपये की बचत कर सकते हैं $SI$ वाई को नहीं जानने की तुलना में एन्कोडिंग एक्स में बिट्स।

पारस्परिक जानकारी सममित कार्य है:
 * $$I(X;Y) = I(Y;X) = H(X) + H(Y) - H(X,Y).\,$$

म्युचुअल जानकारी को औसत कुल्बैक-लीब्लर डाइवर्जेंस (सूचना लाभ) के रूप में व्यक्त किया जा सकता है, जो कि एक्स की पूर्ववर्ती संभावना के बीच वाई के मान और एक्स पर पूर्व संभावना के बीच है:
 * $$I(X;Y) = \mathbb E_{p(y)} [D_{\mathrm{KL}}( p(X|Y=y) \| p(X) )].$$

दूसरे शब्दों में, यह इस बात का माप है कि यदि हमें Y का मान दिया जाता है, तो औसतन X पर प्रायिकता वितरण कितना बदल जाएगा। इसे अक्सर सीमांत वितरण के उत्पाद से वास्तविक संयुक्त के विचलन के रूप में पुनर्गणना किया जाता है। वितरण:
 * $$I(X; Y) = D_{\mathrm{KL}}(p(X,Y) \| p(X)p(Y)).$$

पारस्परिक जानकारी संभावना-अनुपात परीक्षण से निकटता से संबंधित है। आकस्मिक तालिकाओं और बहुराष्ट्रीय वितरण के संदर्भ में लॉग-संभावना अनुपात परीक्षण और पियर्सन के ची-स्क्वेर्ड टेस्ट से निकटता से संबंधित है। पियर्सन का χ2 परीक्षण: पारस्परिक जानकारी को चरों की एक जोड़ी के बीच स्वतंत्रता का आकलन करने के लिए एक आँकड़ा माना जा सकता है, और एक अच्छी तरह से निर्दिष्ट स्पर्शोन्मुख वितरण है।

कुलबैक-लीब्लर विचलन (सूचना लाभ)
कुल्बैक-लीब्लर डाइवर्जेंस (या सूचना विचलन, सूचना लाभ, या सापेक्ष एन्ट्रापी) दो वितरणों की तुलना करने का एक तरीका है: एक वास्तविक संभाव्यता वितरण $p(X)$, और एक मनमाना संभाव्यता वितरण $q(X)$. अगर हम डेटा को इस तरीके से कंप्रेस करते हैं जो मान लेता है $q(X)$ कुछ डेटा के अंतर्गत वितरण है, जब, वास्तव में, $p(X)$ सही वितरण है, कुल्बैक-लीब्लर विचलन संपीड़न के लिए आवश्यक औसत अतिरिक्त बिट्स प्रति डेटा की संख्या है। इस प्रकार परिभाषित किया गया है


 * $$D_{\mathrm{KL}}(p(X) \| q(X)) = \sum_{x \in X} -p(x) \log {q(x)} \, - \, \sum_{x \in X} -p(x) \log {p(x)} = \sum_{x \in X} p(x) \log \frac{p(x)}{q(x)}.$$

यद्यपि इसे कभी-कभी 'दूरी मीट्रिक' के रूप में प्रयोग किया जाता है, केएल विचलन एक वास्तविक मीट्रिक (गणित) नहीं है क्योंकि यह सममित नहीं है और त्रिकोण असमानता को संतुष्ट नहीं करता है (इसे अर्ध-कैसिमेट्रिक बनाकर)।

केएल डाइवर्जेंस की एक और व्याख्या सत्य से पहले पेश किया गया अनावश्यक आश्चर्य है: मान लीजिए कि एक संख्या X संभाव्यता वितरण के साथ असतत सेट से यादृच्छिक रूप से तैयार होने वाली है। $p(x)$. अगर ऐलिस सही वितरण जानता है $p(x)$, जबकि बॉब का मानना ​​है (इसकी पूर्व संभावना है) कि वितरण है $q(x)$, तब बॉब ऐलिस की तुलना में अधिक सूचनात्मक सामग्री होगी, एक्स के मूल्य को देखने पर। केएल विचलन बॉब के (व्यक्तिपरक) सरप्रिसल माइनस ऐलिस के आश्चर्य का (उद्देश्य) अपेक्षित मूल्य है, यदि लॉग बेस में है तो बिट्स में मापा जाता है। 2. इस तरह, बॉब का पूर्व कितना गलत है, यह इस बात से निर्धारित किया जा सकता है कि इससे उसे कितना अनावश्यक रूप से आश्चर्य हुआ।

निर्देशित जानकारी
निर्देशित जानकारी, $$I(X^n\to Y^n) $$, एक सूचना सिद्धांत उपाय है जो यादृच्छिक प्रक्रिया से सूचना प्रवाह की मात्रा निर्धारित करता है $$X^n = \{X_1,X_2,\dots,X_n\}$$ यादृच्छिक प्रक्रिया के लिए $$Y^n = \{Y_1,Y_2,\dots,Y_n\}$$. निर्देशित सूचना शब्द जेम्स मैसी द्वारा गढ़ा गया था और इसे इस रूप में परिभाषित किया गया है
 * $$I(X^n\to Y^n) \triangleq \sum_{i=1}^n I(X^i;Y_i|Y^{i-1})$$,

कहाँ पे $$I(X^{i};Y_i|Y^{i-1})$$ सशर्त पारस्परिक जानकारी है $$I(X_1,X_2,...,X_{i};Y_i|Y_1,Y_2,...,Y_{i-1})$$. पारस्परिक जानकारी से भिन्न, निर्देशिका जानकारी सममित नहीं है। $$I(X^n\to Y^n) $$ h> उन सूचना बिट्स को मापता है जो से कारणात्मक रूप से प्रसारित होते हैं $$X^n$$ प्रति $$Y^n$$. निर्देशित जानकारी में समस्याओं में कई अनुप्रयोग होते हैं जहाँ कारणता एक महत्वपूर्ण भूमिका निभाती है जैसे फीडबैक के साथ चैनल क्षमता, प्रतिक्रिया के साथ असतत स्मृतिहीन नेटवर्क की क्षमता, कारण पक्ष की जानकारी के साथ जुआ, कारण पक्ष की जानकारी के साथ डेटा संपीड़न, और रीयल-टाइम नियंत्रण संचार सेटिंग में, सांख्यिकीय भौतिकी।

अन्य मात्राएं
अन्य महत्वपूर्ण सूचना सैद्धांतिक मात्राओं में रेनी एंट्रोपी (एन्ट्रॉपी का एक सामान्यीकरण), अंतर एन्ट्रापी (निरंतर वितरण के लिए सूचना की मात्रा का सामान्यीकरण) और सशर्त पारस्परिक जानकारी शामिल हैं।

कोडिंग सिद्धांत
कोडिंग सिद्धांत सूचना सिद्धांत के सबसे महत्वपूर्ण और प्रत्यक्ष अनुप्रयोगों में से एक है। इसे स्रोत कोडिंग सिद्धांत और चैनल कोडिंग सिद्धांत में विभाजित किया जा सकता है। डेटा के लिए एक सांख्यिकीय विवरण का उपयोग करते हुए, सूचना सिद्धांत डेटा का वर्णन करने के लिए आवश्यक बिट्स की संख्या निर्धारित करता है, जो कि स्रोत की सूचना एन्ट्रापी है।


 * डेटा संपीड़न (स्रोत कोडिंग): संपीड़न समस्या के लिए दो फॉर्मूलेशन हैं:
 * दोषरहित डेटा संपीड़न: डेटा को ठीक से खंगाला जाना चाहिए;
 * हानिपूर्ण डेटा संपीड़न: डेटा को फिर से बनाने के लिए आवश्यक बिट्स आवंटित करता है, विरूपण फ़ंक्शन द्वारा मापा गया एक निर्दिष्ट निष्ठा स्तर के भीतर। सूचना सिद्धांत के इस सबसेट को दर-विरूपण सिद्धांत कहा जाता है।
 * त्रुटि-सुधार कोड (चैनल कोडिंग): जबकि डेटा संपीड़न जितना संभव हो उतना अतिरेक को हटा देता है, एक त्रुटि-सुधार कोड केवल सही प्रकार की अतिरेक (यानी, त्रुटि सुधार) जोड़ता है जो डेटा को कुशलतापूर्वक और ईमानदारी से एक शोर चैनल में प्रसारित करने के लिए आवश्यक है।.

संपीड़न और संचरण में कोडिंग सिद्धांत का यह विभाजन सूचना प्रसारण प्रमेय, या स्रोत-चैनल पृथक्करण प्रमेय द्वारा उचित है जो बिट्स के उपयोग को कई संदर्भों में सूचना के लिए सार्वभौमिक मुद्रा के रूप में उचित ठहराते हैं। हालांकि, ये प्रमेय केवल उस स्थिति में लागू होते हैं जहां एक प्रेषक उपयोगकर्ता एक प्राप्त करने वाले उपयोगकर्ता से संवाद करना चाहता है। एक से अधिक ट्रांसमीटर (मल्टीपल-एक्सेस चैनल), एक से अधिक रिसीवर (प्रसारण चैनल) या इंटरमीडियरी हेल्पर्स (रिले चैनल), या अधिक सामान्य कंप्यूटर नेटवर्क वाले परिदृश्यों में, ट्रांसमिशन के बाद संपीड़न इष्टतम नहीं हो सकता है।

स्रोत सिद्धांत
कोई भी प्रक्रिया जो लगातार संदेश उत्पन्न करती है, उसे माना जा सकता है जानकारी की। एक स्मृतिहीन स्रोत वह है जिसमें प्रत्येक संदेश एक स्वतंत्र समान रूप से वितरित यादृच्छिक चर है, जबकि एर्गोडिक सिद्धांत और स्थिर प्रक्रिया के गुण कम प्रतिबंधात्मक बाधाओं को लागू करते हैं। ऐसे सभी स्रोत स्टोकेस्टिक प्रक्रिया हैं। सूचना सिद्धांत के बाहर इन शर्तों का अपने आप में अच्छी तरह से अध्ययन किया जाता है।

दर
सूचना एन्ट्रापी दर प्रति प्रतीक औसत एन्ट्रापी है। स्मृतिहीन स्रोतों के लिए, यह केवल प्रत्येक प्रतीक की एन्ट्रापी है, जबकि एक स्थिर स्टोकेस्टिक प्रक्रिया के मामले में, यह है


 * $$r = \lim_{n \to \infty} H(X_n|X_{n-1},X_{n-2},X_{n-3}, \ldots);$$

वह है, एक प्रतीक की सशर्त एन्ट्रॉपी जो पिछले सभी प्रतीकों को उत्पन्न करती है। एक प्रक्रिया के अधिक सामान्य मामले के लिए जो अनिवार्य रूप से स्थिर नहीं है, औसत दर है


 * $$r = \lim_{n \to \infty} \frac{1}{n} H(X_1, X_2, \dots X_n);$$

अर्थात्, प्रति प्रतीक संयुक्त एन्ट्रापी की सीमा। स्थिर स्रोतों के लिए, ये दो व्यंजक समान परिणाम देते हैं। सूचना दर के रूप में परिभाषित किया गया है
 * $$r = \lim_{n \to \infty} \frac{1}{n} I(X_1, X_2, \dots X_n;Y_1,Y_2, \dots Y_n);$$

सूचना सिद्धांत में किसी भाषा की दर या एन्ट्रापी के बारे में बात करना आम बात है। यह उचित है, उदाहरण के लिए, जब सूचना का स्रोत अंग्रेजी गद्य हो। सूचना के स्रोत की दर इसकी अतिरेक से संबंधित है और इसे कितनी अच्छी तरह से संकुचित किया जा सकता है, इसका विषय.

चैनल क्षमता
एक चैनल पर संचार सूचना सिद्धांत की प्राथमिक प्रेरणा है। हालांकि, चैनल अक्सर सिग्नल के सटीक पुनर्निर्माण का उत्पादन करने में असफल होते हैं; शोर, मौन की अवधि, और सिग्नल भ्रष्टाचार के अन्य रूप अक्सर गुणवत्ता को कम करते हैं।

असतत चैनल पर संचार प्रक्रिया पर विचार करें। प्रक्रिया का एक सरल मॉडल नीचे दिखाया गया है:

यहाँ X प्रेषित संदेशों के स्थान का प्रतिनिधित्व करता है, और Y हमारे चैनल पर एक इकाई समय के दौरान प्राप्त संदेशों के स्थान का प्रतिनिधित्व करता है। होने देना $I(X; Y)$ Y दिए गए X का सशर्त प्रायिकता बंटन फलन है। हम विचार करेंगे $p(y$ हमारे संचार चैनल की अंतर्निहित अचल संपत्ति होना (हमारे चैनल के सिग्नल शोर की प्रकृति का प्रतिनिधित्व करना)। फिर X और Y का संयुक्त वितरण पूरी तरह से हमारे चैनल और हमारी पसंद से निर्धारित होता है $p(y$, संदेशों का सीमांत वितरण जिसे हम चैनल पर भेजने के लिए चुनते हैं। इन बाधाओं के तहत, हम सूचना की दर, या सिग्नल (इलेक्ट्रिकल इंजीनियरिंग) को अधिकतम करना चाहते हैं, हम चैनल पर संवाद कर सकते हैं। इसके लिए उपयुक्त उपाय पारस्परिक सूचना है, और इस अधिकतम पारस्परिक सूचना को कहा जाता है और इसके द्वारा दिया गया है:
 * $$ C = \max_{f} I(X;Y).\! $$

इस क्षमता में सूचना दर R पर संचार करने से संबंधित निम्नलिखित संपत्ति है (जहाँ R आमतौर पर बिट्स प्रति प्रतीक है)। किसी भी सूचना दर आर <सी और कोडिंग त्रुटि ε> 0 के लिए, काफी बड़े एन के लिए, लंबाई एन और दर ≥ आर और एक डिकोडिंग एल्गोरिदम मौजूद है, जैसे कि ब्लॉक त्रुटि की अधिकतम संभावना ≤ ε है; अर्थात्, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना हमेशा संभव होता है। इसके अलावा, किसी भी दर R> ​​C के लिए, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना असंभव है।

चैनल कोड ऐसे लगभग इष्टतम कोड खोजने से संबंधित है जिसका उपयोग चैनल क्षमता के निकट दर पर एक छोटी कोडिंग त्रुटि के साथ एक शोर चैनल पर डेटा संचारित करने के लिए किया जा सकता है।

विशेष चैनल मॉडल की क्षमता

 * गॉसियन शोर के अधीन एक निरंतर-समय का एनालॉग संचार चैनल- शैनन-हार्टले प्रमेय देखें।
 * क्रॉसओवर प्रायिकता p वाला एक बाइनरी सममित चैनल (BSC) एक बाइनरी इनपुट, बाइनरी आउटपुट चैनल है जो प्रायिकता p के साथ इनपुट बिट को फ़्लिप करता है। BSC की क्षमता है $f(x)$ बिट्स प्रति चैनल उपयोग, जहां $1 &minus; H_{b}(p)$ बेस-2 लघुगणक के लिए बाइनरी एन्ट्रॉपी फ़ंक्शन है:


 * [[File:Binary symmetric channel.svg]]* एक बाइनरी इरेज़र चैनल (BEC) इरेज़र प्रायिकता p के साथ एक बाइनरी इनपुट, टर्नरी आउटपुट चैनल है। संभावित चैनल आउटपुट 0, 1 और एक तीसरा प्रतीक 'ई' है जिसे इरेज़र कहा जाता है। मिटाना इनपुट बिट के बारे में जानकारी के पूर्ण नुकसान का प्रतिनिधित्व करता है। बीईसी की क्षमता है 1 &minus; p बिट्स प्रति चैनल उपयोग।


 * [[File:Binary erasure channel.svg]]

स्मृति और निर्देशित जानकारी वाले चैनल
व्यवहार में कई चैनलों में मेमोरी होती है। अर्थात्, समय पर $$ i $$ चैनल सशर्त संभाव्यता द्वारा दिया गया है $$ P(y_i|x_i,x_{i-1},x_{i-2},...,x_1,y_{i-1},y_{i-2},...,y_1). $$. अंकन का उपयोग करना अक्सर अधिक आरामदायक होता है $$ x^i=(x_i,x_{i-1},x_{i-2},...,x_1) $$ और चैनल बन गया $$ P(y_i|x^i,y^{i-1}). $$. ऐसे मामले में क्षमता आपसी सूचना दर द्वारा दी जाती है जब कोई प्रतिक्रिया उपलब्ध नहीं होती है और निर्देशित सूचना दर मामले में प्रतिक्रिया होती है या नहीं (यदि कोई प्रतिक्रिया नहीं है तो निर्देशित सूचना पारस्परिक सूचना के बराबर होती है)।

इंटेलिजेंस उपयोग और गोपनीयता अनुप्रयोग
सूचना सिद्धांत संबंधी अवधारणाएं क्रिप्टोग्राफी और क्रिप्ट विश्लेषण पर लागू होती हैं। ट्यूरिंग की सूचना इकाई, बैन (यूनिट) का उपयोग अल्ट्रा प्रोजेक्ट में किया गया, जर्मन पहेली मशीन कोड को तोड़कर और यूरोप डे में विजय को तेज किया। शैनन ने स्वयं एक महत्वपूर्ण अवधारणा को परिभाषित किया जिसे अब एकता दूरी कहा जाता है। सादे पाठ की अतिरेक के आधार पर, यह अद्वितीय गूढ़ता सुनिश्चित करने के लिए आवश्यक न्यूनतम मात्रा में सिफर पाठ देने का प्रयास करता है।

सूचना सिद्धांत हमें यह मानने की ओर ले जाता है कि रहस्य को बनाए रखना पहले प्रकट होने की तुलना में कहीं अधिक कठिन है। एक क्रूर बल का हमला सार्वजनिक-कुंजी क्रिप्टोग्राफी या सममित-कुंजी एल्गोरिदम (कभी-कभी गुप्त कुंजी एल्गोरिदम कहा जाता है) के सबसे अधिक इस्तेमाल किए जाने वाले तरीकों पर आधारित सिस्टम को तोड़ सकता है, जैसे ब्लॉक सिफर। ऐसे सभी तरीकों की सुरक्षा वर्तमान में इस धारणा से आती है कि कोई भी ज्ञात हमला व्यावहारिक समय में उन्हें तोड़ नहीं सकता है।

सूचना सैद्धांतिक सुरक्षा एक बार के पैड जैसे तरीकों को संदर्भित करती है जो इस तरह के क्रूर बल के हमलों के प्रति संवेदनशील नहीं हैं। ऐसे मामलों में, प्लेनटेक्स्ट और सिफरटेक्स्ट (कुंजी (क्रिप्टोग्राफी) पर सशर्त) के बीच सकारात्मक सशर्त पारस्परिक जानकारी उचित संचरण सुनिश्चित कर सकती है, जबकि प्लेनटेक्स्ट और सिफरटेक्स्ट के बीच बिना शर्त पारस्परिक जानकारी शून्य रहती है, जिसके परिणामस्वरूप बिल्कुल सुरक्षित संचार होता है। दूसरे शब्दों में, एक छिपकर सुनने वाला सिफरटेक्स्ट का ज्ञान प्राप्त करके प्लेनटेक्स्ट के बारे में अपने अनुमान को सुधारने में सक्षम नहीं होगा, लेकिन कुंजी का नहीं। हालाँकि, किसी भी अन्य क्रिप्टोग्राफ़िक प्रणाली की तरह, सूचना-सैद्धांतिक रूप से सुरक्षित तरीकों को भी सही ढंग से लागू करने के लिए देखभाल का उपयोग किया जाना चाहिए; मुख्य सामग्री के अनुचित पुन: उपयोग के कारण वेनोना परियोजना सोवियत संघ के एक बार के पैड को क्रैक करने में सक्षम थी।

छद्म आयामी संख्या पीढ़ी
कंप्यूटर भाषा पुस्तकालयों और अनुप्रयोग कार्यक्रमों में छद्म यादृच्छिक संख्या जनरेटर व्यापक रूप से उपलब्ध हैं। वे, लगभग सार्वभौमिक रूप से, क्रिप्टोग्राफ़िक उपयोग के लिए अनुपयुक्त हैं क्योंकि वे आधुनिक कंप्यूटर उपकरण और सॉफ़्टवेयर की नियतात्मक प्रकृति से बच नहीं पाते हैं। बेहतर यादृच्छिक संख्या जनरेटर के एक वर्ग को क्रिप्टोग्राफ़िक रूप से सुरक्षित छद्म यादृच्छिक संख्या जनरेटर कहा जाता है, लेकिन यहां तक ​​कि उन्हें सॉफ्टवेयर के बाहर यादृच्छिक बीजों की आवश्यकता होती है ताकि वे काम कर सकें। इन्हें एक्सट्रैक्टर (गणित) के माध्यम से प्राप्त किया जा सकता है, अगर सावधानी से किया जाए। एक्सट्रैक्टर्स में पर्याप्त यादृच्छिकता का माप न्यूनतम-एन्ट्रॉपी है, रेनी एंट्रॉपी के माध्यम से शैनन एंट्रॉपी से संबंधित मूल्य; क्रिप्टोग्राफ़िक सिस्टम में यादृच्छिकता का मूल्यांकन करने के लिए रेनी एंट्रॉपी का भी उपयोग किया जाता है। हालांकि संबंधित, इन उपायों के बीच अंतर का मतलब है कि उच्च शैनन एन्ट्रॉपी वाला एक यादृच्छिक चर एक एक्सट्रैक्टर में उपयोग के लिए और इसलिए क्रिप्टोग्राफी उपयोगों के लिए आवश्यक रूप से संतोषजनक नहीं है।

भूकंपीय अन्वेषण
सूचना सिद्धांत का एक प्रारंभिक व्यावसायिक अनुप्रयोग भूकंपीय तेल अन्वेषण के क्षेत्र में था। इस क्षेत्र में काम ने अवांछित शोर को वांछित भूकंपीय संकेत से अलग करना और अलग करना संभव बना दिया। सूचना सिद्धांत और अंकीय संकेत प्रक्रिया पिछले एनालॉग तरीकों की तुलना में संकल्प और छवि स्पष्टता में एक बड़ा सुधार प्रदान करते हैं।

लाक्षणिकता
लाक्षणिकता :nl:डोएड नौटा और विन्फ्रेड नोथ दोनों ने चार्ल्स सैंडर्स पियर्स को लाक्षणिकता पर अपने कार्यों में सूचना के सिद्धांत का निर्माण करने के रूप में माना।  नौटा ने सांकेतिक सूचना सिद्धांत को कोडिंग, फ़िल्टरिंग और सूचना प्रसंस्करण की आंतरिक प्रक्रियाओं के अध्ययन के रूप में परिभाषित किया। अतिरेक और कोड नियंत्रण जैसे सूचना सिद्धांत की अवधारणाओं का उपयोग अम्बर्टो इको और :it:Ferruccio Rossi-Landi|Ferruccio Rossi-Landi जैसे लाक्षणिकों द्वारा विचारधारा को संदेश संचरण के एक रूप के रूप में समझाने के लिए किया गया है जिससे एक प्रमुख सामाजिक वर्ग अपने संदेश का उत्सर्जन करता है उन संकेतों का उपयोग करना जो उच्च स्तर की अतिरेक प्रदर्शित करते हैं जैसे कि प्रतिस्पर्धी लोगों के चयन के बीच केवल एक संदेश को डिकोड किया जाता है।

तंत्रिका जानकारी का एकीकृत प्रक्रिया संगठन
संज्ञानात्मक तंत्रिका विज्ञान में बाध्यकारी समस्या के संदर्भ में तंत्रिका सूचना के एकीकृत प्रक्रिया संगठन का विश्लेषण करने के लिए संज्ञानात्मक विज्ञान में मात्रात्मक सूचना सिद्धांत विधियों को लागू किया गया है। इस संदर्भ में, या तो एक सूचना-सैद्धांतिक उपाय, जैसे (गेराल्ड एडेलमैन और गिउलिओ टोनोनी के कार्यात्मक क्लस्टरिंग मॉडल और गतिशील कोर परिकल्पना (डीसीएच) ) या  (टोनोनी की चेतना का एकीकृत सूचना सिद्धांत (आईआईटी)।   ), परिभाषित किया गया है (एक पुनः प्रवेशी प्रक्रिया संगठन के आधार पर, यानी न्यूरोनल आबादी के समूहों के बीच न्यूरोफिज़ियोलॉजिकल गतिविधि का सिंक्रनाइज़ेशन), या सांख्यिकीय विधियों के आधार पर मुक्त ऊर्जा को कम करने का उपाय (कार्ल जे। फ्रिस्टन का मुक्त ऊर्जा सिद्धांत) (एफईपी), एक सूचना-सैद्धांतिक उपाय है जो बताता है कि स्व-संगठित प्रणाली में प्रत्येक अनुकूली परिवर्तन मुक्त ऊर्जा को कम करता है, और बायेसियन मस्तिष्क परिकल्पना     ).

विविध अनुप्रयोग
सूचना सिद्धांत में जुआ और सूचना सिद्धांत, ब्लैक होल सूचना विरोधाभास और जैव सूचना विज्ञान में भी अनुप्रयोग हैं।

यह भी देखें

 * एल्गोरिथम संभावना
 * बायेसियन अनुमान
 * संचार सिद्धांत
 * निर्माता सिद्धांत - सूचना सिद्धांत का एक सामान्यीकरण जिसमें क्वांटम सूचना शामिल है
 * औपचारिक विज्ञान
 * आगमनात्मक संभावना
 * जानकारी मेट्रिक्स
 * न्यूनतम संदेश लंबाई
 * न्यूनतम विवरण लंबाई
 * सैद्धांतिक कंप्यूटर विज्ञान # सूचना सिद्धांत में महत्वपूर्ण प्रकाशनों की सूची
 * सूचना का दर्शन

अनुप्रयोग

 * सक्रिय नेटवर्किंग
 * क्रिप्ट एनालिसिस
 * क्रिप्टोग्राफी
 * साइबरनेटिक्स
 * ऊष्मप्रवैगिकी और सूचना सिद्धांत में एन्ट्रॉपी
 * जुआ
 * इंटेलिजेंस (सूचना एकत्र करना)
 * प्रतिबिंब भूकंप विज्ञान

इतिहास

 * राल्फ हार्टले|हार्टले, आर.वी.एल.
 * सूचना सिद्धांत का इतिहास
 * क्लॉड एलवुड शैनन | शैनन, सी.ई.
 * सूचना सिद्धांत की समयरेखा
 * ह्यूबर्ट हॉकी | हॉकी, एच.पी.

सिद्धांत

 * कोडिंग सिद्धांत
 * जांच सिद्धांत
 * अनुमान सिद्धांत
 * फिशर की जानकारी
 * सूचना बीजगणित
 * जानकारी विषमता
 * सूचना क्षेत्र सिद्धांत
 * सूचना ज्यामिति
 * सूचना सिद्धांत और माप सिद्धांत
 * कोलमोगोरोव जटिलता
 * सूचना सिद्धांत में अनसुलझी समस्याओं की सूची
 * सूचना का तर्क
 * नेटवर्क कोडिंग
 * सूचना का दर्शन
 * क्वांटम सूचना विज्ञान
 * स्रोत कोडिंग

अवधारणाओं

 * प्रतिबंध (इकाई)
 * चैनल क्षमता
 * बातचीत का माध्यम
 * संचार स्रोत
 * सशर्त एन्ट्रापी
 * गुप्त चैनल
 * आधार - सामग्री संकोचन
 * डिकोडर
 * विभेदक एन्ट्रापी
 * वैकल्पिक जानकारी
 * सूचना में उतार-चढ़ाव की जटिलता
 * सूचना एन्ट्रापी
 * संयुक्त एन्ट्रॉपी
 * कुलबैक-लीब्लर डाइवर्जेंस
 * आपसी जानकारी
 * प्वाइंटवाइज आपसी जानकारी (पीएमआई)
 * रिसीवर (सूचना सिद्धांत)
 * अतिरेक (सूचना सिद्धांत)
 * रेनी एंट्रॉपी
 * स्व-सूचना
 * एकता दूरी
 * विविधता (साइबरनेटिक्स)
 * हैमिंग दूरी

क्लासिक काम
[https://web.archive.org/web/20150409204946/http://cm.bell-labs. com/cm/ms/what/shannonday/paper.html नोट्स और अन्य प्रारूप।]
 * क्लॉड एलवुड शैनन | शैनन, सी.ई. (1948), ए मैथमेटिकल थ्योरी ऑफ़ कम्युनिकेशन, बेल सिस्टम टेक्निकल जर्नल, 27, पीपी. 379–423 और 623–656, जुलाई और अक्टूबर, 1948। edu/~ctm/home/text/others/shannon/entropy/entropy.pdf PDF.]
 * आर.वी.एल. हार्टले, सूचना का प्रसारण, बेल सिस्टम टेक्निकल जर्नल, जुलाई 1928
 * एंड्री कोलमोगोरोव (1968), सूचना की मात्रात्मक परिभाषा के लिए तीन दृष्टिकोण कंप्यूटर गणित के अंतर्राष्ट्रीय जर्नल में।

अन्य पत्रिका लेख

 * जे. एल. केली, जूनियर, प्रिंसटन, सूचना दर बेल सिस्टम तकनीकी जर्नल की एक नई व्याख्या, वॉल्यूम। 35, जुलाई 1956, पीपी. 917–26।
 * आर लैंडौएर, IEEE.org, इंफॉर्मेशन इज फिजिकल प्रोक। भौतिकी और संगणना पर कार्यशाला PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4।

सूचना सिद्धांत पर पाठ्यपुस्तकें

 * Arndt, C. सूचना उपाय, सूचना और विज्ञान और इंजीनियरिंग में इसका विवरण (स्प्रिंगर श्रृंखला: सिग्नल और संचार प्रौद्योगिकी), 2004, ISBN 978-3-540-40855-0
 * ऐश, आरबी। सूचना सिद्धांत। न्यूयॉर्क: इंटरसाइंस, 1965। ISBN 0-470-03445-9. न्यूयॉर्क: डोवर 1990। ISBN 0-486-66521-6
 * Gallager, R. सूचना सिद्धांत और विश्वसनीय संचार। न्यूयॉर्क: जॉन विली एंड संस, 1968। ISBN 0-471-29048-3
 * गोल्डमैन, एस. सूचना सिद्धांत। न्यूयॉर्क: प्रेंटिस हॉल, 1953। न्यूयॉर्क: डोवर 1968 ISBN 0-486-62209-6, 2005 ISBN 0-486-44271-3
 * सिसजर, आई, कोर्नर, जे. इंफॉर्मेशन थ्योरी: डिस्क्रीट मेमोरीलेस सिस्टम्स के लिए कोडिंग प्रमेय एकेडेमिया किआडो: दूसरा संस्करण, 1997। ISBN 963-05-7440-3
 * डेविड जे.सी. मैके|मैके, डेविड जे.सी. सूचना सिद्धांत, अनुमान, और सीखने के एल्गोरिदम कैम्ब्रिज: कैम्ब्रिज यूनिवर्सिटी प्रेस, 2003। ISBN 0-521-64298-1
 * मंसूरीपुर, एम. सूचना सिद्धांत का परिचय। न्यूयॉर्क: अप्रेंटिस हॉल, 1987। ISBN 0-13-484668-0
 * रॉबर्ट मैकएलिस |मैकएलिस, आर. सूचना और कोडिंग का सिद्धांत। कैम्ब्रिज, 2002। ISBN 978-0521831857
 * जॉन आर. पियर्स|पियर्स, जेआर। सूचना सिद्धांत का परिचय: प्रतीक, संकेत और शोर। डोवर (दूसरा संस्करण)। 1961 (डोवर 1980 द्वारा पुनर्मुद्रित)।
 * रेजा, एफ. एन इंट्रोडक्शन टू इंफॉर्मेशन थ्योरी। न्यूयॉर्क: मैकग्रा-हिल 1961। न्यूयॉर्क: डोवर 1994। ISBN 0-486-68210-2
 * स्टोन, जेवी। पुस्तक का अध्याय 1 सूचना सिद्धांत: एक ट्यूटोरियल परिचय, शेफ़ील्ड विश्वविद्यालय, इंग्लैंड, 2014। ISBN 978-0956372857.
 * युंग, आरडब्ल्यू। ए फर्स्ट कोर्स इन इंफॉर्मेशन थ्योरी क्लूवर एकेडमिक/प्लेनम पब्लिशर्स, 2002। ISBN 0-306-46791-7.
 * युंग, आरडब्ल्यू। सूचना सिद्धांत और नेटवर्क कोडिंग स्प्रिंगर 2008, 2002। ISBN 978-0-387-79233-0
 * युंग, आरडब्ल्यू। ए फर्स्ट कोर्स इन इंफॉर्मेशन थ्योरी क्लूवर एकेडमिक/प्लेनम पब्लिशर्स, 2002। ISBN 0-306-46791-7.
 * युंग, आरडब्ल्यू। सूचना सिद्धांत और नेटवर्क कोडिंग स्प्रिंगर 2008, 2002। ISBN 978-0-387-79233-0

अन्य पुस्तकें

 * लियोन ब्रिलौइन, विज्ञान और सूचना सिद्धांत, माइनोला, एन.वाई: डोवर, [1956, 1962] 2004। ISBN 0-486-43918-6
 * जेम्स ग्लीक, सूचना: एक इतिहास, एक सिद्धांत, एक बाढ़, न्यूयॉर्क: पेंथियन, 2011। ISBN 978-0-375-42372-7
 * ए.आई. खिनचिन, मैथमैटिकल फ़ाउंडेशन ऑफ़ इंफ़ॉर्मेशन थ्योरी, न्यूयॉर्क: डोवर, 1957। ISBN 0-486-60434-9
 * एच.एस. लेफ़ और ए.एफ. रेक्स, संपादक, मैक्सवेल्स डेमन: एंट्रॉपी, सूचना, कम्प्यूटिंग, प्रिंसटन यूनिवर्सिटी प्रेस, प्रिंसटन, न्यू जर्सी (1990)। ISBN 0-691-08727-X
 * रॉबर्ट के. लोगान। सूचना क्या है? - बायोस्फीयर, सिम्बोस्फीयर, टेक्नोस्फीयर और इकोनोस्फीयर में प्रचार संगठन, टोरंटो: डेमो पब्लिशिंग।
 * टॉम सिगफ्रीड, द बिट एंड द पेंडुलम, विले, 2000। ISBN 0-471-32174-5
 * चार्ल्स साबुन, ब्रह्मांड को डिकोड करना, वाइकिंग, 2006। ISBN 0-670-03441-X
 * जेरेमी कैंपबेल, व्याकरणिक आदमी, टचस्टोन/साइमन एंड शूस्टर, 1982, ISBN 0-671-44062-4
 * हेनरी थेल, अर्थशास्त्र और सूचना सिद्धांत, रैंड मैकनेली एंड कंपनी - शिकागो, 1967।
 * Escolano, Suau, Bonev, इंफॉर्मेशन थ्योरी इन कंप्यूटर विज़न एंड पैटर्न रिकग्निशन, स्प्रिंगर, 2009। ISBN 978-1-84882-296-2
 * Vlatko Vedral, डिकोडिंग रियलिटी: द यूनिवर्स एज़ क्वांटम इंफॉर्मेशन, ऑक्सफोर्ड यूनिवर्सिटी प्रेस 2010। ISBN 0-19-923769-7

इस पेज में लापता आंतरिक लिंक की सूची

 * जानकारी
 * त्रुटि का पता लगाना और सुधार
 * आपसी जानकारी
 * सिक्का उछालो
 * आधार - सामग्री संकोचन
 * वे त्रुटि की व्याख्या करेंगे
 * सूचना एन्ट्रापी
 * बायोइनफॉरमैटिक्स
 * सूचना की पुनर्प्राप्ति
 * खुफिया (सूचना सभा)
 * असंगति का पता लगाये
 * पैटर्न मान्यता
 * शोर-चैनल कोडिंग प्रमेय
 * में (इकाई)
 * त्रुटि सुधार
 * बोल्ट्जमैन स्थिरांक
 * एनिग्मा का क्रिप्ट विश्लेषण
 * ऊष्मप्रवैगिकी और सूचना सिद्धांत में एन्ट्रॉपी
 * द्विआधारी लघुगणक
 * नट (इकाई)
 * बातचीत का माध्यम
 * बरनौली परीक्षण
 * बहुपद वितरण
 * जानकारी सामग्री
 * करणीय संबंध
 * त्रुटि सुधार कोड
 * एंट्रॉपी दर
 * सशर्त संभाव्यता
 * गाऊसी शोर
 * पशु बल का आक्रमण
 * एक समय पैड
 * चिमटा (गणित)
 * क्रिप्टोग्राफिक रूप से सुरक्षित छद्म यादृच्छिक संख्या जनरेटर
 * संज्ञात्मक विज्ञान
 * बायेसियन निष्कर्ष
 * पता लगाने का सिद्धांत
 * संयुक्त एन्ट्रापी
 * फंजिबल जानकारी
 * सूचना उतार-चढ़ाव जटिलता

बाहरी संबंध

 * Lambert F. L. (1999), "Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense!", Journal of Chemical Education
 * IEEE Information Theory Society and ITSOC Monographs, Surveys, and Reviews
 * IEEE Information Theory Society and ITSOC Monographs, Surveys, and Reviews