बाइनरी सममित चैनल: Difference between revisions

From Vigyanwiki
No edit summary
No edit summary
Line 1: Line 1:
{{more footnotes|date=March 2013}}
एक द्विआधारी सममित चैनल (या BSC<sub>p</sub>) सामान्य [[ संचार चैनल |संचार चैनल]] मॉडल है जिसका उपयोग [[ कोडिंग सिद्धांत |कोडिंग सिद्धांत]] और [[ सूचना सिद्धांत |सूचना सिद्धांत]] में किया जाता है। इस मॉडल में, ट्रांसमीटर [[ अंश |अंश]] (एक शून्य या एक) भेजना चाहता है, और रिसीवर थोड़ा प्राप्त करेगा। बिट को 'पी' की क्रॉसओवर [[ संभावना |संभावना]] के साथ फ़्लिप किया जाएगा, और अन्यथा सही ढंग से प्राप्त किया जाएगा। यह मॉडल विभिन्न संचार चैनलों जैसे कि टेलीफोन लाइन या [[ डिस्क ड्राइव |डिस्क ड्राइव]] स्टोरेज पर लागू किया जा सकता है।
एक द्विआधारी सममित चैनल (या BSC<sub>p</sub>) एक सामान्य [[ संचार चैनल ]] मॉडल है जिसका उपयोग [[ कोडिंग सिद्धांत ]] और [[ सूचना सिद्धांत ]] में किया जाता है। इस मॉडल में, एक ट्रांसमीटर एक [[ अंश ]] (एक शून्य या एक) भेजना चाहता है, और रिसीवर थोड़ा प्राप्त करेगा। बिट को 'पी' की क्रॉसओवर [[ संभावना ]] के साथ फ़्लिप किया जाएगा, और अन्यथा सही ढंग से प्राप्त किया जाएगा। यह मॉडल विभिन्न संचार चैनलों जैसे कि टेलीफोन लाइन या [[ डिस्क ड्राइव ]] स्टोरेज पर लागू किया जा सकता है।


[[ शोर-चैनल कोडिंग प्रमेय ]] BSC पर लागू होता है<sub>p</sub>, यह कहते हुए कि सूचना को मनमाने ढंग से कम त्रुटि के साथ [[ चैनल क्षमता ]] तक किसी भी दर पर प्रसारित किया जा सकता है। चैनल क्षमता है <math>1 - \operatorname H_\text{b}(p)</math> बिट्स, कहाँ <math>\operatorname H_\text{b}</math> [[ बाइनरी एन्ट्रापी फ़ंक्शन ]] है। फ़ॉर्नी के कोड सहित कोड पूरे चैनल में कुशलतापूर्वक सूचना प्रसारित करने के लिए डिज़ाइन किए गए हैं।
[[ शोर-चैनल कोडिंग प्रमेय | शोर-चैनल कोडिंग प्रमेय]] BSC पर लागू होता है<sub>p</sub>, यह कहते हुए कि सूचना को मनमाने ढंग से कम त्रुटि के साथ [[ चैनल क्षमता |चैनल क्षमता]] तक किसी भी दर पर प्रसारित किया जा सकता है। चैनल क्षमता है <math>1 - \operatorname H_\text{b}(p)</math> बिट्स, कहाँ <math>\operatorname H_\text{b}</math> [[ बाइनरी एन्ट्रापी फ़ंक्शन |बाइनरी एन्ट्रापी फ़ंक्शन]] है। फ़ॉर्नी के कोड सहित कोड पूरे चैनल में कुशलतापूर्वक सूचना प्रसारित करने के लिए डिज़ाइन किए गए हैं।


== परिभाषा ==
== परिभाषा ==
[[Image:Binary symmetric channel (en).svg|thumb|alt=Binary symmetric channel|upright=2|ट्रांसमिशन माध्यम में शोर के कारण, बाइनरी सममित चैनल संभाव्यता 1-पी के साथ सही ढंग से प्रेषित संदेश के प्रत्येक बिट को देखता है और संभावना पी के साथ गलत तरीके से देखता है।]]क्रॉसओवर प्रायिकता वाला एक बाइनरी सममित चैनल <math>p</math>, BSC द्वारा चिह्नित<sub>p</sub>, बाइनरी इनपुट और बाइनरी आउटपुट और त्रुटि की संभावना वाला एक चैनल है <math>p</math>. अतिरिक्त यदि <math>X</math> संचरित यादृच्छिक चर है और <math>Y</math> प्राप्त चर, तो चैनल [[ सशर्त संभाव्यता ]] की विशेषता है:{{sfnp|MacKay|2003|p=4}}
[[Image:Binary symmetric channel (en).svg|thumb|alt=Binary symmetric channel|upright=2|ट्रांसमिशन माध्यम में शोर के कारण, बाइनरी सममित चैनल संभाव्यता 1-पी के साथ सही ढंग से प्रेषित संदेश के प्रत्येक बिट को देखता है और संभावना पी के साथ गलत तरीके से देखता है।]]क्रॉसओवर प्रायिकता वाला बाइनरी सममित चैनल <math>p</math>, BSC द्वारा चिह्नित<sub>p</sub>, बाइनरी इनपुट और बाइनरी आउटपुट और त्रुटि की संभावना वाला चैनल है <math>p</math>. अतिरिक्त यदि <math>X</math> संचरित यादृच्छिक चर है और <math>Y</math> प्राप्त चर, तो चैनल [[ सशर्त संभाव्यता |सशर्त संभाव्यता]] की विशेषता है:{{sfnp|MacKay|2003|p=4}}
:<math>\begin{align}
:<math>\begin{align}
\operatorname {Pr} [ Y = 0 | X = 0 ] &= 1 - p \\
\operatorname {Pr} [ Y = 0 | X = 0 ] &= 1 - p \\
Line 12: Line 11:
\operatorname {Pr} [ Y = 1 | X = 1 ] &= 1 - p
\operatorname {Pr} [ Y = 1 | X = 1 ] &= 1 - p
\end{align}</math>
\end{align}</math>
यह मान लिया है कि <math>0 \le p \le 1/2</math>. यदि <math>p > 1/2</math>, तो रिसीवर आउटपुट स्वैप कर सकता है (1 की व्याख्या जब यह 0 देखता है, और इसके विपरीत) और क्रॉसओवर संभावना के साथ एक समकक्ष चैनल प्राप्त करता है <math>1 - p \le 1/2</math>.
यह मान लिया है कि <math>0 \le p \le 1/2</math>. यदि <math>p > 1/2</math>, तो रिसीवर आउटपुट स्वैप कर सकता है (1 की व्याख्या जब यह 0 देखता है, और इसके विपरीत) और क्रॉसओवर संभावना के साथ समकक्ष चैनल प्राप्त करता है <math>1 - p \le 1/2</math>.


== क्षमता ==
== क्षमता ==
Line 36: Line 35:
where the first and second step follows from the definition of mutual information and [[conditional entropy]] respectively. The entropy at the output for a given and fixed input symbol (<math>H(Y|X=x)</math>) equals the binary entropy function, which leads to the third line and this can be further simplified.
where the first and second step follows from the definition of mutual information and [[conditional entropy]] respectively. The entropy at the output for a given and fixed input symbol (<math>H(Y|X=x)</math>) equals the binary entropy function, which leads to the third line and this can be further simplified.


In the last line, only the first term <math>H(Y)</math> depends on the input distribution <math>p_X(x)</math>. The entropy of a binary variable is at most 1 bit, and equality is attained if its probability distribution is uniform. It therefore suffices to exhibit an input distribution that yields a uniform probability distribution for the output <math>Y</math>. For this, note that it is a property of any binary symmetric channel that a uniform probability distribution of the input results in a uniform probability distribution of the output. Hence the value <math>H(Y)</math> will be 1 when we choose a uniform distribution for <math>p_X(x)</math>. We conclude that the channel capacity for our binary symmetric channel is <math>C_{\text{BSC}}=1-\operatorname H_\text{b}(p)</math>.
In the last line, only the first term <math>H(Y)</math> depends on the input distribution <math>p_X(x)</math>. The entropy of a binary variable is at most 1 bit, and equality is attained if its probability distribution is uniform. It therefore suffices to exhibit an input distribution that yields a uniform probability distribution for the output <math>Y</math>. For this, note that it is a property of any binary symmetric channel that a uniform probability distribution of the input results in a uniform probability distribution of the output. Hence the value <math>H(Y)</math> will be 1 when we choose a uniform distribution for <math>p_X(x)</math>. We conclude that the channel capacity for our binary symmetric channel is <math>C_{\text{BSC}}=1-\operatorname H_\text{b}(p)</math>.
|}
|}




== शोर-चैनल कोडिंग प्रमेय ==
== शोर-चैनल कोडिंग प्रमेय ==
शैनन का शोर-चैनल कोडिंग प्रमेय उस सूचना की दर के बारे में परिणाम देता है जिसे एक संचार चैनल के माध्यम से मनमाने ढंग से कम त्रुटि के साथ प्रेषित किया जा सकता है। हम के विशेष स्थितिे का अध्ययन करते हैं <math>\text{BSC}_p</math>.
शैनन का शोर-चैनल कोडिंग प्रमेय उस सूचना की दर के बारे में परिणाम देता है जिसे संचार चैनल के माध्यम से मनमाने ढंग से कम त्रुटि के साथ प्रेषित किया जा सकता है। हम के विशेष स्थितिे का अध्ययन करते हैं <math>\text{BSC}_p</math>.


शोर <math>e</math> यह विशेषता है <math>\text{BSC}_{p}</math> एक यादृच्छिक चर है जिसमें n स्वतंत्र यादृच्छिक बिट्स होते हैं (n को नीचे परिभाषित किया गया है) जहां प्रत्येक यादृच्छिक बिट एक है <math>1</math> संभावना के साथ <math>p</math> और ए <math>0</math> संभावना के साथ <math>1-p</math>. हम इसे लिखकर इंगित करते हैं<math>e \in \text{BSC}_{p}</math>.
शोर <math>e</math> यह विशेषता है <math>\text{BSC}_{p}</math> यादृच्छिक चर है जिसमें n स्वतंत्र यादृच्छिक बिट्स होते हैं (n को नीचे परिभाषित किया गया है) जहां प्रत्येक यादृच्छिक बिट है <math>1</math> संभावना के साथ <math>p</math> और ए <math>0</math> संभावना के साथ <math>1-p</math>. हम इसे लिखकर इंगित करते हैं<math>e \in \text{BSC}_{p}</math>.


{{math_theorem|For all <math>p< \tfrac{1}{2},</math> all <math>0 < \epsilon < \tfrac{1}{2} - p</math>, all sufficiently large <math>n</math> (depending on <math>p</math> and <math>\epsilon</math>), and all <math>k\leq\lfloor (1 - H(p + \epsilon))n\rfloor</math>, there exists a pair of encoding and decoding functions <math>E: \{0,1\}^k \to \{0,1\}^n</math> and <math>D: \{0,1\}^n \to \{0,1\}^{k}</math> respectively,  such that every message <math>m\in\{0,1\}^{k}</math> has the following property:  
{{math_theorem|For all <math>p< \tfrac{1}{2},</math> all <math>0 < \epsilon < \tfrac{1}{2} - p</math>, all sufficiently large <math>n</math> (depending on <math>p</math> and <math>\epsilon</math>), and all <math>k\leq\lfloor (1 - H(p + \epsilon))n\rfloor</math>, there exists a pair of encoding and decoding functions <math>E: \{0,1\}^k \to \{0,1\}^n</math> and <math>D: \{0,1\}^n \to \{0,1\}^{k}</math> respectively,  such that every message <math>m\in\{0,1\}^{k}</math> has the following property:  
::<math>\Pr_{e \in \text{BSC}_p}[D(E(m) + e) \neq m] \leq 2^{-{\delta}n}</math>.}}
::<math>\Pr_{e \in \text{BSC}_p}[D(E(m) + e) \neq m] \leq 2^{-{\delta}n}</math>.}}
इस प्रमेय का वास्तव में क्या अर्थ है, एक संदेश जब से चुना जाता है <math>\{0,1\}^k</math>, एक यादृच्छिक एन्कोडिंग फ़ंक्शन के साथ एन्कोड किया गया <math>E</math>, और एक शोर के पार भेजा गया <math>\text{BSC}_{p}</math>डिकोडिंग द्वारा मूल संदेश को पुनर्प्राप्त करने की बहुत अधिक संभावना है, यदि <math>k</math> या प्रभाव में चैनल की दर प्रमेय में बताई गई मात्रा से बंधी होती है। डिकोडिंग त्रुटि की संभावना घातीय रूप से छोटी है।
इस प्रमेय का वास्तव में क्या अर्थ है, संदेश जब से चुना जाता है <math>\{0,1\}^k</math>, यादृच्छिक एन्कोडिंग फ़ंक्शन के साथ एन्कोड किया गया <math>E</math>, और शोर के पार भेजा गया <math>\text{BSC}_{p}</math>डिकोडिंग द्वारा मूल संदेश को पुनर्प्राप्त करने की बहुत अधिक संभावना है, यदि <math>k</math> या प्रभाव में चैनल की दर प्रमेय में बताई गई मात्रा से बंधी होती है। डिकोडिंग त्रुटि की संभावना घातीय रूप से छोटी है।


=== प्रमाण ===
=== प्रमाण ===
प्रमेय को सीधे [[ संभाव्य विधि ]] से सिद्ध किया जा सकता है। एक एन्कोडिंग फ़ंक्शन पर विचार करें <math>E: \{0,1\}^k \to \{0,1\}^n</math> जिसे यादृच्छिक रूप से चुना जाता है। इसका मतलब है कि प्रत्येक संदेश के लिए <math>m \in \{0,1\}^k</math>, महत्व <math>E(m) \in \{0,1\}^n</math> यादृच्छिक रूप से (समान संभावनाओं के साथ) चुना जाता है। किसी दिए गए एन्कोडिंग फ़ंक्शन के लिए <math>E</math>, डिकोडिंग फ़ंक्शन <math>D:\{0,1\}^n \to \{0,1\}^k</math> निम्नानुसार निर्दिष्ट किया गया है: कोई भी प्राप्त कोडवर्ड दिया गया है <math>y \in \{0,1\}^n</math>, हम संदेश पाते हैं <math>m\in\{0,1\}^{k}</math> ऐसा [[ हैमिंग दूरी ]] <math>\Delta(y, E(m))</math> जितना संभव हो उतना छोटा है (मनमाने ढंग से तोड़े गए संबंधों के साथ)। (<math>D</math> डिकोडिंग विधियाँ # अधिकतम संभावना डिकोडिंग फ़ंक्शन कहा जाता है।)
प्रमेय को सीधे [[ संभाव्य विधि |संभाव्य विधि]] से सिद्ध किया जा सकता है। एन्कोडिंग फ़ंक्शन पर विचार करें <math>E: \{0,1\}^k \to \{0,1\}^n</math> जिसे यादृच्छिक रूप से चुना जाता है। इसका मतलब है कि प्रत्येक संदेश के लिए <math>m \in \{0,1\}^k</math>, महत्व <math>E(m) \in \{0,1\}^n</math> यादृच्छिक रूप से (समान संभावनाओं के साथ) चुना जाता है। किसी दिए गए एन्कोडिंग फ़ंक्शन के लिए <math>E</math>, डिकोडिंग फ़ंक्शन <math>D:\{0,1\}^n \to \{0,1\}^k</math> निम्नानुसार निर्दिष्ट किया गया है: कोई भी प्राप्त कोडवर्ड दिया गया है <math>y \in \{0,1\}^n</math>, हम संदेश पाते हैं <math>m\in\{0,1\}^{k}</math> ऐसा [[ हैमिंग दूरी |हैमिंग दूरी]] <math>\Delta(y, E(m))</math> जितना संभव हो उतना छोटा है (मनमाने ढंग से तोड़े गए संबंधों के साथ)। (<math>D</math> डिकोडिंग विधियाँ # अधिकतम संभावना डिकोडिंग फ़ंक्शन कहा जाता है।)


कम से कम एक ऐसा विकल्प दिखा कर प्रमाण जारी है <math>(E,D)</math> संभावनाओं पर एकीकरण द्वारा, प्रमेय के निष्कर्ष को संतुष्ट करता है। मान लीजिए <math>p</math> और <math>\epsilon</math> फिक्स किए गए हैं। पहले हम दिखाते हैं कि, एक निश्चित के लिए <math>m \in \{0,1\}^{k}</math> और <math>E</math> यादृच्छिक रूप से चुना गया, विफलता की संभावना खत्म हो गई <math>\text{BSC}_p</math> एन में शोर घातीय रूप से छोटा है। इस बिंदु पर, प्रमाण एक निश्चित संदेश के लिए कार्य करता है <math>m</math>. आगे हम इस परिणाम को सभी संदेशों के लिए काम करने के लिए विस्तारित करते हैं <math>m</math>. हम कोड से आधे कोडवर्ड को इस तर्क के साथ हटाकर इसे प्राप्त करते हैं कि डिकोडिंग त्रुटि संभावना के लिए प्रमाण कम से कम आधे कोडवर्ड के लिए होता है। बाद वाली विधि को निष्कासन कहा जाता है। यह संपूर्ण प्रक्रिया को निष्कासन के साथ यादृच्छिक कोडिंग का नाम देता है।
कम से कम ऐसा विकल्प दिखा कर प्रमाण जारी है <math>(E,D)</math> संभावनाओं पर एकीकरण द्वारा, प्रमेय के निष्कर्ष को संतुष्ट करता है। मान लीजिए <math>p</math> और <math>\epsilon</math> फिक्स किए गए हैं। पहले हम दिखाते हैं कि, निश्चित के लिए <math>m \in \{0,1\}^{k}</math> और <math>E</math> यादृच्छिक रूप से चुना गया, विफलता की संभावना खत्म हो गई <math>\text{BSC}_p</math> एन में शोर घातीय रूप से छोटा है। इस बिंदु पर, प्रमाण निश्चित संदेश के लिए कार्य करता है <math>m</math>. आगे हम इस परिणाम को सभी संदेशों के लिए काम करने के लिए विस्तारित करते हैं <math>m</math>. हम कोड से आधे कोडवर्ड को इस तर्क के साथ हटाकर इसे प्राप्त करते हैं कि डिकोडिंग त्रुटि संभावना के लिए प्रमाण कम से कम आधे कोडवर्ड के लिए होता है। बाद वाली विधि को निष्कासन कहा जाता है। यह संपूर्ण प्रक्रिया को निष्कासन के साथ यादृच्छिक कोडिंग का नाम देता है।


:{| class="toccolours collapsible collapsed" width="80%" style="text-align:left"
:{| class="toccolours collapsible collapsed" width="80%" style="text-align:left"
Line 115: Line 114:


{{math_theorem|If <math>k</math> <math>\geq</math> <math>\lceil</math> <math>(1 - H(p + \epsilon)n)</math> <math>\rceil</math> then the following is true for every [[Code|encoding]] and [[Code|decoding]] function <math>E</math>: <math>\{0,1\}^k</math> <math>\rightarrow</math> <math>\{0,1\}^n</math> and <math>D</math>: <math>\{0,1\}^{n}</math> <math>\rightarrow</math> <math>\{0,1\}^{k}</math> respectively: <math>\Pr_{e \in \text{BSC}_p}</math>[<math>D(E(m) + e)</math> <math>\neq</math> <math>m]</math> <math>\geq</math> <math>\frac{1}{2}</math>.}}
{{math_theorem|If <math>k</math> <math>\geq</math> <math>\lceil</math> <math>(1 - H(p + \epsilon)n)</math> <math>\rceil</math> then the following is true for every [[Code|encoding]] and [[Code|decoding]] function <math>E</math>: <math>\{0,1\}^k</math> <math>\rightarrow</math> <math>\{0,1\}^n</math> and <math>D</math>: <math>\{0,1\}^{n}</math> <math>\rightarrow</math> <math>\{0,1\}^{k}</math> respectively: <math>\Pr_{e \in \text{BSC}_p}</math>[<math>D(E(m) + e)</math> <math>\neq</math> <math>m]</math> <math>\geq</math> <math>\frac{1}{2}</math>.}}
चूंकि प्रमाण के पीछे का अंतर्ज्ञान त्रुटियों की संख्या को तेजी से बढ़ने के लिए दिखा रहा है क्योंकि दर चैनल क्षमता से परे बढ़ती है। विचार यह है कि प्रेषक आयाम के संदेश उत्पन्न करता है <math>k</math>, जबकि चैनल <math>\text{BSC}_p</math> संचरण त्रुटियों का परिचय देता है। जब चैनल की क्षमता है <math>H(p)</math>, त्रुटियों की संख्या सामान्यतः होती है <math>2^{H(p + \epsilon)n}</math> ब्लॉक लंबाई के एक कोड के लिए <math>n</math>. संदेशों की अधिकतम संख्या है <math>2^{k}</math>. दूसरी ओर चैनल का आउटपुट है <math>2^{n}</math> संभावित मान। यदि किन्हीं दो संदेशों के बीच कोई भ्रम है, तो संभावना है कि <math>2^{k}2^{H(p + \epsilon)n} \ge 2^{n}</math>. इसलिए हमारे पास होगा <math>k \geq \lceil (1 - H(p + \epsilon)n) \rceil</math>, एक ऐसा स्थिति जिससे हम डिकोडिंग त्रुटि संभावना को घातीय रूप से छोटा रखने से बचना चाहेंगे।
चूंकि प्रमाण के पीछे का अंतर्ज्ञान त्रुटियों की संख्या को तेजी से बढ़ने के लिए दिखा रहा है क्योंकि दर चैनल क्षमता से परे बढ़ती है। विचार यह है कि प्रेषक आयाम के संदेश उत्पन्न करता है <math>k</math>, जबकि चैनल <math>\text{BSC}_p</math> संचरण त्रुटियों का परिचय देता है। जब चैनल की क्षमता है <math>H(p)</math>, त्रुटियों की संख्या सामान्यतः होती है <math>2^{H(p + \epsilon)n}</math> ब्लॉक लंबाई के कोड के लिए <math>n</math>. संदेशों की अधिकतम संख्या है <math>2^{k}</math>. दूसरी ओर चैनल का आउटपुट है <math>2^{n}</math> संभावित मान। यदि किन्हीं दो संदेशों के बीच कोई भ्रम है, तो संभावना है कि <math>2^{k}2^{H(p + \epsilon)n} \ge 2^{n}</math>. इसलिए हमारे पास होगा <math>k \geq \lceil (1 - H(p + \epsilon)n) \rceil</math>, ऐसा स्थिति जिससे हम डिकोडिंग त्रुटि संभावना को घातीय रूप से छोटा रखने से बचना चाहेंगे।


== कोड ==
== कोड ==
हाल ही में, कई मानक संचार चैनलों की क्षमताओं को प्राप्त करने के लिए स्पष्ट त्रुटि-सुधार कोड डिजाइन करने के लिए बहुत काम किया गया है और किया जा रहा है। इस तरह के कोड को डिजाइन करने के पीछे की प्रेरणा कोड की दर को त्रुटियों के अंश से संबंधित करना है जिसे वह ठीक कर सकता है।
हाल ही में, कई मानक संचार चैनलों की क्षमताओं को प्राप्त करने के लिए स्पष्ट त्रुटि-सुधार कोड डिजाइन करने के लिए बहुत काम किया गया है और किया जा रहा है। इस तरह के कोड को डिजाइन करने के पीछे की प्रेरणा कोड की दर को त्रुटियों के अंश से संबंधित करना है जिसे वह ठीक कर सकता है।


कोड के डिजाइन के पीछे का दृष्टिकोण जो चैनल की क्षमता को पूरा करता है <math>\text{BSC}</math> या [[ बाइनरी इरेज़र चैनल ]] <math>\text{BEC}</math> उच्च संभावना के साथ कम संख्या में त्रुटियों को ठीक करना और उच्चतम संभव दर प्राप्त करना रहा है। शैनन का प्रमेय हमें वह सर्वोत्तम दर देता है जिसे प्राप्त किया जा सकता है a <math>\text{BSC}_{p}</math>, लेकिन यह हमें उस दर को प्राप्त करने वाले किसी भी स्पष्ट कोड का विचार नहीं देता है। वास्तव में इस तरह के कोड सामान्यतः त्रुटियों के केवल एक छोटे अंश को उच्च संभावना के साथ सही करने के लिए बनाए जाते हैं, लेकिन बहुत अच्छी दर प्राप्त करते हैं। इस तरह का पहला कोड 1966 में जॉर्ज डी. फॉर्नी के कारण था। कोड दो अलग-अलग प्रकार के कोडों को जोड़कर एक जुड़ा हुआ कोड है।
कोड के डिजाइन के पीछे का दृष्टिकोण जो चैनल की क्षमता को पूरा करता है <math>\text{BSC}</math> या [[ बाइनरी इरेज़र चैनल |बाइनरी इरेज़र चैनल]] <math>\text{BEC}</math> उच्च संभावना के साथ कम संख्या में त्रुटियों को ठीक करना और उच्चतम संभव दर प्राप्त करना रहा है। शैनन का प्रमेय हमें वह सर्वोत्तम दर देता है जिसे प्राप्त किया जा सकता है a <math>\text{BSC}_{p}</math>, लेकिन यह हमें उस दर को प्राप्त करने वाले किसी भी स्पष्ट कोड का विचार नहीं देता है। वास्तव में इस तरह के कोड सामान्यतः त्रुटियों के केवल छोटे अंश को उच्च संभावना के साथ सही करने के लिए बनाए जाते हैं, लेकिन बहुत अच्छी दर प्राप्त करते हैं। इस तरह का पहला कोड 1966 में जॉर्ज डी. फॉर्नी के कारण था। कोड दो अलग-अलग प्रकार के कोडों को जोड़कर जुड़ा हुआ कोड है।


=== फ़ॉर्नी का कोड ===
=== फ़ॉर्नी का कोड ===


फोर्नी ने एक समेकित कोड बनाया <math>C^{*} = C_\text{out} \circ C_\text{in}</math> शोर-चैनल कोडिंग प्रमेय की क्षमता प्राप्त करने के लिए <math>\text{BSC}_p</math>. उनके कोड में,
फोर्नी ने समेकित कोड बनाया <math>C^{*} = C_\text{out} \circ C_\text{in}</math> शोर-चैनल कोडिंग प्रमेय की क्षमता प्राप्त करने के लिए <math>\text{BSC}_p</math>. उनके कोड में,


* बाहरी कोड <math>C_\text{out}</math> ब्लॉक लंबाई का एक कोड है <math>N</math> और दर <math>1-\frac{\epsilon}{2}</math> मैदान के ऊपर <math>F_{2^k}</math>, और <math>k = O(\log N)</math>. इसके अतिरिक्त, हमारे पास एक [[ कोड ]] एल्गोरिथम है <math>D_\text{out}</math> के लिए <math>C_\text{out}</math> तक ठीक किया जा सकता है <math>\gamma</math> सबसे खराब स्थिति त्रुटियों का अंश और में चलता है <math>t_\text{out}(N)</math> समय।
* बाहरी कोड <math>C_\text{out}</math> ब्लॉक लंबाई का कोड है <math>N</math> और दर <math>1-\frac{\epsilon}{2}</math> मैदान के ऊपर <math>F_{2^k}</math>, और <math>k = O(\log N)</math>. इसके अतिरिक्त, हमारे पास [[ कोड |कोड]] एल्गोरिथम है <math>D_\text{out}</math> के लिए <math>C_\text{out}</math> तक ठीक किया जा सकता है <math>\gamma</math> सबसे खराब स्थिति त्रुटियों का अंश और में चलता है <math>t_\text{out}(N)</math> समय।
* आंतरिक कोड <math>C_\text{in}</math> ब्लॉक लंबाई का एक कोड है <math>n</math>, आयाम <math>k</math>, और की दर <math>1 - H(p) - \frac{\epsilon}{2}</math>. इसके अतिरिक्त, हमारे पास एक डिकोडिंग एल्गोरिदम है <math>D_\text{in}</math> के लिए <math>C_\text{in}</math> अधिकतम कोड त्रुटि संभावना के साथ <math>\frac{\gamma}{2}</math> ऊपर <math>\text{BSC}_p</math> और अंदर दौड़ता है <math>t_\text{in}(N)</math> समय।
* आंतरिक कोड <math>C_\text{in}</math> ब्लॉक लंबाई का कोड है <math>n</math>, आयाम <math>k</math>, और की दर <math>1 - H(p) - \frac{\epsilon}{2}</math>. इसके अतिरिक्त, हमारे पास डिकोडिंग एल्गोरिदम है <math>D_\text{in}</math> के लिए <math>C_\text{in}</math> अधिकतम कोड त्रुटि संभावना के साथ <math>\frac{\gamma}{2}</math> ऊपर <math>\text{BSC}_p</math> और अंदर दौड़ता है <math>t_\text{in}(N)</math> समय।
   
   
बाहरी कोड के लिए <math>C_\text{out}</math>रीड-सोलोमन कोड दिमाग में आने वाला पहला कोड होता। चूंकि, हम देखेंगे कि ऐसे कोड का निर्माण बहुपद समय में नहीं किया जा सकता है। यही कारण है कि एक [[ बाइनरी रैखिक कोड ]] का उपयोग किया जाता है <math>C_\text{out}</math>.
बाहरी कोड के लिए <math>C_\text{out}</math>रीड-सोलोमन कोड दिमाग में आने वाला पहला कोड होता। चूंकि, हम देखेंगे कि ऐसे कोड का निर्माण बहुपद समय में नहीं किया जा सकता है। यही कारण है कि [[ बाइनरी रैखिक कोड |बाइनरी रैखिक कोड]] का उपयोग किया जाता है <math>C_\text{out}</math>.


आंतरिक कोड के लिए <math>C_\text{in}</math> ब्लॉक लंबाई के [[ रैखिक कोड ]] से पूरी तरह से खोज कर हम एक रैखिक कोड पाते हैं <math>n</math> और आयाम <math>k</math>, जिसकी दर क्षमता को पूरा करती है <math>\text{BSC}_p</math>शोर-चैनल कोडिंग प्रमेय द्वारा।
आंतरिक कोड के लिए <math>C_\text{in}</math> ब्लॉक लंबाई के [[ रैखिक कोड |रैखिक कोड]] से पूरी तरह से खोज कर हम रैखिक कोड पाते हैं <math>n</math> और आयाम <math>k</math>, जिसकी दर क्षमता को पूरा करती है <math>\text{BSC}_p</math>शोर-चैनल कोडिंग प्रमेय द्वारा।


दर <math>R(C^{*}) = R(C_\text{in}) \times R(C_\text{out}) = (1-\frac{\epsilon}{2}) ( 1 - H(p) - \frac{\epsilon}{2} ) \geq 1 - H(p)-\epsilon</math> जो लगभग मिलता है <math>\text{BSC}_p</math> क्षमता। हम आगे ध्यान दें कि एन्कोडिंग और डिकोडिंग <math>C^{*}</math> के संबंध में बहुपद समय में किया जा सकता है <math>N</math>. वास्तव में, एन्कोडिंग <math>C^{*}</math> समय लेता है <math>O(N^{2})+O(Nk^{2}) = O(N^{2})</math>. इसके अतिरिक्त, वर्णित डिकोडिंग एल्गोरिदम में समय लगता है <math>Nt_\text{in}(k) + t_\text{out}(N) = N^{O(1)} </math> जब तक कि <math>t_\text{out}(N) = N^{O(1)}</math>; और <math>t_\text{in}(k) = 2^{O(k)}</math>.
दर <math>R(C^{*}) = R(C_\text{in}) \times R(C_\text{out}) = (1-\frac{\epsilon}{2}) ( 1 - H(p) - \frac{\epsilon}{2} ) \geq 1 - H(p)-\epsilon</math> जो लगभग मिलता है <math>\text{BSC}_p</math> क्षमता। हम आगे ध्यान दें कि एन्कोडिंग और डिकोडिंग <math>C^{*}</math> के संबंध में बहुपद समय में किया जा सकता है <math>N</math>. वास्तव में, एन्कोडिंग <math>C^{*}</math> समय लेता है <math>O(N^{2})+O(Nk^{2}) = O(N^{2})</math>. इसके अतिरिक्त, वर्णित डिकोडिंग एल्गोरिदम में समय लगता है <math>Nt_\text{in}(k) + t_\text{out}(N) = N^{O(1)} </math> जब तक कि <math>t_\text{out}(N) = N^{O(1)}</math>; और <math>t_\text{in}(k) = 2^{O(k)}</math>.


==== डिकोडिंग त्रुटि संभावना ====
==== डिकोडिंग त्रुटि संभावना ====


के लिए एक प्राकृतिक डिकोडिंग एल्गोरिदम <math>C^{*}</math> है:
के लिए प्राकृतिक डिकोडिंग एल्गोरिदम <math>C^{*}</math> है:


* मान लीजिए <math>y_{i}^{\prime} = D_\text{in}(y_i), \quad i \in (0, N)</math> * अमल में लाना <math>D_\text{out}</math> पर <math>y^{\prime} = (y_1^{\prime} \ldots y_N^{\prime})</math>
* मान लीजिए <math>y_{i}^{\prime} = D_\text{in}(y_i), \quad i \in (0, N)</math> * अमल में लाना <math>D_\text{out}</math> पर <math>y^{\prime} = (y_1^{\prime} \ldots y_N^{\prime})</math>
ध्यान दें कि कोड के प्रत्येक ब्लॉक के लिए <math>C_\text{in}</math> का प्रतीक माना जाता है <math>C_\text{out}</math>. अब किसी भी सूचकांक में त्रुटि की संभावना के बाद से <math>i</math> के लिए <math>D_\text{in}</math> अधिक से अधिक है <math>\tfrac{\gamma}{2}</math> और त्रुटियों में <math>\text{BSC}_p</math> स्वतंत्र हैं, त्रुटियों की अपेक्षित संख्या <math>D_\text{in}</math> अधिक से अधिक है <math>\tfrac{\gamma N}{2}</math> अपेक्षा की रैखिकता से। अब [[ Chernoff बाध्य ]] लगाने पर, हमारे पास बाउंड एरर प्रायिकता से अधिक है <math>\gamma N</math> होने वाली त्रुटियां <math>e^\frac{-\gamma N}{6}</math>. बाहरी कोड के बाद से <math>C_\text{out}</math> ज्यादा से ज्यादा ठीक कर सकते हैं <math>\gamma N</math> त्रुटियां, यह कोड त्रुटि की संभावना है <math>C^{*}</math>. यह जब स्पर्शोन्मुख शब्दों में व्यक्त किया जाता है, तो हमें त्रुटि की संभावना मिलती है <math>2^{-\Omega(\gamma N)}</math>. इस प्रकार प्राप्त डिकोडिंग त्रुटि की संभावना <math>C^{*}</math> शोर-चैनल कोडिंग प्रमेय के रूप में चरघातांकी रूप से छोटा है।
ध्यान दें कि कोड के प्रत्येक ब्लॉक के लिए <math>C_\text{in}</math> का प्रतीक माना जाता है <math>C_\text{out}</math>. अब किसी भी सूचकांक में त्रुटि की संभावना के बाद से <math>i</math> के लिए <math>D_\text{in}</math> अधिक से अधिक है <math>\tfrac{\gamma}{2}</math> और त्रुटियों में <math>\text{BSC}_p</math> स्वतंत्र हैं, त्रुटियों की अपेक्षित संख्या <math>D_\text{in}</math> अधिक से अधिक है <math>\tfrac{\gamma N}{2}</math> अपेक्षा की रैखिकता से। अब [[ Chernoff बाध्य |Chernoff बाध्य]] लगाने पर, हमारे पास बाउंड एरर प्रायिकता से अधिक है <math>\gamma N</math> होने वाली त्रुटियां <math>e^\frac{-\gamma N}{6}</math>. बाहरी कोड के बाद से <math>C_\text{out}</math> ज्यादा से ज्यादा ठीक कर सकते हैं <math>\gamma N</math> त्रुटियां, यह कोड त्रुटि की संभावना है <math>C^{*}</math>. यह जब स्पर्शोन्मुख शब्दों में व्यक्त किया जाता है, तो हमें त्रुटि की संभावना मिलती है <math>2^{-\Omega(\gamma N)}</math>. इस प्रकार प्राप्त डिकोडिंग त्रुटि की संभावना <math>C^{*}</math> शोर-चैनल कोडिंग प्रमेय के रूप में चरघातांकी रूप से छोटा है।


हमने निर्माण के लिए एक सामान्य तकनीक दी है <math>C^{*}</math>. अधिक विस्तृत विवरण के लिए <math>C_\text{in}</math> और <math>C_\text{out}</math> कृपया निम्नलिखित संदर्भ पढ़ें। क्षमताओं को प्राप्त करने के लिए हाल ही में कुछ अन्य कोड भी बनाए गए हैं। इस उद्देश्य के लिए [[ एलडीपीसी ]] कोडों को उनके तेजी से डिकोडिंग समय के लिए माना गया है।<ref>Richardson and Urbanke</ref>
हमने निर्माण के लिए सामान्य तकनीक दी है <math>C^{*}</math>. अधिक विस्तृत विवरण के लिए <math>C_\text{in}</math> और <math>C_\text{out}</math> कृपया निम्नलिखित संदर्भ पढ़ें। क्षमताओं को प्राप्त करने के लिए हाल ही में कुछ अन्य कोड भी बनाए गए हैं। इस उद्देश्य के लिए [[ एलडीपीसी |एलडीपीसी]] कोडों को उनके तेजी से डिकोडिंग समय के लिए माना गया है।<ref>Richardson and Urbanke</ref>




== अनुप्रयोग ==
== अनुप्रयोग ==
बाइनरी सममित चैनल मेमोरी स्टोरेज के लिए उपयोग किए जाने वाले डिस्क ड्राइव को मॉडल कर सकता है: चैनल इनपुट डिस्क पर लिखे जाने वाले बिट का प्रतिनिधित्व करता है और आउटपुट बाद में पढ़े जाने वाले बिट से मेल खाता है। मैग्नेटाइजेशन फ़्लिपिंग, बैकग्राउंड नॉइज़ या राइटिंग हेड द्वारा त्रुटि करने से त्रुटि उत्पन्न हो सकती है। अन्य वस्तुएं जो बाइनरी सममित चैनल मॉडल कर सकती हैं उनमें एक टेलीफोन या रेडियो संचार लाइन या [[ कोशिका विभाजन ]] सम्मलित है, जिसमें से बेटी कोशिकाओं में उनके मूल सेल से [[ डीएनए ]] की जानकारी होती है।{{sfnp|MacKay|2003|p=3–4}}
बाइनरी सममित चैनल मेमोरी स्टोरेज के लिए उपयोग किए जाने वाले डिस्क ड्राइव को मॉडल कर सकता है: चैनल इनपुट डिस्क पर लिखे जाने वाले बिट का प्रतिनिधित्व करता है और आउटपुट बाद में पढ़े जाने वाले बिट से मेल खाता है। मैग्नेटाइजेशन फ़्लिपिंग, बैकग्राउंड नॉइज़ या राइटिंग हेड द्वारा त्रुटि करने से त्रुटि उत्पन्न हो सकती है। अन्य वस्तुएं जो बाइनरी सममित चैनल मॉडल कर सकती हैं उनमें टेलीफोन या रेडियो संचार लाइन या [[ कोशिका विभाजन |कोशिका विभाजन]] सम्मलित है, जिसमें से बेटी कोशिकाओं में उनके मूल सेल से [[ डीएनए |डीएनए]] की जानकारी होती है।{{sfnp|MacKay|2003|p=3–4}}
यह चैनल अधिकांशतः सिद्धांतकारों द्वारा प्रयोग किया जाता है क्योंकि यह विश्लेषण करने के लिए सबसे सरल [[ सिग्नल शोर ]] चैनलों में से एक है। [[ संचार सिद्धांत ]] में कई समस्याएं बीएससी में [[ कमी (जटिलता) ]] हो सकती हैं। इसके विपरीत, बीएससी पर प्रभावी ढंग से संचारित करने में सक्षम होने से अधिक जटिल चैनलों के समाधान में वृद्धि हो सकती है।
यह चैनल अधिकांशतः सिद्धांतकारों द्वारा प्रयोग किया जाता है क्योंकि यह विश्लेषण करने के लिए सबसे सरल [[ सिग्नल शोर |सिग्नल शोर]] चैनलों में से है। [[ संचार सिद्धांत |संचार सिद्धांत]] में कई समस्याएं बीएससी में [[ कमी (जटिलता) |कमी (जटिलता)]] हो सकती हैं। इसके विपरीत, बीएससी पर प्रभावी ढंग से संचारित करने में सक्षम होने से अधिक जटिल चैनलों के समाधान में वृद्धि हो सकती है।


== यह भी देखें ==
== यह भी देखें ==
Line 155: Line 154:
{{reflist}}
{{reflist}}


==इस पेज में लापता आंतरिक लिंक की सूची==
*अनियमित परिवर्तनशील वस्तु
*जुड़ा हुआ कोड
== संदर्भ ==
== संदर्भ ==
* {{cite book |first1=Thomas M. |last1=Cover |first2=Joy A. |last2=Thomas |title=Elements of Information Theory |publisher=Wiley |location=Hoboken, New Jersey |isbn=978-0-471-24195-9|year=1991 }}
* {{cite book |first1=Thomas M. |last1=Cover |first2=Joy A. |last2=Thomas |title=Elements of Information Theory |publisher=Wiley |location=Hoboken, New Jersey |isbn=978-0-471-24195-9|year=1991 }}
Line 166: Line 159:
* Venkat Guruswamy's course on [https://archive.today/20121215055356/http://www.cs.washington.edu/education/courses/533/06au/] Error-Correcting Codes: Constructions and Algorithms], Autumn 2006.
* Venkat Guruswamy's course on [https://archive.today/20121215055356/http://www.cs.washington.edu/education/courses/533/06au/] Error-Correcting Codes: Constructions and Algorithms], Autumn 2006.
* {{cite book |last=MacKay|first=David J.C. |author-link=David J. C. MacKay|url=http://www.inference.phy.cam.ac.uk/mackay/itila/book.html|title=Information Theory, Inference, and Learning Algorithms|publisher=Cambridge University Press|year=2003|isbn=0-521-64298-1}}
* {{cite book |last=MacKay|first=David J.C. |author-link=David J. C. MacKay|url=http://www.inference.phy.cam.ac.uk/mackay/itila/book.html|title=Information Theory, Inference, and Learning Algorithms|publisher=Cambridge University Press|year=2003|isbn=0-521-64298-1}}
* Atri Rudra's course on Error Correcting Codes: Combinatorics, Algorithms, and Applications (Fall 2007), Lectures [https://web.archive.org/web/20131108081414/http://www.cse.buffalo.edu/~atri/courses/coding-theory/lectures/lect9.pdf 9], [https://web.archive.org/web/20130911140759/http://www.cse.buffalo.edu/~atri/courses/coding-theory/lectures/lect10.pdf 10], [https://web.archive.org/web/20131108082917/http://www.cse.buffalo.edu/~atri/courses/coding-theory/lectures/lect29.pdf 29], and [https://web.archive.org/web/20131108082922/http://www.cse.buffalo.edu/~atri/courses/coding-theory/lectures/lect30.pdf 30].
* Atri Rudra's course on Error Correcting Codes: Combinatorics, Algorithms, and Applications (Fall 2007), Lectures [https://web.archive.org/web/20131108081414/http://www.cse.buffalo.edu/~atri/courses/coding-theory/lectures/lect9.pdf 9], [https://web.archive.org/web/20130911140759/http://www.cse.buffalo.edu/~atri/courses/coding-theory/lectures/lect10.pdf 10], [https://web.archive.org/web/20131108082917/http://www.cse.buffalo.edu/~atri/courses/coding-theory/lectures/lect29.pdf 29], and [https://web.archive.org/web/20131108082922/http://www.cse.buffalo.edu/~atri/courses/coding-theory/lectures/lect30.pdf 30].
* Madhu Sudan's course on Algorithmic Introduction to Coding Theory (Fall 2001), Lecture [http://people.csail.mit.edu/madhu/FT01/scribe/lect1.ps 1] and [http://people.csail.mit.edu/madhu/FT01/scribe/lect2.ps 2].  
* Madhu Sudan's course on Algorithmic Introduction to Coding Theory (Fall 2001), Lecture [http://people.csail.mit.edu/madhu/FT01/scribe/lect1.ps 1] and [http://people.csail.mit.edu/madhu/FT01/scribe/lect2.ps 2].  
* [http://portal.acm.org/citation.cfm?id=584093 A mathematical theory of communication] C. E Shannon, ACM SIGMOBILE Mobile Computing and Communications Review.
* [http://portal.acm.org/citation.cfm?id=584093 A mathematical theory of communication] C. E Shannon, ACM SIGMOBILE Mobile Computing and Communications Review.
* [http://assets.cambridge.org/97805218/52296/copyright/9780521852296_copyright_info.pdf Modern Coding Theory] by Tom Richardson and Rudiger Urbanke., Cambridge University Press
* [http://assets.cambridge.org/97805218/52296/copyright/9780521852296_copyright_info.pdf Modern Coding Theory] by Tom Richardson and Rudiger Urbanke., Cambridge University Press
[[श्रेणी: कोडिंग सिद्धांत]]


[[Category: Machine Translated Page]]
[[Category: Machine Translated Page]]
[[Category:Created On 02/01/2023]]
[[Category:Created On 02/01/2023]]

Revision as of 22:00, 14 January 2023

एक द्विआधारी सममित चैनल (या BSCp) सामान्य संचार चैनल मॉडल है जिसका उपयोग कोडिंग सिद्धांत और सूचना सिद्धांत में किया जाता है। इस मॉडल में, ट्रांसमीटर अंश (एक शून्य या एक) भेजना चाहता है, और रिसीवर थोड़ा प्राप्त करेगा। बिट को 'पी' की क्रॉसओवर संभावना के साथ फ़्लिप किया जाएगा, और अन्यथा सही ढंग से प्राप्त किया जाएगा। यह मॉडल विभिन्न संचार चैनलों जैसे कि टेलीफोन लाइन या डिस्क ड्राइव स्टोरेज पर लागू किया जा सकता है।

शोर-चैनल कोडिंग प्रमेय BSC पर लागू होता हैp, यह कहते हुए कि सूचना को मनमाने ढंग से कम त्रुटि के साथ चैनल क्षमता तक किसी भी दर पर प्रसारित किया जा सकता है। चैनल क्षमता है बिट्स, कहाँ बाइनरी एन्ट्रापी फ़ंक्शन है। फ़ॉर्नी के कोड सहित कोड पूरे चैनल में कुशलतापूर्वक सूचना प्रसारित करने के लिए डिज़ाइन किए गए हैं।

परिभाषा

Binary symmetric channel
ट्रांसमिशन माध्यम में शोर के कारण, बाइनरी सममित चैनल संभाव्यता 1-पी के साथ सही ढंग से प्रेषित संदेश के प्रत्येक बिट को देखता है और संभावना पी के साथ गलत तरीके से देखता है।

क्रॉसओवर प्रायिकता वाला बाइनरी सममित चैनल , BSC द्वारा चिह्नितp, बाइनरी इनपुट और बाइनरी आउटपुट और त्रुटि की संभावना वाला चैनल है . अतिरिक्त यदि संचरित यादृच्छिक चर है और प्राप्त चर, तो चैनल सशर्त संभाव्यता की विशेषता है:[1]

यह मान लिया है कि . यदि , तो रिसीवर आउटपुट स्वैप कर सकता है (1 की व्याख्या जब यह 0 देखता है, और इसके विपरीत) और क्रॉसओवर संभावना के साथ समकक्ष चैनल प्राप्त करता है .

क्षमता

बाइनरी सिमेट्रिक चैनल की चैनल क्षमता, बिट्स में है:[2]

कहां बाइनरी एंट्रॉपी फ़ंक्शन है, जिसे परिभाषित किया गया है:[2]


शोर-चैनल कोडिंग प्रमेय

शैनन का शोर-चैनल कोडिंग प्रमेय उस सूचना की दर के बारे में परिणाम देता है जिसे संचार चैनल के माध्यम से मनमाने ढंग से कम त्रुटि के साथ प्रेषित किया जा सकता है। हम के विशेष स्थितिे का अध्ययन करते हैं .

शोर यह विशेषता है यादृच्छिक चर है जिसमें n स्वतंत्र यादृच्छिक बिट्स होते हैं (n को नीचे परिभाषित किया गया है) जहां प्रत्येक यादृच्छिक बिट है संभावना के साथ और ए संभावना के साथ . हम इसे लिखकर इंगित करते हैं.

Theorem — For all all , all sufficiently large (depending on and ), and all , there exists a pair of encoding and decoding functions and respectively, such that every message has the following property:

.

इस प्रमेय का वास्तव में क्या अर्थ है, संदेश जब से चुना जाता है , यादृच्छिक एन्कोडिंग फ़ंक्शन के साथ एन्कोड किया गया , और शोर के पार भेजा गया डिकोडिंग द्वारा मूल संदेश को पुनर्प्राप्त करने की बहुत अधिक संभावना है, यदि या प्रभाव में चैनल की दर प्रमेय में बताई गई मात्रा से बंधी होती है। डिकोडिंग त्रुटि की संभावना घातीय रूप से छोटी है।

प्रमाण

प्रमेय को सीधे संभाव्य विधि से सिद्ध किया जा सकता है। एन्कोडिंग फ़ंक्शन पर विचार करें जिसे यादृच्छिक रूप से चुना जाता है। इसका मतलब है कि प्रत्येक संदेश के लिए , महत्व यादृच्छिक रूप से (समान संभावनाओं के साथ) चुना जाता है। किसी दिए गए एन्कोडिंग फ़ंक्शन के लिए , डिकोडिंग फ़ंक्शन निम्नानुसार निर्दिष्ट किया गया है: कोई भी प्राप्त कोडवर्ड दिया गया है , हम संदेश पाते हैं ऐसा हैमिंग दूरी जितना संभव हो उतना छोटा है (मनमाने ढंग से तोड़े गए संबंधों के साथ)। ( डिकोडिंग विधियाँ # अधिकतम संभावना डिकोडिंग फ़ंक्शन कहा जाता है।)

कम से कम ऐसा विकल्प दिखा कर प्रमाण जारी है संभावनाओं पर एकीकरण द्वारा, प्रमेय के निष्कर्ष को संतुष्ट करता है। मान लीजिए और फिक्स किए गए हैं। पहले हम दिखाते हैं कि, निश्चित के लिए और यादृच्छिक रूप से चुना गया, विफलता की संभावना खत्म हो गई एन में शोर घातीय रूप से छोटा है। इस बिंदु पर, प्रमाण निश्चित संदेश के लिए कार्य करता है . आगे हम इस परिणाम को सभी संदेशों के लिए काम करने के लिए विस्तारित करते हैं . हम कोड से आधे कोडवर्ड को इस तर्क के साथ हटाकर इसे प्राप्त करते हैं कि डिकोडिंग त्रुटि संभावना के लिए प्रमाण कम से कम आधे कोडवर्ड के लिए होता है। बाद वाली विधि को निष्कासन कहा जाता है। यह संपूर्ण प्रक्रिया को निष्कासन के साथ यादृच्छिक कोडिंग का नाम देता है।


शैनन की क्षमता प्रमेय का विलोम

क्षमता प्रमेय का विलोम अनिवार्य रूप से यह बताता है सर्वोत्तम दर है जिसे कोई बाइनरी सिमेट्रिक चैनल पर प्राप्त कर सकता है। औपचारिक रूप से प्रमेय कहता है:

Theorem — If then the following is true for every encoding and decoding function : and : respectively: [ .

चूंकि प्रमाण के पीछे का अंतर्ज्ञान त्रुटियों की संख्या को तेजी से बढ़ने के लिए दिखा रहा है क्योंकि दर चैनल क्षमता से परे बढ़ती है। विचार यह है कि प्रेषक आयाम के संदेश उत्पन्न करता है , जबकि चैनल संचरण त्रुटियों का परिचय देता है। जब चैनल की क्षमता है , त्रुटियों की संख्या सामान्यतः होती है ब्लॉक लंबाई के कोड के लिए . संदेशों की अधिकतम संख्या है . दूसरी ओर चैनल का आउटपुट है संभावित मान। यदि किन्हीं दो संदेशों के बीच कोई भ्रम है, तो संभावना है कि . इसलिए हमारे पास होगा , ऐसा स्थिति जिससे हम डिकोडिंग त्रुटि संभावना को घातीय रूप से छोटा रखने से बचना चाहेंगे।

कोड

हाल ही में, कई मानक संचार चैनलों की क्षमताओं को प्राप्त करने के लिए स्पष्ट त्रुटि-सुधार कोड डिजाइन करने के लिए बहुत काम किया गया है और किया जा रहा है। इस तरह के कोड को डिजाइन करने के पीछे की प्रेरणा कोड की दर को त्रुटियों के अंश से संबंधित करना है जिसे वह ठीक कर सकता है।

कोड के डिजाइन के पीछे का दृष्टिकोण जो चैनल की क्षमता को पूरा करता है या बाइनरी इरेज़र चैनल उच्च संभावना के साथ कम संख्या में त्रुटियों को ठीक करना और उच्चतम संभव दर प्राप्त करना रहा है। शैनन का प्रमेय हमें वह सर्वोत्तम दर देता है जिसे प्राप्त किया जा सकता है a , लेकिन यह हमें उस दर को प्राप्त करने वाले किसी भी स्पष्ट कोड का विचार नहीं देता है। वास्तव में इस तरह के कोड सामान्यतः त्रुटियों के केवल छोटे अंश को उच्च संभावना के साथ सही करने के लिए बनाए जाते हैं, लेकिन बहुत अच्छी दर प्राप्त करते हैं। इस तरह का पहला कोड 1966 में जॉर्ज डी. फॉर्नी के कारण था। कोड दो अलग-अलग प्रकार के कोडों को जोड़कर जुड़ा हुआ कोड है।

फ़ॉर्नी का कोड

फोर्नी ने समेकित कोड बनाया शोर-चैनल कोडिंग प्रमेय की क्षमता प्राप्त करने के लिए . उनके कोड में,

  • बाहरी कोड ब्लॉक लंबाई का कोड है और दर मैदान के ऊपर , और . इसके अतिरिक्त, हमारे पास कोड एल्गोरिथम है के लिए तक ठीक किया जा सकता है सबसे खराब स्थिति त्रुटियों का अंश और में चलता है समय।
  • आंतरिक कोड ब्लॉक लंबाई का कोड है , आयाम , और की दर . इसके अतिरिक्त, हमारे पास डिकोडिंग एल्गोरिदम है के लिए अधिकतम कोड त्रुटि संभावना के साथ ऊपर और अंदर दौड़ता है समय।

बाहरी कोड के लिए रीड-सोलोमन कोड दिमाग में आने वाला पहला कोड होता। चूंकि, हम देखेंगे कि ऐसे कोड का निर्माण बहुपद समय में नहीं किया जा सकता है। यही कारण है कि बाइनरी रैखिक कोड का उपयोग किया जाता है .

आंतरिक कोड के लिए ब्लॉक लंबाई के रैखिक कोड से पूरी तरह से खोज कर हम रैखिक कोड पाते हैं और आयाम , जिसकी दर क्षमता को पूरा करती है शोर-चैनल कोडिंग प्रमेय द्वारा।

दर जो लगभग मिलता है क्षमता। हम आगे ध्यान दें कि एन्कोडिंग और डिकोडिंग के संबंध में बहुपद समय में किया जा सकता है . वास्तव में, एन्कोडिंग समय लेता है . इसके अतिरिक्त, वर्णित डिकोडिंग एल्गोरिदम में समय लगता है जब तक कि ; और .

डिकोडिंग त्रुटि संभावना

के लिए प्राकृतिक डिकोडिंग एल्गोरिदम है:

  • मान लीजिए * अमल में लाना पर

ध्यान दें कि कोड के प्रत्येक ब्लॉक के लिए का प्रतीक माना जाता है . अब किसी भी सूचकांक में त्रुटि की संभावना के बाद से के लिए अधिक से अधिक है और त्रुटियों में स्वतंत्र हैं, त्रुटियों की अपेक्षित संख्या अधिक से अधिक है अपेक्षा की रैखिकता से। अब Chernoff बाध्य लगाने पर, हमारे पास बाउंड एरर प्रायिकता से अधिक है होने वाली त्रुटियां . बाहरी कोड के बाद से ज्यादा से ज्यादा ठीक कर सकते हैं त्रुटियां, यह कोड त्रुटि की संभावना है . यह जब स्पर्शोन्मुख शब्दों में व्यक्त किया जाता है, तो हमें त्रुटि की संभावना मिलती है . इस प्रकार प्राप्त डिकोडिंग त्रुटि की संभावना शोर-चैनल कोडिंग प्रमेय के रूप में चरघातांकी रूप से छोटा है।

हमने निर्माण के लिए सामान्य तकनीक दी है . अधिक विस्तृत विवरण के लिए और कृपया निम्नलिखित संदर्भ पढ़ें। क्षमताओं को प्राप्त करने के लिए हाल ही में कुछ अन्य कोड भी बनाए गए हैं। इस उद्देश्य के लिए एलडीपीसी कोडों को उनके तेजी से डिकोडिंग समय के लिए माना गया है।[4]


अनुप्रयोग

बाइनरी सममित चैनल मेमोरी स्टोरेज के लिए उपयोग किए जाने वाले डिस्क ड्राइव को मॉडल कर सकता है: चैनल इनपुट डिस्क पर लिखे जाने वाले बिट का प्रतिनिधित्व करता है और आउटपुट बाद में पढ़े जाने वाले बिट से मेल खाता है। मैग्नेटाइजेशन फ़्लिपिंग, बैकग्राउंड नॉइज़ या राइटिंग हेड द्वारा त्रुटि करने से त्रुटि उत्पन्न हो सकती है। अन्य वस्तुएं जो बाइनरी सममित चैनल मॉडल कर सकती हैं उनमें टेलीफोन या रेडियो संचार लाइन या कोशिका विभाजन सम्मलित है, जिसमें से बेटी कोशिकाओं में उनके मूल सेल से डीएनए की जानकारी होती है।[5] यह चैनल अधिकांशतः सिद्धांतकारों द्वारा प्रयोग किया जाता है क्योंकि यह विश्लेषण करने के लिए सबसे सरल सिग्नल शोर चैनलों में से है। संचार सिद्धांत में कई समस्याएं बीएससी में कमी (जटिलता) हो सकती हैं। इसके विपरीत, बीएससी पर प्रभावी ढंग से संचारित करने में सक्षम होने से अधिक जटिल चैनलों के समाधान में वृद्धि हो सकती है।

यह भी देखें

टिप्पणियाँ

  1. MacKay (2003), p. 4.
  2. 2.0 2.1 MacKay (2003), p. 15.
  3. Cover & Thomas (1991), p. 187.
  4. Richardson and Urbanke
  5. MacKay (2003), p. 3–4.

संदर्भ

  • Cover, Thomas M.; Thomas, Joy A. (1991). Elements of Information Theory. Hoboken, New Jersey: Wiley. ISBN 978-0-471-24195-9.
  • G. David Forney. Concatenated Codes. MIT Press, Cambridge, MA, 1966.
  • Venkat Guruswamy's course on [1] Error-Correcting Codes: Constructions and Algorithms], Autumn 2006.
  • MacKay, David J.C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press. ISBN 0-521-64298-1.
  • Atri Rudra's course on Error Correcting Codes: Combinatorics, Algorithms, and Applications (Fall 2007), Lectures 9, 10, 29, and 30.
  • Madhu Sudan's course on Algorithmic Introduction to Coding Theory (Fall 2001), Lecture 1 and 2.
  • A mathematical theory of communication C. E Shannon, ACM SIGMOBILE Mobile Computing and Communications Review.
  • Modern Coding Theory by Tom Richardson and Rudiger Urbanke., Cambridge University Press