दर-विरूपण सिद्धांत: Difference between revisions

From Vigyanwiki
(Created page with "{{Information theory}} {{More citations needed|date=March 2012}} दर-विरूपण सिद्धांत सूचना सिद्धांत की ए...")
 
 
(6 intermediate revisions by 3 users not shown)
Line 1: Line 1:
{{Information theory}}


{{More citations needed|date=March 2012}}
'''दर-विरूपण सिद्धांत''' सूचना सिद्धांत की एक प्रमुख शाखा है जो लोसी डेटा कम्प्रेशन के लिए सैद्धांतिक आधार प्रदान करती है, यह दर R द्वारा मापी गई प्रति प्रतीक बिट्स की न्यूनतम संख्या निर्धारित करने की समस्या को संबोधित करती है जिसे एक चैनल पर संचारित किया जाना चाहिए जिससे स्रोत (इनपुट संकेत) को अपेक्षित विरूपण से अधिक हुए बिना रिसीवर (आउटपुट संकेत) पर प्रायः पुनर्निर्मित किया जा सकता है
 
दर-विरूपण सिद्धांत [[सूचना सिद्धांत]] की एक प्रमुख शाखा है जो [[हानिपूर्ण डेटा संपीड़न]] के लिए सैद्धांतिक आधार प्रदान करती है; यह प्रति प्रतीक बिट्स की न्यूनतम संख्या निर्धारित करने की समस्या को संबोधित करता है, जैसा कि ''आर'' दर द्वारा मापा जाता है, जिसे एक चैनल पर संचारित किया जाना चाहिए, ताकि स्रोत (इनपुट सिग्नल) को रिसीवर (आउटपुट) पर लगभग पुनर्निर्मित किया जा सके। सिग्नल) अपेक्षित विरूपण ''डी'' से अधिक के बिना।


== परिचय ==
== परिचय ==
[[File:Rate distortion theory problem setup.svg|thumb|512px|right|दर विरूपण एनकोडर और डिकोडर। एक एनकोडर <math>f_n</math> एक अनुक्रम को एन्कोड करता है <math>X^n</math>. एन्कोडेड अनुक्रम <math>Y^n</math> फिर एक डिकोडर को फीड किया जाता है <math>g_n</math> जो एक अनुक्रम आउटपुट करता है <math>\hat{X}^n</math>. हम मूल अनुक्रम के बीच विकृति को कम करने का प्रयास करते हैं <math>X^n</math> और पुनर्निर्मित अनुक्रम <math>\hat{X}^n</math>.]]दर-विरूपण सिद्धांत एक विश्लेषणात्मक अभिव्यक्ति देता है कि हानिपूर्ण संपीड़न विधियों का उपयोग करके कितना संपीड़न प्राप्त किया जा सकता है। मौजूदा ऑडियो, भाषण, छवि और वीडियो संपीड़न तकनीकों में से कई में परिवर्तन, परिमाणीकरण और [[ अंश ]]-दर आवंटन प्रक्रियाएं हैं जो दर-विरूपण कार्यों के सामान्य आकार का लाभ उठाती हैं।
[[File:Rate distortion theory problem setup.svg|thumb|512px|right|दर विरूपण एनकोडर और डिकोडर। एनकोडर <math>f_n</math> अनुक्रम को एन्कोड करता है <math>X^n</math>. एन्कोडेड अनुक्रम <math>Y^n</math> फिर डिकोडर को फीड किया जाता है <math>g_n</math> जो अनुक्रम आउटपुट करता है <math>\hat{X}^n</math>. हम मूल अनुक्रम के मध्य विकृति को कम करने का प्रयास करते हैं <math>X^n</math> और पुनर्निर्मित अनुक्रम <math>\hat{X}^n</math>.]]इस प्रकार दर-विरूपण सिद्धांत विश्लेषणात्मक अभिव्यक्ति देता है कि लोसी कम्प्रेशन विधियों का उपयोग करके कितना कम्प्रेशन प्राप्त किया जा सकता है। वर्तमान ऑडियो, भाषण, इमेज और वीडियो कम्प्रेशन तकनीकों में से विभिन्न परिवर्तन, परिमाणीकरण और बिट-दर आवंटन प्रक्रियाएं हैं जो दर-विरूपण फलन के सामान्य आकार का लाभ उठाती हैं।


दर-विरूपण सिद्धांत [[क्लाउड शैनन]] द्वारा सूचना सिद्धांत पर अपने मूलभूत कार्य में बनाया गया था।
इस प्रकार दर-विरूपण सिद्धांत [[क्लाउड शैनन]] द्वारा सूचना सिद्धांत पर अपने मूलभूत फलन में बनाया गया था।


दर-विरूपण सिद्धांत में, दर को आमतौर पर संग्रहीत या प्रसारित किए जाने वाले प्रति डेटा नमूने बिट्स की संख्या के रूप में समझा जाता है। विकृति की धारणा निरंतर चर्चा का विषय है।<ref>{{cite conference |last=Blau |first=Y. |last2=Michaeli |first2=T. |url=http://proceedings.mlr.press/v97/blau19a/blau19a.pdf |title=Rethinking Lossy Compression: The Rate-Distortion-Perception Tradeoff |book-title=Proceedings of the International Conference on Machine Learning |date=2019 |publisher=PMLR |pages=675–685 |arxiv=1901.07821}}</ref> सबसे सरल मामले में (जो वास्तव में ज्यादातर मामलों में उपयोग किया जाता है), विरूपण को इनपुट और आउटपुट सिग्नल (यानी, माध्य वर्ग त्रुटि) के बीच अंतर के वर्ग के अपेक्षित मूल्य के रूप में परिभाषित किया गया है। हालाँकि, चूँकि हम जानते हैं कि अधिकांश [[हानिपूर्ण संपीड़न]] तकनीकें डेटा पर काम करती हैं जो मानव उपभोक्ताओं ([[संगीत]] सुनना, चित्र और वीडियो देखना) द्वारा माना जाएगा, विरूपण माप को अधिमानतः मानवीय [[धारणा]] और शायद सौंदर्यशास्त्र पर आधारित होना चाहिए: बहुत हद तक संभाव्यता के उपयोग की तरह [[दोषरहित संपीड़न]] में, विरूपण उपायों को अंततः हानि कार्यों के साथ पहचाना जा सकता है जैसा कि बायेसियन [[अनुमान सिद्धांत]] और [[निर्णय सिद्धांत]] में उपयोग किया जाता है। ऑडियो संपीड़न में, अवधारणात्मक मॉडल (और इसलिए अवधारणात्मक विरूपण उपाय) अपेक्षाकृत अच्छी तरह से विकसित होते हैं और नियमित रूप से [[बिका हुआ]] 3 या [[वॉर्बिस]] जैसी संपीड़न तकनीकों में उपयोग किए जाते हैं, लेकिन अक्सर दर-विरूपण सिद्धांत में शामिल करना आसान नहीं होता है। छवि और वीडियो संपीड़न में, मानव धारणा मॉडल कम अच्छी तरह से विकसित होते हैं और समावेशन ज्यादातर [[जेपीईजी]] और [[एमपीईजी]] वेटिंग ([[परिमाणीकरण (सिग्नल प्रोसेसिंग)]], [[सामान्यीकरण (छवि प्रसंस्करण)]]) मैट्रिक्स तक सीमित होता है।
इस प्रकार दर-विरूपण सिद्धांत में, दर को सामान्यतः संग्रहीत या प्रसारित किए जाने वाले प्रति डेटा फॉर्मेट बिट्स की संख्या के रूप में समझा जाता है। विकृति की धारणा निरंतर विचार का विषय है।<ref>{{cite conference |last=Blau |first=Y. |last2=Michaeli |first2=T. |url=http://proceedings.mlr.press/v97/blau19a/blau19a.pdf |title=Rethinking Lossy Compression: The Rate-Distortion-Perception Tradeoff |book-title=Proceedings of the International Conference on Machine Learning |date=2019 |publisher=PMLR |pages=675–685 |arxiv=1901.07821}}</ref> सबसे सरल स्थिति में (जो वास्तव में अधिकतर स्थितियों में उपयोग किया जाता है), विरूपण को इनपुट और आउटपुट संकेत (अर्थात, माध्य वर्ग त्रुटि) के मध्य अंतर के वर्ग के अपेक्षित मूल्य के रूप में परिभाषित किया गया है। चूंकि, हम जानते हैं कि अधिकांश [[हानिपूर्ण संपीड़न|लोसी]] कम्प्रेशन तकनीकें डेटा पर फलन करती हैं जो मानव उपभोक्ताओं ([[संगीत]] सुनना, चित्र और वीडियो देखना) द्वारा माना जाएगा, विरूपण माप को अधिमानतः मानवीय [[धारणा]] और संभवतः सौंदर्यशास्त्र पर आधारित होना चाहिए: अधिक सीमा तक संभाव्यता के उपयोग की तरह [[दोषरहित संपीड़न|दोषरहित]] कम्प्रेशन में, विरूपण उपायों को अंततः हानि फलन के साथ पहचाना जा सकता है जैसा कि बायेसियन [[अनुमान सिद्धांत]] और [[निर्णय सिद्धांत]] में उपयोग किया जाता है। इस प्रकार ऑडियो कम्प्रेशन में, अवधारणात्मक मॉडल (और इसलिए अवधारणात्मक विरूपण उपाय) अपेक्षाकृत अच्छी तरह से विकसित होते हैं और नियमित रूप से एमपी3 या [[वॉर्बिस]] जैसी कम्प्रेशन तकनीकों में उपयोग किए जाते हैं, किन्तु अधिकांशतः दर-विरूपण सिद्धांत में सम्मिलित करना आसान नहीं होता है। इमेज और वीडियो कम्प्रेशन में, मानव धारणा मॉडल कम अच्छी तरह से विकसित होते हैं और समावेशन अधिकतर [[जेपीईजी]] और [[एमपीईजी]] वेटिंग ([[परिमाणीकरण (सिग्नल प्रोसेसिंग)]], मूविंग पिक्चर एक्सपर्ट्स ग्रुप आव्यूह तक सीमित होता है।


== विरूपण कार्य ==
== विरूपण फलन ==
विरूपण फ़ंक्शन किसी प्रतीक का प्रतिनिधित्व करने की लागत को मापते हैं <math>x</math> एक अनुमानित प्रतीक द्वारा <math>\hat{x}</math>. विशिष्ट विरूपण कार्य हैमिंग विरूपण और स्क्वेर्ड-त्रुटि विरूपण हैं।
इस प्रकार विरूपण फलन किसी प्रतीक <math>x</math> को अनुमानित प्रतीक <math>\hat{x}</math> द्वारा दर्शाने की निवेश को मापते हैं। विशिष्ट विरूपण फलन हैमिंग विरूपण और स्क्वेर्ड-त्रुटि विरूपण हैं।


=== हैमिंग विरूपण ===
=== हैमिंग विरूपण ===
Line 27: Line 24:




== दर-विरूपण कार्य ==
== दर-विरूपण फलन ==
दर और विरूपण से संबंधित कार्य निम्नलिखित न्यूनतमकरण समस्या के समाधान के रूप में पाए जाते हैं:
इस प्रकार दर और विरूपण से संबंधित फलन निम्नलिखित न्यूनतमकरण समस्या के समाधान के रूप में पाए जाते हैं:


:<math>\inf_{Q_{Y\mid X}(y\mid x)} I_Q(Y;X) \text{ subject to } D_Q \le D^*.</math>
:<math>\inf_{Q_{Y\mid X}(y\mid x)} I_Q(Y;X) \text{ subject to } D_Q \le D^*.</math>
यहाँ <math>Q_{Y\mid X}(y\mid x)</math>, जिसे कभी-कभी परीक्षण चैनल भी कहा जाता है, संचार चैनल आउटपुट (संपीड़ित सिग्नल) का [[सशर्त संभाव्यता]] संभाव्यता घनत्व फ़ंक्शन (पीडीएफ) है <math>Y</math> किसी दिए गए इनपुट के लिए (मूल संकेत) <math>X</math>, और <math>I_Q(Y;X)</math> के बीच पारस्परिक जानकारी है <math>Y</math> और <math>X</math> के रूप में परिभाषित
यहाँ <math>Q_{Y\mid X}(y\mid x)</math> को कभी-कभी परीक्षण चैनल भी कहा जाता है जो किसी दिए गए इनपुट (मूल संकेत) <math>X</math> के लिए संचार चैनल आउटपुट (संपीड़ित संकेत) <math>Y</math> का नियमबद्ध संभाव्यता घनत्व फलन (पीडीएफ) है, इस प्रकार <math>I_Q(Y;X)</math> <math>Y</math> और <math>X</math> के मध्य पारस्परिक जानकारी को इस प्रकार परिभाषित किया गया है


:<math>I(Y;X) = H(Y) - H(Y\mid X) \, </math>
:<math>I(Y;X) = H(Y) - H(Y\mid X) \, </math>
कहाँ <math>H(Y)</math> और <math>H(Y\mid X)</math> क्रमशः आउटपुट सिग्नल Y की एन्ट्रापी और इनपुट सिग्नल दिए गए आउटपुट सिग्नल की [[सशर्त एन्ट्रापी]] हैं:
जहाँ <math>H(Y)</math> और <math>H(Y\mid X)</math> क्रमशः आउटपुट संकेत Y की एन्ट्रापी और इनपुट संकेत दिए गए आउटपुट संकेत की [[सशर्त एन्ट्रापी|नियमबद्ध एन्ट्रापी]] हैं:


:<math> H(Y) = - \int_{-\infty}^\infty P_Y (y) \log_{2} (P_Y (y))\,dy </math>
:<math> H(Y) = - \int_{-\infty}^\infty P_Y (y) \log_{2} (P_Y (y))\,dy </math>
:<math> H(Y\mid X) =  
:<math> H(Y\mid X) =  
       - \int_{-\infty}^\infty \int_{-\infty}^\infty Q_{Y\mid X}(y\mid x) P_X (x) \log_2 (Q_{Y\mid X} (y\mid x))\, dx\, dy. </math>
       - \int_{-\infty}^\infty \int_{-\infty}^\infty Q_{Y\mid X}(y\mid x) P_X (x) \log_2 (Q_{Y\mid X} (y\mid x))\, dx\, dy. </math>
समस्या को विरूपण-दर फ़ंक्शन के रूप में भी तैयार किया जा सकता है, जहां हम दी गई दर बाधा के लिए प्राप्त करने योग्य विकृतियों पर न्यूनतम और सर्वोच्च पाते हैं। प्रासंगिक अभिव्यक्ति है:
इस प्रकार समस्या को विरूपण-दर फलन के रूप में भी तैयार किया जा सकता है, जहां हम दी गई दर अवरोध के लिए प्राप्त करने योग्य विकृतियों पर न्यूनतम और सर्वोच्च पाते हैं। प्रासंगिक अभिव्यक्ति है:


:<math>\inf_{Q_{Y\mid X}(y\mid x)} E[D_Q[X,Y]] \text{ subject to } I_Q(Y;X)\leq R. </math>
:<math>\inf_{Q_{Y\mid X}(y\mid x)} E[D_Q[X,Y]] \text{ subject to } I_Q(Y;X)\leq R. </math>
दोनों सूत्रीकरण ऐसे कार्यों को जन्म देते हैं जो एक दूसरे के व्युत्क्रम हैं।
दोनों सूत्रीकरण ऐसे फलन को उत्पत्ति देते हैं जो दूसरे के व्युत्क्रम हैं।


आपसी जानकारी को प्रेषक के सिग्नल (H(Y)) के बारे में प्राप्तकर्ता की 'पूर्व' अनिश्चितता के उपाय के रूप में समझा जा सकता है, जो प्रेषक के सिग्नल के बारे में जानकारी प्राप्त करने के बाद बची अनिश्चितता से कम हो जाती है (<math>H(Y\mid X)</math>). निःसंदेह अनिश्चितता में कमी संप्रेषित सूचना की मात्रा के कारण है, जो कि है <math>I \left(Y;X \right)</math>.
इस प्रकार पारस्परिक जानकारी को प्रेषक के संकेत (H(Y)) के बारे में प्राप्तकर्ता की 'पूर्व' अनिश्चितता के उपाय के रूप में समझा जा सकता है, जो प्रेषक के संकेत <math>H(Y\mid X)</math> के बारे में जानकारी प्राप्त करने के पश्चात् छोड़ी गई अनिश्चितता से कम हो जाती है। निश्चित रूप से अनिश्चितता में कमी है संप्रेषित सूचना की मात्रा के कारण जो <math>I \left(Y;X \right)</math> है


उदाहरण के तौर पर, यदि कोई संचार नहीं है, तो <math>H(Y\mid X) = H (Y)</math> और <math>I(Y;X) = 0</math>. वैकल्पिक रूप से, यदि संचार चैनल सही है और सिग्नल प्राप्त हुआ है <math>Y</math> सिग्नल के समान है <math>X</math> प्रेषक पर, फिर <math>H(Y\mid X) = 0</math> और <math>I(Y;X) = H(X) = H(Y)</math>.
उदाहरण के तौर पर, यदि कोई संचार नहीं है, तो <math>H(Y\mid X) = H (Y)</math> और <math>I(Y;X) = 0</math> वैकल्पिक रूप से, यदि संचार चैनल सही है और प्राप्त संकेत <math>Y</math> प्रेषक के संकेत <math>X</math> के समान है तो <math>H(Y\mid X) = 0</math> और <math>I(Y;X) = H(X) = H(Y)</math>


दर-विरूपण फलन की परिभाषा में, <math>D_Q</math> और <math>D^{*}</math> के बीच की विकृति है <math>X</math> और <math>Y</math> किसी प्रदत्त के लिए <math>Q_{Y\mid X}(y\mid x)</math> और क्रमशः निर्धारित अधिकतम विरूपण। जब हम माध्य वर्ग त्रुटि को विरूपण माप के रूप में उपयोग करते हैं, तो हमारे पास ([[आयाम]]-निरंतर संकेतों के लिए) होता है:
दर-विरूपण फलन की परिभाषा में <math>D_Q</math> और <math>D^{*}</math> क्रमशः दिए गए <math>Q_{Y\mid X}(y\mid x)</math> और निर्धारित अधिकतम विरूपण के लिए <math>X</math> और <math>Y</math> के मध्य विरूपण हैं। जब हम माध्य वर्ग त्रुटि को विरूपण माप के रूप में उपयोग करते हैं, तो हमारे निकट (आयाम-निरंतर संकेतों के लिए) होता है:


:<math>D_Q = \int_{-\infty}^\infty \int_{-\infty}^\infty
:<math>D_Q = \int_{-\infty}^\infty \int_{-\infty}^\infty
           P_{X,Y}(x,y) (x-y)^2\, dx\, dy = \int_{-\infty}^\infty \int_{-\infty}^\infty
           P_{X,Y}(x,y) (x-y)^2\, dx\, dy = \int_{-\infty}^\infty \int_{-\infty}^\infty
           Q_{Y\mid X}(y\mid x)P_{X}(x) (x-y)^2\, dx\, dy. </math>
           Q_{Y\mid X}(y\mid x)P_{X}(x) (x-y)^2\, dx\, dy. </math>
जैसा कि उपरोक्त समीकरण दिखाते हैं, दर-विरूपण फ़ंक्शन की गणना के लिए इनपुट के स्टोकेस्टिक विवरण की आवश्यकता होती है <math>X</math> पीडीएफ के संदर्भ में <math>P_X (x)</math>, और फिर सशर्त पीडीएफ खोजने का लक्ष्य है <math>Q_{Y\mid X}(y\mid x)</math> जो किसी दिए गए विरूपण के लिए दर को न्यूनतम करता है <math>D^{*}</math>. इन परिभाषाओं को असतत और मिश्रित यादृच्छिक चर को ध्यान में रखते हुए माप-सैद्धांतिक रूप से तैयार किया जा सकता है।
जैसा कि उपरोक्त समीकरण दिखाते हैं, दर-विरूपण फलन की गणना के लिए पीडीएफ <math>P_X (x)</math> के संदर्भ में इनपुट <math>X</math> के स्टोकेस्टिक विवरण की आवश्यकता होती है और फिर नियमबद्ध पीडीएफ <math>Q_{Y\mid X}(y\mid x)</math> खोजना होता है जो किसी दिए गए विरूपण <math>D^{*}</math> के लिए दर को न्यूनतम करता है। इस प्रकार इन परिभाषाओं को असतत और मिश्रित यादृच्छिक वैरिएबल को ध्यान में रखते हुए माप-सैद्धांतिक रूप से तैयार किया जा सकता है।


इस [[अनुकूलन समस्या]] के लिए एक [[विश्लेषणात्मक अभिव्यक्ति]] समाधान प्राप्त करना अक्सर मुश्किल होता है, कुछ उदाहरणों को छोड़कर जिनके लिए हम आगे दो सबसे प्रसिद्ध उदाहरण प्रस्तुत करते हैं। किसी भी स्रोत का दर-विरूपण फ़ंक्शन कई मूलभूत गुणों का पालन करने के लिए जाना जाता है, सबसे महत्वपूर्ण यह है कि यह एक सतत फ़ंक्शन है, एकरस रूप से घटता हुआ उत्तल फ़ंक्शन (यू) [[फ़ंक्शन (गणित)]] और इस प्रकार उदाहरणों में फ़ंक्शन का आकार है विशिष्ट (यहां तक ​​कि वास्तविक जीवन में मापी गई दर-विरूपण कार्यों के रूप भी बहुत समान होते हैं)।
इस [[अनुकूलन समस्या]] के लिए [[विश्लेषणात्मक अभिव्यक्ति]] समाधान प्राप्त करना अधिकांशतः कठिन होता है, कुछ उदाहरणों को छोड़कर जिनके लिए हम आगे दो सबसे प्रसिद्ध उदाहरण प्रस्तुत करते हैं। किसी भी स्रोत का दर-विरूपण फलन विभिन्न मूलभूत गुणों का पालन करने के लिए जाना जाता है, सबसे महत्वपूर्ण यह है कि यह सतत फलन है, एकरस रूप से घटता हुआ उत्तल फलन (u) [[फ़ंक्शन (गणित)|फलन (गणित)]] और इस प्रकार उदाहरणों में फलन का आकार है विशिष्ट (यहां तक ​​कि वास्तविक जीवन में मापी गई दर-विरूपण फलन के रूप भी बहुत समान होते हैं)।


यद्यपि इस समस्या के विश्लेषणात्मक समाधान दुर्लभ हैं, प्रसिद्ध [[शैनन निचली सीमा]] (एसएलबी) सहित इन कार्यों की ऊपरी और निचली सीमाएँ हैं, जो वर्ग त्रुटि और स्मृतिहीन स्रोतों के मामले में बताता है कि परिमित अंतर एन्ट्रापी वाले मनमाने स्रोतों के लिए,
यद्यपि इस समस्या के विश्लेषणात्मक समाधान विरल हैं, प्रसिद्ध [[शैनन निचली सीमा|शैनन लोअर बाउंड]] (एसएलबी) सहित इन फलन की ऊपरी और निचली सीमाएँ हैं, जो वर्ग त्रुटि और स्मृतिहीन स्रोतों के स्थिति में बताता है कि परिमित अंतर एन्ट्रापी वाले इच्छानुसार स्रोतों के लिए,


:<math> R(D) \ge h(X) - h(D) \, </math>
:<math> R(D) \ge h(X) - h(D) \, </math>
जहां h(D) विचरण D के साथ गाऊसी यादृच्छिक चर की विभेदक एन्ट्रापी है। यह निचली सीमा स्मृति और अन्य विरूपण उपायों वाले स्रोतों तक विस्तार योग्य है। एसएलबी की एक महत्वपूर्ण विशेषता यह है कि यह स्रोतों की एक विस्तृत श्रेणी के लिए कम विरूपण शासन में स्पर्शोन्मुख रूप से तंग है और कुछ अवसरों में, यह वास्तव में दर-विरूपण फ़ंक्शन के साथ मेल खाता है। शैनन लोअर बाउंड्स को आम तौर पर पाया जा सकता है यदि किन्हीं दो संख्याओं के बीच विकृति को इन दो संख्याओं के मूल्य के बीच अंतर के एक फ़ंक्शन के रूप में व्यक्त किया जा सकता है।
जहां h(D) विचरण D के साथ गाऊसी यादृच्छिक वैरिएबल की विभेदक एन्ट्रापी है। यह निचली सीमा स्मृति और अन्य विरूपण उपायों वाले स्रोतों तक विस्तार योग्य है। एसएलबी की महत्वपूर्ण विशेषता यह है कि यह स्रोतों की विस्तृत श्रेणी के लिए कम विरूपण शासन में स्पर्शोन्मुख रूप से है और कुछ अवसरों में, यह वास्तव में दर-विरूपण फलन के साथ मेल खाता है। इस प्रकार शैनन लोअर बाउंड्स को सामान्यतः पाया जा सकता है यदि किन्हीं दो संख्याओं के मध्य विकृति को इन दो संख्याओं के मूल्य के मध्य अंतर के फलन के रूप में व्यक्त किया जा सकता है।


ब्लाहुत-अरिमोटो एल्गोरिथ्म, [[रिचर्ड ब्लाहुत]] द्वारा सह-आविष्कार किया गया, मनमाने ढंग से परिमित इनपुट / आउटपुट वर्णमाला स्रोतों के दर-विरूपण कार्यों को संख्यात्मक रूप से प्राप्त करने के लिए एक सुंदर पुनरावृत्त तकनीक है और इसे अधिक सामान्य समस्या उदाहरणों तक विस्तारित करने के लिए बहुत काम किया गया है।
इस प्रकार ब्लाहुत-अरिमोटो एल्गोरिथ्म, [[रिचर्ड ब्लाहुत]] द्वारा सह-आविष्कार किया गया था, इच्छानुसार विधि से परिमित इनपुट / आउटपुट वर्णमाला स्रोतों के दर-विरूपण फलन को संख्यात्मक रूप से प्राप्त करने के लिए सुंदर पुनरावृत्त तकनीक है और इसे अधिक सामान्य समस्या उदाहरणों तक विस्तारित करने के लिए बहुत फलन किया गया है।


स्मृति के साथ स्थिर स्रोतों के साथ काम करते समय, दर विरूपण फ़ंक्शन की परिभाषा को संशोधित करना आवश्यक है और इसे बढ़ती लंबाई के अनुक्रमों पर ली गई सीमा के अर्थ में समझा जाना चाहिए।
इस प्रकार स्मृति के साथ स्थिर स्रोतों के साथ फलन करते समय, दर विरूपण फलन की परिभाषा को संशोधित करना आवश्यक है और इसे बढ़ती लंबाई के अनुक्रमों पर ली गई सीमा के अर्थ में समझा जाना चाहिए।
:<math>  
:<math>  
R(D) = \lim_{n \rightarrow \infty} R_n(D)
R(D) = \lim_{n \rightarrow \infty} R_n(D)
</math>
</math>
कहाँ
जहाँ
:<math>
:<math>
R_n(D) = \frac{1}{n} \inf_{Q_{Y^n\mid X^n} \in \mathcal{Q}} I(Y^n, X^n)
R_n(D) = \frac{1}{n} \inf_{Q_{Y^n\mid X^n} \in \mathcal{Q}} I(Y^n, X^n)
Line 76: Line 73:
\mathcal{Q} = \{ Q_{Y^n\mid X^n}(Y^n\mid X^n,X_0): E[d(X^n,Y^n)] \leq D \}
\mathcal{Q} = \{ Q_{Y^n\mid X^n}(Y^n\mid X^n,X_0): E[d(X^n,Y^n)] \leq D \}
</math>
</math>
जहां सुपरस्क्रिप्ट उस समय तक के पूर्ण अनुक्रम को दर्शाता है और सबस्क्रिप्ट 0 प्रारंभिक स्थिति को इंगित करता है।
जहां सुपरस्क्रिप्ट उस समय तक के पूर्ण अनुक्रम को दर्शाता है और सबस्क्रिप्ट 0 प्रारंभिक स्थिति को संकेत करता है।


===स्मृतिहीन (स्वतंत्र) गाऊसी स्रोत वर्ग-त्रुटि विरूपण के साथ===
===वर्ग-त्रुटि विरूपण के साथ स्मृतिहीन (स्वतंत्र) गाऊसी स्रोत===
अगर हम ऐसा मान लें <math>X</math> विचरण के साथ एक [[सामान्य वितरण]] यादृच्छिक चर है <math>\sigma^2</math>, और यदि हम मान लें कि सिग्नल के क्रमिक नमूने <math>X</math> [[स्टोकेस्टिक रूप से स्वतंत्र]] हैं (या समकक्ष, स्रोत [[स्मृतिहीनता]] है, या संकेत असंबद्ध है), हम दर-विरूपण फ़ंक्शन के लिए निम्नलिखित विश्लेषणात्मक अभिव्यक्ति पाते हैं:
यदि हम मानते हैं कि <math>X</math> विचरण के साथ [[सामान्य वितरण]] यादृच्छिक वैरिएबल <math>\sigma^2</math> है , और यदि हम मानते हैं कि संकेत <math>X</math> के क्रमिक फॉर्मेट [[स्टोकेस्टिक रूप से स्वतंत्र]] हैं (या समकक्ष, स्रोत [[स्मृतिहीनता|स्मृतिहीन]] है, या संकेत असंबद्ध है), हम दर-विरूपण फलन के लिए निम्नलिखित विश्लेषणात्मक अभिव्यक्ति पाते हैं:


:<math> R(D) = \begin{cases}
:<math> R(D) = \begin{cases}
Line 86: Line 83:
                       \end{cases}
                       \end{cases}
</math>   <ref>{{harvnb|Cover|Thomas|2012|p=310}}</ref>
</math>   <ref>{{harvnb|Cover|Thomas|2012|p=310}}</ref>
निम्नलिखित चित्र दिखाता है कि यह फ़ंक्शन कैसा दिखता है:
निम्नलिखित चित्र दिखाता है कि यह फलन कैसा दिखता है:
 
[[File:Rate distortion function.png|400px]]
 
इस प्रकार दर-विरूपण सिद्धांत हमें बताता है कि 'कोई कम्प्रेशन प्रणाली उपस्थित नहीं है जो ग्रे क्षेत्र के बाहर फलन करती हो।' व्यावहारिक कम्प्रेशन प्रणाली लाल (निचली) सीमा के निकट होती है, उत्तम प्रदर्शन करती है। सामान्य नियम के रूप में, यह सीमा केवल कोडिंग ब्लॉक लंबाई मापदंड को बढ़ाकर ही प्राप्त की जा सकती है। फिर भी, यूनिट ब्लॉकलेंथ पर भी कोई अधिकांशतः अच्छा (स्केलर) क्वांटाइजेशन (सिग्नल प्रोसेसिंग) पा सकता है जो दर-विरूपण फलन से दूरी पर फलन करता है जो व्यावहारिक रूप से प्रासंगिक है।<ref>{{cite book| first = Thomas M. |last=Cover |first2=Joy A. |last2=Thomas |chapter=10. Rate Distortion Theory | title = सूचना सिद्धांत के तत्व| publisher = Wiley |orig-year=2006 |year=2012 |chapter-url={{GBurl|VWq5GG6ycxMC|p=301}} |isbn=978-1-118-58577-1 |edition=2nd}}</ref>


[[File:Rate distortion function.png|400px]]दर-विरूपण सिद्धांत हमें बताता है कि 'कोई संपीड़न प्रणाली मौजूद नहीं है जो ग्रे क्षेत्र के बाहर कार्य करती हो।' एक व्यावहारिक संपीड़न प्रणाली लाल (निचली) सीमा के जितनी करीब होती है, उतना ही बेहतर प्रदर्शन करती है। एक सामान्य नियम के रूप में, यह सीमा केवल कोडिंग ब्लॉक लंबाई पैरामीटर को बढ़ाकर ही प्राप्त की जा सकती है। फिर भी, यूनिट ब्लॉकलेंथ पर भी कोई अक्सर अच्छा (स्केलर) क्वांटाइजेशन (सिग्नल प्रोसेसिंग) पा सकता है जो दर-विरूपण फ़ंक्शन से दूरी पर काम करता है जो व्यावहारिक रूप से प्रासंगिक है।<ref>{{cite book| first = Thomas M. |last=Cover |first2=Joy A. |last2=Thomas |chapter=10. Rate Distortion Theory | title = सूचना सिद्धांत के तत्व| publisher = Wiley |orig-year=2006 |year=2012 |chapter-url={{GBurl|VWq5GG6ycxMC|p=301}} |isbn=978-1-118-58577-1 |edition=2nd}}</ref>
इस प्रकार यह दर-विरूपण फलन केवल गाऊसी स्मृतिहीन स्रोतों के लिए प्रयुक्त होता है। यह ज्ञात है कि गॉसियन स्रोत एन्कोड करने के लिए सबसे कठिन स्रोत है: किसी दिए गए माध्य वर्ग त्रुटि के लिए, इसे सबसे बड़ी संख्या में बिट्स की आवश्यकता होती है। छवियों पर फलन करने वाली व्यावहारिक कम्प्रेशन प्रणाली का प्रदर्शन दिखाए गए <math>R \left(D \right)</math> निचली सीमा से अधिक नीचे हो सकता है।
यह दर-विरूपण फ़ंक्शन केवल गाऊसी स्मृतिहीन स्रोतों के लिए लागू होता है। यह ज्ञात है कि गॉसियन स्रोत एन्कोड करने के लिए सबसे कठिन स्रोत है: किसी दिए गए माध्य वर्ग त्रुटि के लिए, इसे सबसे बड़ी संख्या में बिट्स की आवश्यकता होती है। छवियों पर काम करने वाली एक व्यावहारिक संपीड़न प्रणाली का प्रदर्शन काफी हद तक नीचे हो सकता है <math>R \left(D \right)</math> निचली सीमा दिखायी गयी है।


===हैमिंग विरूपण के साथ स्मृतिहीन (स्वतंत्र) बर्नौली स्रोत===
===हैमिंग विरूपण के साथ स्मृतिहीन (स्वतंत्र) बर्नौली स्रोत===
हैमिंग विरूपण के साथ [[बर्नौली यादृच्छिक चर]] का दर-विरूपण फ़ंक्शन इस प्रकार दिया गया है:
हैमिंग विरूपण के साथ [[बर्नौली यादृच्छिक चर|बर्नौली यादृच्छिक]] वैरिएबल का दर-विरूपण फलन इस प्रकार दिया गया है:
:<math> R(D) = \left\{ \begin{matrix}  
:<math> R(D) = \left\{ \begin{matrix}  
   H_b(p)-H_b(D), & 0 \le D \le \min{(p,1-p)} \\
   H_b(p)-H_b(D), & 0 \le D \le \min{(p,1-p)} \\
Line 98: Line 98:
                       \end{matrix} \right.
                       \end{matrix} \right.
</math>
</math>
कहाँ <math>H_b</math> [[बाइनरी एन्ट्रॉपी फ़ंक्शन]] को दर्शाता है।
जहाँ <math>H_b</math> [[बाइनरी एन्ट्रॉपी फ़ंक्शन|बाइनरी एन्ट्रॉपी]] फलन को दर्शाता है।


के लिए दर-विरूपण फ़ंक्शन का प्लॉट <math>p=0.5</math>:
<math>p=0.5</math> के लिए दर-विरूपण फलन का प्लॉट :


[[File:Rate distortion function Bernoulli.png|400px]]
[[File:Rate distortion function Bernoulli.png|400px]]


== दर-विरूपण सिद्धांत को चैनल क्षमता से जोड़ना ==
== दर-विरूपण सिद्धांत को चैनल क्षमता से जोड़ना ==
मान लीजिए कि हम उपयोगकर्ता को किसी स्रोत के बारे में सूचना प्रसारित करना चाहते हैं जिसका विरूपण डी से अधिक न हो। दर-विरूपण सिद्धांत हमें बताता है कि कम से कम <math>R(D)</math> स्रोत से जानकारी के बिट्स/प्रतीक उपयोगकर्ता तक अवश्य पहुंचने चाहिए। हम शैनन के चैनल कोडिंग प्रमेय से यह भी जानते हैं कि यदि स्रोत एन्ट्रॉपी एच बिट्स/प्रतीक है, और [[चैनल क्षमता]] सी है (जहां <math>C < H</math>), तब <math>H-C</math> इस जानकारी को दिए गए चैनल पर प्रसारित करते समय बिट्स/प्रतीक खो जाएगा। उपयोगकर्ता को अधिकतम विरूपण डी के साथ पुनर्निर्माण की कोई उम्मीद रखने के लिए, हमें यह आवश्यकता लागू करनी होगी कि ट्रांसमिशन में खोई गई जानकारी अधिकतम सहनीय हानि से अधिक न हो। <math>H-R(D)</math> बिट्स/प्रतीक. इसका मतलब है कि चैनल की क्षमता कम से कम इतनी बड़ी होनी चाहिए <math>R(D)</math>.<ref name="BergerRateDistortion">{{cite book |title=Rate Distortion Theory: A Mathematical Basis for Data Compression |publisher=Prentice Hall |first=Toby |last=Berger |year=1971 |url=https://archive.org/details/ratedistortionth0000berg/ |url-access=registration |lccn=75-148254 |isbn=978-0-13-753103-5 |oclc=156968}}</ref>
मान लीजिए कि हम किसी स्रोत के बारे में उपयोगकर्ता को D से अधिक विरूपण के साथ जानकारी प्रसारित करना चाहते हैं। दर-विरूपण सिद्धांत हमें बताता है कि स्रोत से जानकारी के कम से कम <math>R(D)</math> बिट्स/प्रतीक उपयोगकर्ता तक पहुंचने चाहिए। हम शैनन के चैनल कोडिंग प्रमेय से यह भी जानते हैं कि यदि स्रोत एन्ट्रॉपी ''H'' बिट्स/प्रतीक है, और चैनल क्षमता C (जहां <math>C < H</math>) है, तो दिए गए चैनल पर इस जानकारी को प्रसारित करते समय <math>H-C</math> बिट्स/प्रतीक विलुप्त हो जाता है। इस प्रकार उपयोगकर्ता को अधिकतम विरूपण D के साथ पुनर्निर्माण की कोई उम्मीद रखने के लिए, हमें यह आवश्यकता लगानी होगी कि रूपांतरण में विलुप्त जानकारी <math>H-R(D)</math> बिट्स/प्रतीक की अधिकतम सहनीय हानि से अधिक न हो। इसका कारण यह है कि चैनल की क्षमता कम से कम <math>R(D)</math> के अनुसार बड़ी होनी चाहिए <ref name="BergerRateDistortion">{{cite book |title=Rate Distortion Theory: A Mathematical Basis for Data Compression |publisher=Prentice Hall |first=Toby |last=Berger |year=1971 |url=https://archive.org/details/ratedistortionth0000berg/ |url-access=registration |lccn=75-148254 |isbn=978-0-13-753103-5 |oclc=156968}}</ref>
 
 
== यह भी देखें ==
== यह भी देखें ==
* ब्लाहुत-अरिमोटो एल्गोरिदम
* ब्लाहुत-अरिमोटो एल्गोरिदम
* [[आधार - सामग्री संकोचन]]
* [[आधार - सामग्री संकोचन|डेटा कम्प्रेशन]]
*सजावट
*डेकोरिलेशन
* दर-विरूपण अनुकूलन
* दर-विरूपण अनुकूलन
* [[गोलाकार पैकिंग]]
* [[गोलाकार पैकिंग|स्फीयर पैकिंग]]
* [[श्वेत रव]]
* वाइट नॉइज़


== संदर्भ ==
== संदर्भ                                                                                                                                                                                                                         ==
{{Reflist}}
{{Reflist}}




==बाहरी संबंध==
==बाहरी संबंध                                                   ==
*{{cite web |first=Sarah |last=Marzen |first2=Simon |last2=DeDeo |title=PyRated: a python package for rate distortion theory |url=https://sites.santafe.edu/~simon/styled-13/ |quote=PyRated is a very simple Python package to do the most basic calculation in rate-distortion theory: the determination of the “codebook” and the transmission rate ''R'', given a utility function (distortion matrix) and a Lagrange multiplier ''beta''.}}  
*{{cite web |first=Sarah |last=Marzen |first2=Simon |last2=DeDeo |title=PyRated: a python package for rate distortion theory |url=https://sites.santafe.edu/~simon/styled-13/ |quote=PyRated is a very simple Python package to do the most basic calculation in rate-distortion theory: the determination of the “codebook” and the transmission rate ''R'', given a utility function (distortion matrix) and a Lagrange multiplier ''beta''.}}  
*[https://web.archive.org/web/20011006065854/http://www-ict.its.tudelft.nl/vcdemo VcDemo Image and Video Compression Learning Tool]
*[https://web.archive.org/web/20011006065854/http://www-ict.its.tudelft.nl/vcdemo VcDemo Image and Video Compression Learning Tool]
{{Compression Methods}}
{{Authority control}}


{{DEFAULTSORT:Rate-distortion theory}}[[Category: आधार - सामग्री संकोचन]] [[Category: सूचना सिद्धांत]]  
{{DEFAULTSORT:Rate-distortion theory}}[[Category: आधार - सामग्री संकोचन]] [[Category: सूचना सिद्धांत]]  
Line 133: Line 128:
[[Category: Machine Translated Page]]
[[Category: Machine Translated Page]]
[[Category:Created On 07/12/2023]]
[[Category:Created On 07/12/2023]]
[[Category:Vigyan Ready]]

Latest revision as of 14:09, 14 December 2023

दर-विरूपण सिद्धांत सूचना सिद्धांत की एक प्रमुख शाखा है जो लोसी डेटा कम्प्रेशन के लिए सैद्धांतिक आधार प्रदान करती है, यह दर R द्वारा मापी गई प्रति प्रतीक बिट्स की न्यूनतम संख्या निर्धारित करने की समस्या को संबोधित करती है जिसे एक चैनल पर संचारित किया जाना चाहिए जिससे स्रोत (इनपुट संकेत) को अपेक्षित विरूपण से अधिक हुए बिना रिसीवर (आउटपुट संकेत) पर प्रायः पुनर्निर्मित किया जा सकता है

परिचय

दर विरूपण एनकोडर और डिकोडर। एनकोडर अनुक्रम को एन्कोड करता है . एन्कोडेड अनुक्रम फिर डिकोडर को फीड किया जाता है जो अनुक्रम आउटपुट करता है . हम मूल अनुक्रम के मध्य विकृति को कम करने का प्रयास करते हैं और पुनर्निर्मित अनुक्रम .

इस प्रकार दर-विरूपण सिद्धांत विश्लेषणात्मक अभिव्यक्ति देता है कि लोसी कम्प्रेशन विधियों का उपयोग करके कितना कम्प्रेशन प्राप्त किया जा सकता है। वर्तमान ऑडियो, भाषण, इमेज और वीडियो कम्प्रेशन तकनीकों में से विभिन्न परिवर्तन, परिमाणीकरण और बिट-दर आवंटन प्रक्रियाएं हैं जो दर-विरूपण फलन के सामान्य आकार का लाभ उठाती हैं।

इस प्रकार दर-विरूपण सिद्धांत क्लाउड शैनन द्वारा सूचना सिद्धांत पर अपने मूलभूत फलन में बनाया गया था।

इस प्रकार दर-विरूपण सिद्धांत में, दर को सामान्यतः संग्रहीत या प्रसारित किए जाने वाले प्रति डेटा फॉर्मेट बिट्स की संख्या के रूप में समझा जाता है। विकृति की धारणा निरंतर विचार का विषय है।[1] सबसे सरल स्थिति में (जो वास्तव में अधिकतर स्थितियों में उपयोग किया जाता है), विरूपण को इनपुट और आउटपुट संकेत (अर्थात, माध्य वर्ग त्रुटि) के मध्य अंतर के वर्ग के अपेक्षित मूल्य के रूप में परिभाषित किया गया है। चूंकि, हम जानते हैं कि अधिकांश लोसी कम्प्रेशन तकनीकें डेटा पर फलन करती हैं जो मानव उपभोक्ताओं (संगीत सुनना, चित्र और वीडियो देखना) द्वारा माना जाएगा, विरूपण माप को अधिमानतः मानवीय धारणा और संभवतः सौंदर्यशास्त्र पर आधारित होना चाहिए: अधिक सीमा तक संभाव्यता के उपयोग की तरह दोषरहित कम्प्रेशन में, विरूपण उपायों को अंततः हानि फलन के साथ पहचाना जा सकता है जैसा कि बायेसियन अनुमान सिद्धांत और निर्णय सिद्धांत में उपयोग किया जाता है। इस प्रकार ऑडियो कम्प्रेशन में, अवधारणात्मक मॉडल (और इसलिए अवधारणात्मक विरूपण उपाय) अपेक्षाकृत अच्छी तरह से विकसित होते हैं और नियमित रूप से एमपी3 या वॉर्बिस जैसी कम्प्रेशन तकनीकों में उपयोग किए जाते हैं, किन्तु अधिकांशतः दर-विरूपण सिद्धांत में सम्मिलित करना आसान नहीं होता है। इमेज और वीडियो कम्प्रेशन में, मानव धारणा मॉडल कम अच्छी तरह से विकसित होते हैं और समावेशन अधिकतर जेपीईजी और एमपीईजी वेटिंग (परिमाणीकरण (सिग्नल प्रोसेसिंग), मूविंग पिक्चर एक्सपर्ट्स ग्रुप आव्यूह तक सीमित होता है।

विरूपण फलन

इस प्रकार विरूपण फलन किसी प्रतीक को अनुमानित प्रतीक द्वारा दर्शाने की निवेश को मापते हैं। विशिष्ट विरूपण फलन हैमिंग विरूपण और स्क्वेर्ड-त्रुटि विरूपण हैं।

हैमिंग विरूपण


वर्ग-त्रुटि विरूपण


दर-विरूपण फलन

इस प्रकार दर और विरूपण से संबंधित फलन निम्नलिखित न्यूनतमकरण समस्या के समाधान के रूप में पाए जाते हैं:

यहाँ को कभी-कभी परीक्षण चैनल भी कहा जाता है जो किसी दिए गए इनपुट (मूल संकेत) के लिए संचार चैनल आउटपुट (संपीड़ित संकेत) का नियमबद्ध संभाव्यता घनत्व फलन (पीडीएफ) है, इस प्रकार और के मध्य पारस्परिक जानकारी को इस प्रकार परिभाषित किया गया है

जहाँ और क्रमशः आउटपुट संकेत Y की एन्ट्रापी और इनपुट संकेत दिए गए आउटपुट संकेत की नियमबद्ध एन्ट्रापी हैं:

इस प्रकार समस्या को विरूपण-दर फलन के रूप में भी तैयार किया जा सकता है, जहां हम दी गई दर अवरोध के लिए प्राप्त करने योग्य विकृतियों पर न्यूनतम और सर्वोच्च पाते हैं। प्रासंगिक अभिव्यक्ति है:

दोनों सूत्रीकरण ऐसे फलन को उत्पत्ति देते हैं जो दूसरे के व्युत्क्रम हैं।

इस प्रकार पारस्परिक जानकारी को प्रेषक के संकेत (H(Y)) के बारे में प्राप्तकर्ता की 'पूर्व' अनिश्चितता के उपाय के रूप में समझा जा सकता है, जो प्रेषक के संकेत के बारे में जानकारी प्राप्त करने के पश्चात् छोड़ी गई अनिश्चितता से कम हो जाती है। निश्चित रूप से अनिश्चितता में कमी है संप्रेषित सूचना की मात्रा के कारण जो है

उदाहरण के तौर पर, यदि कोई संचार नहीं है, तो और वैकल्पिक रूप से, यदि संचार चैनल सही है और प्राप्त संकेत प्रेषक के संकेत के समान है तो और

दर-विरूपण फलन की परिभाषा में और क्रमशः दिए गए और निर्धारित अधिकतम विरूपण के लिए और के मध्य विरूपण हैं। जब हम माध्य वर्ग त्रुटि को विरूपण माप के रूप में उपयोग करते हैं, तो हमारे निकट (आयाम-निरंतर संकेतों के लिए) होता है:

जैसा कि उपरोक्त समीकरण दिखाते हैं, दर-विरूपण फलन की गणना के लिए पीडीएफ के संदर्भ में इनपुट के स्टोकेस्टिक विवरण की आवश्यकता होती है और फिर नियमबद्ध पीडीएफ खोजना होता है जो किसी दिए गए विरूपण के लिए दर को न्यूनतम करता है। इस प्रकार इन परिभाषाओं को असतत और मिश्रित यादृच्छिक वैरिएबल को ध्यान में रखते हुए माप-सैद्धांतिक रूप से तैयार किया जा सकता है।

इस अनुकूलन समस्या के लिए विश्लेषणात्मक अभिव्यक्ति समाधान प्राप्त करना अधिकांशतः कठिन होता है, कुछ उदाहरणों को छोड़कर जिनके लिए हम आगे दो सबसे प्रसिद्ध उदाहरण प्रस्तुत करते हैं। किसी भी स्रोत का दर-विरूपण फलन विभिन्न मूलभूत गुणों का पालन करने के लिए जाना जाता है, सबसे महत्वपूर्ण यह है कि यह सतत फलन है, एकरस रूप से घटता हुआ उत्तल फलन (u) फलन (गणित) और इस प्रकार उदाहरणों में फलन का आकार है विशिष्ट (यहां तक ​​कि वास्तविक जीवन में मापी गई दर-विरूपण फलन के रूप भी बहुत समान होते हैं)।

यद्यपि इस समस्या के विश्लेषणात्मक समाधान विरल हैं, प्रसिद्ध शैनन लोअर बाउंड (एसएलबी) सहित इन फलन की ऊपरी और निचली सीमाएँ हैं, जो वर्ग त्रुटि और स्मृतिहीन स्रोतों के स्थिति में बताता है कि परिमित अंतर एन्ट्रापी वाले इच्छानुसार स्रोतों के लिए,

जहां h(D) विचरण D के साथ गाऊसी यादृच्छिक वैरिएबल की विभेदक एन्ट्रापी है। यह निचली सीमा स्मृति और अन्य विरूपण उपायों वाले स्रोतों तक विस्तार योग्य है। एसएलबी की महत्वपूर्ण विशेषता यह है कि यह स्रोतों की विस्तृत श्रेणी के लिए कम विरूपण शासन में स्पर्शोन्मुख रूप से है और कुछ अवसरों में, यह वास्तव में दर-विरूपण फलन के साथ मेल खाता है। इस प्रकार शैनन लोअर बाउंड्स को सामान्यतः पाया जा सकता है यदि किन्हीं दो संख्याओं के मध्य विकृति को इन दो संख्याओं के मूल्य के मध्य अंतर के फलन के रूप में व्यक्त किया जा सकता है।

इस प्रकार ब्लाहुत-अरिमोटो एल्गोरिथ्म, रिचर्ड ब्लाहुत द्वारा सह-आविष्कार किया गया था, इच्छानुसार विधि से परिमित इनपुट / आउटपुट वर्णमाला स्रोतों के दर-विरूपण फलन को संख्यात्मक रूप से प्राप्त करने के लिए सुंदर पुनरावृत्त तकनीक है और इसे अधिक सामान्य समस्या उदाहरणों तक विस्तारित करने के लिए बहुत फलन किया गया है।

इस प्रकार स्मृति के साथ स्थिर स्रोतों के साथ फलन करते समय, दर विरूपण फलन की परिभाषा को संशोधित करना आवश्यक है और इसे बढ़ती लंबाई के अनुक्रमों पर ली गई सीमा के अर्थ में समझा जाना चाहिए।

जहाँ

और

जहां सुपरस्क्रिप्ट उस समय तक के पूर्ण अनुक्रम को दर्शाता है और सबस्क्रिप्ट 0 प्रारंभिक स्थिति को संकेत करता है।

वर्ग-त्रुटि विरूपण के साथ स्मृतिहीन (स्वतंत्र) गाऊसी स्रोत

यदि हम मानते हैं कि विचरण के साथ सामान्य वितरण यादृच्छिक वैरिएबल है , और यदि हम मानते हैं कि संकेत के क्रमिक फॉर्मेट स्टोकेस्टिक रूप से स्वतंत्र हैं (या समकक्ष, स्रोत स्मृतिहीन है, या संकेत असंबद्ध है), हम दर-विरूपण फलन के लिए निम्नलिखित विश्लेषणात्मक अभिव्यक्ति पाते हैं:

   [2]

निम्नलिखित चित्र दिखाता है कि यह फलन कैसा दिखता है:

Rate distortion function.png

इस प्रकार दर-विरूपण सिद्धांत हमें बताता है कि 'कोई कम्प्रेशन प्रणाली उपस्थित नहीं है जो ग्रे क्षेत्र के बाहर फलन करती हो।' व्यावहारिक कम्प्रेशन प्रणाली लाल (निचली) सीमा के निकट होती है, उत्तम प्रदर्शन करती है। सामान्य नियम के रूप में, यह सीमा केवल कोडिंग ब्लॉक लंबाई मापदंड को बढ़ाकर ही प्राप्त की जा सकती है। फिर भी, यूनिट ब्लॉकलेंथ पर भी कोई अधिकांशतः अच्छा (स्केलर) क्वांटाइजेशन (सिग्नल प्रोसेसिंग) पा सकता है जो दर-विरूपण फलन से दूरी पर फलन करता है जो व्यावहारिक रूप से प्रासंगिक है।[3]

इस प्रकार यह दर-विरूपण फलन केवल गाऊसी स्मृतिहीन स्रोतों के लिए प्रयुक्त होता है। यह ज्ञात है कि गॉसियन स्रोत एन्कोड करने के लिए सबसे कठिन स्रोत है: किसी दिए गए माध्य वर्ग त्रुटि के लिए, इसे सबसे बड़ी संख्या में बिट्स की आवश्यकता होती है। छवियों पर फलन करने वाली व्यावहारिक कम्प्रेशन प्रणाली का प्रदर्शन दिखाए गए निचली सीमा से अधिक नीचे हो सकता है।

हैमिंग विरूपण के साथ स्मृतिहीन (स्वतंत्र) बर्नौली स्रोत

हैमिंग विरूपण के साथ बर्नौली यादृच्छिक वैरिएबल का दर-विरूपण फलन इस प्रकार दिया गया है:

जहाँ बाइनरी एन्ट्रॉपी फलन को दर्शाता है।

के लिए दर-विरूपण फलन का प्लॉट :

Rate distortion function Bernoulli.png

दर-विरूपण सिद्धांत को चैनल क्षमता से जोड़ना

मान लीजिए कि हम किसी स्रोत के बारे में उपयोगकर्ता को D से अधिक विरूपण के साथ जानकारी प्रसारित करना चाहते हैं। दर-विरूपण सिद्धांत हमें बताता है कि स्रोत से जानकारी के कम से कम बिट्स/प्रतीक उपयोगकर्ता तक पहुंचने चाहिए। हम शैनन के चैनल कोडिंग प्रमेय से यह भी जानते हैं कि यदि स्रोत एन्ट्रॉपी H बिट्स/प्रतीक है, और चैनल क्षमता C (जहां ) है, तो दिए गए चैनल पर इस जानकारी को प्रसारित करते समय बिट्स/प्रतीक विलुप्त हो जाता है। इस प्रकार उपयोगकर्ता को अधिकतम विरूपण D के साथ पुनर्निर्माण की कोई उम्मीद रखने के लिए, हमें यह आवश्यकता लगानी होगी कि रूपांतरण में विलुप्त जानकारी बिट्स/प्रतीक की अधिकतम सहनीय हानि से अधिक न हो। इसका कारण यह है कि चैनल की क्षमता कम से कम के अनुसार बड़ी होनी चाहिए [4]

यह भी देखें

संदर्भ

  1. Blau, Y.; Michaeli, T. (2019). "Rethinking Lossy Compression: The Rate-Distortion-Perception Tradeoff" (PDF). Proceedings of the International Conference on Machine Learning. PMLR. pp. 675–685. arXiv:1901.07821.
  2. Cover & Thomas 2012, p. 310
  3. Cover, Thomas M.; Thomas, Joy A. (2012) [2006]. "10. Rate Distortion Theory". सूचना सिद्धांत के तत्व (2nd ed.). Wiley. ISBN 978-1-118-58577-1.
  4. Berger, Toby (1971). Rate Distortion Theory: A Mathematical Basis for Data Compression. Prentice Hall. ISBN 978-0-13-753103-5. LCCN 75-148254. OCLC 156968.


बाहरी संबंध