उष्मागतिकी और सूचना सिद्धांत में एन्ट्रॉपी

1870 के दशक में लुडविग बोल्ट्ज़मान और जे. विलार्ड गिब्स द्वारा स्थापित सांख्यिकीय ऊष्मागतिकी (स्टैटिस्टिकल थर्मोडायनामिक्स) निरूपण में ऊष्मागतिक एन्ट्रॉपी के लिए गणितीय व्यंजक 1940 के दशक में क्लाउड शैनन और राल्फ हार्टले द्वारा विकसित सूचना परिक्षय (इनफार्मेशन एन्ट्रॉपी) के समान हैं।

पारिभाषिक व्यंजकों के स्वरूप की समतुल्यता
1870 के दशक में लुडविग बोल्ट्ज़मैन और जे विलार्ड गिब्स द्वारा स्थापित सांख्यिकीय यांत्रिकी (स्टैटिस्टिकल मैकेनिक्स) के सिद्धांत में एन्ट्रॉपी के लिए परिभाषित व्यंजक इस प्रकार है:
 * $$ S = - k_\text{B} \sum_i p_i \ln p_i ,$$

जहां $$p_i$$ साम्यावस्था में किसी एन्सेम्बल से ली गई माइक्रोस्टेट (सूक्ष्म-अवस्था) की प्रायिकता है, और $$k_B$$ बोल्ट्ज़मान स्थिरांक है।

1948 में क्लॉड ई. शैनन द्वारा स्थापित सूचना सिद्धांत में एन्ट्रॉपी के लिए परिभाषित व्यंजक इस प्रकार है:
 * $$ H = - \sum_i p_i \log_b p_i ,$$

जहाँ $$p_i$$ मैसेज स्पेस (समष्टि) M से लिए गए मैसेज $$m_i$$ की प्रायिकता है, और b प्रयुक्त लघुगणक का आधार है। b के सामान्य मान 2 हैं, यूलर की संख्या $e$, और 10, और एन्ट्रॉपी की इकाई b = 2 के लिए शैनन (या बिट), b = $e$ के लिए नेट, और b = 10 के लिए हार्टले है।

गणितीय रूप से, H को मैसेज समष्टि पर लिए गए औसत सूचना के रूप में भी देखा जा सकता है, क्योंकि जब किसी निश्चित मैसेज की प्रायिकता pi के साथ होती है, तो सूचना मात्रा −log(pi) (जिसे इनफार्मेशन कंटेंट या स्व-सूचना कहा जाता है) प्राप्त होगी।

यदि सभी माइक्रोस्टेटस समसंभाव्य (एक माइक्रोकैनोनिकल संघ) हैं, तो सांख्यिक तापमान अव्यवस्थात्मक और बोल्ट्जमन द्वारा दिए गए रूप में कम हो जाता है।


 * $$ S = k_\text{B} \ln W ,$$

जहां W सूक्ष्म अवस्थाओं की संख्या है जो मैक्रोस्कोपिक ऊष्मागतिक अवस्था से मेल खाती है। अतः S तापमान पर निर्भर करता है।

यदि सभी मैसेज समसंभाव्य हैं, तो सूचना एन्ट्रॉपी हार्टले एन्ट्रॉपी में कम हो जाती है
 * $$ H = \log_b |M|\ ,$$

जहां $$|M|$$ मैसेज स्पेस (समष्टि) एम की कार्डिनैलिटी है।

ऊष्मागतिक परिभाषा में लघुगणक प्राकृतिक लघुगणक है। यह दिखाया जा सकता है कि गिब्स एन्ट्रॉपी फॉर्मूला, प्राकृतिक लघुगणक के साथ, रुडोल्फ क्लॉसियस के मैक्रोस्कोपिक शास्त्रीय ऊष्मागतिकी के सभी गुणों को पुन: उत्पन्न करता है। (लेख देखें: एन्ट्रॉपी (सांख्यिकीय विचार))।

सूचना एन्ट्रॉपी के मामले में लघुगणक को प्राकृतिक आधार पर भी ले जाया जा सकता है। यह सामान्य बिट्स (या अधिक औपचारिक रूप से, शैनन) के बजाय नेट्स में जानकारी को मापने का चयन करने के बराबर है। व्यवहार में, सूचना एन्ट्रॉपी की गणना लगभग हमेशा बेस-2 लघुगणक का उपयोग करके की जाती है, लेकिन यह अंतर इकाइयों में बदलाव के अलावा और कुछ नहीं है। एक नेट लगभग 1.44 शैनन के बराबर होता है।

एक सरल संपीड़ित प्रणाली के लिए जो केवल आयतन कार्य कर सकती है, ऊष्मागतिकी का पहला नियम बन जाता है
 * $$ dE = -p dV + T dS .$$

लेकिन कोई भी इस समीकरण को समान रूप से अच्छी तरह से लिख सकता है जिसे भौतिक विज्ञानी और रसायनज्ञ कभी-कभी 'कम' या आयाम रहित एन्ट्रॉपी, σ = S/k कहते हैं, ताकि
 * $$ dE = -p dV + k_\text{B} T d\sigma .$$

जिस प्रकार S, T से संयुग्मित है, उसी प्रकार σ kBT से संयुग्मित है (वह ऊर्जा जो आणविक पैमाने पर T की विशेषता है)।

इस प्रकार, सांख्यिकीय यांत्रिकी में (गिब्स एन्ट्रॉपी सूत्र $$S = -k_{\mathrm{B}}\sum_i p_i \log p_i$$) और क्लासिकल थर्मोडायनेमिक्स में ($$d S = \frac{\delta Q_\text{rev}}{T}$$, और मूलभूत ऊष्मागतिक संबंध) एंट्रोपी की परिभाषाएँ माइक्रोकैनॉनिकल संघ के लिए समरूप हैं, और ऐसे एक उर्वराशी संतुलित थर्मोडायनेमिक सिस्टम की वर्णन करने वाले सांख्यिक संघ, जैसे की कैनोनिक संघ, ग्रैंड कैनोनिक संघ, आइसोथर्मल–आइसोबेरिक संघ। इस समरूपता को सामान्यत: पुस्तकों में दिखाया जाता है। हालांकि, एंट्रोपी की थर्मोडायनेमिक परिभाषा और गिब्स एंट्रोपी के बीच इस समरूपता का सामान्य नहीं है, बल्कि यह एक सामान्यीकृत बोल्ट्जमन वितरण की विशेषता है।

इसके अलावा, यह दिखाया गया है कि सांख्यिकीय यांत्रिकी में एन्ट्रॉपी की परिभाषा एकमात्र एन्ट्रॉपी है जो निम्नलिखित अभिधारणाओं के तहत शास्त्रीय ऊष्मागतिकी एन्ट्रॉपी के बराबर है: 1. संभाव्यता घनत्व फ़ंक्शन संयोजन मापदंडों और यादृच्छिक चर के कुछ फ़ंक्शन के लिए आनुपातिक है।

2. थर्मोडायनामिक अवस्था कार्यों का वर्णन यादृच्छिक चरों के औसत औसत द्वारा किया जाता है।

3. अनंत तापमान पर, सभी सूक्ष्म अवस्थाओं की संभावना समान होती है।

सैद्धांतिक संबंध
पूर्वगामी के बावजूद, दोनों मात्राओं के बीच अंतर है। सूचना एन्ट्रॉपी Η की गणना किसी भी संभाव्यता वितरण (यदि "मैसेज" को यह माना जाए कि जिस घटना i की प्रायिकता pi थी, वह संभावित घटनाओं के समष्टि से बाहर घटित हुई) के लिए की जा सकती है, जबकि ऊष्मागतिक एन्ट्रॉपी एस विशेष रूप से ऊष्मागतिक प्रायिकताओं पाई को संदर्भित करता है। हालाँकि, यह अंतर वास्तविक से अधिक सैद्धांतिक है, क्योंकि किसी भी संभाव्यता वितरण को कुछ ऊष्मागतिक प्रणाली द्वारा मनमाने ढंग से निकटता से अनुमानित किया जा सकता है।

इसके अलावा, दोनों के बीच सीधा कनेक्शन भी बनाया जा सकता है। यदि विचाराधीन प्रायिकताएं ऊष्मागतिक प्रायिकताएं पाई हैं: (कम) गिब्स एन्ट्रॉपी σ को सिस्टम की विस्तृत सूक्ष्म स्थिति को परिभाषित करने के लिए आवश्यक शैनन जानकारी की मात्रा के रूप में देखा जा सकता है, जो इसके मैक्रोस्कोपिक विवरण को देखते हुए है। या, 1930 में रासायनिक एन्ट्रॉपी के बारे में लिखने वाले जी.एन. लुईस के शब्दों में, "एन्ट्रॉपी में लाभ का मतलब हमेशा जानकारी का नुकसान होता है, और इससे अधिक कुछ नहीं"। और विस्तार से कहें, विकल्प दो के लॉगारिदम का प्रयोग करके, असम्भावित रूप में, घटित गिब्स एंट्रोपी उस सीमा की गई सांख्यिक रूप में समान है जो यह सुनिश्चित करने के लिए कितने कम से कम हाँ-ना प्रश्नों की आवश्यकता है कि हम माक्रोस्थिति को जानते हैं कि संपूर्ण रूप स्थिति को पूरी तरह से निर्दिष्ट करने के लिए।

इसके अतिरिक्त, सांख्यिकीय यांत्रिकी के संतुलन वितरणों को ढूंढने के लिए—जैसे कि बोल्ट्जमन वितरण—जिसमें उपयुक्त बाधाओं के साथ गिब्स एन्ट्रॉपी को अधिकतम करने के लिए निर्देशित किया जाता है (गिब्स एल्गोरिथ्म), इसे थर्मोडायनेमिक्स के लिए अद्वितीय नहीं, बल्कि यदि इसे इच्छित है कि विशेष औसतों पर कुछ बाधाओं के साथ एक अधिकतम अनूज्ञ प्रायिकता वितरण प्राप्त किया जाए, तो सांख्यिकीय अनुमान में सामान्य रूप से सिद्धांत के रूप में देखा जा सकता है (इन परिप्रेक्ष्यों की और भी अन्वेषण किया जाता है अधिकतम एन्ट्रॉपी ऊष्मागतिकी लेख में)।

सूचना सिद्धांत में शैनन एन्ट्रॉपी कभी-कभी प्रति प्रतीक बिट्स की इकाइयों में व्यक्त की जाती है। भौतिक एन्ट्रॉपी "प्रति मात्रा" के आधार पर हो सकती है (एच) जिसे सामान्य कुल एन्ट्रॉपी के बजाय "गहन" एन्ट्रॉपी कहा जाता है जिसे "व्यापक" एन्ट्रॉपी कहा जाता है। एक मैसेज के "शैनन्स" (Η) इसकी कुल "व्यापक" सूचना एन्ट्रॉपी हैं और मैसेज में बिट्स की संख्या से h गुना है।

एच और एस के बीच एक सीधा और भौतिक रूप से वास्तविक संबंध प्रत्येक माइक्रोस्टेट के लिए एक प्रतीक निर्दिष्ट करके पाया जा सकता है जो एक सजातीय पदार्थ के प्रति मोल, किलोग्राम, आयतन या कण में होता है, फिर इन प्रतीकों के 'एच' की गणना करता है। सिद्धांत या अवलोकन के द्वारा, प्रतीक (माइक्रोस्टेट्स) विभिन्न प्रायिकताओं के साथ घटित होंगे और यह एच निर्धारित करेगा। यदि इकाई पदार्थ के N मोल, किलोग्राम, आयतन या कण हैं, तो h (प्रति इकाई पदार्थ के बिट्स में) और नेट में भौतिक व्यापक एन्ट्रॉपी के बीच संबंध है:


 * $$S = k_\mathrm{B} \ln(2) N h$$

जहां ln(2) शैनन एन्ट्रॉपी के आधार 2 से भौतिक एन्ट्रॉपी के प्राकृतिक आधार ई में रूपांतरण कारक है। N_h उपचय में सूचना की मात्रा है जो एक भौतिक प्रणाली की स्थिति को वर्णन करने के लिए बिट में आवश्यक है, जिसमें S एंट्रोपी है। लैंडौअर का सिद्धांत इसकी वास्तविकता को स्थापित करता है इसलिए कि यदि न्यूनतम ऊर्जा E की आवश्यकता है (और इसलिए उत्पन्न होने वाली ऊष्मा Q) एक आदर्श कुशल स्मृति परिवर्तन या तार्किक क्रिया के द्वारा, N_h बिट्स सूचना को अपरिवर्तनीय रूप से मिटाने या मर्ज करने के लिए, तो यह S गुना तापमान होगा जो की निम्नलिखित है


 * $$E = Q = T k_\mathrm{B} \ln(2) N h ,$$

जहां एच सूचनात्मक बिट्स में है और ई और क्यू भौतिक जूल में हैं। इसकी प्रायोगिक तौर पर पुष्टि की गई है।

तापमान एक आदर्श गैस (केल्विन = $2⁄3$ जूल/केबी) में प्रति कण औसत गतिज ऊर्जा का एक माप है, इसलिए केबी की जे/के इकाइयां आयामहीन (जूल/जूल) होती हैं। kb एक आदर्श गैस के लिए $3⁄2$ केल्विन में ऊर्जा से जूल तक रूपांतरण कारक है। यदि एक आदर्श गैस के प्रति कण की गतिज ऊर्जा माप को केल्विन के बजाय जूल के रूप में व्यक्त किया जाता है, तो उपरोक्त समीकरणों में kb को 3/2 से प्रतिस्थापित किया जाएगा। इससे पता चलता है कि एस माइक्रोस्टेट्स का एक सच्चा सांख्यिकीय माप है जिसमें सूचना की इकाइयों के अलावा कोई मौलिक भौतिक इकाई नहीं है, इस मामले में नेट्स, जो कि सम्मेलन द्वारा किस लघुगणक आधार को चुना गया था, इसका एक बयान है।

स्ज़ीलार्ड का इंजन
एक भौतिक विचार प्रयोग यह प्रदर्शित करता है कि सैद्धांतिक रूप से जानकारी रखने से ऊष्मागतिक परिणाम कैसे हो सकते हैं, इसे प्रसिद्ध मैक्सवेल के दानव परिदृश्य के परिशोधन में, 1929 में लेओ स्ज़िलार्ड द्वारा स्थापित किया गया था।

मैक्सवेल के सेट-अप को विचार करें, लेकिन केवल एक ही गैस कण होने के साथ एक बॉक्स में। यदि अद्भुत दैत्य जानता है कि खिड़की के कौनसे हिस्से में कण है (एकल बिट के समरूप), तो वह बॉक्स के दो हिस्सों के बीच एक शटर बंद कर सकता है, खाली हिस्से में एक पिस्टन को विरोधित किए बिना बंद कर सकता है, और फिर अगर शटर फिर से खोला जाता है तो $$k_\text{B} T \ln 2$$ जूल उपयोगी काम निकाल सकता है। फिर कण को इसोथर्मल रूप से उसके मूल संतुलित आवृत्ति वाले आदान-प्रदान में विस्तारित किया जा सकता है। इसलिए, बिलकुल सही परिस्थितियों में, एक शैनन सूचना के एकल बिट के पूर्णता में कमी (ब्रिल्यां के शब्दों में एकल नैगेंट्रोपी का एकल बिट) वास्तविक रूप से भौतिक प्रणाली की एंट्रोपी में कमी के समर्थन करती है। सामग्रिक एंट्रोपी कम नहीं होती है, लेकिन सूचना से मुक्त ऊर्जा परिवर्तन संभव है।

इस विचार प्रयोग को एक कंप्यूटर से जुड़े उच्च गति वाले कैमरे से सुसज्जित चरण-कंट्रास्ट माइक्रोस्कोप का उपयोग करके, राक्षस के रूप में कार्य करते हुए, भौतिक रूप से प्रदर्शित किया गया है। इस प्रयोग में, फीडबैक नियंत्रण के माध्यम से ब्राउनियन कण पर ऊर्जा रूपांतरण की जानकारी दी जाती है; यानी कण को दिए गए कार्य को उसकी स्थिति पर प्राप्त जानकारी के साथ सिंक्रनाइज़ करना। विभिन्न फीडबैक प्रोटोकॉल के लिए ऊर्जा संतुलन की गणना ने पुष्टि की है कि जारज़िनस्की समानता के लिए एक सामान्यीकरण की आवश्यकता होती है जो फीडबैक में सम्मिलित जानकारी की मात्रा का हिसाब रखती है।

लैंडौएर का सिद्धांत
वास्तव में कोई भी सामान्यीकरण कर सकता है: कोई भी जानकारी जिसका भौतिक प्रतिनिधित्व है, उसे किसी न किसी तरह भौतिक प्रणाली की स्वतंत्रता की सांख्यिकीय यांत्रिक डिग्री में एम्बेड किया जाना चाहिए।

इस प्रकार, रॉल्फ लैंडौएर ने 1961 में तर्क किया, अगर कोई यह कल्पना करे कि उन दर्जों को एक थर्मलाइज्ड स्थिति से शुरू करते हैं, तो अगर उन्हें फिर से एक ज्ञात स्थिति में रीसेट किया जाए, तो वहां एक वास्तविक थर्मोडायनेमिक एंट्रोपी की कमी होगी। यह केवल सूचना-संरक्षण माइक्रोस्कोपिक निर्दिष्ट गतिकी तत्वों के तहत ही संभव हो सकता है यदि अनिश्चितता को किसी अन्य समष्टि पर किसी भी रूप में छोड़ दिया जाए - यानी यदि पर्यावरण की एन्ट्रॉपी (या स्वतंत्रता की गैर-सूचना-असर वाली डिग्री) कम से कम एक समतुल्य मात्रा में बढ़ जाती है, जैसा कि आवश्यक है दूसरे नियम के अनुसार, उचित मात्रा में ऊष्मा प्राप्त करके: विशेष रूप से यादृच्छिकता के प्रत्येक 1 बिट के लिए kT ln 2 ऊष्मा मिटा दी जाती है।

दूसरी ओर, लैंडौएर ने तर्क दिया, सिस्टम में भौतिक रूप से प्रतिवर्ती तरीके से संभावित रूप से प्राप्त किए जा रहे तार्किक रूप से प्रतिवर्ती ऑपरेशन पर कोई ऊष्मागतिक आपत्ति नहीं है। यह केवल तार्किक रूप से अपरिवर्तनीय संचालन है - उदाहरण के लिए, किसी ज्ञात स्थिति में एक बिट को मिटाना, या दो गणना पथों का विलय - जो एक संबंधित एन्ट्रॉपी वृद्धि के साथ होना चाहिए। जब सूचना भौतिक होती है, तो इसके अभ्यावेदन की सभी प्रोसेसिंग, यानी पीढ़ी, एन्कोडिंग, ट्रांसमिशन, डिकोडिंग और व्याख्या, प्राकृतिक प्रक्रियाएं होती हैं जहां मुक्त ऊर्जा की खपत से एन्ट्रॉपी बढ़ती है।

मैक्सवेल के दानव/स्ज़ीलार्ड इंजन परिदृश्य पर लागू होने पर, यह पता चलता है कि बिना एन्ट्रॉपी लागत के कण की स्थिति को कंप्यूटिंग उपकरण में "पढ़ना" संभव हो सकता है; लेकिन केवल तभी जब उपकरण को अनिश्चितता की तापीय अवस्था में होने के बजाय पहले से ही ज्ञात स्थिति में सेट किया गया हो। उपकरण को इस स्थिति में सेट (या रीसेट) करने के लिए सारी एन्ट्रॉपी खर्च होगी जिसे स्ज़ीलार्ड के कण की स्थिति जानकर बचाया जा सकता है।

2008 और 2009 में, शोधकर्ताओं ने दिखाया कि लैंडौएर का सिद्धांत ऊष्मागतिकी के दूसरे नियम और सूचना लाभ से जुड़े एन्ट्रॉपी परिवर्तन, क्वांटम और शास्त्रीय प्रतिक्रिया-नियंत्रित प्रणालियों के ऊष्मागतिकी को विकसित करने से प्राप्त किया जा सकता है।

नेगेंट्रॉपी
शैनन एन्ट्रॉपी को भौतिक विज्ञानी लियोन ब्रिलॉइन ने एक अवधारणा से संबंधित किया है जिसे कभी-कभी नेगेंट्रॉपी कहा जाता है। 1953 में, ब्रिलौइन ने एक सामान्य समीकरण निकाला[10] जिसमें कहा गया था कि सूचना बिट मान को बदलने के लिए कम से कम kT ln(2) ऊर्जा की आवश्यकता होती है। यह वही ऊर्जा है जो लियो स्ज़ीलार्ड का इंजन आदर्शवादी मामले में उत्पन्न करता है, जो बदले में लैंडौएर द्वारा पाई गई समान मात्रा के बराबर होती है। उनकी किताब में, उन्होंने इस समस्या को और भी गहराई से अन्वेषित किया और निष्कर्ष किया कि बिट मूल्य परिवर्तन के किसी भी कारण (मापन, हाँ/ना के सवाल पर निर्णय, मिटाना, प्रदर्शन, आदि) के लिए एक ही मात्रा, kT ln(2), ऊर्जा की आवश्यकता होगी। परिणामस्वरूप, किसी सिस्टम के माइक्रोस्टेट्स के बारे में जानकारी प्राप्त करना एक एन्ट्रॉपी उत्पादन से जुड़ा होता है, जबकि मिटाने से एन्ट्रॉपी उत्पादन तभी होता है जब बिट मान बदल रहा हो। किसी उप-प्रणाली में मूल रूप से थर्मल संतुलन में थोड़ी सी जानकारी स्थापित करने से समष्टिीय एन्ट्रॉपी में कमी आती है। हालाँकि, ब्रिलोइन के अनुसार, ऊष्मागतिकी के दूसरे नियम का कोई उल्लंघन नहीं है, क्योंकि किसी भी समष्टिीय प्रणाली की ऊष्मागतिक एन्ट्रॉपी में कमी के परिणामस्वरूप अन्यत्र ऊष्मागतिक एन्ट्रॉपी में वृद्धि होती है। इस प्रकार ब्रिलोइन ने नेगेंट्रॉपी का अर्थ स्पष्ट किया जिसे विवादास्पद माना गया क्योंकि इसकी पूर्व समझ से कार्नोट की दक्षता एक से अधिक हो सकती है। इसके अतिरिक्त, ब्रिलोइन द्वारा तैयार की गई ऊर्जा और जानकारी के बीच संबंध को मस्तिष्क द्वारा संसाधित की जाने वाली बिट्स की मात्रा और इसके द्वारा उपभोग की जाने वाली ऊर्जा के बीच संबंध के रूप में प्रस्तावित किया गया है: कोलेल और फॉक्वेट ने तर्क दिया कि डी कास्त्रो ने विश्लेषणात्मक रूप से मस्तिष्क गणना के लिए ऊष्मागतिक निचली सीमा के रूप में लैंडौअर सीमा को पाया। हालाँकि, भले ही विकासवाद ने सबसे ऊर्जावान रूप से कुशल प्रक्रियाओं को "चयनित" किया हो, लेकिन मस्तिष्क में भौतिक निचली सीमाएँ यथार्थवादी मात्राएँ नहीं हैं। सबसे पहले, क्योंकि भौतिकी में मानी जाने वाली न्यूनतम प्रसंस्करण इकाई परमाणु/अणु है, जो मस्तिष्क के काम करने के वास्तविक तरीके से बहुत दूर है; और, दूसरी बात, क्योंकि तंत्रिका नेटवर्क में महत्वपूर्ण अतिरेक और शोर कारक सम्मिलित होते हैं जो उनकी दक्षता को काफी कम कर देते हैं। लाफलिन एट अल संवेदी सूचना के प्रसंस्करण की ऊर्जावान लागत के लिए स्पष्ट मात्रा प्रदान करने वाले पहले व्यक्ति थे। ब्लोफ़्लाईज़ में उनके निष्कर्षों से पता चला कि दृश्य संवेदी डेटा के लिए, सूचना के एक बिट को प्रसारित करने की लागत लगभग 5 × 10−14 जूल या समकक्ष 104 एटीपी अणु है। इस प्रकार, तंत्रिका प्रसंस्करण दक्षता अभी भी लैंडॉउर की kTln(2) J की सीमा से दूर है, लेकिन एक दिलचस्प तथ्य के रूप में, यह अभी भी आधुनिक कंप्यूटरों की तुलना में बहुत अधिक कुशल है।

2009 में, माहुलिकर और हेरविग ने ऊष्मागतिक नेगेंट्रॉपी को उसके परिवेश के सापेक्ष गतिशील रूप से आदेशित उप-प्रणाली के विशिष्ट एन्ट्रॉपी घाटे के रूप में फिर से परिभाषित किया। इस परिभाषा ने नेगेंट्रॉपी सिद्धांत के निर्माण को सक्षम किया, जिसे गणितीय रूप से आदेश अस्तित्व के दौरान ऊष्मागतिकी के दूसरे नियम से पालन करते हुए दिखाया गया है।

क्वांटम सिद्धांत
हर्शमन ने दिखाया, अर्थात्, हिर्शमन अनिश्चितता, कि हाइजेनबर्ग की अनिश्चितता सिद्धांत को क्वांटम मैकेनिकल स्थिति के क्वांटम अवलोकन प्रायिकता वितरणों की क्लासिकल वितरण एंट्रोपी के योग के रूप में व्यक्त किया जा सकता है, क्वांटम यांत्रिक स्थिति, अर्थात्, कोआर्डिनेट में और संवेग समष्टि में, जब Planck इकाइयों में व्यक्त किया जाता है। परिणामी असमीकरण हाइजेनबर्ग की अनिश्चितता संबंधों पर एक और कठिन बाधा प्रदान करते हैं।

"संयुक्त एन्ट्रॉपी" निर्दिष्ट करना सार्थक है, क्योंकि स्थिति और संवेग क्वांटम संयुग्म चर हैं और इसलिए संयुक्त रूप से अवलोकन योग्य नहीं हैं। गणितीय रूप से इन्हें संयुक्त वितरण के रूप में माना जाना चाहिए। ध्यान दें कि यह संयुक्त एन्ट्रॉपी वॉन न्यूमैन एन्ट्रॉपी, −Tr ρ lnρ = −⟨lnρ⟩ के बराबर नहीं है। कहा जाता है कि हिर्शमैन की एन्ट्रॉपी क्वांटम अवस्थाओं के मिश्रण की संपूर्ण सूचना सामग्री के लिए जिम्मेदार होती है।

(क्वांटम जानकारी के दृष्टिकोण से वॉन न्यूमैन एन्ट्रॉपी के प्रति असंतोष स्टॉटलैंड, पोमेरांस्की, बैचमैट और कोहेन द्वारा व्यक्त किया गया है, जिन्होंने एन्ट्रॉपी की एक अलग परिभाषा पेश की है जो क्वांटम मैकेनिकल राज्यों की अंतर्निहित अनिश्चितता को दर्शाती है। यह परिभाषा शुद्ध अवस्थाओं की न्यूनतम अनिश्चितता एन्ट्रॉपी और मिश्रणों की अतिरिक्त सांख्यिकीय एन्ट्रॉपी के बीच अंतर की अनुमति देती है। [19])

यह भी देखें
• थर्मोडायनामिक एन्ट्रॉपी

• सूचना एन्ट्रापी

• थर्मोडायनामिक्स

• सांख्यिकीय यांत्रिकी

• सूचना सिद्धांत

• क्वांटम उलझाव

• क्वांटम डीकोहेरेंस

• उतार-चढ़ाव प्रमेय

• ब्लैक होल एन्ट्रॉपी

• ब्लैक होल सूचना विरोधाभास

• एंट्रॉपी (सूचना सिद्धांत)

• एंट्रॉपी (सांख्यिकीय थर्मोडायनामिक्स)

• एन्ट्रॉपी (आदेश और अव्यवस्था)

• परिमाण के क्रम (एन्ट्रॉपी)

अग्रिम पठन

 * . [Republication of 1962 original.]
 * (A highly technical collection of writings giving an overview of the concept of entropy as it appears in various disciplines.)
 * (as PDF)
 * (A highly technical collection of writings giving an overview of the concept of entropy as it appears in various disciplines.)
 * (as PDF)
 * (as PDF)
 * (as PDF)
 * (as PDF)
 * (as PDF)
 * (as PDF)
 * (as PDF)

बाहरी संबंध

 * Information Processing and Thermodynamic Entropy Stanford Encyclopedia of Philosophy.
 * An Intuitive Guide to the Concept of Entropy Arising in Various Sectors of Science — a wikibook on the interpretation of the concept of entropy.