ऑटोएन्कोडर: Difference between revisions

Revision as of 09:06, 30 May 2023

एक स्वतः कूटलेखन एक प्रकार का कृत्रिम तंत्रिका जाल है जिसका उपयोग बिना लेबल वाले डेटा (अनियंत्रित शिक्षा) की कुशल कोडिंग को सीखने के लिए किया जाता है।^[1]^[2] एक स्वतः कूटलेखन दो फलन सीखता है: एक कूटलेखन फलन जो इनपुट डेटा को रूपांतरित करता है, और एक कूटवाचन फलन जो कूटलिखित विषयबोधक से इनपुट डेटा को फिर से बनाता है। स्वतः कूटलेखन डेटा के एक समुच्चय के लिए, सामान्यतः आयामीता में कमी के लिए कुशल कोडिंग (कूटलेखन) सीखता है,।

उपयोगी गुण ग्रहण करने के लिए सीखे गए अभ्यावेदन को बाध्य करने के उद्देश्य से परिवर्ती उपलब्ध हैं।^[3]उदाहरण नियमित स्वतः कूटलेखन (विरल, डेनोइजिंग और संकोचक) हैं, जो बाद के सांख्यिकीय वर्गीकरण फलन के लिए सीखने के विषयबोधक में प्रभावी हैं,^[4]और परिवर्तनशील स्वतः कूटलेखन, प्रजनक मॉडल के रूप में अनुप्रयोगों के साथ।^[5] स्वतः कूटलेखन चेहरे की पहचान सहित कई समस्याओं पर लागू होते हैं,^[6] विशेष गुण संसूचक,^[7] विसंगति का पता लगाना और शब्दों का अर्थ प्राप्त करना।^[8]^[9] स्वतः कूटलेखन भी प्रजनक मॉडल हैं जो बेतरतीब ढंग से नया डेटा उत्पन्न कर सकते हैं जो इनपुट डेटा (प्रशिक्षण डेटा) के समान है।^[7]

गणितीय सिद्धांत

परिभाषा

एक स्वतः कूटलेखन को निम्नलिखित घटकों द्वारा परिभाषित किया गया है:

दो समुच्चय: डिकोड किए गए संदेशों ${\mathcal {X}}$ का स्थान कूटलिखित संदेशों ${\mathcal {Z}}$ का स्थान. लगभग सदैव, दोनों ${\mathcal {X}}$ और ${\mathcal {Z}}$ यूक्लिडियन रिक्त स्थान हैं, अर्थात्, कुछ $m,n$ . के लिए ${\mathcal {X}}=\mathbb {R} ^{m},{\mathcal {Z}}=\mathbb {R} ^{n}$

फलन के दो प्राचलीकरण परिवार: कूटलेखक परिवार $E_{\phi }:{\mathcal {X}}\rightarrow {\mathcal {Z}}$ , द्वारा प्राचलीकरण $\phi$ ; कूटवाचन परिवार $D_{\theta }:{\mathcal {Z}}\rightarrow {\mathcal {X}}$ , द्वारा प्राचलीकरण $\theta$

किसी $x\in {\mathcal {X}}$ के लिए भी हम सामान्यतः $z=E_{\phi }(x)$ लिखते हैं , और इसे कोड, अव्यक्त चर, अव्यक्त प्रतिनिधित्व, अव्यक्त सदिश, आदि के रूप में देखें। इसके विपरीत, किसी के लिए $z\in {\mathcal {Z}}$ , हम सामान्यतः लिखते हैं $x'=D_{\theta }(z)$ , और इसे (डिकोडेड) संदेश के रूप में देखें।

सामान्यतः , कूटलेखक और कूटवाचन दोनों को बहुपरत परसेप्ट्रॉन के रूप में परिभाषित किया जाता है। उदाहरण के लिए, एक परत एमएलपी कूटलेखक $E_{\phi }$ है:

E_{\phi }(\mathbf {x} )=\sigma (Wx+b)

जहाँ $\sigma$ अवग्रह फलन या परिशोधित रेखीय इकाई जैसे अवयव-वार सक्रियण फलन है, $W$ एक आव्यूह है जिसे वजन कहा जाता है, और $b$ एक सदिश है जिसे पूर्वाग्रह कहा जाता है।

एक स्वतः कूटलेखन का प्रशिक्षण

एक स्वतः कूटलेखन, अपने आप में, केवल दो फलन का एक टपल है। इसकी गुणवत्ता का न्याय करने के लिए, हमें एक फलन की आवश्यकता है। एक फलन एक संदर्भ संभाव्यता वितरण द्वारा परिभाषित किया गया है $\mu _{ref}$ ऊपर ${\mathcal {X}}$ , और एक पुनर्निर्माण गुणवत्ता फलन $d:{\mathcal {X}}\times {\mathcal {X}}\to [0,\infty ]$ , ऐसा है कि $x'$ से अलग होना $x$ . $d(x,x')$ कितना मापता है।

उन के साथ, हम स्वतः कूटलेखन के लिए हानि फलन को परिभाषित कर सकते हैं।

L(\theta ,\phi ):=\mathbb {\mathbb {E} } _{x\sim \mu _{ref}}[d(x,D_{\theta }(E_{\phi }(x)))]

दिए गए फलन के लिए इष्टतम स्वतः कूटलेखन

(\mu _{ref},d)

तब है

\arg \min _{\theta ,\phi }L(\theta ,\phi )

. इष्टतम स्वतः कूटलेखन की खोज किसी भी गणितीय अनुकूलन तकनीक द्वारा पूरी की जा सकती है, लेकिन सामान्यतः ढाल वंश द्वारा। इस खोज प्रक्रिया को स्वतः कूटलेखन प्रशिक्षण कहा जाता है।

ज्यादातर स्थितियों में, संदर्भ वितरण केवल डेटा समुच्चय द्वारा दिया गया अनुभवजन्य माप है $\{x_{1},...,x_{N}\}\subset {\mathcal {X}}$ , ताकि

\mu _{ref}={\frac {1}{N}}\sum _{i=1}^{N}\delta _{x_{i}}

और जहाँ

\delta _{x_{i}}

डिरैक माप है, और गुणवत्ता फलन केवल L2 हानि है:

d(x,x')=\|x-x'\|_{2}^{2}

. तब इष्टतम स्वतः कूटलेखन की खोज की समस्या सिर्फ एक कम वर्ग है | कम से कम वर्ग अनुकूलन:

\min _{\theta ,\phi }L(\theta ,\phi ),{\text{where }}L(\theta ,\phi )={\frac {1}{N}}\sum _{i=1}^{N}\|x_{i}-D_{\theta }(E_{\phi }(x_{i}))\|_{2}^{2}

व्याख्या

File:Autoencoder schema.png

एक मूल स्वतः कूटलेखन का योजनाबद्ध

एक स्वतः कूटलेखन के दो मुख्य भाग होते हैं: एक कूटलेखक जो संदेश को एक कोड में मानचित्रित करता है, और एक कूटवाचन जो कोड से संदेश d का पुनर्निर्माण करता है। एक इष्टतम स्वतः कूटलेखन पुनर्निर्माण गुणवत्ता फलन d द्वारा परिभाषित "बिल्कुल सही के करीब" के साथ यथासंभव पूर्ण पुनर्निर्माण के करीब प्रदर्शन करेगा।

कॉपी करने के फलन को पूरी तरह से करने का सबसे सरल तरीका सिग्नल की नकल करना होगा। इस व्यवहार को दबाने के लिए, कोड स्थान ${\mathcal {Z}}$ सामान्यतः संदेश ${\mathcal {X}}$ स्थान की तुलना में कम आयाम होते हैं ।

ऐसे स्वतः कूटलेखन को अंडरकंप्लीट कहा जाता है। इसे डेटा संपीड़न संदेश, या आयामीता में कमी के रूप में व्याख्या किया जा सकता है।^[1]^[10]

एक आदर्श अपूर्ण स्वतः कूटलेखन की सीमा पर, हर संभव कोड $z$ कोड स्थान में किसी संदेश को कूटलेखन करने के लिए उपयोग किया जाता है $x$ जो वास्तव में वितरण में दिखाई देता है $\mu _{ref}$ , और कूटवाचन भी सही है: $D_{\theta }(E_{\phi }(x))=x$ . इस आदर्श स्वतः कूटलेखन का उपयोग इसके कूटवाचन मनमाने कोड को फीड करके वास्तविक संदेशों से अप्रभेद्य संदेशों को उत्पन्न करने के लिए किया जा सकता है। $z$ और $D_{\theta }(z)$ ,प्राप्त करना जो एक संदेश $\mu _{ref}$ .है जो वास्तव में वितरण में प्रकट होता है

यदि कोड स्थान ${\mathcal {Z}}$ इसका आयाम (अपूर्ण) से बड़ा है, या संदेश स्थान के बराबर है ${\mathcal {X}}$ , या छिपी हुई इकाइयों को पर्याप्त क्षमता दी जाती है, एक स्वतः कूटलेखन पहचान फलन सीख सकता है और बेकार हो सकता है। हालाँकि, प्रायोगिक परिणामों में पाया गया कि अधूरे स्वतः कूटलेखन में अभी भी सीखने की सुविधा हो सकती है।^[11]

आदर्श समुच्चय सेटिंग में, कोड आयाम और मॉडल क्षमता को मॉडल किए जाने वाले डेटा वितरण की जटिलता के आधार पर समुच्चय किया जा सकता है। ऐसा करने का एक मानक तरीका मूल स्वतः कूटलेखन में संशोधन जोड़ना है, जिसका विवरण नीचे दिया गया है।^[3]

इतिहास

क्रेमर द्वारा स्वतः कूटलेखन को पहले प्रधान घटक विश्लेषण (पीसीए) के एक गैर-रैखिक सामान्यीकरण के रूप में प्रस्तावित किया गया था।^[1]स्वतः कूटलेखन को ऑटो सहयोगी भी कहा जाता है,^[12] या डायबोलो नेटवर्क।^[13]^[11]1990 के दशक की शुरुआत में इसके पहले आवेदन की तारीख।^[3]^[14]^[15] उनका सबसे पारंपरिक अनुप्रयोग विमीयता समानयन या विशेष गुण लर्निंग था, लेकिन डेटा के प्रजनक मॉडल सीखने के लिए इस अवधारणा का व्यापक रूप से उपयोग किया जाने लगा।^[16]^[17] 2010 के कुछ सबसे शक्तिशाली कृत्रिम एआई में ध्यान लगा के पढ़ना या सीखना न्यूरल नेटवर्क के अंदर स्वतः कूटलेखन सम्मलित थे। ^[18]

रूपांतर

नियमित स्वतः कूटलेखन

स्वतः कूटलेखन को पहचान फलन सीखने से रोकने और महत्वपूर्ण सूचनाओं को आकर्षित करने और समृद्ध अभ्यावेदन सीखने की उनकी क्षमता में सुधार करने के लिए विभिन्न तकनीकें उपलब्ध हैं।

विरल स्वतः कूटलेखन (एसएई)

तंत्रिकाविज्ञान में विरल कोडिंग परिकल्पना से प्रेरित, विरल स्वतः कूटलेखन स्वतः कूटलेखन के परिवर्ती हैं, जैसे कि कोड $E_{\phi }(x)$ संदेशों के लिए विरल कोड होते हैं, अर्थात, $E_{\phi }(x)$ अधिकांश प्रविष्टियों में शून्य के करीब है। विरल स्वतः कूटलेखन में इनपुट की तुलना में अधिक (कम के अतिरिक्त ) छिपी हुई इकाइयाँ सम्मलित हो सकती हैं, लेकिन एक ही समय में केवल कुछ ही छिपी हुई इकाइयों को सक्रिय होने की अनुमति है।^[19]विरलता को प्रोत्साहित करने से वर्गीकरण फलन के प्रदर्शन में सुधार होता है।^[20]

File:Autoencoder sparso.png

सिंगल-लेयर स्पार्स स्वतः कूटलेखन का सरल स्कीमा। चमकीले पीले रंग में छिपे हुए नोड सक्रिय होते हैं, जबकि हल्के पीले रंग निष्क्रिय होते हैं। सक्रियण इनपुट पर निर्भर करता है।

विरलता को लागू करने के दो मुख्य तरीके हैं। एक तरीका यह है कि अव्यक्त कोड की उच्चतम-के सक्रियता को छोड़कर सभी को शून्य पर दबा दिया जाए। यह के -विरल स्वतः कूटलेखन है।^[21]

के -विरल स्वतः कूटलेखन एक मानक स्वतः कूटलेखन की अव्यक्त परत में निम्न के -विरल फलन सम्मिलित करता है:

f_{k}(x_{1},...,x_{n})=(x_{1}b_{1},...,x_{n}b_{n})

जहाँ

b_{i}=1

और 0 अन्यथा अगर

|x_{i}|

शीर्ष k में रैंक करता है, ।

बैकप्रोपैगेटिंग के माध्यम से $f_{k}$ सरल है: के लिए अनुप्रवण को 0 पर समुच्चय करें $b_{i}=0$ प्रविष्टियाँ, और के लिए अनुप्रवण रखें $b_{i}=1$ प्रविष्टियाँ। यह अनिवार्य रूप से एक सामान्यीकृत शुद्ध करनेवाला (तंत्रिका जाल ) फलन है।^[21]

दूसरा तरीका के -विरल स्वतः कूटलेखन का विश्राम (सन्निकटन) है। विरलता को मजबूर करने के अतिरिक्त , हम एक विरल नियमितीकरण हानि जोड़ते हैं, फिर इसके लिए अनुकूलन करते हैं

\min _{\theta ,\phi }L(\theta ,\phi )+\lambda L_{sparsity}(\theta ,\phi )

जहाँ

\lambda >0

मापता है कि हम कितनी विरलता लागू करना चाहते हैं।^[22]

बता दें कि स्वतः कूटलेखन संरचना है $K$ परतें। अविरलता नियमितीकरण हानि को परिभाषित करने के लिए, हमें वांछित अविरलता की आवश्यकता होती है ${\hat {\rho }}_{k}$ प्रत्येक परत के लिए, एक वजन $w_{k}$ प्रत्येक विरलता और एक फलन को कितना लागू करना है $s:[0,1]\times [0,1]\to [0,\infty ]$ यह मापने के लिए कि दो अविरलता में कितना अंतर है।

प्रत्येक इनपुट के लिए $x$ दें , प्रत्येक परत में सक्रियण की वास्तविक विरलता $k$ होना

\rho _{k}(x)={\frac {1}{n}}\sum _{i=1}^{n}a_{k,i}(x)

जहाँ

a_{k,i}(x)

i

-वें न्यूरॉन

k

-वें इनपुट पर परत

x

. में सक्रियता है

इनपुट पर विरलता हानि $x$ एक परत के लिए है $s({\hat {\rho }}_{k},\rho _{k}(x))$ , और संपूर्ण स्वतः कूटलेखन के लिए विरलता नियमितीकरण हानि विरलता हानियों का अपेक्षित भारित योग है:

L_{sparsity}(\theta ,\phi )=\mathbb {\mathbb {E} } _{x\sim \mu _{X}}\left[\sum _{k\in 1:K}w_{k}s({\hat {\rho }}_{k},\rho _{k}(x))\right]

सामान्यतः , फलन

s

या तो कुल्बैक-लीब्लर अपसारित है | कुल्बैक-लीब्लर (केएल) विचलन, जैसा कि^[20]^[22]^[23]^[24]

s(\rho ,{\hat {\rho }})=KL(\rho ||{\hat {\rho }})=\rho \log {\frac {\rho }{\hat {\rho }}}+(1-\rho )\log {\frac {1-\rho }{1-{\hat {\rho }}}}

या L1 हानि, जैसा $s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|$ , या L2 नुकसान, जैसा $s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|^{2}$ .

वैकल्पिक रूप से, अविरलता नियमितीकरण हानि को किसी भी वांछित अविरलता के संदर्भ के बिना परिभाषित किया जा सकता है, लेकिन जितना संभव हो उतना अविरलता को बल दें। इस प्रकरणों में, एक विरल नियमितीकरण हानि के रूप में हो सकता है

L_{sparsity}(\theta ,\phi )=\mathbb {\mathbb {E} } _{x\sim \mu _{X}}\left[\sum _{k\in 1:K}w_{k}\|h_{k}\|\right]

जहाँ

h_{k}

में सक्रियण सदिश है

k

स्वतः कूटलेखन की -वीं परत। नियम

\|\cdot \|

सामान्यतः L1 मानदंड (L1 विरल स्वतः कूटलेखन देता है) या L2 मानदंड (L2 विरल स्वतः कूटलेखन देता है)।

डीनोइजिंग स्वतः कूटलेखन (डीएई)

डीनोइजिंग स्वतः कूटलेखन (डीएई) पुनर्निर्माण मानदंड को बदलकर एक अच्छा विषयबोधक प्राप्त करने का प्रयास करते हैं।^[3]^[4]

एक डीएई को मानक स्वतः कूटलेखन में शोर प्रक्रिया जोड़कर परिभाषित किया जाता है। एक शोर प्रक्रिया को संभाव्यता वितरण द्वारा परिभाषित किया गया है $\mu _{T}$ फलन से अधिक $T:{\mathcal {X}}\to {\mathcal {X}}$ . अर्थात फलन $x\in {\mathcal {X}}$ $T$ संदेश लेता है , और इसे शोर वाले संस्करण $\mu _{T}$ .में बदल देता है $T(x)$ . कार्यक्रम $T$ संभाव्यता वितरण के साथ यादृच्छिक रूप से चुना जाता है

एक दिया हुआ फलन दिया $(\mu _{ref},d)$ डीएई के प्रशिक्षण की समस्या अनुकूलन समस्या है:

\min _{\theta ,\phi }L(\theta ,\phi )=\mathbb {\mathbb {E} } _{x\sim \mu _{X},T\sim \mu _{T}}[d(x,(D_{\theta }\circ E_{\phi }\circ T)(x))]

यही है, इष्टतम डीएई को कोई शोर संदेश लेना चाहिए और शोर के बिना मूल संदेश को पुनर्प्राप्त करने का प्रयास करना चाहिए, इस प्रकार इसका नाम डीनोइजिंग होता है। परिवर्तन संबंधी स्वतः कूटलेखन (वीएई) परिवर्तन संबंधी बायेसियन विधियों के परिवारों से संबंधित हैं।

सामान्यतः , शोर प्रक्रिया $T$ केवल प्रशिक्षण और परीक्षण के समय लागू किया जाता है, डाउनस्ट्रीम उपयोग के समय नहीं लागू किया जाता है।

डीएई का उपयोग दो मान्यताओं पर निर्भर करता है:

उन संदेशों के विषयबोधक उपलब्ध हैं जो अपेक्षाकृत स्थिर हैं और हमारे द्वारा सामना किए जाने वाले शोर के प्रकार के लिए मजबूत हैं;
उक्त विषयबोधक इनपुट वितरण में संरचनाओं को आकर्षित करते हैं जो हमारे उद्देश्यों के लिए उपयोगी होते हैं।^[4]

उदाहरण शोर प्रक्रियाओं में सम्मलित हैं:

योज्य आइसोट्रोपिक योगात्मक सफेद गाऊसी शोर,
मास्किंग शोर (इनपुट का एक अंश यादृच्छिक रूप से चुना जाता है और 0 पर समुच्चय होता है)
नमक और काली मिर्च का शोर (इनपुट का एक अंश बेतरतीब ढंग से चुना जाता है और बेतरतीब ढंग से इसके न्यूनतम या अधिकतम मूल्य पर समुच्चय किया जाता है)।^[4]

संविदात्मक स्वतः कूटलेखन (सीएई)

एक संविदात्मक स्वतः कूटलेखन मानक स्वतः कूटलेखन हानि के लिए संविदात्मक नियमितीकरण हानि जोड़ता है:

\min _{\theta ,\phi }L(\theta ,\phi )+\lambda L_{contractive}(\theta ,\phi )

जहाँ

\lambda >0

मापता है कि हम कितना अनुबंधात्मकता लागू करना चाहते हैं। संविदात्मक नियमितीकरण हानि को जैकबियन आव्यूह के अपेक्षित फ्रोबेनियस मानदंड और इनपुट के संबंध में एन्कोडर सक्रियण के निर्धारक के रूप में परिभाषित किया गया है:

L_{contractive}(\theta ,\phi )=\mathbb {E} _{x\sim \mu _{ref}}\|\nabla _{x}E_{\phi }(x)\|_{F}^{2}

क्या समझने के लिए

L_{contractive}

उपाय, इस तथ्य पर ध्यान दें

\|E_{\phi }(x+\delta x)-E_{\phi }(x)\|_{2}\leq \|\nabla _{x}E_{\phi }(x)\|_{F}\|\delta x\|_{2}

किसी संदेश के लिए

x\in {\mathcal {X}}

, और इस में छोटी भिन्नता

\delta x

होता है। इस प्रकार, यदि

\|\nabla _{x}E_{\phi }(x)\|_{F}^{2}

छोटा है, तो इसका तात्पर्य यह है कि संदेश का एक छोटा पड़ोस उसके कोड के एक छोटे से पड़ोस में मानचित्रित करता है। यह एक वांछित संपत्ति है, क्योंकि इसका तात्पर्य यह है कि संदेश में छोटी भिन्नता इसके कोड में छोटी, अनुमानतः शून्य भी भिन्नता की ओर ले जाती है, जैसे कि दो चित्र समान कैसे दिख सकते हैं, भले ही वे बिल्कुल समान न हों।

डीएई को सीएई की एक अतिसूक्ष्म सीमा के रूप में समझा जा सकता है: छोटे गॉसियन इनपुट शोर की सीमा में, डीएई पुनर्निर्माण फलन को छोटे लेकिन परिमित आकार के इनपुट अस्तव्यस्तता का विरोध करते हैं, जबकि सीएई निकाले गए सुविधाओं को अनंत इनपुट अस्तव्यस्तता का विरोध करते हैं।

न्यूनतम विवरण लंबाई स्वतः कूटलेखन

^[25]

कंक्रीट स्वतः कूटलेखन

कंक्रीट स्वतः कूटलेखन असतत सुविधा चयन के लिए डिज़ाइन किया गया है।^[26] एक ठोस स्वतः कूटलेखन अव्यक्त स्थान को केवल उपयोगकर्ता द्वारा निर्दिष्ट सुविधाओं की संख्या से युक्त करने के लिए बाध्य करता है। कंक्रीट स्वतः कूटलेखन विशेष गुण चयनकर्ता परत के माध्यम से ग्रेडियेंट को पारित करने की अनुमति देने के लिए श्रेणीबद्ध वितरण के निरंतर विश्राम (सन्निकटन) का उपयोग करता है, जो पुनर्निर्माण नुकसान को कम करने वाले इनपुट सुविधाओं के इष्टतम सबसमुच्चय को सीखने के लिए मानक वापस प्रसार का उपयोग करना संभव बनाता है।

परिवर्तनशील स्वतः कूटलेखन (वीएई)

परिवर्तन संबंधी स्वतः कूटलेखन (वीएई) परिवर्तन संबंधी बायेसियन विधियों के परिवारों से संबंधित हैं। बुनियादी स्वतः कूटलेखन के साथ वास्तुशिल्प समानता के बावजूद, वीएई विभिन्न लक्ष्यों के साथ और पूरी तरह से अलग गणितीय सूत्रीकरण के साथ वास्तुकला हैं। अव्यक्त स्थान इस प्रकरणों में एक निश्चित सदिश के अतिरिक्त वितरण के मिश्रण से बना है।

एक इनपुट डेटासमुच्चय दिया गया $x$ एक अज्ञात संभाव्यता फलन द्वारा विशेषता $P(x)$ और एक बहुभिन्नरूपी अव्यक्त कूटलेखन सदिश $z$ , उद्देश्य डेटा को वितरण के रूप में मॉडल करना है $p_{\theta }(x)$ , साथ $\theta$ नेटवर्क मापदंडों के समुच्चय के रूप में परिभाषित किया गया है जिससे $p_{\theta }(x)=\int _{z}p_{\theta }(x,z)dz$ .

गहराई के लाभ

File:Autoencoder structure.png

स्वतः कूटलेखन को अक्सर सिंगल लेयर कूटलेखक और सिंगल लेयर कूटवाचन के साथ प्रशिक्षित किया जाता है, लेकिन कई लेयर्ड (डीप) कूटलेखक और कूटवाचन का उपयोग करने से कई फायदे मिलते हैं।^[3]

गहराई कुछ फलन का विषयबोधक करने की संगणनात्मक लागत को तेजी से कम कर सकती है।^[3]* गहराई कुछ फलन को सीखने के लिए आवश्यक प्रशिक्षण डेटा की मात्रा को तेजी से कम कर सकती है।^[3]* प्रयोगात्मक रूप से, गहरे स्वतः कूटलेखन उथले या रैखिक स्वतः कूटलेखन की तुलना में बेहतर संपीड़न उत्पन्न करते हैं।^[10]

प्रशिक्षण

जेफ्री हिंटन ने कई-स्तरित गहरे स्वतः कूटलेखन के प्रशिक्षण के लिए गहरी विश्वास नेटवर्क तकनीक विकसित की। उनकी पद्धति में दो परतों के प्रत्येक पड़ोसी समुच्चय को एक प्रतिबंधित बोल्ट्जमान मशीन के रूप में इलाज करना सम्मलित है, जिससे पूर्व-प्रशिक्षण एक अच्छे समाधान का अनुमान लगा सके, फिर परिणामों को ठीक करने के लिए बैकप्रोपैजेशन का उपयोग करना इत्यादि सम्मलित है।^[10]

शोधकर्ताओं ने इस बात पर बहस की है कि क्या संयुक्त प्रशिक्षण (अर्थात अनुकूलन के लिए एक वैश्विक पुनर्निर्माण उद्देश्य के साथ पूरे संरचना को एक साथ प्रशिक्षण देना) गहरे ऑटो-कूटलेखक के लिए बेहतर होगा।^[27] 2015 के एक अध्ययन से पता चला है कि संयुक्त प्रशिक्षण परतवार विधि की तुलना में वर्गीकरण के लिए अधिक प्रतिनिधि सुविधाओं के साथ बेहतर डेटा मॉडल सीखता है।^[27]हालांकि, उनके प्रयोगों से पता चला है कि संयुक्त प्रशिक्षण की सफलता अपनाई गई नियमितीकरण रणनीतियों पर बहुत अधिक निर्भर करती है।^[27]^[28]

अनुप्रयोग

स्वतः कूटलेखन के दो मुख्य अनुप्रयोग हैं आयामीता में कमी और सूचना पुनर्प्राप्ति,^[3] लेकिन आधुनिक विविधताओं को अन्य फलन में लागू किया गया है।

आयाम में कमी

फ़ैशन MNIST डेटासमुच्चय पर लागू किए गए रैखिक स्वतः कूटलेखन (दाएं) के पहले दो प्रमुख घटकों (बाएं) और दो-आयाम की छिपी हुई परत का प्लॉट।^[29] दो मॉडल दोनों रैखिक होने के नाते एक ही उप-स्थान को फैलाना सीखते हैं। डेटा बिंदुओं का प्रक्षेपण वास्तव में समान है, उप-स्थान के रोटेशन के अलावा - जिसके लिए पीसीए अपरिवर्तनीय है।

आयामीता में कमी पहले गहन शिक्षण अनुप्रयोगों में से एक थी।^[3]

हिंटन के 2006 के अध्ययन के लिए,^[10]उन्होंने प्रतिबंधित बोल्ट्जमैन मशीन के ढेर के साथ एक बहु-परत स्वतः कूटलेखन का पूर्व-प्रशिक्षण दिया और फिर 30 न्यूरॉन्स की बाधा को मारने तक धीरे-धीरे छोटी छिपी परतों के साथ एक गहरे स्वतः कूटलेखन को प्रारंभ करने के लिए अपने वजन का उपयोग किया। कोड के परिणामी 30 आयामों ने एक प्रमुख घटक विश्लेषण (पीसीए) के पहले 30 घटकों की तुलना में एक छोटी पुनर्निर्माण त्रुटि उत्पन्न की, और एक विषयबोधक सीखा जो व्याख्या करने के लिए गुणात्मक रूप से आसान था, डेटा समूहों को स्पष्ट रूप से अलग करनाइत्यादि।^[3]^[10]

आयामों का विषयबोधक वर्गीकरण जैसे फलन पर प्रदर्शन में सुधार कर सकता है।^[3]सूचना पुनर्प्राप्ति लाभ विशेष रूप से उस खोज में आयामीता में कमी से कुछ प्रकार के निम्न आयामी स्थानों में अधिक कुशल हो सकते हैं। दरअसल, आयामीता में कमी की पहचान शब्दार्थ से संबंधित उदाहरणों को एक दूसरे के पास रखना है।^[30]

प्रमुख घटक विश्लेषण

एक स्वतः कूटलेखन द्वारा 28x28 पिक्सेल छवियों का पुनर्निर्माण दो कोड आकार (दो-इकाइयों छिपी हुई परत) और पीसीए के पहले दो प्रमुख घटकों से पुनर्निर्माण के साथ। छवियां फैशन एमएनआईएसटी डेटासमुच्चय से आती हैं।^[29]

यदि रैखिक सक्रियण का उपयोग किया जाता है, या केवल एक सिग्मॉइड छिपी हुई परत होती है, तो एक स्वतः कूटलेखन का इष्टतम समाधान प्रमुख घटक विश्लेषण (पीसीए) से दृढ़ता से संबंधित होता है।^[31]^[32] आकार की एक छिपी हुई परत के साथ एक स्वतः कूटलेखन का वजन $p$ (जहाँ $p$ इनपुट के आकार से कम है) उसी सदिश सबस्पेस को फैलाते हैं जो पहले द्वारा फैलाया गया था $p$ प्रमुख घटक, और स्वतः कूटलेखन का आउटपुट इस उप-स्थान पर एक ऑर्थोगोनल प्रक्षेपण है। स्वतः कूटलेखन वजन प्रमुख घटकों के बराबर नहीं होते हैं, और आम तौर पर ऑर्थोगोनल नहीं होते हैं, फिर भी एकवचन मूल्य अपघटन का उपयोग करके मुख्य घटकों को उनसे पुनर्प्राप्त किया जा सकता है।^[33]

हालांकि, स्वतः कूटलेखन की क्षमता उनकी गैर-रैखिकता में रहती है, जिससे मॉडल को पीसीए की तुलना में अधिक शक्तिशाली सामान्यीकरण सीखने की अनुमति मिलती है, और काफी कम सूचना हानि के साथ इनपुट का पुनर्निर्माण करने की अनुमति मिलती है।^[10]

सूचना पुनर्प्राप्ति

सूचना पुनर्प्राप्ति लाभ विशेष रूप से उस खोज में आयामीता में कमी से कुछ प्रकार के निम्न आयामी स्थानों में अधिक कुशल हो सकते हैं। 2007 में रस सलाखुतदीनोव और हिंटन द्वारा प्रस्तावित सिमेंटिक हैशिंग के लिए स्वतः कूटलेखन वास्तव में लागू किए गए थे।^[30]कम-आयामी बाइनरी कोड बनाने के लिए एल्गोरिदम को प्रशिक्षित करके, सभी डेटाबेस प्रविष्टियों को हैश तालिका मैपिंग बाइनरी कोड वैक्टर में प्रविष्टियों में संग्रहीत किया जा सकता है। यह तालिका तब क्वेरी के समान बाइनरी कोड वाली सभी प्रविष्टियों को लौटाकर या क्वेरी कूटलेखन से कुछ बिट्स को फ़्लिप करके थोड़ी कम समान प्रविष्टियों को वापस करके सूचना पुनर्प्राप्ति का समर्थन करेगी।

विसंगति का पता लगाना

स्वतः कूटलेखन के लिए एक अन्य एप्लिकेशन विसंगति का पता लगाना है।^[2]^[34]^[35]^[36]^[37]^[38] पहले वर्णित कुछ बाधाओं के तहत प्रशिक्षण डेटा में सबसे मुख्य विशेषताओं को दोहराने के लिए सीखकर, मॉडल को सबसे अधिक बार देखी जाने वाली विशेषताओं को सटीक रूप से पुन: उत्पन्न करने के लिए सीखने के लिए प्रोत्साहित किया जाता है। विसंगतियों का सामना करते समय, मॉडल को अपने पुनर्निर्माण के प्रदर्शन को खराब करना चाहिए। स्वतः कूटलेखन के लिए एक अन्य एप्लिकेशन विसंगति का पता लगाना है। ज्यादातर स्थितियों में, स्वतः कूटलेखन को प्रशिक्षित करने के लिए केवल सामान्य उदाहरणों वाले डेटा का उपयोग किया जाता है; दूसरों में, अवलोकन समुच्चय की तुलना में विसंगतियों की आवृत्ति कम होती है जिससे सीखा विषयबोधक में इसके योगदान को अनदेखा किया जा सके। प्रशिक्षण के बाद, अपरिचित असंगत डेटा के साथ ऐसा करने में विफल होने पर, स्वतः कूटलेखन सामान्य डेटा को सटीक रूप से पुनर्निर्माण करेगा।^[36]पुनर्निर्माण त्रुटि (मूल डेटा और इसके निम्न आयामी पुनर्निर्माण के बीच की त्रुटि) का उपयोग विसंगतियों का पता लगाने के लिए एक विसंगति स्कोर के रूप में किया जाता है।^[36]

हाल के साहित्य ने हालांकि दिखाया है कि कुछ स्वतः कूटलेखन मॉडल, विपरीत रूप से, विषम उदाहरणों के पुनर्निर्माण में बहुत अच्छे हो सकते हैं और फलस्वरूप विसंगति का पता लगाने में सक्षम नहीं हो सकते हैं।^[39]^[40]

प्रतिबिम्ब प्रसंस्करण

प्रतिबिम्ब प्रसंस्करण में स्वतः कूटलेखन की विशेषताएँ उपयोगी होती हैं।पारंपरिक स्वतः कूटलेखन के विपरीत, आउटपुट इनपुट से मेल नहीं खाता - यह दूसरी भाषा में है।

एक उदाहरण हानिपूर्ण छवि संपीड़न में पाया जा सकता है, जहां स्वतः कूटलेखन ने अन्य तरीकों से बेहतर प्रदर्शन किया और जेपीईजी 2000 के विरूद्ध प्रतिस्पर्धी प्रमाणित हुए।^[41]^[42]

प्रतिबिम्ब प्रीप्रसंस्करण में स्वतः कूटलेखन का एक अन्य उपयोगी अनुप्रयोग छवि डीनोइजिंग है।^[43]^[44]^[45]

स्वतः कूटलेखन को अधिक मांग वाले संदर्भों में उपयोग किया जाता है जैसे कि मेडिकल इमेजिंग जहां उनका उपयोग प्रतिबिम्ब डीनोइज़िंग के लिए किया गया है^[46] साथ ही सुपर संकल्प^[47]^[48] छवि-सहायता निदान में, प्रयोगों ने स्तन कैंसर का पता लगाने के लिए स्वतः कूटलेखन लागू किया है^[49] और अल्जाइमर रोग के संज्ञानात्मक गिरावट और एमआरआई के साथ प्रशिक्षित एक स्वतः कूटलेखन की गुप्त विशेषताओं के बीच संबंध मॉडलिंग के लिए स्वतः कूटलेखन लागू किया है।^[50]

दवा की खोज

2019 में वैरिएंटल स्वतः कूटलेखन के साथ उत्पन्न अणुओं को चूहों में प्रयोगात्मक रूप से मान्य किया गया था।^[51]^[52]

मशीनी अनुवाद

मशीनी अनुवाद के लिए स्वतः कूटलेखन लागू किया गया है, जिसे सामान्यतः तंत्रिका मशीन अनुवाद (एनएमटी) के रूप में जाना जाता है।^[54]^[55] पारंपरिक स्वतः कूटलेखन के विपरीत, आउटपुट इनपुट से मेल नहीं खाता - यह दूसरी भाषा में है। एनएमटी में, ग्रंथों को सीखने की प्रक्रिया में कूटलेखन किए जाने वाले अनुक्रमों के रूप में माना जाता है, जबकि लक्ष्य भाषा (भाषाओं) में कूटवाचन साइड अनुक्रम उत्पन्न होते हैं। भाषा-विशिष्ट स्वतः कूटलेखन सीखने की प्रक्रिया में और अधिक भाषाई विशेषताओं को सम्मलित करते हैं, जैसे कि चीनी अपघटन सुविधाएँ।^[56] मशीन अनुवाद अभी भी अनुमानतः ही कभी स्वतः कूटलेखन के साथ किया जाता है, बल्कि ट्रांसफार्मर (मशीन लर्निंग मॉडल) नेटवर्क के साथ किया जाता है।

यह भी देखें

संदर्भ

↑ ^1.0 ^1.1 ^1.2 Kramer, Mark A. (1991). "ऑटोएसोसिएटिव न्यूरल नेटवर्क का उपयोग करते हुए नॉनलाइनियर प्रिंसिपल कंपोनेंट एनालिसिस" (PDF). AIChE Journal. 37 (2): 233–243. doi:10.1002/aic.690370209.
↑ ^2.0 ^2.1 Kramer, M. A. (1992-04-01). "Autoassociative तंत्रिका नेटवर्क". Computers & Chemical Engineering. Neutral network applications in chemical engineering (in English). 16 (4): 313–328. doi:10.1016/0098-1354(92)80051-A. ISSN 0098-1354.
↑ ^3.00 ^3.01 ^3.02 ^3.03 ^3.04 ^3.05 ^3.06 ^3.07 ^3.08 ^3.09 ^3.10 Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016). ध्यान लगा के पढ़ना या सीखना. MIT Press. ISBN 978-0262035613.
↑ ^4.0 ^4.1 ^4.2 ^4.3 Vincent, Pascal; Larochelle, Hugo (2010). "Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion". Journal of Machine Learning Research. 11: 3371–3408.
↑ Welling, Max; Kingma, Diederik P. (2019). "परिवर्तनशील ऑटोएन्कोडर का परिचय". Foundations and Trends in Machine Learning. 12 (4): 307–392. arXiv:1906.02691. Bibcode:2019arXiv190602691K. doi:10.1561/2200000056. S2CID 174802445.
↑ Hinton GE, Krizhevsky A, Wang SD. Transforming auto-encoders. In International Conference on Artificial Neural Networks 2011 Jun 14 (pp. 44-51). Springer, Berlin, Heidelberg.
↑ ^7.0 ^7.1 Géron, Aurélien (2019). स्किकिट-लर्न, केरस और टेंसरफ्लो के साथ हैंड्स-ऑन मशीन लर्निंग. Canada: O’Reilly Media, Inc. pp. 739–740.
↑ Liou, Cheng-Yuan; Huang, Jau-Chi; Yang, Wen-Chie (2008). "Elman नेटवर्क का उपयोग करके मॉडलिंग शब्द धारणा". Neurocomputing. 71 (16–18): 3150. doi:10.1016/j.neucom.2008.04.030.
↑ Liou, Cheng-Yuan; Cheng, Wei-Chen; Liou, Jiun-Wei; Liou, Daw-Ran (2014). "शब्दों के लिए ऑटोएन्कोडर". Neurocomputing. 139: 84–96. doi:10.1016/j.neucom.2013.09.055.
↑ ^10.0 ^10.1 ^10.2 ^10.3 ^10.4 ^10.5 Hinton, G. E.; Salakhutdinov, R.R. (2006-07-28). "न्यूरल नेटवर्क्स के साथ डेटा की डायमेंशनलिटी को कम करना". Science. 313 (5786): 504–507. Bibcode:2006Sci...313..504H. doi:10.1126/science.1127647. PMID 16873662. S2CID 1658773.
↑ ^11.0 ^11.1 Bengio, Y. (2009). "एआई के लिए डीप आर्किटेक्चर सीखना" (PDF). Foundations and Trends in Machine Learning. 2 (8): 1795–7. CiteSeerX 10.1.1.701.9550. doi:10.1561/2200000006. PMID 23946944.
↑ Japkowicz, Nathalie; Hanson, Stephen José; Gluck, Mark A. (2000-03-01). "नॉनलाइनियर ऑटोएसोसिएशन पीसीए के समतुल्य नहीं है". Neural Computation. 12 (3): 531–545. doi:10.1162/089976600300015691. ISSN 0899-7667. PMID 10769321. S2CID 18490972.
↑ Schwenk, Holger; Bengio, Yoshua (1997). "तंत्रिका नेटवर्क के अनुकूली बूस्टिंग के लिए प्रशिक्षण के तरीके". Advances in Neural Information Processing Systems. MIT Press. 10.
↑ Schmidhuber, Jürgen (January 2015). "Deep learning in neural networks: An overview". Neural Networks. 61: 85–117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509.
↑ Hinton, G. E., & Zemel, R. S. (1994). Autoencoders, minimum description length and Helmholtz free energy. In Advances in neural information processing systems 6 (pp. 3-10).
↑ Diederik P Kingma; Welling, Max (2013). "ऑटो-एन्कोडिंग वेरिएशनल बेज़". arXiv:1312.6114 [stat.ML].
↑ मशाल के साथ चेहरे बनाना, बोसेन ए, लार्सन एल और सोंडरबी एसके, 2015 {{url|http://torch.ch/blog/2015/11/13/gan.html}
↑ Domingos, Pedro (2015). "4". द मास्टर एल्गोरिथम: हाउ द क्वेस्ट फॉर द अल्टीमेट लर्निंग मशीन विल रीमेक अवर वर्ल्ड. Basic Books. "Deeper into the Brain" subsection. ISBN 978-046506192-1.
↑ Cite error: Invalid <ref> tag; no text was provided for refs named domingos
↑ ^20.0 ^20.1 Frey, Brendan; Makhzani, Alireza (2013-12-19). "के-स्पार्स ऑटोएन्कोडर्स". arXiv:1312.5663. Bibcode:2013arXiv1312.5663M. {{cite journal}}: Cite journal requires |journal= (help)
↑ ^21.0 ^21.1 Makhzani, Alireza; Frey, Brendan (2013). "के-स्पार्स ऑटोएन्कोडर". arXiv:1312.5663 [cs.LG].
↑ ^22.0 ^22.1 Ng, A. (2011). Sparse autoencoder. CS294A Lecture notes, 72(2011), 1-19.
↑ Nair, Vinod; Hinton, Geoffrey E. (2009). "3D Object Recognition with Deep Belief Nets". Proceedings of the 22nd International Conference on Neural Information Processing Systems. NIPS'09. USA: Curran Associates Inc.: 1339–1347. ISBN 9781615679119.
↑ Zeng, Nianyin; Zhang, Hong; Song, Baoye; Liu, Weibo; Li, Yurong; Dobaie, Abdullah M. (2018-01-17). "गहरे विरल ऑटोएन्कोडर्स सीखने के माध्यम से चेहरे की अभिव्यक्ति की पहचान". Neurocomputing. 273: 643–649. doi:10.1016/j.neucom.2017.08.043. ISSN 0925-2312.
↑ Hinton, Geoffrey E; Zemel, Richard (1993). "Autoencoders, न्यूनतम विवरण लंबाई और Helmholtz मुक्त ऊर्जा". Advances in Neural Information Processing Systems. Morgan-Kaufmann. 6.
↑ Abid, Abubakar; Balin, Muhammad Fatih; Zou, James (2019-01-27). "अलग-अलग फ़ीचर चयन और पुनर्निर्माण के लिए कंक्रीट ऑटोएनकोडर". arXiv:1901.09346 [cs.LG].
↑ ^27.0 ^27.1 ^27.2 Zhou, Yingbo; Arpit, Devansh; Nwogu, Ifeoma; Govindaraju, Venu (2014). "Is Joint Training Better for Deep Auto-Encoders?". arXiv:1405.1380 [stat.ML].
↑ R. Salakhutdinov and G. E. Hinton, “Deep boltzmann machines,” in AISTATS, 2009, pp. 448–455.
↑ ^29.0 ^29.1 "फैशन एमएनआईएसटी". GitHub. 2019-07-12.
↑ ^30.0 ^30.1 Salakhutdinov, Ruslan; Hinton, Geoffrey (2009-07-01). "सिमेंटिक हैशिंग". International Journal of Approximate Reasoning. Special Section on Graphical Models and Information Retrieval. 50 (7): 969–978. doi:10.1016/j.ijar.2008.11.006. ISSN 0888-613X.
↑ Bourlard, H.; Kamp, Y. (1988). "बहुपरत परसेप्ट्रॉन और विलक्षण मूल्य अपघटन द्वारा ऑटो-एसोसिएशन". Biological Cybernetics. 59 (4–5): 291–294. doi:10.1007/BF00332918. PMID 3196773. S2CID 206775335.
↑ Chicco, Davide; Sadowski, Peter; Baldi, Pierre (2014). "Deep autoencoder neural networks for gene ontology annotation predictions". Proceedings of the 5th ACM Conference on Bioinformatics, Computational Biology, and Health Informatics - BCB '14. p. 533. doi:10.1145/2649387.2649442. hdl:11311/964622. ISBN 9781450328944. S2CID 207217210.
↑ Plaut, E (2018). "लीनियर ऑटोएन्कोडर के साथ प्रिंसिपल सबस्पेस से लेकर प्रिंसिपल कंपोनेंट्स तक". arXiv:1804.10253 [stat.ML].
↑ Morales-Forero, A.; Bassetto, S. (December 2019). "Case Study: A Semi-Supervised Methodology for Anomaly Detection and Diagnosis". 2019 IEEE International Conference on Industrial Engineering and Engineering Management (IEEM). Macao, Macao: IEEE: 1031–1037. doi:10.1109/IEEM44572.2019.8978509. ISBN 978-1-7281-3804-6. S2CID 211027131.
↑ Sakurada, Mayu; Yairi, Takehisa (December 2014). "गैर-रैखिक आयाम में कमी के साथ ऑटोएन्कोडर का उपयोग करके विसंगति का पता लगाना". Proceedings of the MLSDA 2014 2nd Workshop on Machine Learning for Sensory Data Analysis - MLSDA'14 (in English). Gold Coast, Australia QLD, Australia: ACM Press: 4–11. doi:10.1145/2689746.2689747. ISBN 978-1-4503-3159-3. S2CID 14613395.
↑ ^36.0 ^36.1 ^36.2 An, J., & Cho, S. (2015). Variational Autoencoder based Anomaly Detection using Reconstruction Probability. Special Lecture on IE, 2, 1-18.
↑ Zhou, Chong; Paffenroth, Randy C. (2017-08-04). "मजबूत डीप ऑटोएन्कोडर के साथ विसंगति का पता लगाना". Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (in English). Halifax NS Canada: ACM: 665–674. doi:10.1145/3097983.3098052. ISBN 978-1-4503-4887-4. S2CID 207557733.
↑ Ribeiro, Manassés; Lazzaretti, André Eugênio; Lopes, Heitor Silvério (2018). "वीडियो में विसंगति का पता लगाने के लिए डीप कन्वेन्शनल ऑटो-एनकोडर का अध्ययन". Pattern Recognition Letters. 105: 13–22. Bibcode:2018PaReL.105...13R. doi:10.1016/j.patrec.2017.07.016.
↑ Nalisnick, Eric; Matsukawa, Akihiro; Teh, Yee Whye; Gorur, Dilan; Lakshminarayanan, Balaji (2019-02-24). "Do Deep Generative Models Know What They Don't Know?". arXiv:1810.09136 [stat.ML].
↑ Xiao, Zhisheng; Yan, Qing; Amit, Yali (2020). "Likelihood Regret: An Out-of-Distribution Detection Score For Variational Auto-encoder". Advances in Neural Information Processing Systems (in English). 33. arXiv:2003.02977.
↑ Theis, Lucas; Shi, Wenzhe; Cunningham, Andrew; Huszár, Ferenc (2017). "कंप्रेसिव ऑटोएन्कोडर्स के साथ हानिपूर्ण छवि संपीड़न". arXiv:1703.00395 [stat.ML].
↑ Balle, J; Laparra, V; Simoncelli, EP (April 2017). "End-to-end optimized image compression". लर्निंग रिप्रेजेंटेशन पर अंतर्राष्ट्रीय सम्मेलन. arXiv:1611.01704.
↑ Cho, K. (2013, February). Simple sparsification improves sparse denoising autoencoders in denoising highly corrupted images. In International Conference on Machine Learning (pp. 432-440).
↑ Cho, Kyunghyun (2013). "इमेज डीनॉइज़िंग के लिए बोल्ट्जमैन मशीनें और डीनोइज़िंग ऑटोएनकोडर्स". arXiv:1301.3468 [stat.ML].
↑ Buades, A.; Coll, B.; Morel, J. M. (2005). "एक नए के साथ इमेज डेनोइजिंग एल्गोरिदम की समीक्षा". Multiscale Modeling & Simulation. 4 (2): 490–530. doi:10.1137/040616024. S2CID 218466166.
↑ Gondara, Lovedeep (December 2016). "कनवॉल्यूशनल डीनोइज़िंग ऑटोएनकोडर्स का उपयोग करके मेडिकल इमेज डीनोइज़िंग". 2016 IEEE 16th International Conference on Data Mining Workshops (ICDMW). Barcelona, Spain: IEEE: 241–246. arXiv:1608.04667. Bibcode:2016arXiv160804667G. doi:10.1109/ICDMW.2016.0041. ISBN 9781509059102. S2CID 14354973.
↑ Zeng, Kun; Yu, Jun; Wang, Ruxin; Li, Cuihua; Tao, Dacheng (January 2017). "सिंगल इमेज सुपर-रिज़ॉल्यूशन के लिए युग्मित डीप ऑटोएन्कोडर". IEEE Transactions on Cybernetics. 47 (1): 27–37. doi:10.1109/TCYB.2015.2501373. ISSN 2168-2267. PMID 26625442. S2CID 20787612.
↑ Tzu-Hsi, Song; Sanchez, Victor; Hesham, EIDaly; Nasir M., Rajpoot (2017). "अस्थि मज्जा ट्रेफिन बायोप्सी छवियों में विभिन्न प्रकार की कोशिकाओं का पता लगाने के लिए कर्वेचर गॉसियन के साथ हाइब्रिड डीप ऑटोएनकोडर". 2017 IEEE 14th International Symposium on Biomedical Imaging (ISBI 2017): 1040–1043. doi:10.1109/ISBI.2017.7950694. ISBN 978-1-5090-1172-8. S2CID 7433130.
↑ Xu, Jun; Xiang, Lei; Liu, Qingshan; Gilmore, Hannah; Wu, Jianzhong; Tang, Jinghai; Madabhushi, Anant (January 2016). "स्तन कैंसर हिस्टोपैथोलॉजी छवियों पर नाभिक जांच के लिए स्टैक्ड स्पार्स ऑटोएन्कोडर (एसएसएई)". IEEE Transactions on Medical Imaging. 35 (1): 119–130. doi:10.1109/TMI.2015.2458702. PMC 4729702. PMID 26208307.
↑ Martinez-Murcia, Francisco J.; Ortiz, Andres; Gorriz, Juan M.; Ramirez, Javier; Castillo-Barnes, Diego (2020). "Studying the Manifold Structure of Alzheimer's Disease: A Deep Learning Approach Using Convolutional Autoencoders". IEEE Journal of Biomedical and Health Informatics. 24 (1): 17–26. doi:10.1109/JBHI.2019.2914970. PMID 31217131. S2CID 195187846.
↑ Zhavoronkov, Alex (2019). "डीप लर्निंग शक्तिशाली DDR1 किनेज अवरोधकों की तेजी से पहचान को सक्षम बनाता है". Nature Biotechnology. 37 (9): 1038–1040. doi:10.1038/s41587-019-0224-x. PMID 31477924. S2CID 201716327.
↑ Gregory, Barber. "एआई द्वारा डिज़ाइन किया गया एक अणु 'ड्रगलाइक' गुण प्रदर्शित करता है". Wired.
↑ De, Shaunak; Maity, Abhishek; Goel, Vritti; Shitole, Sanjay; Bhattacharya, Avik (2017). "Predicting the popularity of instagram posts for a lifestyle magazine using deep learning". 2017 2nd IEEE International Conference on Communication Systems, Computing and IT Applications (CSCITA). pp. 174–177. doi:10.1109/CSCITA.2017.8066548. ISBN 978-1-5090-4381-1. S2CID 35350962.
↑ Cho, Kyunghyun; Bart van Merrienboer; Bahdanau, Dzmitry; Bengio, Yoshua (2014). "On the Properties of Neural Machine Translation: Encoder-Decoder Approaches". arXiv:1409.1259 [cs.CL].
↑ Sutskever, Ilya; Vinyals, Oriol; Le, Quoc V. (2014). "तंत्रिका नेटवर्क के साथ सीक्वेंस टू सीक्वेंस लर्निंग". arXiv:1409.3215 [cs.CL].
↑ Han, Lifeng; Kuang, Shaohui (2018). "Incorporating Chinese Radicals into Neural Machine Translation: Deeper Than Character Level". arXiv:1805.01565 [cs.CL].

[:12-1] 1.0 ^1.1 ^1.2 Kramer, Mark A. (1991). "ऑटोएसोसिएटिव न्यूरल नेटवर्क का उपयोग करते हुए नॉनलाइनियर प्रिंसिपल कंपोनेंट एनालिसिस" (PDF). AIChE Journal. 37 (2): 233–243. doi:10.1002/aic.690370209.

[:13-2] 2.0 ^2.1 Kramer, M. A. (1992-04-01). "Autoassociative तंत्रिका नेटवर्क". Computers & Chemical Engineering. Neutral network applications in chemical engineering (in English). 16 (4): 313–328. doi:10.1016/0098-1354(92)80051-A. ISSN 0098-1354.

[:0-3] 3.00 ^3.01 ^3.02 ^3.03 ^3.04 ^3.05 ^3.06 ^3.07 ^3.08 ^3.09 ^3.10 Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016). ध्यान लगा के पढ़ना या सीखना. MIT Press. ISBN 978-0262035613.

[:4-4] 4.0 ^4.1 ^4.2 ^4.3 Vincent, Pascal; Larochelle, Hugo (2010). "Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion". Journal of Machine Learning Research. 11: 3371–3408.

[:11-5] Welling, Max; Kingma, Diederik P. (2019). "परिवर्तनशील ऑटोएन्कोडर का परिचय". Foundations and Trends in Machine Learning. 12 (4): 307–392. arXiv:1906.02691. Bibcode:2019arXiv190602691K. doi:10.1561/2200000056. S2CID 174802445.

[6] Hinton GE, Krizhevsky A, Wang SD. Transforming auto-encoders. In International Conference on Artificial Neural Networks 2011 Jun 14 (pp. 44-51). Springer, Berlin, Heidelberg.

[:2-7] 7.0 ^7.1 Géron, Aurélien (2019). स्किकिट-लर्न, केरस और टेंसरफ्लो के साथ हैंड्स-ऑन मशीन लर्निंग. Canada: O’Reilly Media, Inc. pp. 739–740.

[8] Liou, Cheng-Yuan; Huang, Jau-Chi; Yang, Wen-Chie (2008). "Elman नेटवर्क का उपयोग करके मॉडलिंग शब्द धारणा". Neurocomputing. 71 (16–18): 3150. doi:10.1016/j.neucom.2008.04.030.

[9] Liou, Cheng-Yuan; Cheng, Wei-Chen; Liou, Jiun-Wei; Liou, Daw-Ran (2014). "शब्दों के लिए ऑटोएन्कोडर". Neurocomputing. 139: 84–96. doi:10.1016/j.neucom.2013.09.055.

[:7-10] 10.0 ^10.1 ^10.2 ^10.3 ^10.4 ^10.5 Hinton, G. E.; Salakhutdinov, R.R. (2006-07-28). "न्यूरल नेटवर्क्स के साथ डेटा की डायमेंशनलिटी को कम करना". Science. 313 (5786): 504–507. Bibcode:2006Sci...313..504H. doi:10.1126/science.1127647. PMID 16873662. S2CID 1658773.

[bengio-11] 11.0 ^11.1 Bengio, Y. (2009). "एआई के लिए डीप आर्किटेक्चर सीखना" (PDF). Foundations and Trends in Machine Learning. 2 (8): 1795–7. CiteSeerX 10.1.1.701.9550. doi:10.1561/2200000006. PMID 23946944.

[12] Japkowicz, Nathalie; Hanson, Stephen José; Gluck, Mark A. (2000-03-01). "नॉनलाइनियर ऑटोएसोसिएशन पीसीए के समतुल्य नहीं है". Neural Computation. 12 (3): 531–545. doi:10.1162/089976600300015691. ISSN 0899-7667. PMID 10769321. S2CID 18490972.

[13] Schwenk, Holger; Bengio, Yoshua (1997). "तंत्रिका नेटवर्क के अनुकूली बूस्टिंग के लिए प्रशिक्षण के तरीके". Advances in Neural Information Processing Systems. MIT Press. 10.

[14] Schmidhuber, Jürgen (January 2015). "Deep learning in neural networks: An overview". Neural Networks. 61: 85–117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509.

[15] Hinton, G. E., & Zemel, R. S. (1994). Autoencoders, minimum description length and Helmholtz free energy. In Advances in neural information processing systems 6 (pp. 3-10).

[VAE-16] Diederik P Kingma; Welling, Max (2013). "ऑटो-एन्कोडिंग वेरिएशनल बेज़". arXiv:1312.6114 [stat.ML].

[gan_faces-17] मशाल के साथ चेहरे बनाना, बोसेन ए, लार्सन एल और सोंडरबी एसके, 2015 {{url|http://torch.ch/blog/2015/11/13/gan.html}

[sunday-18] Domingos, Pedro (2015). "4". द मास्टर एल्गोरिथम: हाउ द क्वेस्ट फॉर द अल्टीमेट लर्निंग मशीन विल रीमेक अवर वर्ल्ड. Basic Books. "Deeper into the Brain" subsection. ISBN 978-046506192-1.

[domingos-19] Cite error: Invalid <ref> tag; no text was provided for refs named domingos

[:5-20] 20.0 ^20.1 Frey, Brendan; Makhzani, Alireza (2013-12-19). "के-स्पार्स ऑटोएन्कोडर्स". arXiv:1312.5663. Bibcode:2013arXiv1312.5663M. {{cite journal}}: Cite journal requires |journal= (help)

[:1-21] 21.0 ^21.1 Makhzani, Alireza; Frey, Brendan (2013). "के-स्पार्स ऑटोएन्कोडर". arXiv:1312.5663 [cs.LG].

[:6-22] 22.0 ^22.1 Ng, A. (2011). Sparse autoencoder. CS294A Lecture notes, 72(2011), 1-19.

[23] Nair, Vinod; Hinton, Geoffrey E. (2009). "3D Object Recognition with Deep Belief Nets". Proceedings of the 22nd International Conference on Neural Information Processing Systems. NIPS'09. USA: Curran Associates Inc.: 1339–1347. ISBN 9781615679119.

[24] Zeng, Nianyin; Zhang, Hong; Song, Baoye; Liu, Weibo; Li, Yurong; Dobaie, Abdullah M. (2018-01-17). "गहरे विरल ऑटोएन्कोडर्स सीखने के माध्यम से चेहरे की अभिव्यक्ति की पहचान". Neurocomputing. 273: 643–649. doi:10.1016/j.neucom.2017.08.043. ISSN 0925-2312.

[25] Hinton, Geoffrey E; Zemel, Richard (1993). "Autoencoders, न्यूनतम विवरण लंबाई और Helmholtz मुक्त ऊर्जा". Advances in Neural Information Processing Systems. Morgan-Kaufmann. 6.

[26] Abid, Abubakar; Balin, Muhammad Fatih; Zou, James (2019-01-27). "अलग-अलग फ़ीचर चयन और पुनर्निर्माण के लिए कंक्रीट ऑटोएनकोडर". arXiv:1901.09346 [cs.LG].

[:9-27] 27.0 ^27.1 ^27.2 Zhou, Yingbo; Arpit, Devansh; Nwogu, Ifeoma; Govindaraju, Venu (2014). "Is Joint Training Better for Deep Auto-Encoders?". arXiv:1405.1380 [stat.ML].

[28] R. Salakhutdinov and G. E. Hinton, “Deep boltzmann machines,” in AISTATS, 2009, pp. 448–455.

[:10-29] 29.0 ^29.1 "फैशन एमएनआईएसटी". GitHub. 2019-07-12.

[:3-30] 30.0 ^30.1 Salakhutdinov, Ruslan; Hinton, Geoffrey (2009-07-01). "सिमेंटिक हैशिंग". International Journal of Approximate Reasoning. Special Section on Graphical Models and Information Retrieval. 50 (7): 969–978. doi:10.1016/j.ijar.2008.11.006. ISSN 0888-613X.

[31] Bourlard, H.; Kamp, Y. (1988). "बहुपरत परसेप्ट्रॉन और विलक्षण मूल्य अपघटन द्वारा ऑटो-एसोसिएशन". Biological Cybernetics. 59 (4–5): 291–294. doi:10.1007/BF00332918. PMID 3196773. S2CID 206775335.

[32] Chicco, Davide; Sadowski, Peter; Baldi, Pierre (2014). "Deep autoencoder neural networks for gene ontology annotation predictions". Proceedings of the 5th ACM Conference on Bioinformatics, Computational Biology, and Health Informatics - BCB '14. p. 533. doi:10.1145/2649387.2649442. hdl:11311/964622. ISBN 9781450328944. S2CID 207217210.

[33] Plaut, E (2018). "लीनियर ऑटोएन्कोडर के साथ प्रिंसिपल सबस्पेस से लेकर प्रिंसिपल कंपोनेंट्स तक". arXiv:1804.10253 [stat.ML].

[34] Morales-Forero, A.; Bassetto, S. (December 2019). "Case Study: A Semi-Supervised Methodology for Anomaly Detection and Diagnosis". 2019 IEEE International Conference on Industrial Engineering and Engineering Management (IEEM). Macao, Macao: IEEE: 1031–1037. doi:10.1109/IEEM44572.2019.8978509. ISBN 978-1-7281-3804-6. S2CID 211027131.

[35] Sakurada, Mayu; Yairi, Takehisa (December 2014). "गैर-रैखिक आयाम में कमी के साथ ऑटोएन्कोडर का उपयोग करके विसंगति का पता लगाना". Proceedings of the MLSDA 2014 2nd Workshop on Machine Learning for Sensory Data Analysis - MLSDA'14 (in English). Gold Coast, Australia QLD, Australia: ACM Press: 4–11. doi:10.1145/2689746.2689747. ISBN 978-1-4503-3159-3. S2CID 14613395.

[:8-36] 36.0 ^36.1 ^36.2 An, J., & Cho, S. (2015). Variational Autoencoder based Anomaly Detection using Reconstruction Probability. Special Lecture on IE, 2, 1-18.

[37] Zhou, Chong; Paffenroth, Randy C. (2017-08-04). "मजबूत डीप ऑटोएन्कोडर के साथ विसंगति का पता लगाना". Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (in English). Halifax NS Canada: ACM: 665–674. doi:10.1145/3097983.3098052. ISBN 978-1-4503-4887-4. S2CID 207557733.

[38] Ribeiro, Manassés; Lazzaretti, André Eugênio; Lopes, Heitor Silvério (2018). "वीडियो में विसंगति का पता लगाने के लिए डीप कन्वेन्शनल ऑटो-एनकोडर का अध्ययन". Pattern Recognition Letters. 105: 13–22. Bibcode:2018PaReL.105...13R. doi:10.1016/j.patrec.2017.07.016.

[39] Nalisnick, Eric; Matsukawa, Akihiro; Teh, Yee Whye; Gorur, Dilan; Lakshminarayanan, Balaji (2019-02-24). "Do Deep Generative Models Know What They Don't Know?". arXiv:1810.09136 [stat.ML].

[40] Xiao, Zhisheng; Yan, Qing; Amit, Yali (2020). "Likelihood Regret: An Out-of-Distribution Detection Score For Variational Auto-encoder". Advances in Neural Information Processing Systems (in English). 33. arXiv:2003.02977.

[41] Theis, Lucas; Shi, Wenzhe; Cunningham, Andrew; Huszár, Ferenc (2017). "कंप्रेसिव ऑटोएन्कोडर्स के साथ हानिपूर्ण छवि संपीड़न". arXiv:1703.00395 [stat.ML].

[42] Balle, J; Laparra, V; Simoncelli, EP (April 2017). "End-to-end optimized image compression". लर्निंग रिप्रेजेंटेशन पर अंतर्राष्ट्रीय सम्मेलन. arXiv:1611.01704.

[43] Cho, K. (2013, February). Simple sparsification improves sparse denoising autoencoders in denoising highly corrupted images. In International Conference on Machine Learning (pp. 432-440).

[44] Cho, Kyunghyun (2013). "इमेज डीनॉइज़िंग के लिए बोल्ट्जमैन मशीनें और डीनोइज़िंग ऑटोएनकोडर्स". arXiv:1301.3468 [stat.ML].

[45] Buades, A.; Coll, B.; Morel, J. M. (2005). "एक नए के साथ इमेज डेनोइजिंग एल्गोरिदम की समीक्षा". Multiscale Modeling & Simulation. 4 (2): 490–530. doi:10.1137/040616024. S2CID 218466166.

[46] Gondara, Lovedeep (December 2016). "कनवॉल्यूशनल डीनोइज़िंग ऑटोएनकोडर्स का उपयोग करके मेडिकल इमेज डीनोइज़िंग". 2016 IEEE 16th International Conference on Data Mining Workshops (ICDMW). Barcelona, Spain: IEEE: 241–246. arXiv:1608.04667. Bibcode:2016arXiv160804667G. doi:10.1109/ICDMW.2016.0041. ISBN 9781509059102. S2CID 14354973.

[47] Zeng, Kun; Yu, Jun; Wang, Ruxin; Li, Cuihua; Tao, Dacheng (January 2017). "सिंगल इमेज सुपर-रिज़ॉल्यूशन के लिए युग्मित डीप ऑटोएन्कोडर". IEEE Transactions on Cybernetics. 47 (1): 27–37. doi:10.1109/TCYB.2015.2501373. ISSN 2168-2267. PMID 26625442. S2CID 20787612.

[48] Tzu-Hsi, Song; Sanchez, Victor; Hesham, EIDaly; Nasir M., Rajpoot (2017). "अस्थि मज्जा ट्रेफिन बायोप्सी छवियों में विभिन्न प्रकार की कोशिकाओं का पता लगाने के लिए कर्वेचर गॉसियन के साथ हाइब्रिड डीप ऑटोएनकोडर". 2017 IEEE 14th International Symposium on Biomedical Imaging (ISBI 2017): 1040–1043. doi:10.1109/ISBI.2017.7950694. ISBN 978-1-5090-1172-8. S2CID 7433130.

[49] Xu, Jun; Xiang, Lei; Liu, Qingshan; Gilmore, Hannah; Wu, Jianzhong; Tang, Jinghai; Madabhushi, Anant (January 2016). "स्तन कैंसर हिस्टोपैथोलॉजी छवियों पर नाभिक जांच के लिए स्टैक्ड स्पार्स ऑटोएन्कोडर (एसएसएई)". IEEE Transactions on Medical Imaging. 35 (1): 119–130. doi:10.1109/TMI.2015.2458702. PMC 4729702. PMID 26208307.

[50] Martinez-Murcia, Francisco J.; Ortiz, Andres; Gorriz, Juan M.; Ramirez, Javier; Castillo-Barnes, Diego (2020). "Studying the Manifold Structure of Alzheimer's Disease: A Deep Learning Approach Using Convolutional Autoencoders". IEEE Journal of Biomedical and Health Informatics. 24 (1): 17–26. doi:10.1109/JBHI.2019.2914970. PMID 31217131. S2CID 195187846.

[51] Zhavoronkov, Alex (2019). "डीप लर्निंग शक्तिशाली DDR1 किनेज अवरोधकों की तेजी से पहचान को सक्षम बनाता है". Nature Biotechnology. 37 (9): 1038–1040. doi:10.1038/s41587-019-0224-x. PMID 31477924. S2CID 201716327.

[52] Gregory, Barber. "एआई द्वारा डिज़ाइन किया गया एक अणु 'ड्रगलाइक' गुण प्रदर्शित करता है". Wired.

[53] De, Shaunak; Maity, Abhishek; Goel, Vritti; Shitole, Sanjay; Bhattacharya, Avik (2017). "Predicting the popularity of instagram posts for a lifestyle magazine using deep learning". 2017 2nd IEEE International Conference on Communication Systems, Computing and IT Applications (CSCITA). pp. 174–177. doi:10.1109/CSCITA.2017.8066548. ISBN 978-1-5090-4381-1. S2CID 35350962.

[54] Cho, Kyunghyun; Bart van Merrienboer; Bahdanau, Dzmitry; Bengio, Yoshua (2014). "On the Properties of Neural Machine Translation: Encoder-Decoder Approaches". arXiv:1409.1259 [cs.CL].

[55] Sutskever, Ilya; Vinyals, Oriol; Le, Quoc V. (2014). "तंत्रिका नेटवर्क के साथ सीक्वेंस टू सीक्वेंस लर्निंग". arXiv:1409.3215 [cs.CL].

[56] Han, Lifeng; Kuang, Shaohui (2018). "Incorporating Chinese Radicals into Neural Machine Translation: Deeper Than Character Level". arXiv:1805.01565 [cs.CL].

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

[36]

[37]

[38]

[39]

[40]

[41]

[42]

[43]

[44]

[45]

[46]

[47]

[48]

[49]

[50]

[51]

[52]

[53]

[54]

[55]

[56]

@@ Line 3: / Line 3: @@
 {{Use dmy dates|date=March 2020|cs1-dates=y}}
 {{Machine learning|Artificial neural network}}
-एक [[स्वतः कूटलेखन]] एक प्रकार का [[कृत्रिम तंत्रिका नेटवर्क|कृत्रिम तंत्रिका जाल]] है जिसका उपयोग बिना लेबल वाले डेटा (अनियंत्रित शिक्षा) की [[फ़ीचर लर्निंग|कुशल कोडिंग]] को सीखने के लिए किया जाता है।<ref name=":12">{{cite journal|doi=10.1002/aic.690370209|title=ऑटोएसोसिएटिव न्यूरल नेटवर्क का उपयोग करते हुए नॉनलाइनियर प्रिंसिपल कंपोनेंट एनालिसिस|journal=AIChE Journal|volume=37|issue=2|pages=233–243|date=1991|last1=Kramer|first1=Mark A.|url= https://www.researchgate.net/profile/Abir_Alobaid/post/To_learn_a_probability_density_function_by_using_neural_network_can_we_first_estimate_density_using_nonparametric_methods_then_train_the_network/attachment/59d6450279197b80779a031e/AS:451263696510979@1484601057779/download/NL+PCA+by+using+ANN.pdf}}</ref><ref name=":13">{{Cite journal |last=Kramer |first=M. A. |date=1992-04-01 |title=Autoassociative तंत्रिका नेटवर्क|url=https://dx.doi.org/10.1016/0098-1354%2892%2980051-A |journal=Computers & Chemical Engineering |series=Neutral network applications in chemical engineering |language=en |volume=16 |issue=4 |pages=313–328 |doi=10.1016/0098-1354(92)80051-A |issn=0098-1354}}</ref> एक स्वतः कूटलेखन दो फलन सीखता है: एक कूटलेखन फलन जो इनपुट डेटा को रूपांतरित करता है, और एक कूटवाचन फलन जो कूटलिखित विषयबोधक से इनपुट डेटा को फिर से बनाता है। स्वतः कूटलेखन डेटा के एक समुच्चय  के लिए, सामान्यतः [[आयामीता में कमी]] के लिए कुशल कोडिंग (कूटलेखन) सीखता है,।
+एक [[स्वतः कूटलेखन]] एक प्रकार का [[कृत्रिम तंत्रिका नेटवर्क|कृत्रिम तंत्रिका जाल]] है जिसका उपयोग बिना लेबल वाले डेटा (अनियंत्रित शिक्षा) की [[फ़ीचर लर्निंग|कुशल कोडिंग]] को सीखने के लिए किया जाता है।<ref name=":12">{{cite journal|doi=10.1002/aic.690370209|title=ऑटोएसोसिएटिव न्यूरल नेटवर्क का उपयोग करते हुए नॉनलाइनियर प्रिंसिपल कंपोनेंट एनालिसिस|journal=AIChE Journal|volume=37|issue=2|pages=233–243|date=1991|last1=Kramer|first1=Mark A.|url= https://www.researchgate.net/profile/Abir_Alobaid/post/To_learn_a_probability_density_function_by_using_neural_network_can_we_first_estimate_density_using_nonparametric_methods_then_train_the_network/attachment/59d6450279197b80779a031e/AS:451263696510979@1484601057779/download/NL+PCA+by+using+ANN.pdf}}</ref><ref name=":13">{{Cite journal |last=Kramer |first=M. A. |date=1992-04-01 |title=Autoassociative तंत्रिका नेटवर्क|url=https://dx.doi.org/10.1016/0098-1354%2892%2980051-A |journal=Computers & Chemical Engineering |series=Neutral network applications in chemical engineering |language=en |volume=16 |issue=4 |pages=313–328 |doi=10.1016/0098-1354(92)80051-A |issn=0098-1354}}</ref> एक स्वतः कूटलेखन दो फलन सीखता है: एक कूटलेखन फलन जो इनपुट डेटा को रूपांतरित करता है, और एक कूटवाचन फलन जो कूटलिखित विषयबोधक से इनपुट डेटा को फिर से बनाता है। स्वतः कूटलेखन डेटा के एक समुच्चय के लिए, सामान्यतः [[आयामीता में कमी]] के लिए कुशल कोडिंग (कूटलेखन) सीखता है,।
-उपयोगी गुण ग्रहण करने के लिए सीखे गए अभ्यावेदन को बाध्य करने के उद्देश्य से परिवर्ती उपलब्ध हैं।<ref name=":0" />उदाहरण नियमित स्वतः कूटलेखन (विरल, डेनोइजिंग और संकोचक) हैं, जो बाद के [[सांख्यिकीय वर्गीकरण]] फलन के लिए सीखने के विषयबोधक में प्रभावी हैं,<ref name=":4" />और परिवर्तनशील स्वतः कूटलेखन, [[जनरेटिव मॉडल|प्रजनक मॉडल]] के रूप में अनुप्रयोगों के साथ।<ref name=":11">{{cite journal |arxiv=1906.02691|doi=10.1561/2200000056|bibcode=2019arXiv190602691K|title=परिवर्तनशील ऑटोएन्कोडर का परिचय|date=2019|last1=Welling|first1=Max|last2=Kingma|first2=Diederik P.|journal=Foundations and Trends in Machine Learning|volume=12|issue=4|pages=307–392|s2cid=174802445}}</ref> स्वतः कूटलेखन चेहरे की पहचान सहित कई समस्याओं पर लागू होते हैं,<ref>Hinton GE, Krizhevsky A, Wang SD. [http://www.cs.toronto.edu/~fritz/absps/transauto6.pdf Transforming auto-encoders.] In International Conference on Artificial Neural Networks 2011 Jun 14 (pp. 44-51). Springer, Berlin, Heidelberg.</ref> विशेष गुण  संसूचक,<ref name=":2">{{Cite book|last=Géron|first=Aurélien|title=स्किकिट-लर्न, केरस और टेंसरफ्लो के साथ हैंड्स-ऑन मशीन लर्निंग|publisher=O’Reilly Media, Inc.|year=2019|location=Canada|pages=739–740}}</ref> विसंगति का पता लगाना और शब्दों का अर्थ प्राप्त करना।<ref>{{cite journal|doi=10.1016/j.neucom.2008.04.030|title=Elman नेटवर्क का उपयोग करके मॉडलिंग शब्द धारणा|journal=Neurocomputing|volume=71|issue=16–18|pages=3150|date=2008|last1=Liou|first1=Cheng-Yuan|last2=Huang|first2=Jau-Chi|last3=Yang|first3=Wen-Chie|url=http://ntur.lib.ntu.edu.tw//handle/246246/155195 }}</ref><ref>{{cite journal|doi=10.1016/j.neucom.2013.09.055|title=शब्दों के लिए ऑटोएन्कोडर|journal=Neurocomputing|volume=139|pages=84–96|date=2014|last1=Liou|first1=Cheng-Yuan|last2=Cheng|first2=Wei-Chen|last3=Liou|first3=Jiun-Wei|last4=Liou|first4=Daw-Ran}}</ref> स्वतः कूटलेखन भी प्रजनक मॉडल हैं जो बेतरतीब ढंग से नया डेटा उत्पन्न कर सकते हैं जो इनपुट डेटा (प्रशिक्षण डेटा) के समान है।<ref name=":2" />
+उपयोगी गुण ग्रहण करने के लिए सीखे गए अभ्यावेदन को बाध्य करने के उद्देश्य से परिवर्ती उपलब्ध हैं।<ref name=":0" />उदाहरण नियमित स्वतः कूटलेखन (विरल, डेनोइजिंग और संकोचक) हैं, जो बाद के [[सांख्यिकीय वर्गीकरण]] फलन के लिए सीखने के विषयबोधक में प्रभावी हैं,<ref name=":4" />और परिवर्तनशील स्वतः कूटलेखन, [[जनरेटिव मॉडल|प्रजनक मॉडल]] के रूप में अनुप्रयोगों के साथ।<ref name=":11">{{cite journal |arxiv=1906.02691|doi=10.1561/2200000056|bibcode=2019arXiv190602691K|title=परिवर्तनशील ऑटोएन्कोडर का परिचय|date=2019|last1=Welling|first1=Max|last2=Kingma|first2=Diederik P.|journal=Foundations and Trends in Machine Learning|volume=12|issue=4|pages=307–392|s2cid=174802445}}</ref> स्वतः कूटलेखन चेहरे की पहचान सहित कई समस्याओं पर लागू होते हैं,<ref>Hinton GE, Krizhevsky A, Wang SD. [http://www.cs.toronto.edu/~fritz/absps/transauto6.pdf Transforming auto-encoders.] In International Conference on Artificial Neural Networks 2011 Jun 14 (pp. 44-51). Springer, Berlin, Heidelberg.</ref> विशेष गुण संसूचक,<ref name=":2">{{Cite book|last=Géron|first=Aurélien|title=स्किकिट-लर्न, केरस और टेंसरफ्लो के साथ हैंड्स-ऑन मशीन लर्निंग|publisher=O’Reilly Media, Inc.|year=2019|location=Canada|pages=739–740}}</ref> विसंगति का पता लगाना और शब्दों का अर्थ प्राप्त करना।<ref>{{cite journal|doi=10.1016/j.neucom.2008.04.030|title=Elman नेटवर्क का उपयोग करके मॉडलिंग शब्द धारणा|journal=Neurocomputing|volume=71|issue=16–18|pages=3150|date=2008|last1=Liou|first1=Cheng-Yuan|last2=Huang|first2=Jau-Chi|last3=Yang|first3=Wen-Chie|url=http://ntur.lib.ntu.edu.tw//handle/246246/155195 }}</ref><ref>{{cite journal|doi=10.1016/j.neucom.2013.09.055|title=शब्दों के लिए ऑटोएन्कोडर|journal=Neurocomputing|volume=139|pages=84–96|date=2014|last1=Liou|first1=Cheng-Yuan|last2=Cheng|first2=Wei-Chen|last3=Liou|first3=Jiun-Wei|last4=Liou|first4=Daw-Ran}}</ref> स्वतः कूटलेखन भी प्रजनक मॉडल हैं जो बेतरतीब ढंग से नया डेटा उत्पन्न कर सकते हैं जो इनपुट डेटा (प्रशिक्षण डेटा) के समान है।<ref name=":2" />
 {{Toclimit|3}}
@@ Line 12: / Line 12: @@
 === परिभाषा ===
 एक स्वतः कूटलेखन को निम्नलिखित घटकों द्वारा परिभाषित किया गया है: <blockquote>दो समुच्चय: डिकोड किए गए संदेशों <math>\mathcal X</math> का स्थान कूटलिखित संदेशों <math>\mathcal Z</math> का स्थान. लगभग सदैव, दोनों <math>\mathcal X</math> और <math>\mathcal Z</math> यूक्लिडियन रिक्त स्थान हैं, अर्थात्,
-कुछ <math>m, n</math>. के लिए<math>\mathcal X = \R^m, \mathcal Z = \R^n</math>  </blockquote><blockquote>फलन के दो प्राचलीकरण परिवार: कूटलेखक परिवार <math>E_\phi:\mathcal{X} \rightarrow \mathcal{Z}</math>, द्वारा प्राचलीकरण <math>\phi</math>; कूटवाचन परिवार <math>D_\theta:\mathcal{Z} \rightarrow \mathcal{X}</math>, द्वारा प्राचलीकरण <math>\theta</math></blockquote>किसी <math>x\in \mathcal X</math> के लिए भी  हम सामान्यतः <math>z = E_\phi(x)</math> लिखते हैं , और इसे कोड, [[अव्यक्त चर]], अव्यक्त प्रतिनिधित्व, अव्यक्त सदिश, आदि के रूप में देखें। इसके विपरीत, किसी के लिए <math>z\in \mathcal Z</math>, हम सामान्यतः लिखते हैं <math>x' = D_\theta(z)</math>, और इसे (डिकोडेड) संदेश के रूप में देखें।
+कुछ <math>m, n</math>. के लिए<math>\mathcal X = \R^m, \mathcal Z = \R^n</math>  </blockquote><blockquote>फलन के दो प्राचलीकरण परिवार: कूटलेखक परिवार <math>E_\phi:\mathcal{X} \rightarrow \mathcal{Z}</math>, द्वारा प्राचलीकरण <math>\phi</math>; कूटवाचन परिवार <math>D_\theta:\mathcal{Z} \rightarrow \mathcal{X}</math>, द्वारा प्राचलीकरण <math>\theta</math></blockquote>किसी <math>x\in \mathcal X</math> के लिए भी हम सामान्यतः <math>z = E_\phi(x)</math> लिखते हैं , और इसे कोड, [[अव्यक्त चर]], अव्यक्त प्रतिनिधित्व, अव्यक्त सदिश, आदि के रूप में देखें। इसके विपरीत, किसी के लिए <math>z\in \mathcal Z</math>, हम सामान्यतः लिखते हैं <math>x' = D_\theta(z)</math>, और इसे (डिकोडेड) संदेश के रूप में देखें।
 सामान्यतः , कूटलेखक और कूटवाचन दोनों को [[ बहुपरत परसेप्ट्रॉन |बहुपरत परसेप्ट्रॉन]] के रूप में परिभाषित किया जाता है। उदाहरण के लिए, एक परत एमएलपी कूटलेखक <math>E_\phi</math> है:
@@ Line 22: / Line 22: @@
 === एक स्वतः कूटलेखन का प्रशिक्षण ===
-एक स्वतः कूटलेखन, अपने आप में, केवल दो फलन का एक टपल है। इसकी गुणवत्ता का न्याय करने के लिए, हमें एक फलन की आवश्यकता है। एक फलन एक संदर्भ संभाव्यता वितरण द्वारा परिभाषित किया गया है <math>\mu_{ref}</math> ऊपर <math>\mathcal X</math>, और एक पुनर्निर्माण गुणवत्ता फलन <math>d: \mathcal X \times  \mathcal X \to [0, \infty]</math>, ऐसा है कि  <math>x'</math> से अलग  होना <math>x</math>. <math>d(x, x')</math> कितना मापता है।
+एक स्वतः कूटलेखन, अपने आप में, केवल दो फलन का एक टपल है। इसकी गुणवत्ता का न्याय करने के लिए, हमें एक फलन की आवश्यकता है। एक फलन एक संदर्भ संभाव्यता वितरण द्वारा परिभाषित किया गया है <math>\mu_{ref}</math> ऊपर <math>\mathcal X</math>, और एक पुनर्निर्माण गुणवत्ता फलन <math>d: \mathcal X \times  \mathcal X \to [0, \infty]</math>, ऐसा है कि <math>x'</math> से अलग होना <math>x</math>. <math>d(x, x')</math> कितना मापता है।
 उन के साथ, हम स्वतः कूटलेखन के लिए हानि फलन को परिभाषित कर सकते हैं। <math display="block">L(\theta, \phi) := \mathbb \mathbb E_{x\sim \mu_{ref}}[d(x, D_\theta(E_\phi(x)))]</math>दिए गए फलन के लिए इष्टतम स्वतः कूटलेखन <math>(\mu_{ref}, d)</math> तब है <math>\arg\min_{\theta, \phi}L(\theta, \phi)</math>. इष्टतम स्वतः कूटलेखन की खोज किसी भी गणितीय अनुकूलन तकनीक द्वारा पूरी की जा सकती है, लेकिन सामान्यतः ढाल वंश द्वारा। इस खोज प्रक्रिया को स्वतः कूटलेखन प्रशिक्षण कहा जाता है।
-ज्यादातर स्थितियों में, संदर्भ वितरण केवल डेटा समुच्चय  द्वारा दिया गया अनुभवजन्य माप है <math>\{x_1, ..., x_N\} \subset \mathcal X</math>, ताकि<math display="block">\mu_{ref} = \frac{1}{N}\sum_{i=1}^N \delta_{x_i}</math>
+ज्यादातर स्थितियों में, संदर्भ वितरण केवल डेटा समुच्चय द्वारा दिया गया अनुभवजन्य माप है <math>\{x_1, ..., x_N\} \subset \mathcal X</math>, ताकि<math display="block">\mu_{ref} = \frac{1}{N}\sum_{i=1}^N \delta_{x_i}</math>
 और जहाँ <math>\delta_{x_i}</math> डिरैक माप है, और गुणवत्ता फलन केवल L2 हानि है: <math>d(x, x') = \|x - x'\|_2^2</math>. तब इष्टतम स्वतः कूटलेखन की खोज की समस्या सिर्फ एक कम वर्ग है | कम से कम वर्ग अनुकूलन:<math display="block">\min_{\theta, \phi} L(\theta, \phi), \text{where } L(\theta, \phi) = \frac{1}{N}\sum_{i=1}^N \|x_i - D_\theta(E_\phi(x_i))\|_2^2</math>
@@ Line 37: / Line 37: @@
 ऐसे स्वतः कूटलेखन को अंडरकंप्लीट कहा जाता है। इसे डेटा संपीड़न संदेश, या आयामीता में कमी के रूप में व्याख्या किया जा सकता है।<ref name=":12" /><ref name=":7" />
-एक आदर्श अपूर्ण स्वतः कूटलेखन की सीमा पर, हर संभव कोड <math>z</math> कोड स्थान में किसी संदेश को कूटलेखन करने के लिए उपयोग किया जाता है <math>x</math> जो वास्तव में वितरण में दिखाई देता है <math>\mu_{ref}</math>, और कूटवाचन भी सही है: <math>D_\theta(E_\phi(x)) = x</math>. इस आदर्श स्वतः कूटलेखन का उपयोग इसके कूटवाचन मनमाने कोड को फीड करके वास्तविक संदेशों से अप्रभेद्य संदेशों को उत्पन्न करने के लिए किया जा सकता है। <math>z</math> और  <math>D_\theta(z)</math>,प्राप्त करना जो एक संदेश  <math>\mu_{ref}</math>.है जो वास्तव में वितरण में प्रकट होता है
+एक आदर्श अपूर्ण स्वतः कूटलेखन की सीमा पर, हर संभव कोड <math>z</math> कोड स्थान में किसी संदेश को कूटलेखन करने के लिए उपयोग किया जाता है <math>x</math> जो वास्तव में वितरण में दिखाई देता है <math>\mu_{ref}</math>, और कूटवाचन भी सही है: <math>D_\theta(E_\phi(x)) = x</math>. इस आदर्श स्वतः कूटलेखन का उपयोग इसके कूटवाचन मनमाने कोड को फीड करके वास्तविक संदेशों से अप्रभेद्य संदेशों को उत्पन्न करने के लिए किया जा सकता है। <math>z</math> और <math>D_\theta(z)</math>,प्राप्त करना जो एक संदेश <math>\mu_{ref}</math>.है जो वास्तव में वितरण में प्रकट होता है
 यदि कोड स्थान <math>\mathcal Z</math> इसका आयाम (अपूर्ण) से बड़ा है, या संदेश स्थान के बराबर है <math>\mathcal{X}</math>, या छिपी हुई इकाइयों को पर्याप्त क्षमता दी जाती है, एक स्वतः कूटलेखन [[पहचान समारोह|पहचान]] फलन सीख सकता है और बेकार हो सकता है। हालाँकि, प्रायोगिक परिणामों में पाया गया कि अधूरे स्वतः कूटलेखन में अभी भी सीखने की सुविधा हो सकती है।<ref name="bengio">{{Cite journal |last1=Bengio |first1=Y. |date=2009 |title=एआई के लिए डीप आर्किटेक्चर सीखना|url=http://www.iro.umontreal.ca/~lisa/pointeurs/TR1312.pdf |journal=Foundations and Trends in Machine Learning |volume=2 |issue=8 |pages=1795–7 |citeseerx=10.1.1.701.9550 |doi=10.1561/2200000006 |pmid=23946944}}</ref>
-आदर्श समुच्चय सेटिंग में, कोड आयाम और मॉडल क्षमता को मॉडल किए जाने वाले डेटा वितरण की जटिलता के आधार पर समुच्चय  किया जा सकता है। ऐसा करने का एक मानक तरीका मूल स्वतः कूटलेखन में संशोधन जोड़ना है, जिसका विवरण नीचे दिया गया है।<ref name=":0" />
+आदर्श समुच्चय सेटिंग में, कोड आयाम और मॉडल क्षमता को मॉडल किए जाने वाले डेटा वितरण की जटिलता के आधार पर समुच्चय किया जा सकता है। ऐसा करने का एक मानक तरीका मूल स्वतः कूटलेखन में संशोधन जोड़ना है, जिसका विवरण नीचे दिया गया है।<ref name=":0" />
 == इतिहास ==
-क्रेमर द्वारा स्वतः कूटलेखन को पहले प्रधान घटक विश्लेषण (पीसीए) के एक गैर-रैखिक सामान्यीकरण के रूप में प्रस्तावित किया गया था।<ref name=":12" />स्वतः कूटलेखन को ऑटो सहयोगी भी कहा जाता है,<ref>{{Cite journal |last1=Japkowicz |first1=Nathalie |author-link=Nathalie Japkowicz |last2=Hanson |first2=Stephen José |author-link2=Stephen José Hanson |last3=Gluck |first3=Mark A. |date=2000-03-01 |title=नॉनलाइनियर ऑटोएसोसिएशन पीसीए के समतुल्य नहीं है|journal=Neural Computation |volume=12 |issue=3 |pages=531–545 |doi=10.1162/089976600300015691 |issn=0899-7667 |pmid=10769321 |s2cid=18490972}}</ref> या डायबोलो नेटवर्क।<ref>{{Cite journal |last1=Schwenk |first1=Holger |last2=Bengio |first2=Yoshua |date=1997 |title=तंत्रिका नेटवर्क के अनुकूली बूस्टिंग के लिए प्रशिक्षण के तरीके|url=https://proceedings.neurips.cc/paper/1997/hash/9cb67ffb59554ab1dabb65bcb370ddd9-Abstract.html |journal=Advances in Neural Information Processing Systems |publisher=MIT Press |volume=10}}</ref><ref name="bengio" />1990 के दशक की शुरुआत में इसके पहले आवेदन की तारीख।<ref name=":0" /><ref>{{Cite journal |last=Schmidhuber |first=Jürgen |date=January 2015 |title=Deep learning in neural networks: An overview |journal=Neural Networks |volume=61 |pages=85–117 |arxiv=1404.7828 |doi=10.1016/j.neunet.2014.09.003 |pmid=25462637 |s2cid=11715509}}</ref><ref>Hinton, G. E., & Zemel, R. S. (1994). Autoencoders, minimum description length and Helmholtz free energy. In ''Advances in neural information processing systems 6'' (pp. 3-10).</ref> उनका सबसे पारंपरिक अनुप्रयोग विमीयता समानयन या विशेष गुण  लर्निंग था, लेकिन डेटा के प्रजनक मॉडल सीखने के लिए इस अवधारणा का व्यापक रूप से उपयोग किया जाने लगा।<ref name="VAE">{{cite arXiv |eprint=1312.6114 |class=stat.ML |author1=Diederik P Kingma |first2=Max |last2=Welling |title=ऑटो-एन्कोडिंग वेरिएशनल बेज़|date=2013}}</ref><ref name="gan_faces">मशाल के साथ चेहरे बनाना, बोसेन ए, लार्सन एल और सोंडरबी एसके, 2015 {{url|http://torch.ch/blog/2015/11/13/gan.html}</ref> 2010 के कुछ सबसे शक्तिशाली [[ कृत्रिम होशियारी |कृत्रिम एआई]] में [[ध्यान लगा के पढ़ना या सीखना]] न्यूरल नेटवर्क के अंदर स्वतः कूटलेखन सम्मलित थे। <ref name = sunday >{{cite book |last1=Domingos |first1=Pedro |title=द मास्टर एल्गोरिथम: हाउ द क्वेस्ट फॉर द अल्टीमेट लर्निंग मशीन विल रीमेक अवर वर्ल्ड|title-link=The Master Algorithm |date=2015 |publisher=Basic Books |isbn=978-046506192-1 |at="Deeper into the Brain" subsection |chapter=4 |author-link=Pedro Domingos}}</ref>
+क्रेमर द्वारा स्वतः कूटलेखन को पहले प्रधान घटक विश्लेषण (पीसीए) के एक गैर-रैखिक सामान्यीकरण के रूप में प्रस्तावित किया गया था।<ref name=":12" />स्वतः कूटलेखन को ऑटो सहयोगी भी कहा जाता है,<ref>{{Cite journal |last1=Japkowicz |first1=Nathalie |author-link=Nathalie Japkowicz |last2=Hanson |first2=Stephen José |author-link2=Stephen José Hanson |last3=Gluck |first3=Mark A. |date=2000-03-01 |title=नॉनलाइनियर ऑटोएसोसिएशन पीसीए के समतुल्य नहीं है|journal=Neural Computation |volume=12 |issue=3 |pages=531–545 |doi=10.1162/089976600300015691 |issn=0899-7667 |pmid=10769321 |s2cid=18490972}}</ref> या डायबोलो नेटवर्क।<ref>{{Cite journal |last1=Schwenk |first1=Holger |last2=Bengio |first2=Yoshua |date=1997 |title=तंत्रिका नेटवर्क के अनुकूली बूस्टिंग के लिए प्रशिक्षण के तरीके|url=https://proceedings.neurips.cc/paper/1997/hash/9cb67ffb59554ab1dabb65bcb370ddd9-Abstract.html |journal=Advances in Neural Information Processing Systems |publisher=MIT Press |volume=10}}</ref><ref name="bengio" />1990 के दशक की शुरुआत में इसके पहले आवेदन की तारीख।<ref name=":0" /><ref>{{Cite journal |last=Schmidhuber |first=Jürgen |date=January 2015 |title=Deep learning in neural networks: An overview |journal=Neural Networks |volume=61 |pages=85–117 |arxiv=1404.7828 |doi=10.1016/j.neunet.2014.09.003 |pmid=25462637 |s2cid=11715509}}</ref><ref>Hinton, G. E., & Zemel, R. S. (1994). Autoencoders, minimum description length and Helmholtz free energy. In ''Advances in neural information processing systems 6'' (pp. 3-10).</ref> उनका सबसे पारंपरिक अनुप्रयोग विमीयता समानयन या विशेष गुण लर्निंग था, लेकिन डेटा के प्रजनक मॉडल सीखने के लिए इस अवधारणा का व्यापक रूप से उपयोग किया जाने लगा।<ref name="VAE">{{cite arXiv |eprint=1312.6114 |class=stat.ML |author1=Diederik P Kingma |first2=Max |last2=Welling |title=ऑटो-एन्कोडिंग वेरिएशनल बेज़|date=2013}}</ref><ref name="gan_faces">मशाल के साथ चेहरे बनाना, बोसेन ए, लार्सन एल और सोंडरबी एसके, 2015 {{url|http://torch.ch/blog/2015/11/13/gan.html}</ref> 2010 के कुछ सबसे शक्तिशाली [[ कृत्रिम होशियारी |कृत्रिम एआई]] में [[ध्यान लगा के पढ़ना या सीखना]] न्यूरल नेटवर्क के अंदर स्वतः कूटलेखन सम्मलित थे। <ref name = sunday >{{cite book |last1=Domingos |first1=Pedro |title=द मास्टर एल्गोरिथम: हाउ द क्वेस्ट फॉर द अल्टीमेट लर्निंग मशीन विल रीमेक अवर वर्ल्ड|title-link=The Master Algorithm |date=2015 |publisher=Basic Books |isbn=978-046506192-1 |at="Deeper into the Brain" subsection |chapter=4 |author-link=Pedro Domingos}}</ref>
 [[Category:Articles with hatnote templates targeting a nonexistent page]]
@@ Line 66: / Line 66: @@
 तंत्रिकाविज्ञान में [[विरल कोडिंग]] परिकल्पना से प्रेरित, विरल स्वतः कूटलेखन स्वतः कूटलेखन के परिवर्ती हैं, जैसे कि कोड <math>E_\phi(x)</math> संदेशों के लिए विरल कोड होते हैं, अर्थात, <math>E_\phi(x)</math> अधिकांश प्रविष्टियों में शून्य के करीब है। विरल स्वतः कूटलेखन में इनपुट की तुलना में अधिक (कम के अतिरिक्त ) छिपी हुई इकाइयाँ सम्मलित हो सकती हैं, लेकिन एक ही समय में केवल कुछ ही छिपी हुई इकाइयों को सक्रिय होने की अनुमति है।<ref name="domingos" />विरलता को प्रोत्साहित करने से वर्गीकरण फलन के प्रदर्शन में सुधार होता है।<ref name=":5">{{Cite journal |last1=Frey |first1=Brendan |last2=Makhzani |first2=Alireza |date=2013-12-19 |title=के-स्पार्स ऑटोएन्कोडर्स|arxiv=1312.5663 |bibcode=2013arXiv1312.5663M}}</ref> [[File:Autoencoder sparso.png|thumb|सिंगल-लेयर स्पार्स स्वतः कूटलेखन का सरल स्कीमा। चमकीले पीले रंग में छिपे हुए नोड सक्रिय होते हैं, जबकि हल्के पीले रंग निष्क्रिय होते हैं। सक्रियण इनपुट पर निर्भर करता है।]]विरलता को लागू करने के दो मुख्य तरीके हैं। एक तरीका यह है कि अव्यक्त कोड की उच्चतम-के सक्रियता को छोड़कर सभी को शून्य पर दबा दिया जाए। यह के -विरल स्वतः कूटलेखन है।<ref name=":1">{{cite arXiv |eprint=1312.5663 |class=cs.LG |first1=Alireza |last1=Makhzani |first2=Brendan |last2=Frey |title=के-स्पार्स ऑटोएन्कोडर|date=2013}}</ref>
-के -विरल स्वतः कूटलेखन एक मानक स्वतः कूटलेखन की अव्यक्त परत में निम्न के -विरल  फलन सम्मिलित करता है:<math display="block">f_k(x_1, ..., x_n) = (x_1 b_1, ..., x_n b_n)</math>जहाँ <math>b_i = 1</math> और 0 अन्यथा अगर <math>|x_i|</math> शीर्ष k में रैंक करता है, ।
+के -विरल स्वतः कूटलेखन एक मानक स्वतः कूटलेखन की अव्यक्त परत में निम्न के -विरल फलन सम्मिलित करता है:<math display="block">f_k(x_1, ..., x_n) = (x_1 b_1, ..., x_n b_n)</math>जहाँ <math>b_i = 1</math> और 0 अन्यथा अगर <math>|x_i|</math> शीर्ष k में रैंक करता है, ।
-बैकप्रोपैगेटिंग के माध्यम से <math>f_k</math> सरल है: के लिए अनुप्रवण को 0 पर समुच्चय  करें <math>b_i = 0</math> प्रविष्टियाँ, और के लिए अनुप्रवण रखें <math>b_i=1</math> प्रविष्टियाँ। यह अनिवार्य रूप से एक सामान्यीकृत [[शुद्ध करनेवाला (तंत्रिका नेटवर्क)|शुद्ध करनेवाला (तंत्रिका जाल )]] फलन है।<ref name=":1" />
+बैकप्रोपैगेटिंग के माध्यम से <math>f_k</math> सरल है: के लिए अनुप्रवण को 0 पर समुच्चय करें <math>b_i = 0</math> प्रविष्टियाँ, और के लिए अनुप्रवण रखें <math>b_i=1</math> प्रविष्टियाँ। यह अनिवार्य रूप से एक सामान्यीकृत [[शुद्ध करनेवाला (तंत्रिका नेटवर्क)|शुद्ध करनेवाला (तंत्रिका जाल )]] फलन है।<ref name=":1" />
-दूसरा तरीका के -विरल  स्वतः कूटलेखन का विश्राम (सन्निकटन) है। विरलता को मजबूर करने के अतिरिक्त , हम एक विरल नियमितीकरण हानि जोड़ते हैं, फिर इसके लिए अनुकूलन करते हैं<math display="block">\min_{\theta, \phi}L(\theta, \phi) + \lambda L_{sparsity} (\theta, \phi)</math>जहाँ <math>\lambda > 0</math> मापता है कि हम कितनी विरलता लागू करना चाहते हैं।<ref name=":6" />
+दूसरा तरीका के -विरल स्वतः कूटलेखन का विश्राम (सन्निकटन) है। विरलता को मजबूर करने के अतिरिक्त , हम एक विरल नियमितीकरण हानि जोड़ते हैं, फिर इसके लिए अनुकूलन करते हैं<math display="block">\min_{\theta, \phi}L(\theta, \phi) + \lambda L_{sparsity} (\theta, \phi)</math>जहाँ <math>\lambda > 0</math> मापता है कि हम कितनी विरलता लागू करना चाहते हैं।<ref name=":6" />
 बता दें कि स्वतः कूटलेखन संरचना है <math>K</math> परतें। अविरलता नियमितीकरण हानि को परिभाषित करने के लिए, हमें वांछित अविरलता की आवश्यकता होती है <math>\hat \rho_k</math> प्रत्येक परत के लिए, एक वजन <math>w_k</math> प्रत्येक विरलता और एक फलन को कितना लागू करना है <math>s: [0, 1]\times [0, 1] \to [0, \infty]</math> यह मापने के लिए कि दो अविरलता में कितना अंतर है।
@@ Line 76: / Line 76: @@
 प्रत्येक इनपुट के लिए <math>x</math> दें , प्रत्येक परत में सक्रियण की वास्तविक विरलता <math>k</math> होना<math display="block">\rho_k(x) = \frac 1n \sum_{i=1}^n a_{k, i}(x)</math>जहाँ <math>a_{k, i}(x)</math> <math>i</math> -वें न्यूरॉन <math>k</math> -वें इनपुट पर परत <math>x</math>. में सक्रियता है
-इनपुट पर विरलता हानि <math>x</math> एक परत के लिए है <math>s(\hat\rho_k, \rho_k(x))</math>, और संपूर्ण स्वतः कूटलेखन के लिए विरलता नियमितीकरण हानि विरलता हानियों का अपेक्षित भारित योग है:<math display="block">L_{sparsity}(\theta, \phi) = \mathbb \mathbb E_{x\sim\mu_X}\left[\sum_{k\in 1:K} w_k s(\hat\rho_k, \rho_k(x)) \right]</math>सामान्यतः , फलन <math>s</math> या तो कुल्बैक-लीब्लर अपसारित है | कुल्बैक-लीब्लर (केएल)  विचलन, जैसा कि<ref name=":5" /><ref name=":6">Ng, A. (2011). [https://web.stanford.edu/class/cs294a/sparseAutoencoder_2011new.pdf Sparse autoencoder]. ''CS294A Lecture notes'', ''72''(2011), 1-19.</ref><ref>{{Cite journal|last1=Nair|first1=Vinod|last2=Hinton|first2=Geoffrey E.|date=2009|title=3D Object Recognition with Deep Belief Nets|url=http://dl.acm.org/citation.cfm?id=2984093.2984244|journal=Proceedings of the 22nd International Conference on Neural Information Processing Systems|series=NIPS'09|location=USA|publisher=Curran Associates Inc.|pages=1339–1347|isbn=9781615679119}}</ref><ref>{{Cite journal|last1=Zeng|first1=Nianyin|last2=Zhang|first2=Hong|last3=Song|first3=Baoye|last4=Liu|first4=Weibo|last5=Li|first5=Yurong|last6=Dobaie|first6=Abdullah M.|date=2018-01-17|title=गहरे विरल ऑटोएन्कोडर्स सीखने के माध्यम से चेहरे की अभिव्यक्ति की पहचान|journal=Neurocomputing|volume=273|pages=643–649|doi=10.1016/j.neucom.2017.08.043|issn=0925-2312}}</ref>
+इनपुट पर विरलता हानि <math>x</math> एक परत के लिए है <math>s(\hat\rho_k, \rho_k(x))</math>, और संपूर्ण स्वतः कूटलेखन के लिए विरलता नियमितीकरण हानि विरलता हानियों का अपेक्षित भारित योग है:<math display="block">L_{sparsity}(\theta, \phi) = \mathbb \mathbb E_{x\sim\mu_X}\left[\sum_{k\in 1:K} w_k s(\hat\rho_k, \rho_k(x)) \right]</math>सामान्यतः , फलन <math>s</math> या तो कुल्बैक-लीब्लर अपसारित है | कुल्बैक-लीब्लर (केएल) विचलन, जैसा कि<ref name=":5" /><ref name=":6">Ng, A. (2011). [https://web.stanford.edu/class/cs294a/sparseAutoencoder_2011new.pdf Sparse autoencoder]. ''CS294A Lecture notes'', ''72''(2011), 1-19.</ref><ref>{{Cite journal|last1=Nair|first1=Vinod|last2=Hinton|first2=Geoffrey E.|date=2009|title=3D Object Recognition with Deep Belief Nets|url=http://dl.acm.org/citation.cfm?id=2984093.2984244|journal=Proceedings of the 22nd International Conference on Neural Information Processing Systems|series=NIPS'09|location=USA|publisher=Curran Associates Inc.|pages=1339–1347|isbn=9781615679119}}</ref><ref>{{Cite journal|last1=Zeng|first1=Nianyin|last2=Zhang|first2=Hong|last3=Song|first3=Baoye|last4=Liu|first4=Weibo|last5=Li|first5=Yurong|last6=Dobaie|first6=Abdullah M.|date=2018-01-17|title=गहरे विरल ऑटोएन्कोडर्स सीखने के माध्यम से चेहरे की अभिव्यक्ति की पहचान|journal=Neurocomputing|volume=273|pages=643–649|doi=10.1016/j.neucom.2017.08.043|issn=0925-2312}}</ref>
 ::<math>s(\rho, \hat\rho) = KL(\rho || \hat{\rho}) = \rho \log \frac{\rho}{\hat{\rho}}+(1- \rho)\log \frac{1-\rho}{1-\hat{\rho}}</math>
 या L1 हानि, जैसा <math>s(\rho, \hat\rho) = |\rho- \hat\rho|</math>, या L2 नुकसान, जैसा <math>s(\rho, \hat\rho) = |\rho- \hat\rho|^2</math>.
@@ Line 88: / Line 88: @@
 डीनोइजिंग स्वतः कूटलेखन (डीएई) पुनर्निर्माण मानदंड को बदलकर एक अच्छा विषयबोधक प्राप्त करने का प्रयास करते हैं।<ref name=":0" /><ref name=":4" />
-एक डीएई को मानक स्वतः कूटलेखन में शोर प्रक्रिया जोड़कर परिभाषित किया जाता है। एक शोर प्रक्रिया को संभाव्यता वितरण द्वारा परिभाषित किया गया है <math>\mu_T</math> फलन से अधिक <math>T:\mathcal X \to \mathcal X</math>. अर्थात फलन <math>x\in \mathcal X</math> <math>T</math> संदेश लेता है , और इसे शोर वाले संस्करण  <math>\mu_T</math>.में बदल देता है <math>T(x)</math>. कार्यक्रम <math>T</math> संभाव्यता वितरण के साथ यादृच्छिक रूप से चुना जाता है
+एक डीएई को मानक स्वतः कूटलेखन में शोर प्रक्रिया जोड़कर परिभाषित किया जाता है। एक शोर प्रक्रिया को संभाव्यता वितरण द्वारा परिभाषित किया गया है <math>\mu_T</math> फलन से अधिक <math>T:\mathcal X \to \mathcal X</math>. अर्थात फलन <math>x\in \mathcal X</math> <math>T</math> संदेश लेता है , और इसे शोर वाले संस्करण <math>\mu_T</math>.में बदल देता है <math>T(x)</math>. कार्यक्रम <math>T</math> संभाव्यता वितरण के साथ यादृच्छिक रूप से चुना जाता है
-एक दिया हुआ फलन दिया <math>(\mu_{ref}, d)</math>डीएई के प्रशिक्षण की समस्या अनुकूलन समस्या है:<math display="block">\min_{\theta, \phi}L(\theta, \phi) = \mathbb \mathbb E_{x\sim \mu_X, T\sim\mu_T}[d(x, (D_\theta\circ E_\phi \circ T)(x))]</math>यही है, इष्टतम डीएई को कोई शोर संदेश लेना चाहिए और शोर के बिना मूल संदेश को पुनर्प्राप्त करने का प्रयास करना चाहिए, इस प्रकार इसका नाम डीनोइजिंग होता है। [[Variational autoencoder|परिवर्तन संबंधी]] स्वतः कूटलेखन (वीएई) परिवर्तन संबंधी  बायेसियन विधियों के परिवारों से संबंधित हैं।
+एक दिया हुआ फलन दिया <math>(\mu_{ref}, d)</math>डीएई के प्रशिक्षण की समस्या अनुकूलन समस्या है:<math display="block">\min_{\theta, \phi}L(\theta, \phi) = \mathbb \mathbb E_{x\sim \mu_X, T\sim\mu_T}[d(x, (D_\theta\circ E_\phi \circ T)(x))]</math>यही है, इष्टतम डीएई को कोई शोर संदेश लेना चाहिए और शोर के बिना मूल संदेश को पुनर्प्राप्त करने का प्रयास करना चाहिए, इस प्रकार इसका नाम डीनोइजिंग होता है। [[Variational autoencoder|परिवर्तन संबंधी]] स्वतः कूटलेखन (वीएई) परिवर्तन संबंधी बायेसियन विधियों के परिवारों से संबंधित हैं।
 सामान्यतः , शोर प्रक्रिया <math>T</math> केवल प्रशिक्षण और परीक्षण के समय लागू किया जाता है, डाउनस्ट्रीम उपयोग के समय नहीं लागू किया जाता है।
@@ Line 100: / Line 100: @@
 * योज्य आइसोट्रोपिक [[योगात्मक सफेद गाऊसी शोर]],
-* मास्किंग शोर (इनपुट का एक अंश यादृच्छिक रूप से चुना जाता है और 0 पर समुच्चय  होता है)
+* मास्किंग शोर (इनपुट का एक अंश यादृच्छिक रूप से चुना जाता है और 0 पर समुच्चय होता है)
-* नमक और काली मिर्च का शोर (इनपुट का एक अंश बेतरतीब ढंग से चुना जाता है और बेतरतीब ढंग से इसके न्यूनतम या अधिकतम मूल्य पर समुच्चय  किया जाता है)।<ref name=":4" />
+* नमक और काली मिर्च का शोर (इनपुट का एक अंश बेतरतीब ढंग से चुना जाता है और बेतरतीब ढंग से इसके न्यूनतम या अधिकतम मूल्य पर समुच्चय किया जाता है)।<ref name=":4" />
 ==== संविदात्मक स्वतः कूटलेखन (सीएई) ====
-एक संविदात्मक स्वतः कूटलेखन मानक स्वतः कूटलेखन हानि के लिए संविदात्मक नियमितीकरण हानि जोड़ता है:<math display="block">\min_{\theta, \phi}L(\theta, \phi) + \lambda L_{contractive} (\theta, \phi)</math>जहाँ <math>\lambda > 0</math> मापता है कि हम कितना अनुबंधात्मकता लागू करना चाहते हैं। संविदात्मक नियमितीकरण हानि को जैकबियन आव्यूह के अपेक्षित [[फ्रोबेनियस मानदंड]] और इनपुट के संबंध में एन्कोडर सक्रियण के निर्धारक के रूप में परिभाषित किया गया है:<math display="block">L_{contractive}(\theta, \phi) = \mathbb E_{x\sim \mu_{ref}} \|\nabla_x E_\phi(x) \|_F^2</math>क्या समझने के लिए <math>L_{contractive}</math> उपाय, इस तथ्य पर ध्यान दें<math display="block">\|E_\phi(x + \delta x)  - E_\phi(x)\|_2 \leq \|\nabla_x E_\phi(x) \|_F \|\delta x\|_2</math>किसी संदेश के लिए <math>x\in \mathcal X</math>, और इस में छोटी भिन्नता <math>\delta x</math>  होता है। इस प्रकार, यदि <math>\|\nabla_x E_\phi(x) \|_F^2</math> छोटा है, तो इसका तात्पर्य यह है कि संदेश का एक छोटा पड़ोस उसके कोड के एक छोटे से पड़ोस में मानचित्रित करता है। यह एक वांछित संपत्ति है, क्योंकि इसका तात्पर्य यह है कि संदेश में छोटी भिन्नता इसके कोड में छोटी, अनुमानतः शून्य भी भिन्नता की ओर ले जाती है, जैसे कि दो चित्र समान कैसे दिख सकते हैं, भले ही वे बिल्कुल समान न हों।
+एक संविदात्मक स्वतः कूटलेखन मानक स्वतः कूटलेखन हानि के लिए संविदात्मक नियमितीकरण हानि जोड़ता है:<math display="block">\min_{\theta, \phi}L(\theta, \phi) + \lambda L_{contractive} (\theta, \phi)</math>जहाँ <math>\lambda > 0</math> मापता है कि हम कितना अनुबंधात्मकता लागू करना चाहते हैं। संविदात्मक नियमितीकरण हानि को जैकबियन आव्यूह के अपेक्षित [[फ्रोबेनियस मानदंड]] और इनपुट के संबंध में एन्कोडर सक्रियण के निर्धारक के रूप में परिभाषित किया गया है:<math display="block">L_{contractive}(\theta, \phi) = \mathbb E_{x\sim \mu_{ref}} \|\nabla_x E_\phi(x) \|_F^2</math>क्या समझने के लिए <math>L_{contractive}</math> उपाय, इस तथ्य पर ध्यान दें<math display="block">\|E_\phi(x + \delta x)  - E_\phi(x)\|_2 \leq \|\nabla_x E_\phi(x) \|_F \|\delta x\|_2</math>किसी संदेश के लिए <math>x\in \mathcal X</math>, और इस में छोटी भिन्नता <math>\delta x</math> होता है। इस प्रकार, यदि <math>\|\nabla_x E_\phi(x) \|_F^2</math> छोटा है, तो इसका तात्पर्य यह है कि संदेश का एक छोटा पड़ोस उसके कोड के एक छोटे से पड़ोस में मानचित्रित करता है। यह एक वांछित संपत्ति है, क्योंकि इसका तात्पर्य यह है कि संदेश में छोटी भिन्नता इसके कोड में छोटी, अनुमानतः शून्य भी भिन्नता की ओर ले जाती है, जैसे कि दो चित्र समान कैसे दिख सकते हैं, भले ही वे बिल्कुल समान न हों।
 डीएई को सीएई की एक अतिसूक्ष्म सीमा के रूप में समझा जा सकता है: छोटे गॉसियन इनपुट शोर की सीमा में, डीएई पुनर्निर्माण फलन को छोटे लेकिन परिमित आकार के इनपुट अस्तव्यस्तता का विरोध करते हैं, जबकि सीएई निकाले गए सुविधाओं को अनंत इनपुट अस्तव्यस्तता का विरोध करते हैं।
@@ Line 114: / Line 114: @@
 === कंक्रीट स्वतः कूटलेखन ===
-कंक्रीट स्वतः कूटलेखन असतत सुविधा चयन के लिए डिज़ाइन किया गया है।<ref>{{cite arXiv|last1=Abid|first1=Abubakar|last2=Balin|first2=Muhammad Fatih|last3=Zou|first3=James|date=2019-01-27|title=अलग-अलग फ़ीचर चयन और पुनर्निर्माण के लिए कंक्रीट ऑटोएनकोडर|eprint=1901.09346|class=cs.LG}}</ref> एक ठोस स्वतः कूटलेखन अव्यक्त स्थान को केवल उपयोगकर्ता द्वारा निर्दिष्ट सुविधाओं की संख्या से युक्त करने के लिए बाध्य करता है। कंक्रीट स्वतः कूटलेखन विशेष गुण  चयनकर्ता परत के माध्यम से ग्रेडियेंट को पारित करने की अनुमति देने के लिए [[श्रेणीबद्ध वितरण]] के निरंतर विश्राम (सन्निकटन) का उपयोग करता है, जो पुनर्निर्माण नुकसान को कम करने वाले इनपुट सुविधाओं के इष्टतम सबसमुच्चय  को सीखने के लिए मानक [[backpropagation|वापस प्रसार]] का उपयोग करना संभव बनाता है।
+कंक्रीट स्वतः कूटलेखन असतत सुविधा चयन के लिए डिज़ाइन किया गया है।<ref>{{cite arXiv|last1=Abid|first1=Abubakar|last2=Balin|first2=Muhammad Fatih|last3=Zou|first3=James|date=2019-01-27|title=अलग-अलग फ़ीचर चयन और पुनर्निर्माण के लिए कंक्रीट ऑटोएनकोडर|eprint=1901.09346|class=cs.LG}}</ref> एक ठोस स्वतः कूटलेखन अव्यक्त स्थान को केवल उपयोगकर्ता द्वारा निर्दिष्ट सुविधाओं की संख्या से युक्त करने के लिए बाध्य करता है। कंक्रीट स्वतः कूटलेखन विशेष गुण चयनकर्ता परत के माध्यम से ग्रेडियेंट को पारित करने की अनुमति देने के लिए [[श्रेणीबद्ध वितरण]] के निरंतर विश्राम (सन्निकटन) का उपयोग करता है, जो पुनर्निर्माण नुकसान को कम करने वाले इनपुट सुविधाओं के इष्टतम सबसमुच्चय को सीखने के लिए मानक [[backpropagation|वापस प्रसार]] का उपयोग करना संभव बनाता है।
 === परिवर्तनशील स्वतः कूटलेखन (वीएई) ===
 {{Main|परिवर्तनशील ऑटोएन्कोडर}}
-[[Variational autoencoder|परिवर्तन संबंधी]] स्वतः कूटलेखन (वीएई) परिवर्तन संबंधी  बायेसियन विधियों के परिवारों से संबंधित हैं। बुनियादी स्वतः कूटलेखन के साथ वास्तुशिल्प समानता के बावजूद, वीएई विभिन्न लक्ष्यों के साथ और पूरी तरह से अलग गणितीय सूत्रीकरण के साथ वास्तुकला हैं। अव्यक्त स्थान इस प्रकरणों में एक निश्चित सदिश के अतिरिक्त  वितरण के मिश्रण से बना है।
+[[Variational autoencoder|परिवर्तन संबंधी]] स्वतः कूटलेखन (वीएई) परिवर्तन संबंधी बायेसियन विधियों के परिवारों से संबंधित हैं। बुनियादी स्वतः कूटलेखन के साथ वास्तुशिल्प समानता के बावजूद, वीएई विभिन्न लक्ष्यों के साथ और पूरी तरह से अलग गणितीय सूत्रीकरण के साथ वास्तुकला हैं। अव्यक्त स्थान इस प्रकरणों में एक निश्चित सदिश के अतिरिक्त वितरण के मिश्रण से बना है।
-एक इनपुट डेटासमुच्चय  दिया गया <math>x</math> एक अज्ञात संभाव्यता फलन द्वारा विशेषता <math>P(x)</math> और एक बहुभिन्नरूपी अव्यक्त कूटलेखन  सदिश <math>z</math>, उद्देश्य डेटा को वितरण के रूप में मॉडल करना है <math>p_\theta(x)</math>, साथ <math>\theta</math> नेटवर्क मापदंडों के समुच्चय  के रूप में परिभाषित किया गया है जिससे <math>p_\theta(x) = \int_{z}p_\theta(x,z)dz </math>.
+एक इनपुट डेटासमुच्चय दिया गया <math>x</math> एक अज्ञात संभाव्यता फलन द्वारा विशेषता <math>P(x)</math> और एक बहुभिन्नरूपी अव्यक्त कूटलेखन सदिश <math>z</math>, उद्देश्य डेटा को वितरण के रूप में मॉडल करना है <math>p_\theta(x)</math>, साथ <math>\theta</math> नेटवर्क मापदंडों के समुच्चय के रूप में परिभाषित किया गया है जिससे <math>p_\theta(x) = \int_{z}p_\theta(x,z)dz </math>.
 == गहराई के लाभ ==
@@ Line 131: / Line 131: @@
 === प्रशिक्षण ===
-[[जेफ्री हिंटन]] ने कई-स्तरित गहरे स्वतः कूटलेखन के प्रशिक्षण के लिए गहरी विश्वास नेटवर्क तकनीक विकसित की। उनकी पद्धति में दो परतों के प्रत्येक पड़ोसी समुच्चय  को एक प्रतिबंधित बोल्ट्जमान मशीन के रूप में इलाज करना सम्मलित है, जिससे पूर्व-प्रशिक्षण एक अच्छे समाधान का अनुमान लगा सके, फिर परिणामों को ठीक करने के लिए बैकप्रोपैजेशन का उपयोग करना इत्यादि सम्मलित है।<ref name=":7">{{cite journal|last1=Hinton|first1=G. E.|last2=Salakhutdinov|first2=R.R.|title=न्यूरल नेटवर्क्स के साथ डेटा की डायमेंशनलिटी को कम करना|journal=Science|date=28 July 2006|volume=313|issue=5786|pages=504–507|doi=10.1126/science.1127647|pmid=16873662|bibcode=2006Sci...313..504H|s2cid=1658773}}</ref>
+[[जेफ्री हिंटन]] ने कई-स्तरित गहरे स्वतः कूटलेखन के प्रशिक्षण के लिए गहरी विश्वास नेटवर्क तकनीक विकसित की। उनकी पद्धति में दो परतों के प्रत्येक पड़ोसी समुच्चय को एक प्रतिबंधित बोल्ट्जमान मशीन के रूप में इलाज करना सम्मलित है, जिससे पूर्व-प्रशिक्षण एक अच्छे समाधान का अनुमान लगा सके, फिर परिणामों को ठीक करने के लिए बैकप्रोपैजेशन का उपयोग करना इत्यादि सम्मलित है।<ref name=":7">{{cite journal|last1=Hinton|first1=G. E.|last2=Salakhutdinov|first2=R.R.|title=न्यूरल नेटवर्क्स के साथ डेटा की डायमेंशनलिटी को कम करना|journal=Science|date=28 July 2006|volume=313|issue=5786|pages=504–507|doi=10.1126/science.1127647|pmid=16873662|bibcode=2006Sci...313..504H|s2cid=1658773}}</ref>
 शोधकर्ताओं ने इस बात पर बहस की है कि क्या संयुक्त प्रशिक्षण (अर्थात अनुकूलन के लिए एक वैश्विक पुनर्निर्माण उद्देश्य के साथ पूरे संरचना को एक साथ प्रशिक्षण देना) गहरे ऑटो-कूटलेखक के लिए बेहतर होगा।<ref name=":9">{{cite arXiv |eprint=1405.1380|last1=Zhou|first1=Yingbo|last2=Arpit|first2=Devansh|last3=Nwogu|first3=Ifeoma|last4=Govindaraju|first4=Venu|title=Is Joint Training Better for Deep Auto-Encoders?|class=stat.ML|date=2014}}</ref> 2015 के एक अध्ययन से पता चला है कि संयुक्त प्रशिक्षण परतवार विधि की तुलना में वर्गीकरण के लिए अधिक प्रतिनिधि सुविधाओं के साथ बेहतर डेटा मॉडल सीखता है।<ref name=":9" />हालांकि, उनके प्रयोगों से पता चला है कि संयुक्त प्रशिक्षण की सफलता अपनाई गई नियमितीकरण रणनीतियों पर बहुत अधिक निर्भर करती है।<ref name=":9" /><ref>R. Salakhutdinov and G. E. Hinton, “Deep boltzmann machines,” in AISTATS, 2009, pp. 448–455.</ref>
@@ Line 141: / Line 141: @@
 === आयाम में कमी ===
-[[File:PCA vs Linear Autoencoder.png|thumb|फ़ैशन MNIST डेटासमुच्चय  पर लागू किए गए रैखिक स्वतः कूटलेखन (दाएं) के पहले दो प्रमुख घटकों (बाएं) और दो-आयाम की छिपी हुई परत का प्लॉट।<ref name=":10">{{Cite web|url=https://github.com/zalandoresearch/fashion-mnist|title=फैशन एमएनआईएसटी|website=[[GitHub]]|date=2019-07-12}}</ref> दो मॉडल दोनों रैखिक होने के नाते एक ही उप-स्थान को फैलाना सीखते हैं। डेटा बिंदुओं का प्रक्षेपण वास्तव में समान है, उप-स्थान के रोटेशन के अलावा - जिसके लिए पीसीए अपरिवर्तनीय है।]]आयामीता में कमी पहले गहन शिक्षण अनुप्रयोगों में से एक थी।<ref name=":0" />
+[[File:PCA vs Linear Autoencoder.png|thumb|फ़ैशन MNIST डेटासमुच्चय पर लागू किए गए रैखिक स्वतः कूटलेखन (दाएं) के पहले दो प्रमुख घटकों (बाएं) और दो-आयाम की छिपी हुई परत का प्लॉट।<ref name=":10">{{Cite web|url=https://github.com/zalandoresearch/fashion-mnist|title=फैशन एमएनआईएसटी|website=[[GitHub]]|date=2019-07-12}}</ref> दो मॉडल दोनों रैखिक होने के नाते एक ही उप-स्थान को फैलाना सीखते हैं। डेटा बिंदुओं का प्रक्षेपण वास्तव में समान है, उप-स्थान के रोटेशन के अलावा - जिसके लिए पीसीए अपरिवर्तनीय है।]]आयामीता में कमी पहले गहन शिक्षण अनुप्रयोगों में से एक थी।<ref name=":0" />
 हिंटन के 2006 के अध्ययन के लिए,<ref name=":7" />उन्होंने प्रतिबंधित बोल्ट्जमैन मशीन के ढेर के साथ एक बहु-परत स्वतः कूटलेखन का पूर्व-प्रशिक्षण दिया और फिर 30 न्यूरॉन्स की बाधा को मारने तक धीरे-धीरे छोटी छिपी परतों के साथ एक गहरे स्वतः कूटलेखन को प्रारंभ करने के लिए अपने वजन का उपयोग किया। कोड के परिणामी 30 आयामों ने एक प्रमुख घटक विश्लेषण (पीसीए) के पहले 30 घटकों की तुलना में एक छोटी पुनर्निर्माण त्रुटि उत्पन्न की, और एक विषयबोधक सीखा जो व्याख्या करने के लिए गुणात्मक रूप से आसान था, डेटा समूहों को स्पष्ट रूप से अलग करनाइत्यादि।<ref name=":0" /><ref name=":7" />
@@ Line 149: / Line 149: @@
 ==== प्रमुख घटक विश्लेषण ====
-[[File:Reconstruction autoencoders vs PCA.png|thumb|एक स्वतः कूटलेखन द्वारा 28x28 पिक्सेल छवियों का पुनर्निर्माण दो कोड आकार (दो-इकाइयों छिपी हुई परत) और पीसीए के पहले दो प्रमुख घटकों से पुनर्निर्माण के साथ। छवियां फैशन एमएनआईएसटी डेटासमुच्चय  से आती हैं।<ref name=":10" />]]यदि रैखिक सक्रियण का उपयोग किया जाता है, या केवल एक सिग्मॉइड छिपी हुई परत होती है, तो एक स्वतः कूटलेखन का इष्टतम समाधान प्रमुख घटक विश्लेषण (पीसीए) से दृढ़ता से संबंधित होता है।<ref>{{Cite journal|last1=Bourlard|first1=H.|last2=Kamp|first2=Y.|date=1988|title=बहुपरत परसेप्ट्रॉन और विलक्षण मूल्य अपघटन द्वारा ऑटो-एसोसिएशन|journal=Biological Cybernetics|volume=59|issue=4–5|pages=291–294|doi=10.1007/BF00332918|pmid=3196773|s2cid=206775335|url=http://infoscience.epfl.ch/record/82601}}</ref><ref>{{cite book|title=Proceedings of the 5th ACM Conference on Bioinformatics, Computational Biology, and Health Informatics - BCB '14|last1=Chicco|first1=Davide|last2=Sadowski|first2=Peter|last3=Baldi|first3=Pierre|date=2014|isbn=9781450328944|pages=533|chapter=Deep autoencoder neural networks for gene ontology annotation predictions|doi=10.1145/2649387.2649442|hdl=11311/964622|s2cid=207217210|url=http://dl.acm.org/citation.cfm?id=2649442}}</ref> आकार की एक छिपी हुई परत के साथ एक स्वतः कूटलेखन का वजन <math>p</math> (जहाँ <math>p</math> इनपुट के आकार से कम है) उसी सदिश सबस्पेस को फैलाते हैं जो पहले द्वारा फैलाया गया था <math>p</math> प्रमुख घटक, और स्वतः कूटलेखन का आउटपुट इस उप-स्थान पर एक ऑर्थोगोनल प्रक्षेपण है। स्वतः कूटलेखन वजन प्रमुख घटकों के बराबर नहीं होते हैं, और आम तौर पर ऑर्थोगोनल नहीं होते हैं, फिर भी एकवचन मूल्य अपघटन का उपयोग करके मुख्य घटकों को उनसे पुनर्प्राप्त किया जा सकता है।<ref>{{cite arXiv|last1=Plaut|first1=E|title=लीनियर ऑटोएन्कोडर के साथ प्रिंसिपल सबस्पेस से लेकर प्रिंसिपल कंपोनेंट्स तक|eprint=1804.10253|date=2018|class=stat.ML}}</ref>
+[[File:Reconstruction autoencoders vs PCA.png|thumb|एक स्वतः कूटलेखन द्वारा 28x28 पिक्सेल छवियों का पुनर्निर्माण दो कोड आकार (दो-इकाइयों छिपी हुई परत) और पीसीए के पहले दो प्रमुख घटकों से पुनर्निर्माण के साथ। छवियां फैशन एमएनआईएसटी डेटासमुच्चय से आती हैं।<ref name=":10" />]]यदि रैखिक सक्रियण का उपयोग किया जाता है, या केवल एक सिग्मॉइड छिपी हुई परत होती है, तो एक स्वतः कूटलेखन का इष्टतम समाधान प्रमुख घटक विश्लेषण (पीसीए) से दृढ़ता से संबंधित होता है।<ref>{{Cite journal|last1=Bourlard|first1=H.|last2=Kamp|first2=Y.|date=1988|title=बहुपरत परसेप्ट्रॉन और विलक्षण मूल्य अपघटन द्वारा ऑटो-एसोसिएशन|journal=Biological Cybernetics|volume=59|issue=4–5|pages=291–294|doi=10.1007/BF00332918|pmid=3196773|s2cid=206775335|url=http://infoscience.epfl.ch/record/82601}}</ref><ref>{{cite book|title=Proceedings of the 5th ACM Conference on Bioinformatics, Computational Biology, and Health Informatics - BCB '14|last1=Chicco|first1=Davide|last2=Sadowski|first2=Peter|last3=Baldi|first3=Pierre|date=2014|isbn=9781450328944|pages=533|chapter=Deep autoencoder neural networks for gene ontology annotation predictions|doi=10.1145/2649387.2649442|hdl=11311/964622|s2cid=207217210|url=http://dl.acm.org/citation.cfm?id=2649442}}</ref> आकार की एक छिपी हुई परत के साथ एक स्वतः कूटलेखन का वजन <math>p</math> (जहाँ <math>p</math> इनपुट के आकार से कम है) उसी सदिश सबस्पेस को फैलाते हैं जो पहले द्वारा फैलाया गया था <math>p</math> प्रमुख घटक, और स्वतः कूटलेखन का आउटपुट इस उप-स्थान पर एक ऑर्थोगोनल प्रक्षेपण है। स्वतः कूटलेखन वजन प्रमुख घटकों के बराबर नहीं होते हैं, और आम तौर पर ऑर्थोगोनल नहीं होते हैं, फिर भी एकवचन मूल्य अपघटन का उपयोग करके मुख्य घटकों को उनसे पुनर्प्राप्त किया जा सकता है।<ref>{{cite arXiv|last1=Plaut|first1=E|title=लीनियर ऑटोएन्कोडर के साथ प्रिंसिपल सबस्पेस से लेकर प्रिंसिपल कंपोनेंट्स तक|eprint=1804.10253|date=2018|class=stat.ML}}</ref>
 हालांकि, स्वतः कूटलेखन की क्षमता उनकी गैर-रैखिकता में रहती है, जिससे मॉडल को पीसीए की तुलना में अधिक शक्तिशाली सामान्यीकरण सीखने की अनुमति मिलती है, और काफी कम सूचना हानि के साथ इनपुट का पुनर्निर्माण करने की अनुमति मिलती है।<ref name=":7" />
 === सूचना पुनर्प्राप्ति ===
-सूचना पुनर्प्राप्ति लाभ विशेष रूप से उस खोज में आयामीता में कमी से कुछ प्रकार के निम्न आयामी स्थानों में अधिक कुशल हो सकते हैं। 2007 में [[रस सलाखुतदीनोव]] और हिंटन द्वारा प्रस्तावित सिमेंटिक हैशिंग के लिए स्वतः कूटलेखन वास्तव में लागू किए गए थे।<ref name=":3" />कम-आयामी बाइनरी कोड बनाने के लिए एल्गोरिदम को प्रशिक्षित करके, सभी डेटाबेस प्रविष्टियों को [[ हैश तालिका |हैश तालिका]] मैपिंग बाइनरी कोड वैक्टर में प्रविष्टियों में संग्रहीत किया जा सकता है। यह तालिका तब क्वेरी के समान बाइनरी कोड वाली सभी प्रविष्टियों को लौटाकर या क्वेरी कूटलेखन  से कुछ बिट्स को फ़्लिप करके थोड़ी कम समान प्रविष्टियों को वापस करके सूचना पुनर्प्राप्ति का समर्थन करेगी।
+सूचना पुनर्प्राप्ति लाभ विशेष रूप से उस खोज में आयामीता में कमी से कुछ प्रकार के निम्न आयामी स्थानों में अधिक कुशल हो सकते हैं। 2007 में [[रस सलाखुतदीनोव]] और हिंटन द्वारा प्रस्तावित सिमेंटिक हैशिंग के लिए स्वतः कूटलेखन वास्तव में लागू किए गए थे।<ref name=":3" />कम-आयामी बाइनरी कोड बनाने के लिए एल्गोरिदम को प्रशिक्षित करके, सभी डेटाबेस प्रविष्टियों को [[ हैश तालिका |हैश तालिका]] मैपिंग बाइनरी कोड वैक्टर में प्रविष्टियों में संग्रहीत किया जा सकता है। यह तालिका तब क्वेरी के समान बाइनरी कोड वाली सभी प्रविष्टियों को लौटाकर या क्वेरी कूटलेखन से कुछ बिट्स को फ़्लिप करके थोड़ी कम समान प्रविष्टियों को वापस करके सूचना पुनर्प्राप्ति का समर्थन करेगी।
 === विसंगति का पता लगाना ===
-स्वतः कूटलेखन के लिए एक अन्य एप्लिकेशन विसंगति का पता लगाना है।<ref name=":13" /><ref>{{Cite journal |last1=Morales-Forero |first1=A. |last2=Bassetto |first2=S. |date=December 2019 |title=Case Study: A Semi-Supervised Methodology for Anomaly Detection and Diagnosis |url=https://ieeexplore.ieee.org/document/8978509 |journal=2019 IEEE International Conference on Industrial Engineering and Engineering Management (IEEM) |location=Macao, Macao |publisher=IEEE |pages=1031–1037 |doi=10.1109/IEEM44572.2019.8978509 |isbn=978-1-7281-3804-6|s2cid=211027131 }}</ref><ref>{{Cite journal |last1=Sakurada |first1=Mayu |last2=Yairi |first2=Takehisa |date=December 2014 |title=गैर-रैखिक आयाम में कमी के साथ ऑटोएन्कोडर का उपयोग करके विसंगति का पता लगाना|url=http://dl.acm.org/citation.cfm?doid=2689746.2689747 |journal=Proceedings of the MLSDA 2014 2nd Workshop on Machine Learning for Sensory Data Analysis - MLSDA'14 |language=en |location=Gold Coast, Australia QLD, Australia |publisher=ACM Press |pages=4–11 |doi=10.1145/2689746.2689747 |isbn=978-1-4503-3159-3|s2cid=14613395 }}</ref><ref name=":8">An, J., & Cho, S. (2015). [http://dm.snu.ac.kr/static/docs/TR/SNUDM-TR-2015-03.pdf Variational Autoencoder based Anomaly Detection using Reconstruction Probability]. ''Special Lecture on IE'', ''2'', 1-18.</ref><ref>{{Cite journal |last1=Zhou |first1=Chong |last2=Paffenroth |first2=Randy C. |date=2017-08-04 |title=मजबूत डीप ऑटोएन्कोडर के साथ विसंगति का पता लगाना|url=https://dl.acm.org/doi/10.1145/3097983.3098052 |journal=Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining |language=en |location=Halifax NS Canada |publisher=ACM |pages=665–674 |doi=10.1145/3097983.3098052 |isbn=978-1-4503-4887-4|s2cid=207557733 }}</ref><ref>{{Cite journal|doi=10.1016/j.patrec.2017.07.016|title=वीडियो में विसंगति का पता लगाने के लिए डीप कन्वेन्शनल ऑटो-एनकोडर का अध्ययन|year=2018|last1=Ribeiro|first1=Manassés|last2=Lazzaretti|first2=André Eugênio|last3=Lopes|first3=Heitor Silvério|journal=Pattern Recognition Letters|volume=105|pages=13–22|bibcode=2018PaReL.105...13R}}</ref> पहले वर्णित कुछ बाधाओं के तहत प्रशिक्षण डेटा में सबसे मुख्य विशेषताओं को दोहराने के लिए सीखकर, मॉडल को सबसे अधिक बार देखी जाने वाली विशेषताओं को सटीक रूप से पुन: उत्पन्न करने के लिए सीखने के लिए प्रोत्साहित किया जाता है। विसंगतियों का सामना करते समय, मॉडल को अपने पुनर्निर्माण के प्रदर्शन को खराब करना चाहिए। स्वतः कूटलेखन के लिए एक अन्य एप्लिकेशन विसंगति का पता लगाना है। ज्यादातर स्थितियों में, स्वतः कूटलेखन को प्रशिक्षित करने के लिए केवल सामान्य उदाहरणों वाले डेटा का उपयोग किया जाता है; दूसरों में, अवलोकन समुच्चय  की तुलना में विसंगतियों की आवृत्ति कम होती है जिससे सीखा विषयबोधक में इसके योगदान को अनदेखा किया जा सके। प्रशिक्षण के बाद, अपरिचित असंगत डेटा के साथ ऐसा करने में विफल होने पर, स्वतः कूटलेखन सामान्य डेटा को सटीक रूप से पुनर्निर्माण करेगा।<ref name=":8" />पुनर्निर्माण त्रुटि (मूल डेटा और इसके निम्न आयामी पुनर्निर्माण के बीच की त्रुटि) का उपयोग विसंगतियों का पता लगाने के लिए एक विसंगति स्कोर के रूप में किया जाता है।<ref name=":8" />
+स्वतः कूटलेखन के लिए एक अन्य एप्लिकेशन विसंगति का पता लगाना है।<ref name=":13" /><ref>{{Cite journal |last1=Morales-Forero |first1=A. |last2=Bassetto |first2=S. |date=December 2019 |title=Case Study: A Semi-Supervised Methodology for Anomaly Detection and Diagnosis |url=https://ieeexplore.ieee.org/document/8978509 |journal=2019 IEEE International Conference on Industrial Engineering and Engineering Management (IEEM) |location=Macao, Macao |publisher=IEEE |pages=1031–1037 |doi=10.1109/IEEM44572.2019.8978509 |isbn=978-1-7281-3804-6|s2cid=211027131 }}</ref><ref>{{Cite journal |last1=Sakurada |first1=Mayu |last2=Yairi |first2=Takehisa |date=December 2014 |title=गैर-रैखिक आयाम में कमी के साथ ऑटोएन्कोडर का उपयोग करके विसंगति का पता लगाना|url=http://dl.acm.org/citation.cfm?doid=2689746.2689747 |journal=Proceedings of the MLSDA 2014 2nd Workshop on Machine Learning for Sensory Data Analysis - MLSDA'14 |language=en |location=Gold Coast, Australia QLD, Australia |publisher=ACM Press |pages=4–11 |doi=10.1145/2689746.2689747 |isbn=978-1-4503-3159-3|s2cid=14613395 }}</ref><ref name=":8">An, J., & Cho, S. (2015). [http://dm.snu.ac.kr/static/docs/TR/SNUDM-TR-2015-03.pdf Variational Autoencoder based Anomaly Detection using Reconstruction Probability]. ''Special Lecture on IE'', ''2'', 1-18.</ref><ref>{{Cite journal |last1=Zhou |first1=Chong |last2=Paffenroth |first2=Randy C. |date=2017-08-04 |title=मजबूत डीप ऑटोएन्कोडर के साथ विसंगति का पता लगाना|url=https://dl.acm.org/doi/10.1145/3097983.3098052 |journal=Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining |language=en |location=Halifax NS Canada |publisher=ACM |pages=665–674 |doi=10.1145/3097983.3098052 |isbn=978-1-4503-4887-4|s2cid=207557733 }}</ref><ref>{{Cite journal|doi=10.1016/j.patrec.2017.07.016|title=वीडियो में विसंगति का पता लगाने के लिए डीप कन्वेन्शनल ऑटो-एनकोडर का अध्ययन|year=2018|last1=Ribeiro|first1=Manassés|last2=Lazzaretti|first2=André Eugênio|last3=Lopes|first3=Heitor Silvério|journal=Pattern Recognition Letters|volume=105|pages=13–22|bibcode=2018PaReL.105...13R}}</ref> पहले वर्णित कुछ बाधाओं के तहत प्रशिक्षण डेटा में सबसे मुख्य विशेषताओं को दोहराने के लिए सीखकर, मॉडल को सबसे अधिक बार देखी जाने वाली विशेषताओं को सटीक रूप से पुन: उत्पन्न करने के लिए सीखने के लिए प्रोत्साहित किया जाता है। विसंगतियों का सामना करते समय, मॉडल को अपने पुनर्निर्माण के प्रदर्शन को खराब करना चाहिए। स्वतः कूटलेखन के लिए एक अन्य एप्लिकेशन विसंगति का पता लगाना है। ज्यादातर स्थितियों में, स्वतः कूटलेखन को प्रशिक्षित करने के लिए केवल सामान्य उदाहरणों वाले डेटा का उपयोग किया जाता है; दूसरों में, अवलोकन समुच्चय की तुलना में विसंगतियों की आवृत्ति कम होती है जिससे सीखा विषयबोधक में इसके योगदान को अनदेखा किया जा सके। प्रशिक्षण के बाद, अपरिचित असंगत डेटा के साथ ऐसा करने में विफल होने पर, स्वतः कूटलेखन सामान्य डेटा को सटीक रूप से पुनर्निर्माण करेगा।<ref name=":8" />पुनर्निर्माण त्रुटि (मूल डेटा और इसके निम्न आयामी पुनर्निर्माण के बीच की त्रुटि) का उपयोग विसंगतियों का पता लगाने के लिए एक विसंगति स्कोर के रूप में किया जाता है।<ref name=":8" />
-हाल के साहित्य ने हालांकि दिखाया है कि कुछ स्वतः कूटलेखन  मॉडल, विपरीत रूप से, विषम उदाहरणों के पुनर्निर्माण में बहुत अच्छे हो सकते हैं और फलस्वरूप विसंगति का पता लगाने में सक्षम नहीं हो सकते हैं।<ref>{{cite arXiv|last1=Nalisnick|first1=Eric|last2=Matsukawa|first2=Akihiro|last3=Teh|first3=Yee Whye|last4=Gorur|first4=Dilan|last5=Lakshminarayanan|first5=Balaji|date=2019-02-24|title=Do Deep Generative Models Know What They Don't Know?|class=stat.ML|eprint=1810.09136}}</ref><ref>{{Cite journal|last1=Xiao|first1=Zhisheng|last2=Yan|first2=Qing|last3=Amit|first3=Yali|date=2020|title=Likelihood Regret: An Out-of-Distribution Detection Score For Variational Auto-encoder|url=https://proceedings.neurips.cc/paper/2020/hash/eddea82ad2755b24c4e168c5fc2ebd40-Abstract.html|journal=Advances in Neural Information Processing Systems|language=en|volume=33|arxiv=2003.02977}}</ref>
+हाल के साहित्य ने हालांकि दिखाया है कि कुछ स्वतः कूटलेखन मॉडल, विपरीत रूप से, विषम उदाहरणों के पुनर्निर्माण में बहुत अच्छे हो सकते हैं और फलस्वरूप विसंगति का पता लगाने में सक्षम नहीं हो सकते हैं।<ref>{{cite arXiv|last1=Nalisnick|first1=Eric|last2=Matsukawa|first2=Akihiro|last3=Teh|first3=Yee Whye|last4=Gorur|first4=Dilan|last5=Lakshminarayanan|first5=Balaji|date=2019-02-24|title=Do Deep Generative Models Know What They Don't Know?|class=stat.ML|eprint=1810.09136}}</ref><ref>{{Cite journal|last1=Xiao|first1=Zhisheng|last2=Yan|first2=Qing|last3=Amit|first3=Yali|date=2020|title=Likelihood Regret: An Out-of-Distribution Detection Score For Variational Auto-encoder|url=https://proceedings.neurips.cc/paper/2020/hash/eddea82ad2755b24c4e168c5fc2ebd40-Abstract.html|journal=Advances in Neural Information Processing Systems|language=en|volume=33|arxiv=2003.02977}}</ref>
 === प्रतिबिम्ब प्रसंस्करण ===
-प्रतिबिम्ब प्रसंस्करण  में स्वतः कूटलेखन की विशेषताएँ उपयोगी होती हैं।पारंपरिक स्वतः कूटलेखन के विपरीत, आउटपुट इनपुट से मेल नहीं खाता - यह दूसरी [[भाषा]] में है।
+प्रतिबिम्ब प्रसंस्करण में स्वतः कूटलेखन की विशेषताएँ उपयोगी होती हैं।पारंपरिक स्वतः कूटलेखन के विपरीत, आउटपुट इनपुट से मेल नहीं खाता - यह दूसरी [[भाषा]] में है।
 एक उदाहरण हानिपूर्ण [[छवि संपीड़न]] में पाया जा सकता है, जहां स्वतः कूटलेखन ने अन्य तरीकों से बेहतर प्रदर्शन किया और [[जेपीईजी 2000]] के विरूद्ध प्रतिस्पर्धी प्रमाणित हुए।<ref>{{cite arXiv |eprint=1703.00395|last1=Theis|first1=Lucas|last2=Shi|first2=Wenzhe|last3=Cunningham|first3=Andrew|last4=Huszár|first4=Ferenc|title=कंप्रेसिव ऑटोएन्कोडर्स के साथ हानिपूर्ण छवि संपीड़न|class=stat.ML|date=2017}}</ref><ref>{{cite book |last1=Balle |first1=J |last2=Laparra |first2=V |last3=Simoncelli |first3=EP |chapter=End-to-end optimized image compression |title=लर्निंग रिप्रेजेंटेशन पर अंतर्राष्ट्रीय सम्मेलन|date=April 2017 |arxiv=1611.01704}}</ref>
-प्रतिबिम्ब प्रीप्रसंस्करण  में स्वतः कूटलेखन का एक अन्य उपयोगी अनुप्रयोग [[छवि denoising|छवि]] डीनोइजिंग है।<ref>Cho, K. (2013, February). Simple sparsification improves sparse denoising autoencoders in denoising highly corrupted images. In ''International Conference on Machine Learning'' (pp. 432-440).</ref><ref>{{cite arXiv |eprint=1301.3468|last1=Cho|first1=Kyunghyun|title=इमेज डीनॉइज़िंग के लिए बोल्ट्जमैन मशीनें और डीनोइज़िंग ऑटोएनकोडर्स|class=stat.ML|date=2013}}</ref><ref>{{Cite journal|doi = 10.1137/040616024|title = एक नए के साथ इमेज डेनोइजिंग एल्गोरिदम की समीक्षा|url=https://hal.archives-ouvertes.fr/hal-00271141 |year = 2005|last1 = Buades|first1 = A.|last2 = Coll|first2 = B.|last3 = Morel|first3 = J. M.|journal = Multiscale Modeling & Simulation|volume = 4|issue = 2|pages = 490–530|s2cid = 218466166 }}</ref>
+प्रतिबिम्ब प्रीप्रसंस्करण में स्वतः कूटलेखन का एक अन्य उपयोगी अनुप्रयोग [[छवि denoising|छवि]] डीनोइजिंग है।<ref>Cho, K. (2013, February). Simple sparsification improves sparse denoising autoencoders in denoising highly corrupted images. In ''International Conference on Machine Learning'' (pp. 432-440).</ref><ref>{{cite arXiv |eprint=1301.3468|last1=Cho|first1=Kyunghyun|title=इमेज डीनॉइज़िंग के लिए बोल्ट्जमैन मशीनें और डीनोइज़िंग ऑटोएनकोडर्स|class=stat.ML|date=2013}}</ref><ref>{{Cite journal|doi = 10.1137/040616024|title = एक नए के साथ इमेज डेनोइजिंग एल्गोरिदम की समीक्षा|url=https://hal.archives-ouvertes.fr/hal-00271141 |year = 2005|last1 = Buades|first1 = A.|last2 = Coll|first2 = B.|last3 = Morel|first3 = J. M.|journal = Multiscale Modeling & Simulation|volume = 4|issue = 2|pages = 490–530|s2cid = 218466166 }}</ref>
 स्वतः कूटलेखन को अधिक मांग वाले संदर्भों में उपयोग किया जाता है जैसे कि [[मेडिकल इमेजिंग]] जहां उनका उपयोग प्रतिबिम्ब डीनोइज़िंग के लिए किया गया है<ref>{{Cite journal|last=Gondara|first=Lovedeep|date=December 2016|title=कनवॉल्यूशनल डीनोइज़िंग ऑटोएनकोडर्स का उपयोग करके मेडिकल इमेज डीनोइज़िंग|journal=2016 IEEE 16th International Conference on Data Mining Workshops (ICDMW)|location=Barcelona, Spain|publisher=IEEE|pages=241–246|doi=10.1109/ICDMW.2016.0041|isbn=9781509059102|arxiv=1608.04667|bibcode=2016arXiv160804667G|s2cid=14354973}}</ref> साथ ही [[सुपर संकल्प]]<ref>{{Cite journal|last1=Zeng|first1=Kun|last2=Yu|first2=Jun|last3=Wang|first3=Ruxin|last4=Li|first4=Cuihua|last5=Tao|first5=Dacheng|s2cid=20787612|date=January 2017|title=सिंगल इमेज सुपर-रिज़ॉल्यूशन के लिए युग्मित डीप ऑटोएन्कोडर|journal=IEEE Transactions on Cybernetics|volume=47|issue=1|pages=27–37|doi=10.1109/TCYB.2015.2501373|pmid=26625442|issn=2168-2267}}</ref><ref>{{cite journal |last1=Tzu-Hsi |first1=Song |last2=Sanchez |first2=Victor |last3=Hesham |first3=EIDaly |last4=Nasir M. |first4=Rajpoot |title=अस्थि मज्जा ट्रेफिन बायोप्सी छवियों में विभिन्न प्रकार की कोशिकाओं का पता लगाने के लिए कर्वेचर गॉसियन के साथ हाइब्रिड डीप ऑटोएनकोडर|journal=2017 IEEE 14th International Symposium on Biomedical Imaging (ISBI 2017) |date=2017 |pages=1040–1043 |doi=10.1109/ISBI.2017.7950694 |isbn=978-1-5090-1172-8 |s2cid=7433130 }}</ref> छवि-सहायता निदान में, प्रयोगों ने [[स्तन कैंसर]] का पता लगाने के लिए स्वतः कूटलेखन लागू किया है<ref>{{cite journal |last1=Xu |first1=Jun |last2=Xiang |first2=Lei |last3=Liu |first3=Qingshan |last4=Gilmore |first4=Hannah |last5=Wu |first5=Jianzhong |last6=Tang |first6=Jinghai |last7=Madabhushi |first7=Anant |title=स्तन कैंसर हिस्टोपैथोलॉजी छवियों पर नाभिक जांच के लिए स्टैक्ड स्पार्स ऑटोएन्कोडर (एसएसएई)|journal=IEEE Transactions on Medical Imaging |date=January 2016 |volume=35 |issue=1 |pages=119–130 |doi=10.1109/TMI.2015.2458702 |pmid=26208307 |pmc=4729702 }}</ref> और अल्जाइमर रोग के संज्ञानात्मक गिरावट और [[एमआरआई]] के साथ प्रशिक्षित एक स्वतः कूटलेखन की गुप्त विशेषताओं के बीच संबंध मॉडलिंग के लिए स्वतः कूटलेखन लागू किया है।<ref>{{cite journal |last1=Martinez-Murcia |first1=Francisco J. |last2=Ortiz |first2=Andres |last3=Gorriz |first3=Juan M. |last4=Ramirez |first4=Javier |last5=Castillo-Barnes |first5=Diego |s2cid=195187846 |title=Studying the Manifold Structure of Alzheimer's Disease: A Deep Learning Approach Using Convolutional Autoencoders |journal=IEEE Journal of Biomedical and Health Informatics |volume=24 |issue=1 |pages=17–26 |doi=10.1109/JBHI.2019.2914970 |pmid=31217131 |date=2020 |doi-access=free }}</ref>
@@ Line 181: / Line 181: @@
 === मशीनी अनुवाद ===
-मशीनी अनुवाद के लिए स्वतः कूटलेखन लागू किया गया है, जिसे सामान्यतः [तंत्रिका [[मशीन अनुवाद]] ] (एनएमटी) के रूप में जाना जाता है।<ref>{{cite arXiv |eprint=1409.1259|last1=Cho|first1=Kyunghyun|author2=Bart van Merrienboer|last3=Bahdanau|first3=Dzmitry|last4=Bengio|first4=Yoshua|title=On the Properties of Neural Machine Translation: Encoder-Decoder Approaches|class=cs.CL|date=2014}}</ref><ref>{{cite arXiv |eprint=1409.3215|last1=Sutskever|first1=Ilya|last2=Vinyals|first2=Oriol|last3=Le|first3=Quoc V.|title=तंत्रिका नेटवर्क के साथ सीक्वेंस टू सीक्वेंस लर्निंग|class=cs.CL|date=2014}}</ref> पारंपरिक स्वतः कूटलेखन के विपरीत, आउटपुट इनपुट से मेल नहीं खाता - यह दूसरी [[भाषा]] में है। एनएमटी में, ग्रंथों को सीखने की प्रक्रिया में कूटलेखन किए जाने वाले अनुक्रमों के रूप में माना जाता है, जबकि लक्ष्य भाषा (भाषाओं) में कूटवाचन साइड अनुक्रम उत्पन्न होते हैं। भाषा-विशिष्ट स्वतः कूटलेखन सीखने की प्रक्रिया में और अधिक [[भाषाई]] विशेषताओं को सम्मलित करते हैं, जैसे कि चीनी अपघटन सुविधाएँ।<ref>{{cite arXiv |eprint=1805.01565|last1=Han|first1=Lifeng|last2=Kuang|first2=Shaohui|title=Incorporating Chinese Radicals into Neural Machine Translation: Deeper Than Character Level|class=cs.CL|date=2018}}</ref> मशीन अनुवाद अभी भी अनुमानतः ही कभी स्वतः कूटलेखन के साथ किया जाता है, बल्कि [[ट्रांसफार्मर (मशीन लर्निंग मॉडल)]] नेटवर्क के साथ किया जाता है।
+मशीनी अनुवाद के लिए स्वतः कूटलेखन लागू किया गया है, जिसे सामान्यतः तंत्रिका [[मशीन अनुवाद]] (एनएमटी) के रूप में जाना जाता है।<ref>{{cite arXiv |eprint=1409.1259|last1=Cho|first1=Kyunghyun|author2=Bart van Merrienboer|last3=Bahdanau|first3=Dzmitry|last4=Bengio|first4=Yoshua|title=On the Properties of Neural Machine Translation: Encoder-Decoder Approaches|class=cs.CL|date=2014}}</ref><ref>{{cite arXiv |eprint=1409.3215|last1=Sutskever|first1=Ilya|last2=Vinyals|first2=Oriol|last3=Le|first3=Quoc V.|title=तंत्रिका नेटवर्क के साथ सीक्वेंस टू सीक्वेंस लर्निंग|class=cs.CL|date=2014}}</ref> पारंपरिक स्वतः कूटलेखन के विपरीत, आउटपुट इनपुट से मेल नहीं खाता - यह दूसरी [[भाषा]] में है। एनएमटी में, ग्रंथों को सीखने की प्रक्रिया में कूटलेखन किए जाने वाले अनुक्रमों के रूप में माना जाता है, जबकि लक्ष्य भाषा (भाषाओं) में कूटवाचन साइड अनुक्रम उत्पन्न होते हैं। भाषा-विशिष्ट स्वतः कूटलेखन सीखने की प्रक्रिया में और अधिक [[भाषाई]] विशेषताओं को सम्मलित करते हैं, जैसे कि चीनी अपघटन सुविधाएँ।<ref>{{cite arXiv |eprint=1805.01565|last1=Han|first1=Lifeng|last2=Kuang|first2=Shaohui|title=Incorporating Chinese Radicals into Neural Machine Translation: Deeper Than Character Level|class=cs.CL|date=2018}}</ref> मशीन अनुवाद अभी भी अनुमानतः ही कभी स्वतः कूटलेखन के साथ किया जाता है, बल्कि [[ट्रांसफार्मर (मशीन लर्निंग मॉडल)]] नेटवर्क के साथ किया जाता है।
 == यह भी देखें ==

Anonymous

Search

ऑटोएन्कोडर: Difference between revisions

Namespaces

More

Page actions

Revision as of 09:06, 30 May 2023

Contents

गणितीय सिद्धांत

परिभाषा

एक स्वतः कूटलेखन का प्रशिक्षण

व्याख्या

इतिहास

रूपांतर

नियमित स्वतः कूटलेखन

विरल स्वतः कूटलेखन (एसएई)

डीनोइजिंग स्वतः कूटलेखन (डीएई)

संविदात्मक स्वतः कूटलेखन (सीएई)

न्यूनतम विवरण लंबाई स्वतः कूटलेखन

कंक्रीट स्वतः कूटलेखन

परिवर्तनशील स्वतः कूटलेखन (वीएई)

गहराई के लाभ

प्रशिक्षण

अनुप्रयोग

आयाम में कमी

प्रमुख घटक विश्लेषण

सूचना पुनर्प्राप्ति

विसंगति का पता लगाना

प्रतिबिम्ब प्रसंस्करण

दवा की खोज

लोकप्रियता भविष्यवाणी

मशीनी अनुवाद

यह भी देखें

संदर्भ

Navigation

Navigation

Wiki tools

Wiki tools

Anonymous

Search

ऑटोएन्कोडर: Difference between revisions

Revision as of 09:06, 30 May 2023

गणितीय सिद्धांत

परिभाषा

एक स्वतः कूटलेखन का प्रशिक्षण

व्याख्या

इतिहास

रूपांतर

नियमित स्वतः कूटलेखन

विरल स्वतः कूटलेखन (एसएई)

डीनोइजिंग स्वतः कूटलेखन (डीएई)

संविदात्मक स्वतः कूटलेखन (सीएई)

न्यूनतम विवरण लंबाई स्वतः कूटलेखन

कंक्रीट स्वतः कूटलेखन

परिवर्तनशील स्वतः कूटलेखन (वीएई)

गहराई के लाभ

प्रशिक्षण

अनुप्रयोग

आयाम में कमी

प्रमुख घटक विश्लेषण

सूचना पुनर्प्राप्ति

विसंगति का पता लगाना

प्रतिबिम्ब प्रसंस्करण

दवा की खोज

लोकप्रियता भविष्यवाणी

मशीनी अनुवाद

यह भी देखें

संदर्भ

Navigation

Wiki tools

Page tools

Other projects

Categories