अरैखिक आयामीता अवकरण

नॉनलाइनियर डायमेंशनलिटी रिडक्शन, जिसे मैनिफोल्ड लर्निंग के रूप में भी जाना जाता है, विभिन्न संबंधित तकनीकों को संदर्भित करता है, जिसका उद्देश्य लो-डायमेंशनल स्पेस में डेटा को विज़ुअलाइज़ करने या मैपिंग सीखने के लक्ष्य के साथ हाई-डायमेंशनल डेटा को लो-डायमेंशनल अव्यक्त कई गुना ्स पर प्रोजेक्ट करना है। या तो उच्च-आयामी अंतरिक्ष से कम-आयामी एम्बेडिंग या इसके विपरीत)।  नीचे वर्णित तकनीकों को रेखीय अपघटन विधियों के सामान्यीकरण के रूप में समझा जा सकता है, जो आयामीता में कमी के लिए उपयोग की जाती हैं, जैसे कि एकवचन मूल्य अपघटन और प्रमुख घटक विश्लेषण।

एनएलडीआर के अनुप्रयोग
एक मैट्रिक्स (या एक डेटाबेस तालिका) के रूप में दर्शाए गए डेटासेट पर विचार करें, जैसे कि प्रत्येक पंक्ति विशेषताओं (या सुविधाओं या आयामों) के एक सेट का प्रतिनिधित्व करती है जो किसी विशेष उदाहरण का वर्णन करती है। यदि विशेषताओं की संख्या बड़ी है, तो अद्वितीय संभावित पंक्तियों का स्थान घातीय रूप से बड़ा है। इस प्रकार, आयाम जितना बड़ा होता है, अंतरिक्ष का नमूना लेना उतना ही कठिन हो जाता है। इससे कई समस्याएं होती हैं। एल्गोरिदम जो उच्च-आयामी डेटा पर काम करते हैं, उनमें बहुत अधिक समय जटिलता होती है। कई मशीन लर्निंग एल्गोरिदम, उदाहरण के लिए, उच्च-आयामी डेटा के साथ संघर्ष करते हैं। डेटा को कम आयामों में कम करना अक्सर विश्लेषण एल्गोरिदम को अधिक कुशल बनाता है, और मशीन लर्निंग एल्गोरिदम को अधिक सटीक भविष्यवाणी करने में मदद कर सकता है।

मनुष्यों को अक्सर उच्च आयामों में डेटा को समझने में कठिनाई होती है। इस प्रकार, डेटा को कम संख्या में आयामों तक कम करना विज़ुअलाइज़ेशन उद्देश्यों के लिए उपयोगी है।

डेटा के कम-आयामी प्रतिनिधित्व को अक्सर आंतरिक चर के रूप में संदर्भित किया जाता है। इस विवरण का तात्पर्य है कि ये वे मान हैं जिनसे डेटा का उत्पादन किया गया था। उदाहरण के लिए, एक ऐसे डेटासेट पर विचार करें जिसमें 'ए' अक्षर की छवियां हों, जिसे अलग-अलग मात्रा में स्केल और रोटेट किया गया हो। प्रत्येक छवि में 32×32 पिक्सेल हैं। प्रत्येक छवि को 1024 पिक्सेल मानों के वेक्टर के रूप में दर्शाया जा सकता है। प्रत्येक पंक्ति 1024-आयामी स्थान (एक हैमिंग स्पेस) में द्वि-आयामी कई गुना पर एक नमूना है। आंतरिक आयाम दो है, क्योंकि डेटा उत्पन्न करने के लिए दो चर (रोटेशन और स्केल) भिन्न थे। अक्षर 'ए' के ​​आकार या रूप के बारे में जानकारी इंट्रिन्सिक वेरिएबल्स का हिस्सा नहीं है क्योंकि यह हर उदाहरण में समान है। नॉनलाइनियर डायमेंशनलिटी रिडक्शन संबंधित जानकारी (अक्षर 'ए') को छोड़ देगा और केवल अलग-अलग जानकारी (रोटेशन और स्केल) को पुनर्प्राप्त करेगा। दाईं ओर की छवि इस डेटासेट से नमूना छवियां दिखाती है (अंतरिक्ष को बचाने के लिए, सभी इनपुट छवियां नहीं दिखाई जाती हैं), और द्वि-आयामी बिंदुओं का एक प्लॉट जो एनएलडीआर एल्गोरिथ्म का उपयोग करने के परिणामस्वरूप होता है (इस मामले में, मैनिफोल्ड स्कल्प्टिंग का उपयोग किया गया था) डेटा को केवल दो आयामों में कम करने के लिए।

तुलनात्मक रूप से, यदि प्रमुख घटक विश्लेषण, जो कि एक रैखिक आयामी कमी एल्गोरिथ्म है, का उपयोग इसी डेटासेट को दो आयामों में कम करने के लिए किया जाता है, तो परिणामी मान इतनी अच्छी तरह व्यवस्थित नहीं होते हैं। यह दर्शाता है कि उच्च-आयामी वैक्टर (प्रत्येक अक्षर 'ए' का प्रतिनिधित्व करते हैं) जो इस कई गुना का नमूना गैर-रैखिक तरीके से भिन्न होते हैं।

इसलिए, यह स्पष्ट होना चाहिए कि एनएलडीआर के कंप्यूटर दृष्टि के क्षेत्र में कई अनुप्रयोग हैं। उदाहरण के लिए, एक ऐसे रोबोट पर विचार करें जो बंद स्थैतिक वातावरण में नेविगेट करने के लिए कैमरे का उपयोग करता है। उस कैमरे द्वारा प्राप्त छवियों को उच्च-आयामी अंतरिक्ष में कई गुना नमूने माना जा सकता है, और उस कई गुना के आंतरिक चर रोबोट की स्थिति और अभिविन्यास का प्रतिनिधित्व करेंगे।

डायनेमिक सिस्टम में मॉडल ऑर्डर में कमी के लिए अपरिवर्तनीय कई गुना सामान्य रुचि है। विशेष रूप से, यदि चरण स्थान में एक आकर्षक अपरिवर्तनीय कई गुना है, तो आस-पास के प्रक्षेपवक्र उस पर अभिसरण करेंगे और उस पर अनिश्चित काल तक बने रहेंगे, जिससे यह गतिशील प्रणाली की आयामीता में कमी के लिए एक उम्मीदवार बन जाएगा। जबकि इस तरह के कई गुना सामान्य रूप से मौजूद होने की गारंटी नहीं है, स्पेक्ट्रल सबमनीफोल्ड का सिद्धांत | वर्णक्रमीय सबमेनिफोल्ड (एसएसएम) गतिशील प्रणालियों के एक व्यापक वर्ग में अद्वितीय आकर्षक अपरिवर्तनीय वस्तुओं के अस्तित्व के लिए शर्तें देता है। एनएलडीआर में सक्रिय शोध, मॉडलिंग तकनीकों को विकसित करने के लिए गतिशील प्रणालियों से जुड़े कई गुना अवलोकन प्रकट करना चाहता है। कुछ अधिक प्रमुख अरैखिक आयामी कमी तकनीकें नीचे सूचीबद्ध हैं।

सैमन की मैपिंग
सैमन की मैपिंग पहली और सबसे लोकप्रिय एनएलडीआर तकनीकों में से एक है।



स्व-आयोजन मानचित्र
स्व-संगठित मानचित्र (SOM, जिसे कोहोनेन मानचित्र भी कहा जाता है) और इसके संभाव्य वैरिएंट जनरेटिव स्थलाकृतिक मानचित्रण (GTM) एम्बेडेड स्थान में एक बिंदु प्रतिनिधित्व का उपयोग करते हैं ताकि एम्बेडेड स्थान से गैर-रैखिक मानचित्रण के आधार पर एक अव्यक्त चर मॉडल बनाया जा सके। उच्च आयामी स्थान। ये तकनीकें घनत्व नेटवर्क पर काम करने से संबंधित हैं, जो समान संभाव्य मॉडल के आसपास भी आधारित हैं।

कर्नेल प्रमुख घटक विश्लेषण
आयामी कमी के लिए शायद सबसे व्यापक रूप से इस्तेमाल किया जाने वाला एल्गोरिदम कर्नेल प्रिंसिपल कंपोनेंट एनालिसिस है। पीसीए सहप्रसरण मैट्रिक्स की गणना से शुरू होता है $$m \times n$$ आव्यूह $$\mathbf{X}$$
 * $$C = \frac{1}{m}\sum_{i=1}^m{\mathbf{x}_i\mathbf{x}_i^\mathsf{T}}.$$

यह तब डेटा को उस मैट्रिक्स के पहले k eigenvectors पर प्रोजेक्ट करता है। तुलनात्मक रूप से, केपीसीए एक उच्च-आयामी स्थान में परिवर्तित होने के बाद डेटा के सहप्रसरण मैट्रिक्स की गणना करके शुरू होता है,


 * $$C = \frac{1}{m}\sum_{i=1}^m{\Phi(\mathbf{x}_i)\Phi(\mathbf{x}_i)^\mathsf{T}}.$$

यह तब पीसीए की तरह, उस मैट्रिक्स के पहले k eigenvectors पर रूपांतरित डेटा को प्रोजेक्ट करता है। यह अधिकांश संगणनाओं को दूर करने के लिए Kernel_method#Mathematics:_the_kernel_trick का उपयोग करता है, जैसे कि पूरी प्रक्रिया वास्तव में संगणना के बिना की जा सकती है $$\Phi(\mathbf{x})$$. बिल्कुल $$\Phi$$ इस तरह चुना जाना चाहिए कि इसमें ज्ञात संबंधित कर्नेल हो। दुर्भाग्य से, दी गई समस्या के लिए एक अच्छा कर्नेल खोजना तुच्छ नहीं है, इसलिए KPCA मानक कर्नेल का उपयोग करते समय कुछ समस्याओं के साथ अच्छे परिणाम नहीं देता है। उदाहरण के लिए, यह स्विस रोल मैनिफोल्ड पर इन गुठली के साथ खराब प्रदर्शन करने के लिए जाना जाता है। हालांकि, कोई कुछ अन्य विधियों को देख सकता है जो डेटा-निर्भर कर्नेल मैट्रिक्स का निर्माण करके कर्नेल पीसीए के विशेष मामलों के रूप में ऐसी सेटिंग्स (जैसे, लाप्लासियन ईजेनमैप्स, एलएलई) में अच्छा प्रदर्शन करती हैं। केपीसीए के पास एक आंतरिक मॉडल है, इसलिए इसका उपयोग इसके एम्बेडिंग पर उन बिंदुओं को मैप करने के लिए किया जा सकता है जो प्रशिक्षण के समय उपलब्ध नहीं थे।

प्रधान वक्र और कई गुना
प्रधान वक्र ्स और मैनिफोल्ड्स नॉनलाइनियर डायमेंशनलिटी रिडक्शन के लिए प्राकृतिक ज्यामितीय ढांचा देते हैं और स्पष्ट रूप से एक एम्बेडेड मैनिफोल्ड का निर्माण करके, और मैनिफोल्ड पर मानक ज्यामितीय प्रक्षेपण का उपयोग करके एन्कोडिंग द्वारा पीसीए की ज्यामितीय व्याख्या का विस्तार करते हैं। यह दृष्टिकोण मूल रूप से ट्रेवर हेस्टी  द्वारा उनके 1984 थीसिस में प्रस्तावित किया गया था, जिसे उन्होंने औपचारिक रूप से 1989 में पेश किया। इस विचार को कई लेखकों ने आगे खोजा है। मैनिफोल्ड की सादगी को कैसे परिभाषित किया जाए, यह समस्या पर निर्भर है, हालांकि, इसे आमतौर पर आंतरिक डायमेंशनलिटी और/या मैनिफोल्ड की चिकनाई से मापा जाता है। आम तौर पर, प्रिंसिपल मैनिफोल्ड को अनुकूलन समस्या के समाधान के रूप में परिभाषित किया जाता है। उद्देश्य फ़ंक्शन में डेटा सन्निकटन की गुणवत्ता और कई गुना झुकने के लिए कुछ दंड शब्द शामिल हैं। लोकप्रिय प्रारंभिक अनुमान रैखिक पीसीए और कोहोनेन के एसओएम द्वारा उत्पन्न होते हैं।

लाप्लासियन ईजेनमैप्स
Laplacian eigenmaps आयामीता में कमी करने के लिए वर्णक्रमीय तकनीकों का उपयोग करता है। यह तकनीक बुनियादी धारणा पर निर्भर करती है कि डेटा उच्च-आयामी अंतरिक्ष में निम्न-आयामी कई गुना में स्थित है। यह एल्गोरिदम आउट-ऑफ-नमूना बिंदुओं को एम्बेड नहीं कर सकता है, लेकिन इस क्षमता को जोड़ने के लिए कर्नेल हिल्बर्ट स्पेस का पुनरुत्पादन नियमितीकरण पर आधारित तकनीकें मौजूद हैं। ऐसी तकनीकों को अन्य गैर-रैखिक आयामी कमी एल्गोरिदम पर भी लागू किया जा सकता है।

प्रमुख घटक विश्लेषण जैसी पारंपरिक तकनीकें डेटा की आंतरिक ज्यामिति पर विचार नहीं करती हैं। Laplacian eigenmaps डेटा सेट की पड़ोस की जानकारी से एक ग्राफ़ बनाता है। प्रत्येक डेटा बिंदु ग्राफ़ पर एक नोड के रूप में कार्य करता है और नोड्स के बीच कनेक्टिविटी पड़ोसी बिंदुओं की निकटता द्वारा नियंत्रित होती है (उदाहरण के लिए के-निकटतम पड़ोसी एल्गोरिदम का उपयोग करके)। इस प्रकार उत्पन्न ग्राफ को उच्च-आयामी स्थान में निम्न-आयामी कई गुना के असतत सन्निकटन के रूप में माना जा सकता है। ग्राफ़ के आधार पर लागत फ़ंक्शन का न्यूनीकरण यह सुनिश्चित करता है कि कई गुना पर एक-दूसरे के करीब के बिंदुओं को कम-आयामी स्थान में एक-दूसरे के करीब मैप किया जाता है, स्थानीय दूरी को संरक्षित करता है। मैनिफोल्ड पर लाप्लास-बेल्ट्रामी ऑपरेटर के eigenfunctions एम्बेडिंग आयामों के रूप में काम करते हैं, क्योंकि हल्की परिस्थितियों में इस ऑपरेटर के पास एक गणनीय स्पेक्ट्रम होता है जो कि कई गुना पर वर्ग पूर्णांक कार्यों के लिए एक आधार होता है (यूनिट सर्कल मैनिफोल्ड पर फूरियर श्रृंखला की तुलना में)। लाप्लासियन ईजेनमैप्स को ठोस सैद्धांतिक आधार पर रखने का प्रयास कुछ सफलता के साथ मिला है, जैसा कि कुछ गैर-प्रतिबंधात्मक मान्यताओं के तहत, ग्राफ लाप्लासियन मैट्रिक्स को लाप्लास-बेल्ट्रामी ऑपरेटर में अभिसरण करने के लिए दिखाया गया है क्योंकि अंकों की संख्या अनंत तक जाती है।

आइसोमैप
आइसोमैप क्लासिक बहुआयामी स्केलिंग के साथ फ्लोयड-वॉर्शल एल्गोरिथम का एक संयोजन है। क्लासिक बहुआयामी स्केलिंग (एमडीएस) सभी बिंदुओं के बीच जोड़ी-वार दूरी का एक मैट्रिक्स लेता है और प्रत्येक बिंदु के लिए एक स्थिति की गणना करता है। आइसोमैप मानता है कि जोड़ी-वार दूरी केवल पड़ोसी बिंदुओं के बीच ही जानी जाती है, और अन्य सभी बिंदुओं के बीच जोड़ी-वार दूरी की गणना करने के लिए फ़्लॉइड-वॉर्शल एल्गोरिथम का उपयोग करती है। यह प्रभावी रूप से सभी बिंदुओं के बीच जोड़ी-वार जियोडेसिक दूरियों के पूर्ण मैट्रिक्स का अनुमान लगाता है। Isomap तब सभी बिंदुओं की कम-आयामी स्थिति की गणना करने के लिए क्लासिक MDS का उपयोग करता है। लैंडमार्क-आइसोमैप इस एल्गोरिदम का एक प्रकार है जो कुछ सटीकता की कीमत पर गति बढ़ाने के लिए लैंडमार्क का उपयोग करता है।

कई गुना सीखने में, इनपुट डेटा को निम्न आयामी कई गुना से नमूना माना जाता है जो उच्च-आयामी वेक्टर अंतरिक्ष के अंदर एम्बेडेड होता है। एमवीयू के पीछे मुख्य अंतर्ज्ञान मैनिफोल्ड्स की स्थानीय रैखिकता का फायदा उठाना है और एक मैपिंग बनाना है जो अंतर्निहित मैनिफोल्ड के हर बिंदु पर स्थानीय पड़ोस को संरक्षित करता है।

स्थानीय-रैखिक एम्बेडिंग
स्थानीय-रैखिक एंबेडिंग (LLE) को लगभग उसी समय प्रस्तुत किया गया था जब Isomap किया गया था। Isomap पर इसके कई फायदे हैं, जिसमें विरल मैट्रिक्स एल्गोरिदम का लाभ उठाने के लिए लागू किए जाने पर तेज़ अनुकूलन और कई समस्याओं के साथ बेहतर परिणाम शामिल हैं। एलएलई भी प्रत्येक बिंदु के निकटतम पड़ोसियों का एक सेट ढूंढकर शुरू होता है। इसके बाद यह प्रत्येक बिंदु के लिए वजन के एक सेट की गणना करता है जो बिंदु को अपने पड़ोसियों के रैखिक संयोजन के रूप में सर्वोत्तम रूप से वर्णित करता है। अंत में, यह बिंदुओं के निम्न-आयामी एम्बेडिंग को खोजने के लिए एक ईजेनवेक्टर-आधारित अनुकूलन तकनीक का उपयोग करता है, जैसे कि प्रत्येक बिंदु अभी भी अपने पड़ोसियों के समान रैखिक संयोजन के साथ वर्णित है। एलएलई गैर-समान नमूना घनत्व को खराब तरीके से संभालता है क्योंकि वजन को बहने से रोकने के लिए कोई निश्चित इकाई नहीं है क्योंकि विभिन्न क्षेत्र नमूना घनत्व में भिन्न होते हैं। एलएलई का कोई आंतरिक मॉडल नहीं है।

LLE एक बिंदु X के बेरिकेंट्रिक निर्देशांक की गणना करता हैi अपने पड़ोसियों X पर आधारित हैj. वजन मैट्रिक्स डब्ल्यू द्वारा दिए गए एक रैखिक संयोजन द्वारा मूल बिंदु का पुनर्निर्माण किया जाता हैij, अपने पड़ोसियों के। पुनर्निर्माण त्रुटि लागत समारोह ई (डब्ल्यू) द्वारा दी गई है।


 * $$ E(W) = \sum_i \left|\mathbf{X}_i - \sum_j {\mathbf{W}_{ij}\mathbf{X}_j}\right|^2 $$

वजन डब्ल्यूij बिंदु X के योगदान की राशि का संदर्भ लेंj बिंदु X का पुनर्निर्माण करते समय हैi. लागत समारोह दो बाधाओं के तहत कम किया गया है: (ए) प्रत्येक डेटा बिंदु एक्सi अपने पड़ोसियों से ही पुनर्निर्माण किया जाता है, इस प्रकार डब्ल्यू को लागू किया जाता हैij यदि बिंदु X शून्य होj बिंदु X का पड़ोसी नहीं हैi और (बी) वजन मैट्रिक्स की प्रत्येक पंक्ति का योग 1 के बराबर है।


 * $$ \sum_j {\mathbf{W}_{ij}} = 1 $$

मूल डेटा बिंदुओं को एक डी डायमेंशनल स्पेस में एकत्र किया जाता है और एल्गोरिथम का लक्ष्य डायमेंशन को कम करना है जैसे कि डी >> डी। समान भार Wij जो डी डायमेंशनल स्पेस में iवें डेटा पॉइंट को फिर से बनाता है, उसी पॉइंट को लोअर डी डायमेंशनल स्पेस में फिर से बनाने के लिए इस्तेमाल किया जाएगा। इस विचार के आधार पर पड़ोस को संरक्षित करने वाला नक्शा बनाया जाता है। प्रत्येक बिंदु Xi डी डायमेंशनल स्पेस में एक बिंदु वाई पर मैप किया गया हैi लागत फ़ंक्शन को कम करके डी डायमेंशनल स्पेस में


 * $$ C(Y) = \sum_i \left|\mathbf{Y}_i - \sum_j {\mathbf{W}_{ij}\mathbf{Y}_j}\right|^{2} $$

इस लागत फलन में, पिछले वाले के विपरीत, भार Wij निश्चित रखा जाता है और बिंदुओं Y पर न्यूनीकरण किया जाता हैi निर्देशांक का अनुकूलन करने के लिए। इस न्यूनीकरण की समस्या को एक मैट्रिक्स (N डेटा बिंदुओं की संख्या होने के नाते) के विरल N X N Eigendecomposition को हल करके हल किया जा सकता है, जिसका निचला d नॉनज़रो ईजेन वेक्टर निर्देशांक का एक ऑर्थोगोनल सेट प्रदान करता है। आमतौर पर यूक्लिडियन दूरी द्वारा मापे गए K निकटतम पड़ोसियों से डेटा बिंदुओं का पुनर्निर्माण किया जाता है। इस तरह के कार्यान्वयन के लिए एल्गोरिथ्म में केवल एक मुक्त पैरामीटर K है, जिसे क्रॉस सत्यापन द्वारा चुना जा सकता है।

हेसियन स्थानीय-रैखिक एम्बेडिंग (हेस्सियन एलएलई)
LLE की तरह, Hessian LLE भी विरल मैट्रिक्स तकनीकों पर आधारित है। यह एलएलई की तुलना में बहुत अधिक गुणवत्ता वाले परिणाम देता है। दुर्भाग्य से, इसकी एक बहुत ही महंगी कम्प्यूटेशनल जटिलता है, इसलिए यह भारी नमूना कई गुना के लिए उपयुक्त नहीं है। इसका कोई आंतरिक मॉडल नहीं है।

संशोधित स्थानीय-रैखिक एंबेडिंग (MLLE)
संशोधित एलएलई (एमएलएलई) एक अन्य एलएलई संस्करण है जो स्थानीय वजन मैट्रिक्स कंडीशनिंग समस्या को दूर करने के लिए प्रत्येक पड़ोस में कई भारों का उपयोग करता है जो एलएलई मानचित्रों में विकृतियों की ओर जाता है। शिथिल रूप से कई भार बोलना एलएलई द्वारा उत्पादित मूल भार का स्थानीय ऑर्थोगोनल प्रक्षेपण है। इस नियमित संस्करण के निर्माता स्थानीय स्पर्शरेखा अंतरिक्ष संरेखण (एलटीएसए) के लेखक भी हैं, जो एमएलएलई फॉर्मूलेशन में निहित है, जब यह महसूस किया जाता है कि प्रत्येक वजन वेक्टर के ऑर्थोगोनल अनुमानों का वैश्विक अनुकूलन, संक्षेप में, स्थानीय स्पर्शरेखा रिक्त स्थान को संरेखित करता है। प्रत्येक डेटा बिंदु का। इस एल्गोरिथ्म के सही अनुप्रयोग से सैद्धांतिक और अनुभवजन्य निहितार्थ दूरगामी हैं।

स्थानीय स्पर्शरेखा स्थान संरेखण
स्थानीय स्पर्शरेखा अंतरिक्ष संरेखण अंतर्ज्ञान पर आधारित है कि जब एक मैनिफोल्ड को सही ढंग से प्रकट किया जाता है, तो मैनिफोल्ड के सभी स्पर्शरेखा हाइपरप्लेन संरेखित हो जाएंगे। यह हर बिंदु के k-निकटतम पड़ोसियों की गणना करके शुरू होता है। यह प्रत्येक स्थानीय पड़ोस में डी-प्रथम प्रमुख घटकों की गणना करके प्रत्येक बिंदु पर स्पर्शरेखा स्थान की गणना करता है। यह तब एक एम्बेडिंग खोजने के लिए अनुकूलित करता है जो स्पर्शरेखा रिक्त स्थान को संरेखित करता है।

प्रकट होने वाला अधिकतम विचरण
अधिकतम भिन्नता प्रकट करना, आइसोमैप और स्थानीय रूप से लीनियर एंबेडिंग इस धारणा पर निर्भर एक सामान्य अंतर्ज्ञान साझा करते हैं कि यदि मैनिफोल्ड ठीक से अनफोल्ड किया जाता है, तो बिंदुओं पर विचरण अधिकतम हो जाता है। इसका प्रारंभिक चरण, जैसे आइसोमैप और स्थानीय रूप से रैखिक एंबेडिंग, प्रत्येक बिंदु के के-निकटतम पड़ोसियों को ढूंढ रहा है। इसके बाद यह सभी गैर-पड़ोसी बिंदुओं के बीच की दूरी को अधिकतम करने की समस्या को हल करना चाहता है, इस तरह विवश किया जाता है कि पड़ोसी बिंदुओं के बीच की दूरी संरक्षित रहे। इस एल्गोरिथम का प्राथमिक योगदान इस समस्या को एक अर्ध-निश्चित प्रोग्रामिंग समस्या के रूप में ढालने की एक तकनीक है। दुर्भाग्य से, अर्ध-निश्चित प्रोग्रामिंग सॉल्वरों की उच्च कम्प्यूटेशनल लागत होती है। स्थानीय रूप से रैखिक एंबेडिंग की तरह, इसका कोई आंतरिक मॉडल नहीं है।

autoencoder
एक ऑटोएन्कोडर एक फीड-फॉरवर्ड तंत्रिका नेटवर्क  है जिसे पहचान समारोह का अनुमान लगाने के लिए प्रशिक्षित किया जाता है। यही है, इसे मूल्यों के वेक्टर से उसी वेक्टर में मैप करने के लिए प्रशिक्षित किया जाता है। जब आयाम में कमी के उद्देश्यों के लिए उपयोग किया जाता है, तो नेटवर्क में छिपी हुई परतों में से एक में केवल कुछ ही नेटवर्क इकाइयां होती हैं। इस प्रकार, नेटवर्क को वेक्टर को कम संख्या में आयामों में एन्कोड करना सीखना चाहिए और फिर इसे मूल स्थान पर वापस डिकोड करना चाहिए। इस प्रकार, नेटवर्क का पहला भाग एक ऐसा मॉडल है जो उच्च से निम्न-आयामी स्थान तक मैप करता है, और दूसरी छमाही निम्न से उच्च-आयामी स्थान तक मैप करता है। हालांकि ऑटोएन्कोडर का विचार काफी पुराना है, डीप ऑटोएन्कोडर का प्रशिक्षण हाल ही में प्रतिबंधित बोल्ट्जमैन मशीनों और स्टैक्ड डीनोइजिंग ऑटोएनकोडर्स के उपयोग के माध्यम से संभव हुआ है। Autoencoders से संबंधित न्यूरोस्केल एल्गोरिदम है, जो उच्च-आयामी से एम्बेडेड स्पेस तक गैर-रैखिक मैपिंग सीखने के लिए बहुआयामी स्केलिंग और सैमॉन मैपिंग (ऊपर देखें) से प्रेरित तनाव कार्यों का उपयोग करता है। NeuroScale संपो की मैपिंग रेडियल आधार समारोह नेटवर्क पर आधारित हैं।

गाऊसी प्रक्रिया अव्यक्त चर मॉडल
गाऊसी प्रक्रिया अव्यक्त चर मॉडल (GPLVM) संभाव्य आयामी कमी के तरीके हैं जो उच्च आयामी डेटा के निम्न आयामी गैर-रैखिक एम्बेडिंग को खोजने के लिए गॉसियन प्रक्रियाओं (जीपी) का उपयोग करते हैं। वे पीसीए के संभाव्य सूत्रीकरण का विस्तार हैं। मॉडल को संभावित रूप से परिभाषित किया गया है और अव्यक्त चर तब हाशिए पर हैं और संभावना को अधिकतम करके पैरामीटर प्राप्त किए जाते हैं। कर्नेल पीसीए की तरह वे एक गैर रेखीय मानचित्रण (गाऊसी प्रक्रिया के रूप में) बनाने के लिए एक कर्नेल फ़ंक्शन का उपयोग करते हैं। हालाँकि, GPLVM में मैपिंग एम्बेडेड (अव्यक्त) स्थान से डेटा स्थान (जैसे घनत्व नेटवर्क और GTM) तक है जबकि कर्नेल PCA में यह विपरीत दिशा में है। यह मूल रूप से उच्च आयामी डेटा के विज़ुअलाइज़ेशन के लिए प्रस्तावित किया गया था, लेकिन दो अवलोकन स्थानों के बीच एक साझा मैनिफोल्ड मॉडल बनाने के लिए इसका विस्तार किया गया है। जीपीएलवीएम और इसके कई रूपों को विशेष रूप से मानव गति मॉडलिंग के लिए प्रस्तावित किया गया है, उदाहरण के लिए, बैक कंस्ट्रेन्ड जीपीएलवीएम, जीपी डायनामिक मॉडल (जीपीडीएम), संतुलित जीपीडीएम (बी-जीपीडीएम) और टोपोलॉजिकल रूप से बाधित जीपीडीएम। गैट विश्लेषण में पोज़ और गैट मैनिफोल्ड्स के युग्मन प्रभाव को पकड़ने के लिए, एक मल्टी-लेयर ज्वाइंट गैट-पोज़ मैनिफोल्ड्स प्रस्तावित किया गया था।

टी-वितरित स्टोकेस्टिक पड़ोसी एम्बेडिंग
टी-वितरित स्टोकेस्टिक पड़ोसी एम्बेडिंग (टी-एसएनई) व्यापक रूप से उपयोग किया जाता है। यह स्टोचैस्टिक पड़ोसी एम्बेडिंग विधियों के परिवार में से एक है। एल्गोरिथ्म संभावना की गणना करता है कि उच्च-आयामी स्थान में डेटापॉइंट्स के जोड़े संबंधित हैं, और फिर कम-आयामी एम्बेडिंग चुनते हैं जो एक समान वितरण उत्पन्न करते हैं।

संबंधपरक परिप्रेक्ष्य मानचित्र
रिलेशनल पर्सपेक्टिव मैप एक बहुआयामी स्केलिंग एल्गोरिथम है। एल्गोरिथम एक बंद मैनिफोल्ड पर एक बहु-कण गतिशील प्रणाली का अनुकरण करके कई गुना डेटा बिंदुओं का एक विन्यास पाता है, जहां डेटा बिंदुओं को कणों और दूरी (या असमानता) के लिए मैप किया जाता है, डेटा बिंदुओं के बीच एक प्रतिकारक बल का प्रतिनिधित्व करता है। चूंकि कई गुना धीरे-धीरे आकार में बढ़ता है, बहु-कण प्रणाली धीरे-धीरे शांत हो जाती है और कॉन्फ़िगरेशन में परिवर्तित हो जाती है जो डेटा बिंदुओं की दूरी की जानकारी को दर्शाती है।

संबंधपरक परिप्रेक्ष्य नक्शा एक भौतिक मॉडल से प्रेरित था जिसमें सकारात्मक रूप से आवेशित कण एक गेंद की सतह पर स्वतंत्र रूप से चलते हैं। कणों के बीच चार्ल्स ऑगस्टिन डी कूलम्ब कूलम्ब के नियम द्वारा निर्देशित, कणों का न्यूनतम ऊर्जा विन्यास कणों के बीच प्रतिकारक बलों की ताकत को प्रतिबिंबित करेगा।

संबंधपरक परिप्रेक्ष्य मानचित्र में पेश किया गया था। एल्गोरिद्म ने सबसे पहले फ्लैट टोरस्र्स  को इमेज मैनिफोल्ड के रूप में इस्तेमाल किया, फिर इसे विस्तारित किया गया है (सॉफ़्टवेयर VisuMap में अन्य प्रकार के बंद मैनिफोल्ड्स, जैसे वृत्त,  प्रक्षेपण स्थान, और क्लेन का उपयोग करने के लिए बोतल, छवि कई गुना के रूप में।

संक्रमण के नक्शे
कॉन्टैगियन मैप्स एक बिंदु क्लाउड के रूप में नोड्स को मैप करने के लिए एक नेटवर्क पर कई छूत का उपयोग करते हैं। वैश्विक कैस्केड मॉडल के मामले में प्रसार की गति को थ्रेसहोल्ड पैरामीटर के साथ समायोजित किया जा सकता है $$ t \in [0,1] $$. के लिए $$ t=0 $$ छूत का नक्शा आइसोमैप एल्गोरिथम के बराबर है।

वक्रीय घटक विश्लेषण
Curvilinear घटक विश्लेषण (CCA) आउटपुट स्पेस में बिंदुओं के विन्यास की तलाश करता है जो आउटपुट स्पेस में छोटी दूरी पर ध्यान केंद्रित करते हुए यथासंभव मूल दूरी को संरक्षित करता है (इसके विपरीत सैमन की मैपिंग जो मूल स्थान में छोटी दूरी पर ध्यान केंद्रित करती है)। यह ध्यान दिया जाना चाहिए कि CCA, एक पुनरावृत्त सीखने के एल्गोरिथ्म के रूप में, वास्तव में बड़ी दूरी (जैसे सैमन एल्गोरिथ्म) पर ध्यान केंद्रित करना शुरू करता है, फिर धीरे-धीरे छोटी दूरी पर ध्यान केंद्रित करता है। यदि दोनों के बीच समझौता करना पड़े तो छोटी दूरी की सूचना बड़ी दूरी की सूचना को अधिलेखित कर देगी।

CCA का स्ट्रेस फंक्शन राइट ब्रेगमैन डायवर्जेंस के योग से संबंधित है।

वक्रीय दूरी विश्लेषण
सीडीए एक स्व-संगठित तंत्रिका नेटवर्क को कई गुना फिट करने के लिए प्रशिक्षित करता है और इसके एम्बेडिंग में भूगर्भीय दूरी को संरक्षित करने की कोशिश करता है। यह Curvilinear घटक विश्लेषण पर आधारित है (जो सैमन के मानचित्रण को विस्तारित करता है), लेकिन इसके बजाय जियोडेसिक दूरी का उपयोग करता है।

डिफियोमॉर्फिक डायमेंशनलिटी रिडक्शन
डिफियोमॉर्फिक डायमेंशनलिटी रिडक्शन या डिफियोमैप एक चिकनी डिफियोमोर्फिक मैपिंग सीखता है जो डेटा को निम्न-आयामी रैखिक उप-स्थान पर स्थानांतरित करता है। विधियाँ एक सुचारू समय अनुक्रमित सदिश क्षेत्र के लिए हल करती हैं जैसे कि क्षेत्र के साथ प्रवाह जो डेटा बिंदुओं पर शुरू होता है, एक निम्न-आयामी रैखिक उप-स्थान पर समाप्त होगा, जिससे आगे और उलटा मानचित्रण दोनों के तहत जोड़ीदार अंतर को संरक्षित करने का प्रयास किया जाएगा।

कई गुना संरेखण
कई गुना संरेखण इस धारणा का लाभ उठाता है कि समान जनरेटिंग प्रक्रियाओं द्वारा उत्पादित अलग-अलग डेटा सेट एक समान अंतर्निहित कई गुना प्रतिनिधित्व साझा करेंगे। प्रत्येक मूल स्थान से साझा कई गुना तक प्रक्षेपण सीखकर, पत्राचार पुनर्प्राप्त किया जाता है और एक डोमेन से ज्ञान दूसरे में स्थानांतरित किया जा सकता है। अधिकांश कई गुना संरेखण तकनीक केवल दो डेटा सेटों पर विचार करती है, लेकिन यह अवधारणा मनमाने ढंग से कई प्रारंभिक डेटा सेटों तक फैली हुई है।

[[प्रसार मानचित्र]]
डिफ्यूजन मैप्स हीट डिफ्यूजन और यादृच्छिक चाल  (मार्कोव चेन) के बीच संबंध का लाभ उठाते हैं; कई गुना पर प्रसार ऑपरेटर और ग्राफ पर परिभाषित कार्यों पर काम कर रहे एक मार्कोव संक्रमण मैट्रिक्स के बीच एक सादृश्य तैयार किया गया है, जिनके नोड्स को कई गुना से नमूना लिया गया था। विशेष रूप से, डेटा सेट को किसके द्वारा दर्शाया जाना चाहिए $$ \mathbf{X} = [x_1,x_2,\ldots,x_n] \in \Omega \subset \mathbf {R^D}$$. प्रसार मानचित्र की अंतर्निहित धारणा यह है कि उच्च-आयामी डेटा आयाम के निम्न-आयामी कई गुना पर स्थित है $$ \mathbf{d} $$. X डेटा सेट का प्रतिनिधित्व करते हैं और $$ \mu $$ एक्स पर डेटा बिंदुओं के वितरण का प्रतिनिधित्व करते हैं। इसके अलावा, एक कर्नेल को परिभाषित करें जो एक्स में बिंदुओं की समानता की कुछ धारणा का प्रतिनिधित्व करता है। कर्नेल $$ \mathit{k} $$ निम्नलिखित गुण हैं
 * $$k(x,y) = k(y,x), $$

k सममित है


 * $$ k(x,y) \geq 0\qquad \forall x,y, k $$

k सकारात्मकता को बनाए रखने वाला है

इस प्रकार कोई व्यक्ति व्यक्तिगत डेटा बिंदुओं को एक ग्राफ के नोड्स के रूप में और कर्नेल k को उस ग्राफ पर किसी प्रकार की आत्मीयता को परिभाषित करने के रूप में सोच सकता है। ग्राफ़ निर्माण द्वारा सममित है क्योंकि कर्नेल सममित है। यहां यह देखना आसान है कि टपल ('एक्स', 'के') से एक उत्क्रमणीय मार्कोव श्रृंखला का निर्माण किया जा सकता है। यह तकनीक विभिन्न प्रकार के क्षेत्रों के लिए सामान्य है और इसे ग्राफ लाप्लासियन के रूप में जाना जाता है।

उदाहरण के लिए, गॉसियन कर्नेल का उपयोग करके ग्राफ 'के' = (एक्स, ई) का निर्माण किया जा सकता है।


 * $$ K_{ij} = \begin{cases}

e^{-\|x_i -x_j\|^2_2/\sigma ^2} & \text{if } x_i \sim x_j \\ 0                         & \text{otherwise} \end{cases} $$ उपरोक्त समीकरण में, $$ x_i \sim x_j $$ दर्शाता है $$ x_i $$ का निकटतम पड़ोसी है $$x_j $$. उचित रूप से, जियोडेसिक दूरी का उपयोग वास्तव में कई गुना दूरियों को मापने के लिए किया जाना चाहिए। चूंकि मैनिफोल्ड की सटीक संरचना उपलब्ध नहीं है, निकटतम पड़ोसियों के लिए जियोडेसिक दूरी यूक्लिडियन दूरी द्वारा अनुमानित है। विकल्प $$ \sigma $$ निकटता की हमारी धारणा को इस अर्थ में संशोधित करता है कि यदि $$ \|x_i - x_j\|_2 \gg \sigma $$ तब $$ K_{ij} = 0 $$ और अगर $$ \|x_i - x_j\|_2 \ll \sigma $$ तब $$ K_{ij} = 1 $$. पूर्व का अर्थ है कि बहुत कम प्रसार हुआ है जबकि बाद का अर्थ है कि प्रसार प्रक्रिया लगभग पूरी हो चुकी है। चुनने के लिए विभिन्न रणनीतियाँ $$ \sigma $$ में पाए जा सकते हैं। मार्कोव मैट्रिक्स का ईमानदारी से प्रतिनिधित्व करने के लिए, $$ K $$ इसी डिग्री मैट्रिक्स द्वारा सामान्यीकृत किया जाना चाहिए $$ D $$:


 * $$ P = D^{-1}K. $$

$$ P $$ अब एक मार्कोव श्रृंखला का प्रतिनिधित्व करता है। $$ P(x_i,x_j) $$ से स्थानांतरित होने की संभावना है $$ x_i $$ को $$ x_j $$ एक बार के चरण में। इसी प्रकार से संक्रमण की संभावना $$ x_i $$ को $$ x_j $$ t समय चरणों द्वारा दिया गया है $$ P^t (x_i,x_j) $$. यहाँ $$ P^t $$ मैट्रिक्स है $$ P $$ अपने आप से गुणा टी बार।

मार्कोव मैट्रिक्स $$ P $$ डेटा सेट X की स्थानीय ज्यामिति की कुछ धारणा का गठन करता है। प्रसार मानचित्रों और प्रमुख घटक विश्लेषण के बीच प्रमुख अंतर यह है कि डेटा के केवल स्थानीय विशेषताओं को प्रसार मानचित्रों में माना जाता है, क्योंकि पूरे डेटा सेट के सहसंबंधों को लेने का विरोध किया जाता है।

$$ K $$ डेटा सेट पर एक यादृच्छिक चलना परिभाषित करता है जिसका अर्थ है कि कर्नेल डेटा सेट के कुछ स्थानीय ज्यामिति को कैप्चर करता है। मार्कोव श्रृंखला कर्नेल मूल्यों के माध्यम से प्रसार की तेज और धीमी दिशाओं को परिभाषित करती है। जैसे-जैसे चलना समय के साथ आगे बढ़ता है, स्थानीय ज्यामिति की जानकारी गतिशील प्रणाली के स्थानीय संक्रमण (अंतर समीकरणों द्वारा परिभाषित) के समान होती है। प्रसार का रूपक पारिवारिक प्रसार दूरी की परिभाषा से उत्पन्न होता है $$\{ D_t \}_{ t \in N} $$
 * $$ D_t^2(x,y) = \|p_t(x,\cdot) - p_t(y,\cdot)\|^2 $$

निश्चित टी के लिए, $$ D_t $$ पथ कनेक्टिविटी के आधार पर डेटा सेट के किसी भी दो बिंदुओं के बीच की दूरी को परिभाषित करता है: का मान $$ D_t(x,y) $$ x से y और इसके विपरीत कनेक्ट करने वाले अधिक पथ छोटे होंगे। क्योंकि मात्रा $$ D_t(x,y) $$ लंबाई टी के सभी पथों का योग शामिल है, $$ D_t $$ जियोडेसिक दूरी की तुलना में डेटा में शोर के प्रति अधिक मजबूत है। $$ D_t $$ दूरी की गणना करते समय बिंदु x और y के बीच सभी संबंधों को ध्यान में रखता है और केवल यूक्लिडियन दूरी या यहां तक ​​कि भूगर्भीय दूरी की तुलना में निकटता की बेहतर धारणा के रूप में कार्य करता है।

स्थानीय बहुआयामी स्केलिंग
स्थानीय बहुआयामी स्केलिंग स्थानीय क्षेत्रों में बहुआयामी स्केलिंग करता है, और फिर सभी टुकड़ों को एक साथ फिट करने के लिए उत्तल अनुकूलन का उपयोग करता है।

नॉनलाइनियर पीसीए
Nonlinear PCA (NLPCA) एक बहु-परत परसेप्ट्रॉन (MLP) को कई गुना फिट करने के लिए प्रशिक्षित करने के लिए backpropagation का उपयोग करता है। ठेठ एमएलपी प्रशिक्षण के विपरीत, जो केवल वज़न को अपडेट करता है, एनएलपीसीए वज़न और इनपुट दोनों को अपडेट करता है। अर्थात्, वज़न और इनपुट दोनों को अव्यक्त मान के रूप में माना जाता है। प्रशिक्षण के बाद, अव्यक्त इनपुट देखे गए वैक्टरों का एक निम्न-आयामी प्रतिनिधित्व है, और एमएलपी उस निम्न-आयामी प्रतिनिधित्व से उच्च-आयामी अवलोकन स्थान पर मैप करता है।

डेटा-चालित उच्च-आयामी स्केलिंग
डेटा-संचालित उच्च-आयामी स्केलिंग (DD-HDS) सैमन के मानचित्रण और घुमावदार घटक विश्लेषण से निकटता से संबंधित है, सिवाय इसके कि (1) यह मूल और आउटपुट दोनों जगहों में छोटी दूरी पर ध्यान केंद्रित करके झूठे पड़ोस और आँसू को एक साथ दंडित करता है, और यह (2) यह वजन घटाने के द्वारा माप घटना की एकाग्रता के लिए खाता है दूरी वितरण के लिए कार्य।

कई गुना मूर्तिकला
कई गुना मूर्तिकला एम्बेडिंग खोजने के लिए स्नातक किए गए अनुकूलन का उपयोग करता है। अन्य एल्गोरिदम की तरह, यह के-निकटतम पड़ोसियों की गणना करता है और एक एम्बेडिंग की तलाश करने की कोशिश करता है जो स्थानीय पड़ोस में संबंधों को संरक्षित करता है। यह धीरे-धीरे उच्च आयामों से विचरण करता है, साथ ही साथ उन संबंधों को बनाए रखने के लिए निचले आयामों में बिंदुओं को समायोजित करता है। यदि स्केलिंग की दर छोटी है, तो यह बहुत ही सटीक एम्बेडिंग पा सकता है। यह कई समस्याओं वाले अन्य एल्गोरिदम की तुलना में उच्च अनुभवजन्य सटीकता का दावा करता है। इसका उपयोग अन्य कई गुना सीखने वाले एल्गोरिदम से परिणामों को परिष्कृत करने के लिए भी किया जा सकता है। हालांकि, जब तक बहुत धीमी स्केलिंग दर का उपयोग नहीं किया जाता है, तब तक यह कई गुना प्रकट करने के लिए संघर्ष करता है। इसका कोई मॉडल नहीं है।

हैंडऑल
HandsAll दूरी के बजाय पड़ोस के रैंक को संरक्षित करने के लिए डिज़ाइन किया गया है। रैंकविसु विशेष रूप से कठिन कार्यों में उपयोगी है (जब दूरी का संरक्षण संतोषजनक रूप से प्राप्त नहीं किया जा सकता है)। दरअसल, पड़ोस की रैंक दूरी की तुलना में कम जानकारीपूर्ण है (रैंक को दूरी से घटाया जा सकता है लेकिन दूरी को रैंक से नहीं घटाया जा सकता है) और इसका संरक्षण इस प्रकार आसान है।

स्थैतिक रूप से विवश आइसोमेट्रिक एम्बेडिंग
स्थैतिक रूप से विवश आइसोमेट्रिक एम्बेडिंग (टीसीआईई) यूक्लिडियन मीट्रिक के साथ असंगत जियोडेसिक्स को छानने के बाद लगभग जियोडेसिक दूरियों पर आधारित एक एल्गोरिथ्म है। जब आइसोमैप का उपयोग आंतरिक रूप से गैर-उत्तल डेटा को मैप करने के लिए किया जाता है, तो होने वाली विकृतियों को ठीक करने के उद्देश्य से, टीसीआईई अधिक सटीक मैपिंग प्राप्त करने के लिए वेट लेस-स्क्वायर एमडीएस का उपयोग करता है। टीसीआईई एल्गोरिथ्म पहले डेटा में संभावित सीमा बिंदुओं का पता लगाता है, और जियोडेसिक लंबाई की गणना के दौरान असंगत जियोडेसिक्स को चिन्हित करता है, जिसे भारित तनाव प्रमुखता में एक छोटा वजन दिया जाता है।

समान कई गुना सन्निकटन और प्रक्षेपण
यूनिफ़ॉर्म मैनिफोल्ड सन्निकटन और प्रोजेक्शन (यूएमएपी) एक नॉनलाइनियर डायमेंशनलिटी रिडक्शन तकनीक है। दृष्टिगत रूप से, यह #t-वितरित स्टोकेस्टिक पड़ोसी एंबेडिंग | t-SNE के समान है, लेकिन यह मानता है कि डेटा समान रूप से स्थानीय रूप से जुड़े Riemannian मैनिफोल्ड पर वितरित किया जाता है और यह कि Riemannian मीट्रिक स्थानीय रूप से स्थिर या लगभग स्थानीय रूप से स्थिर है।

निकटता मेट्रिसेस पर आधारित तरीके
निकटता मैट्रिसेस पर आधारित एक विधि वह है जहां डेटा को एल्गोरिदम को समानता मैट्रिक्स या दूरी मैट्रिक्स के रूप में प्रस्तुत किया जाता है। ये विधियाँ बहुआयामी स्केलिंग # प्रकार के व्यापक वर्ग के अंतर्गत आती हैं। निकटता डेटा की गणना कैसे की जाती है, इसमें विविधताएं अंतर होती हैं; उदाहरण के लिए, आइसोमैप, स्थानीय रूप से रैखिक एम्बेडिंग, अधिकतम विचरण का खुलासा, और सैमोन का प्रक्षेपण (जो वास्तव में मानचित्रण नहीं है) मीट्रिक बहुआयामी स्केलिंग विधियों के उदाहरण हैं।

यह भी देखें

 * कई गुना परिकल्पना
 * स्पेक्ट्रल सबमेनिफोल्ड
 * टेकेंस की प्रमेय|टेकेंस की प्रमेय
 * व्हिटनी एम्बेडिंग प्रमेय
 * विभेदक विश्लेषण
 * लोचदार नक्शा
 * फ़ीचर लर्निंग
 * बढ़ता हुआ स्व-संगठित मानचित्र (जीएसओएम)
 * स्व-आयोजन मानचित्र (SOM)

बाहरी संबंध

 * Isomap
 * Generative Topographic Mapping
 * Mike Tipping's Thesis
 * Gaussian Process Latent Variable Model
 * Locally Linear Embedding
 * Relational Perspective Map
 * Waffles is an open source C++ library containing implementations of LLE, Manifold Sculpting, and some other manifold learning algorithms.
 * DD-HDS homepage
 * RankVisu homepage
 * Short review of Diffusion Maps
 * Nonlinear PCA by autoencoder neural networks