आंशिक न्यूनतम वर्ग प्रतिगमन

आंशिक न्यूनतम वर्ग प्रतिगमन (पीएलएस प्रतिगमन) एक सांख्यिकीय पद्धति है जो प्रमुख घटक प्रतिगमन से कुछ संबंध रखती है, प्रतिक्रिया और स्वतंत्र चर के बीच अधिकतम विचरण के हाइपरप्लेन खोजने के बजाय, यह अनुमानित चर और अवलोकन योग्य चर को एक नए स्थान पर प्रक्षेपित करके एक रेखीय प्रतिगमन प्रतिरूप ढूंढता है। क्योंकि एक्स और वाय डेटा दोनों को नई जगहों पर प्रक्षेपित किया जाता है, तथा तरीकों के पीएलएस परिवार को बिलिनियर कारक प्रतिरूप के रूप में जाना जाता है। आंशिक न्यूनतम वर्ग विभेदक विश्लेषण (पीएलएस-डीए) एक प्रकार है जिसका उपयोग तब किया जाता है जब वाय श्रेणीबद्ध होता है।

पीएलएस का उपयोग दो आव्यूह (गणित) (एक्स और वाय) के बीच मूलभूत संबंधों को खोजने के लिए किया जाता है, यानी इन दो स्थानों में सहप्रसरण संरचनाओं को प्रतिरूपण करने के लिए एक अव्यक्त चर दृष्टिकोणकी आवश्कता होती है। एक पीएलएस प्रतिरूप 'एक्स' स्थान में बहुआयामी दिशा खोजने की कोशिश करेगा जो 'वाई' समष्टि में अधिकतम बहुआयामी विचरण दिशा की व्याख्या करता है। पीएलएस प्रतिगमन विशेष रूप से अनुकूल होता है जब भविष्यवक्ताओं के आव्यूह में अवलोकनों की तुलना में अधिक चर होते हैं, और जब 'एक्स' मानों के बीच बहुसंरेखता होती है। इसके विपरीत, इन मामलों में मानक प्रतिगमन विफल हो जाएगा (जब तक कि इसे नियमित नहीं किया जाता)।

स्वीडिश सांख्यिकीविद हरमन ओ.ए. वोल्ड द्वारा आंशिक न्यूनतम वर्गों की शुरुआत की गई थी, जिन्होंने बाद में इसे अपने बेटे स्वंते वोल्ड के साथ विकसित किया। पीएलएस के लिए एक वैकल्पिक शब्द अव्यक्त संरचनाओं का प्रक्षेपण है, लेकिन कई क्षेत्रों में आंशिक न्यूनतम वर्ग शब्द अभी भी प्रभावी है। यद्यपि मूल अनुप्रयोग सामाजिक विज्ञान में थे, इसलिए पीएलएस प्रतिगमन आज रसायन विज्ञान और संबंधित क्षेत्रों में सबसे व्यापक रूप से उपयोग किया जाता है। इसका उपयोग जैव सूचना विज्ञान, सेंसोमेट्रिक्स, तंत्रिका विज्ञान और नृविज्ञान में भी किया जाता है।

अंतर्निहित प्रतिरूप

बहुभिन्नरूपी पीएलएस का सामान्य अंतर्निहित प्रतिरूप

$X=TP^{\mathrm {T} }+E$

$Y=UQ^{\mathrm {T} }+F$

है ,जहाँ X एक $n\times m$ भविष्यवक्ताओं का आव्यूह है, Y एक $n\times p$ प्रतिक्रियाओं का आव्यूह है, T और U $n\times l$ आव्यूह हैं जो क्रमशः X (एक्स स्कोर, घटक या कारक आव्यूह) के प्रक्षेप और Y (Y स्कोर) के प्रक्षेप हैं, P और Q क्रमशः, $m\times l$ और $p\times l$ लाम्बिक भरण आव्यूह हैं, और आव्यूह E और F त्रुटि शब्द हैं, जिन्हें स्वतंत्र और समान रूप से वितरित यादृच्छिक सामान्य चर माना जाता है। T और U के बीच सहप्रसरण को अधिकतम करने के लिए X और Y का अपघटन किया जाता है।

कलन गणित

कारक और भरण आव्यूह टी, यू, पी और क्यू का अनुमान लगाने के लिए पीएलएस के कई प्रकार मौजूद हैं। उनमें से अधिकांश X और Y के बीच $Y=X{\tilde {B}}+{\tilde {B}}_{0}$के रूप में रैखिक प्रतिगमन का अनुमान लगाते हैं। कुछ पीएलएस कलन गणित केवल उस मामले के लिए उपयुक्त होते हैं जहां Y एक स्तंभ सदिश है, जबकि अन्य आव्यूह Y के सामान्य मामले से निपटते हैं। कलन गणित इस बात में भी भिन्न होते हैं कि क्या वे कारक आव्यूह T को लाम्बिक (यानी, प्रसामान्य लांबिक विश्लेषण) आव्यूह के रूप में मानते हैं या नहीं। पीएलएस की इन सभी प्रकारो के लिए अंतिम भविष्यवाणी समान होगी, लेकिन घटक अलग-अलग होंगे।

पीएलएस निम्नलिखित चरणों को k (k घटकों के लिए) बार-बार दोहराने से बना है,

1. निविष्ट और निर्गत समष्टि में अधिकतम सहप्रसरण की दिशाओं का पता लगाना
2. निविष्ट स्कोर पर कम से कम वर्ग प्रतिगमन करना
3. निविष्ट $X$ और/या लक्ष्य $Y$ को अपस्फीति करना

पीएलएस 1

पीएलएस1 वेक्टर के लिए उपयुक्त व्यापक रूप से उपयोग किया जाने वाला एल्गोरिथम है Y मामला। यह अनुमान लगाता है T ऑर्थोनॉर्मल आव्यूह के रूप में। (सावधानी: t नीचे दिए गए कोड में वैक्टर को उचित रूप से सामान्यीकृत नहीं किया जा सकता है; बात देखें।) स्यूडोकोड में इसे नीचे व्यक्त किया गया है (कैपिटल लेटर मैट्रिसेस हैं, लोअर केस लेटर्स वैक्टर हैं अगर वे सुपरस्क्रिप्टेड हैं और स्केलर्स अगर वे सबस्क्रिप्टेड हैं)।

 1 function PLS1(X, y, l)
 2     $X^{(0)}\gets X$
 3     $w^{(0)}\gets X^{\mathrm {T} }y/\|X^{\mathrm {T} }y\|$, का प्रारंभिक अनुमान w.
 4     for $k=0$ to $l-1$
 5         $t^{(k)}\gets X^{(k)}w^{(k)}$
 6         $t_{k}\gets {t^{(k)}}^{\mathrm {T} }t^{(k)}$ (note this is a scalar)
 7         $t^{(k)}\gets t^{(k)}/t_{k}$
 8         $p^{(k)}\gets {X^{(k)}}^{\mathrm {T} }t^{(k)}$
 9         $q_{k}\gets {y}^{\mathrm {T} }t^{(k)}$ (note this is a scalar)
10         if $q_{k}=0$
11             $l\gets k$, break the for loop
12         if $k<(l-1)$
13             $X^{(k+1)}\gets X^{(k)}-t_{k}t^{(k)}{p^{(k)}}^{\mathrm {T} }$
14             $w^{(k+1)}\gets {X^{(k+1)}}^{\mathrm {T} }y$
15     end for
16 परिभाषित करें W आव्यूह होना with columns $w^{(0)},w^{(1)},...,w^{(l-1)}$.
       बनाने के लिए ऐसा ही करें P आव्यूह और q वेक्टर।
17     $B\gets W{(P^{\mathrm {T} }W)}^{-1}q$
18     $B_{0}\gets q_{0}-{P^{(0)}}^{\mathrm {T} }B$
19     return $B,B_{0}$

एल्गोरिथ्म के इस रूप में इनपुट के केंद्रीकरण की आवश्यकता नहीं होती है X और Y, क्योंकि यह एल्गोरिथम द्वारा निहित रूप से किया जाता है। यह एल्गोरिथ्म आव्यूह के 'अपस्फीति' को प्रदर्शित करता है X (का घटाव $t_{k}t^{(k)}{p^{(k)}}^{\mathrm {T} }$), लेकिन वेक्टर की अपस्फीति y निष्पादित नहीं किया गया है, क्योंकि यह आवश्यक नहीं है (यह साबित किया जा सकता है कि deflating y अपस्फीति न करने के समान परिणाम देता है). उपयोगकर्ता द्वारा प्रदान किया गया चर l प्रतिगमन में अव्यक्त कारकों की संख्या की सीमा है; अगर यह आव्यूह के रैंक के बराबर है X, एल्गोरिथ्म के लिए कम से कम वर्ग प्रतिगमन अनुमान निकलेगा B और $B_{0}$

इनपुट समष्टि में अपस्फीति चरण की ज्यामितीय व्याख्या

एक्सटेंशन

ओपीएलएस

2002 में एक नई विधि प्रकाशित हुई थी जिसे लाम्बिक प्रोजेक्शन टू लेटेंट स्ट्रक्चर्स (Oपीएलएस) कहा जाता है। ओपीएलएस में, निरंतर चर डेटा को अनुमानित और असंबद्ध (लाम्बिक) जानकारी में अलग किया जाता है। यह बेहतर निदान के साथ-साथ अधिक आसानी से व्याख्या किए गए विज़ुअलाइज़ेशन की ओर जाता है। हालाँकि, ये परिवर्तन केवल व्याख्यात्मकता में सुधार करते हैं, न कि पीएलएस मॉडल की भविष्यवाणी में। इसी तरह, ओपीएलएस-डीए (डिस्क्रिमिनेंट एनालिसिस) को असतत चर के साथ काम करते समय लागू किया जा सकता है, जैसा कि वर्गीकरण और बायोमार्कर अध्ययनों में होता है।

ओपीएलएस का सामान्य अंतर्निहित मॉडल है

$X=TP^{\mathrm {T} }+T_{\text{Y-orth}}P_{\text{Y-orth}}^{\mathrm {T} }+E$

$Y=UQ^{\mathrm {T} }+F$

या O2-पीएलएस में

$X=TP^{\mathrm {T} }+T_{\text{Y-orth}}P_{\text{Y-orth}}^{\mathrm {T} }+E$

$Y=UQ^{\mathrm {T} }+U_{\text{X-orth}}Q_{\text{X-orth}}^{\mathrm {T} }+F$

एल-पीएलएस

पीएलएस प्रतिगमन का एक और विस्तार, एल-पीएलएस नामित एल-आकार के आव्यूह के लिए, भविष्यवाणी में सुधार के लिए 3 संबंधित डेटा ब्लॉक जोड़ता है। संक्षेप में, एक नया Z आव्यूह, X आव्यूह के समान स्तंभों के साथ, पीएलएस प्रतिगमन विश्लेषण में जोड़ा जाता है और भविष्यवक्ता चर की अन्योन्याश्रितता पर अतिरिक्त पृष्ठभूमि जानकारी शामिल करने के लिए उपयुक्त हो सकता है।

3PRF

2015 में आंशिक न्यूनतम वर्ग तीन-पास प्रतिगमन फ़िल्टर (3PRF) नामक एक प्रक्रिया से संबंधित था। मान लें कि टिप्पणियों और चरों की संख्या बड़ी है, 3PRF (और इसलिए पीएलएस) एक रैखिक अव्यक्त कारक मॉडल द्वारा निहित सर्वोत्तम पूर्वानुमान के लिए विषम रूप से सामान्य है। स्टॉक मार्केट डेटा में, पीएलएस को रिटर्न और कैश-फ्लो ग्रोथ के सटीक आउट-ऑफ-सैंपल पूर्वानुमान प्रदान करने के लिए दिखाया गया है।

आंशिक कम वर्ग एसवीडी

एकवचन मूल्य अपघटन पर आधारित एक पीएलएस संस्करण। एकवचन मूल्य अपघटन (एसवीडी) एक मेमोरी कुशल कार्यान्वयन प्रदान करता है जिसका उपयोग उच्च-आयामी समस्याओं को दूर करने के लिए किया जा सकता है, जैसे उपभोक्ता पर इमेजिंग आनुवंशिकी में लाखों आनुवंशिक मार्करों को हजारों इमेजिंग सुविधाओं से संबंधित करना। ग्रेड हार्डवेयर।

पीएलएस सहसंबंध

पीएलएस सहसंबंध (पीएलएससी) पीएलएस प्रतिगमन से संबंधित एक अन्य पद्धति है, जिसका उपयोग न्यूरोइमेजिंग में किया गया है और खेल विज्ञान, डेटा सेट के बीच संबंध की ताकत को मापने के लिए। आमतौर पर, पीएलएसC डेटा को दो ब्लॉकों (उप-समूहों) में विभाजित करता है, जिनमें से प्रत्येक में एक या एक से अधिक चर होते हैं, और फिर किसी भी रिश्ते की ताकत (यानी साझा जानकारी की मात्रा) स्थापित करने के लिए एकवचन मूल्य अपघटन | एकवचन मूल्य अपघटन (SVD) का उपयोग करता है। दो घटक उप-समूहों के बीच मौजूद हो सकता है। यह विचाराधीन उप-समूहों के सहप्रसरण आव्यूह की जड़ता (यानी एकवचन मानों का योग) निर्धारित करने के लिए एसवीडी का उपयोग करके करता है।

यह भी देखें

• विहित सहसंबंध
• डेटा खनन
• डेमिंग प्रतिगमन
• सुविधा निकालना
• यंत्र अधिगम
• आंशिक न्यूनतम वर्ग पथ मॉडलिंग
• प्रमुख कंपोनेंट विश्लेषण
• प्रतिगमन विश्लेषण
• वर्गों का कुल योग

साहित्य

• Kramer, R. (1998). मात्रात्मक विश्लेषण के लिए रसायनमितीय तकनीक. Marcel-Dekker. ISBN 978-0-8247-0198-7.
• Frank, Ildiko E.; Friedman, Jerome H. (1993). "कुछ रसायनमिति प्रतिगमन उपकरणों का एक सांख्यिकीय दृश्य". Technometrics. 35 (2): 109–148. doi:10.1080/00401706.1993.10485033.
• Haenlein, Michael; Kaplan, Andreas M. (2004). "आंशिक न्यूनतम वर्ग विश्लेषण के लिए एक प्रारंभिक मार्गदर्शिका". Understanding Statistics. 3 (4): 283–297. doi:10.1207/s15328031us0304_4.
• Henseler, Joerg; Fassott, Georg (2005). "पीएलएस पथ मॉडल में परीक्षण मॉडरेटिंग प्रभाव। उपलब्ध प्रक्रियाओं का एक उदाहरण". {{cite journal}}: Cite journal requires |journal= (help)
• Lingjærde, Ole-Christian; Christophersen, Nils (2000). "आंशिक न्यूनतम वर्गों की सिकुड़न संरचना". Scandinavian Journal of Statistics. 27 (3): 459–473. doi:10.1111/1467-9469.00201. S2CID 121489764.
• Tenenhaus, Michel (1998). पीएलएस प्रतिगमन: सिद्धांत और व्यवहार। पेरिस: तकनीक।.
• Rosipal, Roman; Kramer, Nicole (2006). "उप-स्थान, अव्यक्त संरचना और फ़ीचर चयन तकनीकों में आंशिक कम से कम वर्गों में अवलोकन और हाल के अग्रिम": 34–51. {{cite journal}}: Cite journal requires |journal= (help)
• Helland, Inge S. (1990). "पीएलएस प्रतिगमन और सांख्यिकीय मॉडल". Scandinavian Journal of Statistics. 17 (2): 97–114. JSTOR 4616159.
• Wold, Herman (1966). "Estimation of principal components and related models by iterative least squares". In Krishnaiaah, P.R. (ed.). बहुभिन्नरूपी विश्लेषण. New York: Academic Press. pp. 391–420.
• Wold, Herman (1981). अन्योन्याश्रित प्रणालियों के लिए फिक्स-पॉइंट दृष्टिकोण. Amsterdam: North Holland.
• Wold, Herman (1985). "Partial least squares". In Kotz, Samuel; Johnson, Norman L. (eds.). सांख्यिकीय विज्ञान का विश्वकोश. Vol. 6. New York: Wiley. pp. 581–591.
• Wold, Svante; Ruhe, Axel; Wold, Herman; Dunn, W.J. (1984). "रेखीय प्रतिगमन में संरेखता समस्या। सामान्यीकृत व्युत्क्रमों के लिए आंशिक न्यूनतम वर्ग (PLS) दृष्टिकोण". SIAM Journal on Scientific and Statistical Computing. 5 (3): 735–743. doi:10.1137/0905052.
• Garthwaite, Paul H. (1994). "आंशिक कम वर्गों की व्याख्या". Journal of the American Statistical Association. 89 (425): 122–7. doi:10.1080/01621459.1994.10476452. JSTOR 2291207.
• Wang, H., ed. (2010). आंशिक कम वर्गों की पुस्तिका. ISBN 978-3-540-32825-4.
• Stone, M.; Brooks, R.J. (1990). "कॉन्टिनम रिग्रेशन: क्रॉस-वैलिडेटेड सीक्वेंसली क्रिएटेड प्रेडिक्शन, जिसमें ऑर्डिनरी लीस्ट स्क्वेयर, पार्शियल लीस्ट स्क्वेयर और प्रिंसिपल कंपोनेंट्स रिग्रेशन शामिल हैं". Journal of the Royal Statistical Society, Series B. 52 (2): 237–269. JSTOR 2345437.

वेबलिंक्स

• पीएलएस ​​प्रतिगमन और इसके इतिहास का संक्षिप्त परिचय
• वीडियो: प्रो. एच. हैरी असदा द्वारा पीएलएस की व्युत्पत्ति