प्रमुख घटक विश्लेषण

प्रमुख कंपोनेंट विश्लेषण (पीसीए) प्रति अवलोकन उच्च संख्या में आयाम/फीवेरिएबल वाले बड़े डेटासमुच्चय का विश्लेषण करने, अधिकतम मात्रा में सूचना को संरक्षित करते हुए डेटा की व्याख्या को बढ़ाते हैं, और बहुआयामी डेटा के विज़ुअलाइज़ेशन को सक्षम करने के लिए लोकप्रिय तकनीक है औपचारिक रूप से, पीसीए डेटासमुच्चय के आयाम को कम करने के लिए सांख्यिकीय तकनीक है। यह डेटा को रैखिक रूप से नई समन्वय प्रणाली में परिवर्तित करके पूर्ण किया जाता है, जहां (अधिकांश) डेटा में भिन्नता को प्रारंभिक डेटा की तुलना में कम आयामों के साथ वर्णित किया जा सकता है। डेटा को दो आयामों में प्लॉट करने के लिए और निकट से संबंधित डेटा बिंदुओं के समूहों की दृष्टि से पहचान करने के लिए अनेक अध्ययन पहले दो प्रमुख अवयवों का उपयोग करते हैं। यह प्रमुख कंपोनेंट विश्लेषण के अनेक क्षेत्रों में जैसे जनसंख्या आनुवंशिकी, माइक्रोबायोम अध्ययन और वायुमंडलीय विज्ञान में अनुप्रयोग होते हैं।

सामान्यतः (0.866, 0.5) दिशा में 3 के मानक विचलन और ऑर्थोगोनल दिशा में 1 के मानक विचलन के साथ (1,3) पर केंद्रित बहुभिन्नरूपी गॉसियन वितरण का पीसीए। दिखाए गए सदिश संबंधित आइजेनवैल्यू के वर्गमूल द्वारा स्केल किए गए सहप्रसरण आव्युह के आइजेनवैल्यू और आइजन्वेक्टर हैं, और स्थानांतरित किए गए हैं जिससे उनकी पूंछ माध्य पर हो।

वास्तविक समन्वय स्थान में बिंदुओं के संग्रह के प्रमुख अवयव $p$ यूनिट सदिश अनुक्रम हैं, जहां $i$-वें सदिश रेखा की दिशा है जो पहले $i-1$ सदिश के लिए ऑर्थोगोनल होते हुए डेटा को सबसे अच्छी तरह से फिट करता है। यहां, सर्वोत्तम-फिटिंग लाइन को उस रेखा के रूप में परिभाषित किया गया है जो बिंदु से रेखा तक औसत वर्ग लंबवत दूरी दूरी को कम करता है। यह दिशाएँ अलौकिक आधार का गठन करती हैं जिसमें डेटा के विभिन्न व्यक्तिगत आयाम रैखिक सहसंबंध होते हैं। प्रमुख अवयव विश्लेषण प्रमुख अवयवों की गणना करने और डेटा के आधार पर परिवर्तन करने के लिए उनका उपयोग करने की प्रक्रिया है, कभी-कभी केवल पहले कुछ प्रमुख अवयवों का उपयोग करके और शेष को अनदेखा करते हुए इसका उपयोग किया जाता है।

डेटा विश्लेषण में, $p$ वेरिएबल समुच्चय का पहला प्रमुख अवयव , जिसे संयुक्त रूप से सामान्यतः वितरित माना जाता है, मूल वेरिएबल के रैखिक संयोजन के रूप में गठित व्युत्पन्न वेरिएबल है जो सबसे अधिक विचरण की व्याख्या करता है। दूसरा प्रमुख अवयव पहले अवयव के प्रभाव को हटा दिए जाने के पश्चात जो बचा है उसमें सबसे अधिक भिन्नता की व्याख्या करता है, और हम $p$ पुनरावृत्तियाँ इसके माध्यम से आगे बढ़ सकते हैं जब तक कि सभी विचरण की व्याख्या नहीं की जाती हैं। पीसीए का सबसे अधिक उपयोग तब किया जाता है जब अनेक वेरिएबल दूसरे के साथ अत्यधिक सहसंबद्ध होते हैं और उनकी संख्या को स्वतंत्र समुच्चय में कम करना वांछनीय होता है।

पीसीए का उपयोग खोजपूर्ण डेटा विश्लेषण और प्रेडिक्टिव मॉडलिंग करने के लिए किया जाता है। यह सामान्यतः प्रत्येक डेटा बिंदु को केवल पहले कुछ प्रमुख अवयवों पर प्रक्षेपित करके आयामीता में कमी के लिए उपयोग किया जाता है जिससे जितना संभव हो उतना डेटा भिन्नता को संरक्षित करते हुए निम्न-आयामी डेटा प्राप्त किया जा सके। पहले प्रमुख अवयव को समान रूप से दिशा के रूप में परिभाषित किया जा सकता है जो अनुमानित डेटा के विचरण को अधिकतम करता है। यह $i$वें>-वें प्रमुख अवयव को पहले $i-1$ प्रमुख अवयव के लिए दिशा ऑर्थोगोनल के रूप में लिया जा सकता है जो अनुमानित डेटा के विचरण को अधिकतम करते हैं।

किसी भी उद्देश्य के लिए, यह दिखाया जा सकता है कि प्रमुख अवयव डेटा के सहप्रसरण आव्युह के आइजन्वेक्टर हैं। इस प्रकार, प्रमुख अवयवों की गणना अधिकतर डेटा सहप्रसरण आव्युह के आइजेनडी कम्पोज़िशन या डेटा आव्युह के एकवचन मान अपघटन द्वारा की जाती है। पीसीए सत्य आइजन्वेक्टर -आधारित बहुभिन्नरूपी विश्लेषणों में सबसे सरल है और कारक विश्लेषण से निकटता से संबंधित है। कारक विश्लेषण में सामान्यतः अंतर्निहित संरचना के बारे में अधिक डोमेन विशिष्ट मान्यताओं को सम्मिलित किया जाता है और थोड़ा भिन्न आव्युह के आइजन्वेक्टर को हल करता है। पीसीए भी विहित सहसंबंध विहित सहसंबंध विश्लेषण (सीसीए) से संबंधित है। यह सीसीए समन्वय प्रणालियों को परिभाषित करता है जो दो डेटासमुच्चय के मध्य क्रॉस सहप्रसरण का उत्तम वर्णन करता है जबकि पीसीए नए ऑर्थोगोनल समन्वय प्रणाली को परिभाषित करता है जो एकल डेटासमुच्चय में भिन्नता का उत्तम वर्णन करता है। शक्तिशाली आंकड़े और एलपी स्पेस हैं | मानक पीसीए के L1-मानक-आधारित संस्करण भी प्रस्तावित किए गए हैं।

इतिहास

पीसीए का आविष्कार 1901 में कार्ल पियर्सन ने किया था। यांत्रिकी में प्रमुख अक्ष प्रमेय के अनुरूप; इसे पश्चात में स्वतंत्र रूप से विकसित किया गया और 1930 के दशक में हेरोल्ड होटलिंग द्वारा इसका नाम दिया गया है। अनुप्रयोग के क्षेत्र के आधार पर, इसे असतत करहुनेन-लोएव प्रमेय भी नाम दिया गया है। संकेत आगे बढ़ाना में करहुनेन-लोएव रूपांतरण (केएलटी), बहुभिन्नरूपी गुणवत्ता नियंत्रण में हेरोल्ड होटलिंग रूपांतरण, मैकेनिकल इंजीनियरिंग में उचित ऑर्थोगोनल अपघटन (पीओडी), एकवचन मान X का अपघटन (एसवीडी) (20वीं शताब्दी की अंतिम तिमाही में आविष्कार किया गया ), रेखीय बीजगणित में X^TX का आइजेनडीकम्पोज़िशन (ईवीडी) हैं।, कारक विश्लेषण (पीसीए और कारक विश्लेषण के मध्य अंतर की चर्चा के लिए जोलिफ़ प्रमुख कंपोनेंट विश्लेषण का अध्याय 7 देखें), एकार्ट-यंग प्रमेय (हरमन, 1960), या अनुभवजन्य ऑर्थोगोनल फ़ंक्शंस (ईओएफ) मौसम विज्ञान में (लॉरेंज, 1956), अनुभवजन्य ईजेनफंक्शन अपघटन (सिरोविच, 1987), क्वासिहार्मोनिक मोड (ब्रूक्स एट अल।, 1988), वर्णक्रमीय प्रमेय ध्वनि और कंपन में वर्णक्रमीय अपघटन, और संरचनात्मक गतिशीलता में अनुभवजन्य मोडल विश्लेषण में देखे गये थे।

अंतर्ज्ञान

पीसीए को डेटा के लिए p-आयामी दीर्घवृत्त के रूप में फिट करने के बारे में सोचा जा सकता है, जहां दीर्घवृत्त का प्रत्येक अक्ष प्रमुख अवयव का प्रतिनिधित्व करता है। यदि दीर्घवृत्ताभ का कुछ अक्ष लघु है, तब उस अक्ष के साथ विचरण भी लघु होता है।

दीर्घवृत्ताभ के अक्षों को खोजने के लिए, हमें सबसे पहले डेटासमुच्चय में प्रत्येक वेरिएबल के मानों को 0 पर केंद्रित करना चाहिए और उनमें से प्रत्येक मान से वेरिएबल के देखे गए मानों का माध्य घटाना चाहिए। प्रत्येक वेरिएबल के लिए मूल देखे गए मानों के अतिरिक्त इन परिवर्तित मानों का उपयोग किया जाता है। पुनः , हम डेटा के सहप्रसरण आव्युह की गणना करते हैं और इस सहसंयोजक आव्युह के आइजेनवैल्यू ​​​​और संबंधित आइजन्वेक्टर की गणना करते हैं। पुनः हमें प्रत्येक ऑर्थोगोनल आइजन्वेक्टर को यूनिट सदिश में परिवर्तन के लिए सामान्यीकरण (सांख्यिकी) करना होगा। पुनः यह हो जाने के पश्चात , प्रत्येक परस्पर-ऑर्थोगोनल यूनिट आइजन्वेक्टर को डेटा में फिट किए गए दीर्घवृत्त के अक्ष के रूप में व्याख्या किया जा सकता है। इसके आधार का यह चुनाव सहप्रसरण आव्युह को विकर्ण रूप में परिवर्तित कर देगा, जिसमें विकर्ण अवयव प्रत्येक अक्ष के विचरण का प्रतिनिधित्व करते हैं। प्रत्येक आइजन्वेक्टर द्वारा दर्शाए गए प्रसरण के अनुपात की गणना उस आइजन्वेक्टर के अनुरूप आइजेनवैल्यू को सभी आइजेनवैल्यू के योग से विभाजित करके की जा सकती है।

पीसीए के निष्कर्षों को समझाने के लिए बिप्लॉटस और स्क्री प्लॉट (व्याख्या विचरण की डिग्री) का उपयोग किया जाता है।

ऊपर दी गई तस्वीर डरावने प्लॉट की है जो पीसीए की व्याख्या करने और यह तय करने में सहायता करने के लिए है कि कितने अवयवों को बनाए रखना है। लाइन में मोड़ की प्रारंभ (विभक्ति का बिंदु) इंगित करना चाहिए कि कितने अवयवों को बनाए रखा जाता है, इसलिए इस उदाहरण में, तीन कारकों को बनाए रखा जाना चाहिए।

विवरण

पीसीए को ऑर्थोगोनल परिवर्तन रैखिक परिवर्तन के रूप में परिभाषित किया गया है जो डेटा को नई समन्वय प्रणाली में परिवर्तित कर देता है जैसे कि डेटा के कुछ स्केलर प्रक्षेपण द्वारा सबसे बड़ा भिन्नता को पहले समन्वय (जिसे पहला मुख्य अवयव कहा जाता है) पर आती है, तथा दूसरा सबसे बड़ा भिन्नता होती है जैसे कि दूसरा समन्वय, इत्यादि हैं।

इस पर विचार करें $n\times p$ डेटा आव्युह (गणित), X, स्तंभ-वार शून्य अनुभवजन्य माध्य के साथ (प्रत्येक स्तंभ का प्रतिरूप माध्य शून्य पर स्थानांतरित कर दिया गया है), जहां प्रत्येक n पंक्तियाँ प्रयोग की भिन्न पुनरावृत्ति का प्रतिनिधित्व करती हैं, और प्रत्येक p स्तम्भ विशेष प्रकार की सुविधा देता है ( किसी विशेष सेंसर का परिणाम कहते हैं)।

गणितीय रूप से, परिवर्तन को आकार के समुच्चय द्वारा परिभाषित किया जाता है | इसमें $l$ वजन या गुणांक के p-आयामी सदिश $\mathbf {w} _{(k)}=(w_{1},\dots ,w_{p})_{(k)}$ हैं वह प्रत्येक पंक्ति $\mathbf {x} _{(i)}$ सदिश को मानचित्र करता है तथा प्रमुख अवयव स्कोर के नए सदिश के लिए X का $\mathbf {t} _{(i)}=(t_{1},\dots ,t_{l})_{(i)}$, द्वारा दिए गए होते हैं |

${t_{k}}_{(i)}=\mathbf {x} _{(i)}\cdot \mathbf {w} _{(k)}\qquad \mathrm {for} \qquad i=1,\dots ,n\qquad k=1,\dots ,l$

इस प्रकार से कि व्यक्तिगत वेरिएबल $t_{1},\dots ,t_{l}$ डेटा समुच्चय पर विचार किए गए t के क्रमिक रूप से X से अधिकतम संभव विचरण प्राप्त होता है, प्रत्येक गुणांक सदिश w के साथ इकाई सदिश होने के लिए विवश होता है (जहाँ $l$ सामान्यतः कठोरता से कम होने के लिए चुना जाता है और $p$ आयामीता को कम करने के लिए) चुना जाता है।

प्रथम अवयव

प्रसरण को अधिकतम करने के लिए, पहला भार सदिश w₍₁₎ इस प्रकार संतुष्ट करना पड़ता है

$\mathbf {w} _{(1)}=\arg \max _{\Vert \mathbf {w} \Vert =1}\,\left\{\sum _{i}(t_{1})_{(i)}^{2}\right\}=\arg \max _{\Vert \mathbf {w} \Vert =1}\,\left\{\sum _{i}\left(\mathbf {x} _{(i)}\cdot \mathbf {w} \right)^{2}\right\}$

समान रूप से इसे आव्युह रूप में लिखने पर प्राप्त होता है

$\mathbf {w} _{(1)}=\arg \max _{\left\|\mathbf {w} \right\|=1}\left\{\left\|\mathbf {Xw} \right\|^{2}\right\}=\arg \max _{\left\|\mathbf {w} \right\|=1}\left\{\mathbf {w} ^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {Xw} \right\}$

यह समकक्ष भी संतुष्ट करता है जहाँ w₍₁₎के पश्चात से इकाई सदिश के रूप में परिभाषित किया गया है,

$\mathbf {w} _{(1)}=\arg \max \left\{{\frac {\mathbf {w} ^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {Xw} }{\mathbf {w} ^{\mathsf {T}}\mathbf {w} }}\right\}$

अधिकतम की जाने वाली मात्रा को रेले भागफल के रूप में पहचाना जा सकता है। धनात्मक अर्ध निश्चित आव्युह जैसे X^TX के लिए मानक परिणाम यह है कि भागफल का अधिकतम संभव मान आव्युह का सबसे बड़ा आइजेनवैल्यू है, जो तब होता है जब w संबंधित आइजन्वेक्टर होता है।

w₍₁₎ के साथ मिला, डेटा सदिश x_(i) का पहला प्रमुख अवयव रूपांतरित निर्देशांक में पुनः स्कोर t_1(i) = x_(i) ⋅ w₍₁₎ के रूप में दिया जा सकता है , या मूल वेरिएबल में संबंधित सदिश के रूप में, x_(i) ⋅w₍₁₎} w₍₁₎ होता है |

आगे के अवयव

k-वें अवयव को 'X' से पहले k − 1 प्रमुख अवयवों को घटाकर प्राप्त किया जा सकता है |

$\mathbf {\hat {X}} _{k}=\mathbf {X} -\sum _{s=1}^{k-1}\mathbf {X} \mathbf {w} _{(s)}\mathbf {w} _{(s)}^{\mathsf {T}}$

और पुनः वेट सदिश का पता लगाना जो इस नए डेटा आव्युह से अधिकतम भिन्नता निकालता है

$\mathbf {w} _{(k)}=\mathop {\operatorname {arg\,max} } _{\left\|\mathbf {w} \right\|=1}\left\{\left\|\mathbf {\hat {X}} _{k}\mathbf {w} \right\|^{2}\right\}=\arg \max \left\{{\tfrac {\mathbf {w} ^{\mathsf {T}}\mathbf {\hat {X}} _{k}^{\mathsf {T}}\mathbf {\hat {X}} _{k}\mathbf {w} }{\mathbf {w} ^{T}\mathbf {w} }}\right\}$

यह पता चला है कि यह X^TX के शेष आइजन्वेक्टर देता है, कोष्ठकों में मात्रा के लिए उनके संबंधित आइजेनवैल्यू ​​​​द्वारा दिए गए अधिकतम मानों के साथ हैं। इस प्रकार वजन सदिश X^TX के आइजन्वेक्टर हैं।

डेटा सदिश x_(i) का k-वाँ प्रमुख अवयव रूपांतरित निर्देशांक में, इसलिए स्कोर t_k(i) = x_(i) ⋅ w_(k) के रूप में दिया जा सकता है या मूल वेरिएबल के स्थान में संबंधित सदिश के रूप में, x_(i) ⋅ w_(k)} w_(k), जहां w_(k) X^TX का kवां आइजन्वेक्टर है।

इसलिए X का पूर्ण प्रमुख अवयव अपघटन इस प्रकार दिया जा सकता है

$\mathbf {T} =\mathbf {X} \mathbf {W}$

जहां W वजन का p-द्वारा-p आव्युह है, जिसके स्तम्भ X^TX के आइजन्वेक्टर हैं। डब्ल्यू के स्थानान्तरण को कभी-कभी श्वेत परिवर्तन कहा जाता है। इसका w के स्तम्भ को इसी आइजेनवैल्यू के वर्गमूल से गुणा किया जाता है, अर्थात, आइजन्वेक्टर को वेरिएंस द्वारा बढ़ाया जाता है, जिन्हें पीसीए या फैक्टर विश्लेषण में 'लोडिंग' कहा जाता है।

सहप्रसरण

X^TX को ही डेटासमुच्चय X^T के अनुभवजन्य प्रतिरूप सहप्रसरण आव्युह के समानुपाती के रूप में पहचाना जा सकता है |^.

डेटासमुच्चय पर दो भिन्न -भिन्न प्रमुख अवयवों के मध्य प्रतिरूप सहप्रसरण Q द्वारा दिया गया है:

${\begin{aligned}Q(\mathrm {PC} _{(j)},\mathrm {PC} _{(k)})&\propto (\mathbf {X} \mathbf {w} _{(j)})^{\mathsf {T}}(\mathbf {X} \mathbf {w} _{(k)})\\&=\mathbf {w} _{(j)}^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {X} \mathbf {w} _{(k)}\\&=\mathbf {w} _{(j)}^{\mathsf {T}}\lambda _{(k)}\mathbf {w} _{(k)}\\&=\lambda _{(k)}\mathbf {w} _{(j)}^{\mathsf {T}}\mathbf {w} _{(k)}\end{aligned}}$

जहाँ w_(k) का आइजेनवैल्यू गुण है लाइन 2 से लाइन 3 पर जाने के लिए उपयोग किया गया है। चूँकि आइजन्वेक्टर w_(j) और w_(k) सममित आव्युह के आइजेनवैल्यू ​​​​के अनुरूप ओर्थोगोनल हैं (यदि आइजेनवैल्यू ​​भिन्न हैं), या ऑर्थोगोनलाइज़ किया जा सकता है (यदि सदिश समान दोहराया मान साझा करते हैं)। इसलिए अंतिम पंक्ति में गुणनफल शून्य है | यह डेटासमुच्चय पर विभिन्न प्रमुख अवयवों के मध्य कोई प्रतिरूप सहप्रसरण नहीं है।

प्रमुख अवयवों के परिवर्तन को चिह्नित करने का और विधि है, इसलिए समन्वय के परिवर्तन के रूप में जो अनुभवजन्य प्रतिरूप सहप्रसरण आव्युह को विकर्ण करता है।

आव्युह रूप में, मूल वेरिएबल के लिए अनुभवजन्य सहप्रसरण आव्युह लिखा जा सकता है

$\mathbf {Q} \propto \mathbf {X} ^{\mathsf {T}}\mathbf {X} =\mathbf {W} \mathbf {\Lambda } \mathbf {W} ^{\mathsf {T}}$

प्रमुख अवयवों के मध्य अनुभवजन्य सहप्रसरण आव्युह बन जाता है

$\mathbf {W} ^{\mathsf {T}}\mathbf {Q} \mathbf {W} \propto \mathbf {W} ^{\mathsf {T}}\mathbf {W} \,\mathbf {\Lambda } \,\mathbf {W} ^{\mathsf {T}}\mathbf {W} =\mathbf {\Lambda }$

जहां Λ आइजेनवैल्यू ​​λ_(k) का X^TX का विकर्ण आव्युह है। λ_(k) प्रत्येक अवयव k, अर्थात λ_(k) से जुड़े डेटासमुच्चय पर λ_(k) = Σ_i t_k²_(i) = Σ_i (x_(i) ⋅ w_(k))² वर्गों के योग के समान है

आयाम में कमी

परिवर्तन T = X W डेटा सदिश x_(i) को मानचित्र करता है p वेरिएबल्स के मूल स्थान से p वेरिएबल्स के नए स्थान पर जो डेटासमुच्चय पर असंबद्ध हैं। चूँकि , सभी प्रमुख अवयवों को रखने की जरूरत नहीं है। केवल पहले L आइजेन सदिश का उपयोग करके उत्पादित केवल पहले एल प्रमुख अवयवों को बनाए रखना, लघु परिवर्तन देता है

$\mathbf {T} _{L}=\mathbf {X} \mathbf {W} _{L}$

जहां आव्युह T_L अब n पंक्तियाँ हैं किन्तु केवल L स्तम्भ हैं। दूसरे शब्दों में, $t=W_{L}^{\mathsf {T}}x,x\in \mathbb {R} ^{p},t\in \mathbb {R} ^{L},$ पीसीए रेखीय परिवर्तन सीखता है जहां p × L के स्तम्भ आव्यूह $W_{L}$ L सुविधाओं (प्रतिनिधित्व t के अवयव ) के लिए ऑर्थोगोनल आधार बनाते हैं जो अलंकृत हैं। यह निर्माण द्वारा, केवल L स्तम्भ के साथ सभी रूपांतरित डेटा मैट्रिसेस में, यह स्कोर आव्युह मूल डेटा में भिन्नता को अधिकतम करता है जिसे संरक्षित किया गया है, जबकि कुल स्क्वायर्ड पुनर्निर्माण $\|\mathbf {T} \mathbf {W} ^{T}-\mathbf {T} _{L}\mathbf {W} _{L}^{T}\|_{2}^{2}$ या $\|\mathbf {X} -\mathbf {X} _{L}\|_{2}^{2}$ त्रुटि को कम करता है।

354 व्यक्तियों से 37 वाई-क्रोमोसोमल एसटीआर मार्करों के लिए रिपीट-काउंट वैल्यू से गणना की गई y-एसटीआर हैप्लोटाइप का प्रमुख अवयव विश्लेषण स्कैटरप्लॉट। व्यक्तियों का वाई-क्रोमोसोमल आनुवंशिक वंश।

इस तरह की आयामी कमी उच्च-आयामी डेटासमुच्चय को देखने और संसाधित करने के लिए बहुत ही उपयोगी निर्णय हो सकता है, जबकि अभी भी डेटासमुच्चय में जितना संभव हो उतना भिन्नता बनाए रखना हैं। उदाहरण के लिए, L = 2 का चयन करना और केवल पहले दो प्रमुख अवयवों को रखना उच्च-आयामी डेटासमुच्चय के माध्यम से द्वि-आयामी प्लेन को ढूंढता है जिसमें डेटा का सबसे अधिक विस्तार हुआ है, इसलिए यदि डेटा में क्लस्टर विश्लेषण सम्मिलित है तब यह भी सबसे अधिक फैले हुए हो सकते हैं, और इसलिए द्वि-आयामी आरेख में प्लॉट किए जाने के लिए सबसे अधिक दिखाई देता है; जबकि यदि डेटा के माध्यम से दो दिशाओं (या दो मूल वेरिएबल ) को यादृच्छिक रूप से चुना जाता है, तब क्लस्टर दूसरे से बहुत कम फैल सकते हैं, और वास्तव में दूसरे को अधिक सीमा तक ओवरले करने की संभावना हो सकती है, जिससे वह अप्रभेद्य हो सकते हैं।

इसी तरह, प्रतिगमन विश्लेषण में, व्याख्यात्मक वेरिएबल की संख्या जितनी अधिक होगी, मॉडल को ओवरफिट करने की संभावना उतनी ही अधिक होगी, जो अन्य डेटासमुच्चय के सामान्यीकरण में विफल होने वाले निष्कर्ष का उत्पादन करेगा। दृष्टिकोण, विशेष रूप से जब विभिन्न संभावित व्याख्यात्मक वेरिएबल के मध्य शक्तिशाली सहसंबंध होते हैं, तब उन्हें कुछ प्रमुख अवयवों में कम करना और पुनः उनके विरुद्ध प्रतिगमन चलाना है, इस विधि को प्रमुख अवयव प्रतिगमन कहा जाता है।

जब किसी डेटासमुच्चय में वेरिएबल्स ध्वनि वाले हों, तब डायमेंशनलिटी रिडक्शन भी उपयुक्त हो सकता है। यदि डेटासमुच्चय के प्रत्येक स्तम्भ में स्वतंत्र समान रूप से वितरित गॉसियन ध्वनि होता है, तब 't' के स्तम्भ में समान रूप से वितरित गॉसियन ध्वनि भी सम्मिलित होगा (ऐसा वितरण आव्युह 'w' के प्रभाव के अनुसार अपरिवर्तनीय है, जिसे इस रूप में सोचा जा सकता है समन्वय अक्षों का उच्च-आयामी घुमाव) हैं। चूँकि, समान ध्वनि भिन्नता की तुलना में पहले कुछ मुख्य अवयवों में केंद्रित कुल भिन्नता के साथ, ध्वनि का आनुपातिक प्रभाव कम होता है | पहले कुछ अवयव उच्च सिग्नल-टू-ध्वनि अनुपात प्राप्त करते हैं। इस प्रकार पीसीए के समीप पहले कुछ प्रमुख अवयवों में सिग्नल को अधिक केंद्रित करने का प्रभाव हो सकता है, जो उपयोगी रूप से आयामीता में कमी द्वारा अधिकृत कर लिया जा सकता है; जबकि पश्चात के प्रमुख अवयवों पर ध्वनि प्रभावी हो सकता है, और इसलिए बिना किसी बड़े हानि से निपटारा किया जा सकता है। यदि डेटासमुच्चय अधिक बड़ा नहीं है, तब बूटस्ट्रैपिंग (सांख्यिकी) या पैरामेट्रिक बूटस्ट्रैप का उपयोग करके प्रमुख अवयवों के महत्व का परीक्षण किया जा सकता है, यह निर्धारित करने में सहायता के रूप में कि कितने प्रमुख अवयवों को बनाए रखना है।

एकवचन मान अपघटन

Main article: विलक्षण मान अपघटन

प्रमुख अवयवों के परिवर्तन को अन्य आव्युह गुणनखंडन के साथ भी जोड़ा जा सकता है, यह X का एकवचन मान अपघटन (एसवीडी) हैं,

$\mathbf {X} =\mathbf {U} \mathbf {\Sigma } \mathbf {W} ^{T}$

यहाँ Σ n-दर-p धनात्मक संख्याओं का विकर्ण आव्युह σ_(k) है, यह X के विलक्षण मान U कहलाते हैं | यह n-दर-n आव्युह है, जिसके स्तम्भ लंबाई n के ऑर्थोगोनल यूनिट सदिश हैं जिन्हें X का बायां एकवचन W सदिश कहा जाता है | और p-दर-p आव्युह है जिसके स्तम्भ लंबाई p केऑर्थोगोनल यूनिट सदिश हैं और X के सही एकवचन सदिश कहलाते हैं।

इस गुणनखंड के संदर्भ में, आव्युह X^TX लिखा जा सकता है

${\begin{aligned}\mathbf {X} ^{T}\mathbf {X} &=\mathbf {W} \mathbf {\Sigma } ^{\mathsf {T}}\mathbf {U} ^{\mathsf {T}}\mathbf {U} \mathbf {\Sigma } \mathbf {W} ^{\mathsf {T}}\\&=\mathbf {W} \mathbf {\Sigma } ^{\mathsf {T}}\mathbf {\Sigma } \mathbf {W} ^{\mathsf {T}}\\&=\mathbf {W} \mathbf {\hat {\Sigma }} ^{2}\mathbf {W} ^{\mathsf {T}}\end{aligned}}$

जहाँ $\mathbf {\hat {\Sigma }}$X के एकवचन मानों के साथ वर्ग विकर्ण आव्युह है और अतिरिक्त शून्य काट दिया गया है जो $\mathbf {{\hat {\Sigma }}^{2}} =\mathbf {\Sigma } ^{\mathsf {T}}\mathbf {\Sigma }$. को संतुष्ट करता है | यह X^TX के आइजन्वेक्टर गुणनखंडन के साथ तुलना स्थापित करता है कि X का सही एकवचन सदिश W, X^TX के आइजन्वेक्टर के समतुल्य है, जबकि $\mathbf {X}$ एकवचन मान σ_(k) का आइजेनवैल्यू ​​λ_(k) के X^TX का वर्गमूल के समान हैं ।

एकवचन मान अपघटन का उपयोग करके स्कोर आव्युह T लिखा जा सकता है

${\begin{aligned}\mathbf {T} &=\mathbf {X} \mathbf {W} \\&=\mathbf {U} \mathbf {\Sigma } \mathbf {W} ^{\mathsf {T}}\mathbf {W} \\&=\mathbf {U} \mathbf {\Sigma } \end{aligned}}$

इसलिए T का प्रत्येक स्तंभ X के बाएँ एकवचन सदिशों में से द्वारा संबंधित एकवचन मान से गुणा किया जाता है। यह रूप T का ध्रुवीय अपघटन भी है।

आव्युह X^TX बनाने के बिना X के एसवीडी की गणना करने के लिए कुशल एल्गोरिदम उपस्तिथ हैं, इसलिए एसवीडी की गणना करना अब डेटा आव्युह से प्रमुख अवयव विश्लेषण की गणना करने का मानक विधि है, जब तक कि केवल कुछ ही अवयवों की आवश्यकता नहीं होती है।

आइजन-अपघटन के साथ, लघु n × L स्कोर आव्युह T_L केवल पहले L सबसे बड़े एकवचन मान और उनके एकवचन सदिशों पर विचार करके प्राप्त किया जा सकता है:

$\mathbf {T} _{L}=\mathbf {U} _{L}\mathbf {\Sigma } _{L}=\mathbf {X} \mathbf {W} _{L}$

इस तरह से काटे गए एकवचन मान अपघटन का उपयोग करके आव्युह M या T का कटाव लघु सा आव्युह उत्पन्न करता है जो मूल आव्युह के रैंक (रैखिक बीजगणित) L का निकटतम संभव आव्युह है, और इन दोनों के मध्य के अंतर के अर्थ में दो में सबसे लघु संभव फ्रोबेनियस मानदंड है, इसका परिणाम जिसे एकार्ट-यंग प्रमेय [1936] के रूप में जाना जाता है।

आगे के विचार

एकवचन मान (Σ में) आव्युह X^TX के आइजेनवैल्यू के वर्गमूल हैं। प्रत्येक आइजेनवैल्यू विचरण के भाग के लिए आनुपातिक है (उनके बहुआयामी माध्य से बिंदुओं की स्क्वायर्ड दूरी के योग का अधिक सही रूप से) जो प्रत्येक आइजन्वेक्टर के साथ जुड़ा हुआ है। सभी आइजेनवैल्यू ​​​​का योग उनके बहुआयामी माध्य से बिंदुओं की वर्ग दूरी के योग के समान है। पीसीए अनिवार्य रूप से प्रमुख अवयवों के साथ संरेखित करने के लिए उनके माध्य के चारों ओर बिंदुओं के समुच्चय को घुमाता है। यह पहले कुछ आयामों में जितना संभव हो उतना ही भिन्नता (ऑर्थोगोनल परिवर्तन का उपयोग करके) की ओर ले जाता है। इसलिए, शेष आयामों में मान लघु होते हैं और सूचना के न्यूनतम हानि के साथ गिराए जा सकते हैं (सिद्धांत अवयव विश्लेषण या पीसीए और सूचना सिद्धांत देखें)। पीसीए का उपयोग अधिकतर इस तरह से आयाम में कमी के लिए किया जाता है। पीसीए को उप-स्थान रखने के लिए अधिकतम ऑर्थोगोनल परिवर्तन होने का गौरव प्राप्त है जिसमें सबसे बड़ा भिन्नता है (जैसा कि ऊपर परिभाषित किया गया है)। चूँकि, यह लाभ अधिक कम्प्यूटेशनल आवश्यकताओं की मान पर आता है, उदाहरण के लिए, और जब प्रयुक्त हो, तब असतत कोसाइन परिवर्तन के लिए, और विशेष रूप से डीसीटी-II के लिए होता हैं जिसे केवल डीसीटी के रूप में जाना जाता है। पीसीए की तुलना में अरैखिक आयामीता में कमी तकनीक की कम्प्यूटेशनल रूप से अधिक मांग होती है।

पीसीए वेरिएबल के स्केलिंग के प्रति संवेदनशील है। यदि हमारे समीप केवल दो वेरिएबल हैं और उनके समीप इसका ही प्रतिरूप भिन्न है और वह पूरी तरह से सहसंबंधित हैं, तब पीसीए 45 डिग्री से घूर्णन करेगा और मुख्य अवयव के संबंध में दो वेरिएबल के लिए वजन (वे घूर्णन के कोसाइन हैं) समान होता हैं। किन्तु यदि हम पहले वेरिएबल के सभी मानों को 100 से गुणा करते हैं, तब पहला प्रमुख अवयव लगभग उसी वेरिएबल के समान होगा, और दूसरे वेरिएबल से लघु से योगदान के साथ होता है , जबकि दूसरा अवयव दूसरे मूल वेरिएबल के साथ लगभग संरेखित होता हैं। इसका कारण यह है कि जब भी भिन्न -भिन्न वेरिएबल की भिन्न -भिन्न इकाइयाँ (जैसे तापमान और द्रव्यमान) होती हैं, तब पीसीए विश्लेषण का कुछ सीमा तक इच्छानुसार विधि होती है। (उदाहरण के लिए सेल्सियस के अतिरिक्त फ़ारेनहाइट का उपयोग करने पर भिन्न -भिन्न परिणाम प्राप्त होंगे।) पियर्सन का मूल पेपर ऑन लाइन्स एंड प्लेन ऑफ़ क्लोजेस्ट फ़िट टू सिस्टम्स ऑफ़ पॉइंट्स इन स्पेस - इन स्पेस का तात्पर्य भौतिक यूक्लिडियन स्पेस से है जहाँ ऐसी चिंताएँ उत्पन्न नहीं होती हैं। पीसीए को कम इच्छानुसार बनाने की विधि यह है कि डेटा को मानकीकृत करके, इकाई विचरण के रूप में स्केल किए गए वेरिएबल का उपयोग किया जाए और इसलिए पीसीए के आधार के रूप में ऑटोकोवरिएंस आव्युह के अतिरिक्त ऑटोकोरिलेशन आव्युह का उपयोग किया जाता हैं। चूँकि, यह सिग्नल स्पेस के सभी आयामों में इकाई विचरण के उतार-चढ़ाव को संकुचित (या विस्तारित) करता है।

मौलिक पीसीए प्रदर्शन करने के लिए मीन घटाव (में मीन सेंटरिंग) आवश्यक है जिससे यह सुनिश्चित किया जा सके कि पहला प्रमुख अवयव अधिकतम विचरण की दिशा का वर्णन करता है। यदि औसत घटाव नहीं किया जाता है, तब पहला प्रमुख अवयव इसके अतिरिक्त डेटा के माध्य से अधिक या कम हो सकता है। आधार खोजने के लिए शून्य का कारण आवश्यक है जो डेटा के अनुमान के न्यूनतम औसत वर्ग त्रुटि को कम करता है।

सहसंबंध आव्युह पर प्रमुख अवयव विश्लेषण करते समय माध्य-केंद्रित अनावश्यक है, क्योंकि सहसंबंधों की गणना के पश्चात डेटा पहले से ही केंद्रित है। सहसंबंध दो मानक स्कोर (जेड-स्कोर) या सांख्यिकीय क्षणों के क्रॉस-उत्पाद से प्राप्त होते हैं (इसलिए नाम: पियर्सन प्रोडक्ट-मोमेंट सहसंबंध)। इसके अतिरिक्त क्रॉम्रे एंड फोस्टर-जॉनसन (1998) का लेख मॉडरेट रिग्रेशन में मीन-सेंटरिंग: मच अडो अबाउट नथिंग पर देख सकते हैं। चूँकि सहप्रसरण आव्युह या सहसंबंध आव्युह से संबंध (मानक स्कोर या गणना हैं | यह (Z- या मानक-स्कोर) 'X' के सहसंबंध आव्युह पर आधारित पीसीए 'Z' के सहप्रसरण आव्युह पर आधारित पीसीए के लिए समानता (गणित) है। तथा 'X' का मानकीकृत संस्करण होता है।

पीसीए पैटर्न पहचान में लोकप्रिय प्राथमिक तकनीक है। चूँकि, यह वर्ग पृथक्करण के लिए अनुकूलित नहीं है। चूँकि, इसका उपयोग मुख्य अवयव स्थान में प्रत्येक वर्ग के लिए द्रव्यमान के केंद्र की गणना करके और दो या दो से अधिक वर्गों के द्रव्यमान के केंद्र के मध्य यूक्लिडियन दूरी की रिपोर्ट करके दो या दो से अधिक वर्गों के मध्य की दूरी को मापने के लिए किया गया है। यह रैखिक विभेदक विश्लेषण विकल्प है जो वर्ग पृथक्करण के लिए अनुकूलित है।

प्रतीकों और संक्षेपों की तालिका

प्रतीक	अर्थ	डाइमेंशन्स	इंडिसेस
$\mathbf {X} =[X_{ij}]$	डेटा आव्युह, जिसमें प्रति पंक्ति सदिश सभी डेटा सदिश का समुच्चय सम्मिलित है,	$n\times p$	$i=1\ldots n$ $j=1\ldots p$
$n$	डेटा समुच्चय में पंक्ति सदिश की संख्या	$1\times 1$	अदिश
$p$	प्रत्येक पंक्ति सदिश में अवयवों की संख्या (डाइमेंशन्स)	$1\times 1$	अदिश
$L$	आयामी रूप से कम किए गए उपस्थान में आयामों की संख्या, $1\leq L\leq p$	$1\times 1$	अदिश
$\mathbf {u} =[u_{j}]$	अनुभवजन्य साधनों का सदिश , डेटा आव्युह के प्रत्येक स्तम्भ j के लिए माध्य है	$p\times 1$	$j=1\ldots p$
$\mathbf {s} =[s_{j}]$	अनुभवजन्य मानक विचलन के सदिश , डेटा आव्युह के प्रत्येक स्तम्भ j के लिए मानक विचलन	$p\times 1$	$j=1\ldots p$
$\mathbf {h} =[h_{i}]$	सभी 1 का सदिश	$1\times n$	$i=1\ldots n$
$\mathbf {B} =[B_{ij}]$	विचलन डेटा आव्युह के प्रत्येक स्तम्भ j के माध्य से	$n\times p$	$i=1\ldots n$ $j=1\ldots p$
$\mathbf {Z} =[Z_{ij}]$	z-स्कोर, डेटा आव्युह की प्रत्येक पंक्ति m के लिए माध्य और मानक विचलन का उपयोग करके गणना की जाती है	$n\times p$	$i=1\ldots n$ $j=1\ldots p$
$\mathbf {C} =[C_{jj'}]$	सहप्रसरण आव्यूह	$p\times p$	$j=1\ldots p$ $j'=1\ldots p$
$\mathbf {R} =[R_{jj'}]$	सहसम्बंध आव्यूह	$p\times p$	$j=1\ldots p$ $j'=1\ldots p$
$\mathbf {V} =[V_{jj'}]$	आव्युह जिसमें प्रति स्तम्भ आइजनवेक्टर C के सभी आइजनवेक्टर का समुच्चय सम्मिलित है,	$p\times p$	$j=1\ldots p$ $j'=1\ldots p$
$\mathbf {D} =[D_{jj'}]$	विकर्ण आव्युह सभी के समुच्चय से मिलकर आइजेनवैल्यू को इसके साथ C का मुख्य विकर्ण, और अन्य सभी अवयवों के लिए 0 (ध्यान दें 𝛬 ऊपर प्रयुक्त)	$p\times p$	$j=1\ldots p$ $j'=1\ldots p$
$\mathbf {W} =[W_{jl}]$	आधार सदिश का आव्युह , प्रति स्तम्भ सदिश है , जहां प्रत्येक आधार सदिश C के आईजनवेक्टर में से है, और जहां W में सदिश V में उन व्यकित का उप-समुच्चय है	$p\times L$	$j=1\ldots p$ $l=1\ldots L$
$\mathbf {T} =[T_{il}]$	आव्युह जिसमें एन पंक्ति सदिश सम्मिलित हैं, जहां प्रत्येक सदिश आव्युह X से संबंधित डेटा सदिश का आव्युह W के स्तम्भ में निहित आधार सदिश पर प्रक्षेपण है।	$n\times L$	$i=1\ldots n$ $l=1\ldots L$

पीसीए के गुण और सीमाएं

गुण

पीसीए के कुछ गुणों में सम्मिलित हैं

गुण 1: किसी भी पूर्णांक q के लिए, 1 ≤ q ≤ p, ओर्थोगोनल रैखिक परिवर्तन पर विचार करें

$y=\mathbf {B'} x$

जहाँ $y$ q-अवयव सदिश है और $\mathbf {B'}$ (q × p) आव्युह है, और मान लीजिये कि $\mathbf {\Sigma } _{y}=\mathbf {B'} \mathbf {\Sigma } \mathbf {B}$ $y$ के लिए विचरण -सहप्रसरण आव्युह होते है पुनः $\mathbf {\Sigma } _{y}$ का संकेत, निरूपित $\operatorname {tr} (\mathbf {\Sigma } _{y})$, $\mathbf {B} =\mathbf {A} _{q}$ लेने से अधिकतम होता है , जहाँ $\mathbf {A} _{q}$ के पहले q स्तम्भ सम्मिलित होते हैं | यह $\mathbf {A}$ $\mathbf {B'}$ $\mathbf {B}$ का स्थानान्तरण होता है |

गुण 2: ओर्थोनॉर्मल परिवर्तन पर पुनः से विचार करें

$y=\mathbf {B'} x$

इसके साथ $x,\mathbf {B} ,\mathbf {A}$ और $\mathbf {\Sigma } _{y}$ पहले की तरह परिभाषित करता है। तब $\operatorname {tr} (\mathbf {\Sigma } _{y})$ $\mathbf {B} =\mathbf {A} _{q}^{*},$ लेने से कम किया जाता है जहाँ $\mathbf {A} _{q}^{*}$ के अंतिम q स्तम्भ से मिलकर $\mathbf {A}$ बनता है |

इस संपत्ति का सांख्यिकीय निहितार्थ यह है कि पिछले कुछ पीसी महत्वपूर्ण पीसी को हटाने के पश्चात केवल असंरचित बचे हुए भाग नहीं हैं। क्योंकि इन अंतिम पीसी में जितना संभव हो उतना लघु प्रसरण होता है, इसलिए यह अपने आप में उपयोगी होते हैं। वह x के अवयवों के मध्य बिना सोचे-समझे निकट-स्थिर रैखिक संबंधों का पता लगाने में सहायता कर सकते हैं , और वह प्रतिगमन विश्लेषण में भी उपयोगी हो सकते हैं, वेरिएबल x के उपसमुच्चय का चयन करने में , और आउटलाइयर डिटेक्शन में उपयोग किया जाता है |

गुण 3: (Σ का वर्णक्रमीय अपघटन )

$\mathbf {\Sigma } =\lambda _{1}\alpha _{1}\alpha _{1}'+\cdots +\lambda _{p}\alpha _{p}\alpha _{p}'$

इसके उपयोग को देखने से पहले, हम पहले विकर्ण अवयवों को देखते हैं,

$\operatorname {Var} (x_{j})=\sum _{k=1}^{P}\lambda _{k}\alpha _{kj}^{2}$

पुनः संभवतः परिणाम का मुख्य सांख्यिकीय निहितार्थ यह है कि न केवल हम सभी x अवयवों के संयुक्त भिन्नताओं को विघटित कर सकते हैं किंतु प्रत्येक पीसी के कारण घटते योगदान में, हम संपूर्ण सहसंयोजक आव्युह को योगदान $\lambda _{k}\alpha _{k}\alpha _{k}'$ में विघटित भी कर सकते हैं प्रत्येक पीसी से चूँकि कठोरता से कम नहीं हो रहा है, जैसे-जैसे $k$ बढ़ता है $\lambda _{k}\alpha _{k}\alpha _{k}'$ के अवयव तब रूप में लघु हो जाएगा, क्योंकि $k$ बढ़ने के लिए $\lambda _{k}\alpha _{k}\alpha _{k}'$ गैर-बढ़ रहा है , जबकि $\alpha _{k}$के अवयव के कारण समान आकार के रहने की प्रवृत्ति रखते हैं | यह सामान्यीकरण बाधाओं $\alpha _{k}'\alpha _{k}=1,k=1,\dots ,p$.होती है |

सीमाएं

जैसा कि ऊपर उल्लेख किया गया है, पीसीए के परिणाम वेरिएबल के स्केलिंग पर निर्भर करते हैं। प्रत्येक विशेषता को उसके मानक विचलन द्वारा स्केल करके इसे सही किया जा सकता है, जिससे इकाई विचरण के साथ आयामहीन सुविधाओं के साथ समाप्त हो जाता हैं।

ऊपर वर्णित पीसीए की प्रयोज्यता कुछ निश्चित (मौन) मान्यताओं द्वारा सीमित है | यह इसकी व्युत्पत्ति में बनाया गया हैं। विशेष रूप से, पीसीए सुविधाओं के मध्य रैखिक सहसंबंधों को पकड़ सकता है किन्तु जब इस धारणा का उल्लंघन होता है तब यह विफल हो जाता है इसके (संदर्भ में चित्र 6ए देखें)। कुछ स्तिथियों में, समन्वय परिवर्तन रैखिकता धारणा को पुनर्स्थापित कर सकते हैं और पीसीए को तब प्रयुक्त किया जा सकता है | इसके लिए (कर्नेल प्रमुख अवयव विश्लेषण देख) सकते हैं।

पीसीए के लिए सहप्रसरण आव्युह के निर्माण से पहले और सीमा औसत हटाने की प्रक्रिया है। खगोल विज्ञान जैसे क्षेत्रों में, सभी संकेत गैर-ऋणात्मक होते हैं, और माध्य-हटाने की प्रक्रिया कुछ खगोलीय विपत्ति के माध्य को शून्य होने के लिए बाध्य करेगी, जिसके परिणामस्वरूप अभौतिक ऋणात्मक प्रवाह उत्पन्न होता है, और संकेतों की सही परिमाण को पुनर्प्राप्त करने के लिए आगे की मॉडलिंग की जानी चाहिए। वैकल्पिक पद्धति के रूप में, गैर-ऋणात्मक आव्युह गुणनखंडन केवल मेट्रिसेस में गैर-ऋणात्मक अवयवों पर ध्यान केंद्रित करता है, जो खगोल भौतिकीय प्रेक्षणों के लिए अच्छी तरह से अनुकूल है। यह पीसीए और गैर-ऋणात्मक आव्युह गुणनखंडन के मध्य या गैर-ऋणात्मक आव्युह गुणनखंड संबंध है।

यदि एल्गोरिथम को प्रयुक्त करने से पहले डेटा को मानकीकृत नहीं किया गया है तब पीसीए हानि में है। पीसीए मूल डेटा को उस डेटा में परिवर्तित कर देता है जो उस डेटा के प्रमुख अवयवों के लिए प्रासंगिक होता है, जिसका अर्थ है कि नए डेटा वेरिएबल की उसी तरह से व्याख्या नहीं की जा सकती है जैसे मूल थे। वह मूल वेरिएबलों की रैखिक व्याख्याएँ हैं। इसके अतिरिक्त, यदि पीसीए सही से नहीं किया जाता है, तब सूचना के हानि की उच्च संभावना होती है।

पीसीए रैखिक मॉडल पर निर्भर करता है। यदि किसी डेटासमुच्चय के अंदर पैटर्न हिडन हुआ है जो कि अरैखिक है, तब पीसीए वास्तव में विश्लेषण को प्रगति की पूर्ण विपरीत दिशा में ले जा सकता है। कैनसस स्टेट यूनिवर्सिटी के शोधकर्ताओं ने पाया कि उनके प्रयोगों में प्रतिरूप त्रुटि ने पीसीए परिणामों के पूर्वाग्रह को प्रभावित किया जाता हैं। यदि विषयों या ब्लॉकों की संख्या 30 से कम है, और/या शोधकर्ता पीसी में पहले से और अधिक रुचि रखते हैं, तब पीसीए आयोजित करने से पहले सीरियल सहसंबंध के लिए पहले सही करना उत्तम हो सकता है। कैनसस स्टेट के शोधकर्ताओं ने यह भी पाया कि यदि डेटा की स्वतःसंबंध संरचना को सही रूप से नियंत्रित नहीं किया जाता है तब पीसीए गंभीर रूप से अनुयायी हो सकता है।

पीसीए और सूचना सिद्धांत

आयामीता में कमी के परिणामस्वरूप सामान्यतः सूचना की हानि होता है। पीसीए-आधारित डायमेंशनलिटी रिडक्शन कुछ सिग्नल और ध्वनि मॉडल के अनुसार उस सूचना हानि को कम करता है।

इस धारणा के अनुसार

$\mathbf {x} =\mathbf {s} +\mathbf {n} ,$

वह डेटा सदिश $\mathbf {x}$ वांछित सूचना-वाहक संकेत का योग $\mathbf {s}$ है और ध्वनि संकेत $\mathbf {n}$ कोई दिखा सकता है कि सूचना-सैद्धांतिक दृष्टिकोण से पीसीए आयामीता में कमी के लिए अधिकतम हो सकता है।

विशेष रूप से, लिंस्कर ने दिखाया कि यदि $\mathbf {s}$ गाऊसी है और $\mathbf {n}$ पहचान आव्युह के आनुपातिक आव्युह के साथ गॉसियन ध्वनि है, पीसीए आपसी सूचना $I(\mathbf {y} ;\mathbf {s} )$ को अधिकतम करता है और वांछित सूचना $\mathbf {s}$ और आयामीता-कम उत्पादन $\mathbf {y} =\mathbf {W} _{L}^{T}\mathbf {x}$ के मध्य उपयोग किया जाता है |

यदि ध्वनि अभी भी गाऊसी है और पहचान आव्युह के समानुपाती सहप्रसरण आव्युह है (अर्थात, सदिश के अवयव $\mathbf {n}$ iid हैं), किन्तु सूचना देने वाला संकेत $\mathbf {s}$ गैर-गाऊसी है (जो सामान्य परिदृश्य है), पीसीए कम से कम सूचना हानि पर ऊपरी सीमा को कम करता है, जिसे इस रूप में परिभाषित किया गया है |

$I(\mathbf {x} ;\mathbf {s} )-I(\mathbf {y} ;\mathbf {s} ).$

ध्वनि $\mathbf {n}$ होने पर पीसीए की अधिकतम भी संरक्षित है तथा सूचना देने वाले संकेत की तुलना में iid और कम से कम अधिक गाऊसी (कुल्बैक-लीब्लर विचलन के संदर्भ में) $\mathbf {s}$ है सामान्यतः, तदापि उपरोक्त सिग्नल मॉडल धारण करता है, जैसे ही ध्वनि होती है, पीसीए अपनी सूचना-सैद्धांतिक अधिकतम खो देता है। तथा $\mathbf {n}$ आश्रित हो जाता है।

सहप्रसरण विधि का उपयोग करके पीसीए की गणना करना

सहप्रसरण विधि का उपयोग करते हुए पीसीए का विस्तृत विवरण निम्नलिखित है (यह भी देखें यहां) सहसंबंध विधि के विपरीत हैं।

लक्ष्य आयाम p के दिए गए डेटा समुच्चय X को लघु आयाम L के वैकल्पिक डेटा समुच्चय Y में परिवर्तित करता है। समतुल्य रूप से, हम आव्युह Y को खोजने का प्रयास कर रहे हैं, जहां Y करहुनेन-लोएव प्रमेय आव्युह X का करहुनेन-लोव ट्रांसफ़ॉर्म (केएलटी) है |

$\mathbf {Y} =\mathbb {KLT} \{\mathbf {X} \}$

डेटा समुच्चय व्यवस्थित करें

मान लीजिए कि आपके समीप p वेरिएबलों के प्रेक्षणों के समुच्चय से युक्त डेटा है, और आप डेटा को कम करना चाहते हैं जिससे प्रत्येक प्रेक्षण को केवल L वेरिएबल , L <p के साथ वर्णित किया जा सकता हैं। आगे मान लीजिए कि डेटा को n डेटा सदिश के समुच्चय $\mathbf {x} _{1}\ldots \mathbf {x} _{n}$ के रूप में व्यवस्थित किया जाता है प्रत्येक p के साथ $\mathbf {x} _{i}$ वेरिएबल्स के एकल समूहीकृत अवलोकन का प्रतिनिधित्व करना हैं।

• प्रत्येक p अवयवों के साथ $\mathbf {x} _{1}\ldots \mathbf {x} _{n}$ पंक्ति सदिश के रूप में, लिखना ।
• पंक्ति सदिशों को आयाम n × p के एकल आव्यूह 'X' में रखें।

अनुभवजन्य माध्य की गणना करें

• प्रत्येक स्तम्भ j = 1, ..., p के साथ अनुभवजन्य माध्य खोजें।
• परिकलित माध्य मानों को आयाम p × 1 के अनुभवजन्य माध्य सदिश 'u' में रखें।

  $u_{j}={\frac {1}{n}}\sum _{i=1}^{n}X_{ij}$

माध्य से विचलन की गणना करें

औसत घटाव प्रमुख अवयव आधार खोजने की दिशा में समाधान का अभिन्न अंग है जो डेटा का अनुमान लगाने की औसत वर्ग त्रुटि को कम करता है। इसलिए हम निम्नानुसार डेटा को केंद्रित करके आगे बढ़ते हैं

• अनुभवजन्य माध्य सदिश घटाएं $\mathbf {u} ^{T}$ डेटा आव्युह X की प्रत्येक पंक्ति से हैं।
• माध्य-घटाए गए डेटा को n × p आव्युह B में संग्रहीत करें।

  $\mathbf {B} =\mathbf {X} -\mathbf {h} \mathbf {u} ^{T}$

  जहाँ h है n × 1 सभी 1 का स्तम्भ सदिश :

  $h_{i}=1\,\qquad \qquad {\text{for }}i=1,\ldots ,n$

कुछ अनुप्रयोगों में, प्रत्येक वेरिएबल (B का स्तम्भ ) को 1 के समान भिन्नता के लिए स्केल किया जा सकता है (जेड-स्कोर देखें)। यह निर्णय परिकलित प्रमुख अवयवों को प्रभावित करता है, किन्तु उन्हें विभिन्न वेरिएबलों को मापने के लिए उपयोग की जाने वाली इकाइयों से स्वतंत्र बनाता है।

सहप्रसरण आव्युह का पता लगाएं

• आव्युह 'B' से p × p अनुभवजन्य सहप्रसरण आव्युह 'C' खोजें:
  $$\mathbf {C} ={1 \over {n-1}}\mathbf {B} ^{*}\mathbf {B}$$
  जहाँ $*$ संयुग्मी स्थानांतरण संकारक है। यदि B में पूरी तरह से वास्तविक संख्याएं होती हैं, जो कि अनेक अनुप्रयोगों में होती है, तब संयुग्म स्थानान्तरण नियमित स्थानान्तरण के समान होता है।
• प्रयोग करने के पीछे तर्क n − 1 सहप्रसरण की गणना करने के लिए n के अतिरिक्त बेसेल का सुधार है।

सहप्रसरण आव्युह के आइजन्वेक्टर और आइजेनवैल्यू ​​​​का पता लगाएं

• आइजन्वेक्टर के आव्युह 'V' की गणना करें जो सहसंयोजक आव्युह 'C' को विकर्ण करता है:
  $$\mathbf {V} ^{-1}\mathbf {C} \mathbf {V} =\mathbf {D}$$
  जहाँ D, C के आइजेनवैल्यू ​का विकर्ण आव्युह है। इस चरण में सामान्यतः आव्युह के आइजेनडीकम्पोज़िशन के लिए कंप्यूटर-आधारित एल्गोरिथ्म का उपयोग सम्मिलित होता हैं। यह एल्गोरिदम अधिकांश आव्युह बीजगणित प्रणालियों के उप-अवयवों के रूप में सरलता से उपलब्ध हैं, जैसे एसएएस (सॉफ्टवेयर), आर (प्रोग्रामिंग भाषा), मैटलैब, गणित, साइपी, आईडीएल (प्रोग्रामिंग लैंग्वेज) (इंटरएक्टिव डेटा भाषा), या जीएनयू ऑक्टेव और साथ ही ओपनसीवी होता हैं।
• आव्युह D p × p विकर्ण आव्युह का रूप ले लेगा, जहाँ
  $$D_{k\ell }=\lambda _{k}\qquad {\text{for }}k=\ell$$
  सहप्रसरण आव्युह 'C' का jवां आइजेनवैल्यू है, और
  $$D_{k\ell }=0\qquad {\text{for }}k\neq \ell .$$
• आव्युह V, आयाम p × p का भी, p स्तम्भ सदिश , प्रत्येक लंबाई p, जो सहप्रसरण आव्युह के p आइजन्वेक्टर C का प्रतिनिधित्व करता है ।
• आइजेनवैल्यू ​​​​और आइजन्वेक्टर को क्रमबद्ध और युग्मित किया जाता है। और Jth आइजेनवैल्यू jth आइजन्वेक्टर से मेल खाता है।
• आव्युह V 'राइट' आइजन्वेक्टर के आव्युह को दर्शाता है ('लेफ्ट' आइजन्वेक्टर के विपरीत) हैं। सामान्यतः , दाएं आइजन्वेक्टर के आव्युह को बाएं आइजन्वेक्टर के आव्युह का नहीं होना चाहिए।

आइजन्वेक्टर और आइजेनवैल्यू को पुनर्व्यवस्थित करें

• आइजन्वेक्टर आव्युह V और आइजेनवैल्यू आव्युह D के स्तम्भ को घटते ​​आइजेनवैल्यू के क्रम में क्रमबद्ध करें।
• प्रत्येक आव्युह में स्तंभों के मध्य सही जोड़ियों को बनाए रखना सुनिश्चित करें।

प्रत्येक आइजन्वेक्टर के लिए संचयी ऊर्जा सामग्री की गणना करें

• आइजेनवैल्यू ​​​​स्रोत डेटा की ऊर्जा के वितरण का प्रतिनिधित्व करते हैं प्रत्येक आइजन्वेक्टर के मध्य , जहाँ आइजन्वेक्टर डेटा के लिए आधार (रैखिक बीजगणित) बनाते हैं। जेवें आइजन्वेक्टर के लिए संचयी ऊर्जा सामग्री जी 1 से जे तक सभी ईजेनवैल्यू में ऊर्जा सामग्री का योग है:

  $g_{j}=\sum _{k=1}^{j}D_{kk}\qquad {\text{for }}j=1,\dots ,p$

आधार सदिश के रूप में आइजन्वेक्टर के सबसमुच्चय का चयन करें

• 'V' के पहले L स्तम्भ को p × Lआव्युह 'w' के रूप में सहेजें:
  $$W_{kl}=V_{k\ell }\qquad {\text{for }}k=1,\dots ,p\qquad \ell =1,\dots ,L$$
  जहाँ
  $$1\leq L\leq p.$$
• 'L के लिए उपयुक्त मान चुनने में गाइड के रूप में सदिश g का उपयोग करें। लक्ष्य प्रतिशत के आधार पर g के यथोचित उच्च मान को प्राप्त करते हुए जितना संभव हो सके इसमें L के मान को चुनना है। उदाहरण के लिए, आप L चुन सकते हैं जिससे संचयी ऊर्जा g निश्चित सीमा से ऊपर हो, जैसे 90 प्रतिशत हैं। इस स्तिथियों में, 'L' का सबसे लघु मान चुनें जैसे कि
  $${\frac {g_{L}}{g_{p}}}\geq 0.9$$

डेटा को नए आधार पर प्रोजेक्ट करें

• अनुमानित डेटा बिंदु आव्युह की पंक्तियाँ हैं
  $$\mathbf {T} =\mathbf {B} \cdot \mathbf {W}$$

अर्थात का पहला स्तम्भ $\mathbf {T}$ पहले प्रमुख अवयव पर डेटा बिंदुओं का प्रक्षेपण है, दूसरा स्तंभ दूसरे प्रमुख अवयव पर प्रक्षेपण आदि है।

सहप्रसरण विधि का उपयोग करके पीसीए की व्युत्पत्ति

X को स्तम्भ सदिश के रूप में व्यक्त 'D'-आयामी यादृच्छिक सदिश होना चाहिए। व्यापकता के हानि के बिना, मान लें कि X का शून्य माध्य है।

हम खोजना चाहते हैं कि $(\ast )$ a d × d ऑर्थोनॉर्मल आधार p जिससे पीएक्स में विकर्ण सहप्रसरण आव्युह हो (अर्थात, पीएक्स यादृच्छिक सदिश है जिसके सभी भिन्न -भिन्न अवयव जोड़ीदार असंबद्ध हैं)।

इस प्रकार त्वरित गणना मानते हुए $P$ एकात्मक उपज थे

${\begin{aligned}\operatorname {cov} (PX)&=\operatorname {E} [PX~(PX)^{*}]\\&=\operatorname {E} [PX~X^{*}P^{*}]\\&=P\operatorname {E} [XX^{*}]P^{*}\\&=P\operatorname {cov} (X)P^{-1}\\\end{aligned}}$

इस तरह $(\ast )$ रखती है यदि और केवल यदि $\operatorname {cov} (X)$ $P$ द्वारा विकर्णीय थे .

यह बहुत रचनात्मक है, क्योंकि cov(X) गैर-ऋणात्मक निश्चित आव्युह होने की गारंटी है और इस प्रकार कुछ एकात्मक आव्युह द्वारा विकर्ण होने की गारंटी है।

सहप्रसरण-मुक्त संगणना

व्यावहारिक कार्यान्वयन में, विशेष रूप से उच्च आयामी डेटा (बड़े p), भोली सहप्रसरण विधि का उपयोग संभवतः ही कभी किया जाता है क्योंकि सहप्रसरण आव्युह को स्पष्ट रूप से निर्धारित करने की उच्च कम्प्यूटेशनल और मेमोरी निवेश के कारण यह कुशल नहीं है। सहप्रसरण-मुक्त दृष्टिकोण np² से बचा जाता है स्पष्ट रूप से सहप्रसरण आव्युह की गणना और संग्रहण के संचालन X^TX, इसके अतिरिक्त आव्युह -मुक्त विधियों में से इसका उपयोग करना हैं, उदाहरण के लिए, उत्पाद का मूल्यांकन करने वाले फलन के आधार पर X^T(X r) की मान पर 2np संचालन किया जाता है।

पुनरावृत्ति संगणना

पहले प्रमुख अवयव की कुशलता से गणना करने की विधि शून्य माध्य के साथ, इसके सहप्रसरण आव्युह की गणना किए बिना डेटा आव्युह के लिए निम्नलिखित छद्म कोड X में दिखाया गया है।

r = a random vector of length p
r = r / norm(r)
do c times:
      s = 0 (a vector of length p)
      for each row x in X
            s = s + (x ⋅ r) x
      λ = rTs // λ is the eigenvalue
      error = |λ ⋅ r − s|
      r = s / norm(s)
      exit if error < tolerance
return λ, r

यह शक्ति पुनरावृत्ति एल्गोरिथ्म केवल सदिश X^T(X r) की गणना करता है, और परिणाम r को वापस अंदर रखता है. आइजेनवैल्यू द्वारा r^T (X^TX) r अनुमानित है, जो इकाई सदिश r पर रेले X^TX भागफल है सहप्रसरण आव्युह के लिए . यदि सबसे बड़ा एकवचन मान अगले सबसे बड़े सदिश से अच्छी तरह से r भिन्न है यह X के पहले प्रमुख अवयव के समीप c हो जाता है पुनरावृत्तियों की संख्या के अंदर, जो p के सापेक्ष लघु है, कुल निवेश पर 2cnp. अधिक उन्नत आव्युह -मुक्त विधियों, जैसे लैंक्ज़ोस एल्गोरिथम या स्थानीय रूप से अधिकतम ब्लॉक प्रीकंडीशन्ड कंजुगेट ग्रेडिएंट (एलओबीपीसीजी) विधि का उपयोग करके प्रति पुनरावृत्ति की छोटी निवेश का त्याग किए बिना शक्ति पुनरावृत्ति अभिसरण को त्वरित किया जा सकता है।

इसके पश्चात के प्रमुख अवयवों की गणना करके अपस्फीति के माध्यम से या साथ ब्लॉक के रूप में की जा सकती है। पूर्व दृष्टिकोण में, पहले से ही गणना किए गए अनुमानित प्रमुख अवयवों में अशुद्धियाँ पश्चात में गणना किए गए प्रमुख अवयवों की स्पष्टता को जोड़ कर प्रभावित करती हैं, इस प्रकार हर नई संगणना के साथ त्रुटि बढ़ जाती है। ब्लॉक पावर पद्धति में पश्चात वाला दृष्टिकोण एकल-सदिश की जगह लेता है r और s ब्लॉक-सदिश , मैट्रिसेस के साथ R और S. का हर स्तंभ R प्रमुख प्रमुख अवयवों में से का अनुमान लगाता है, जबकि सभी स्तम्भ साथ पुनरावृत्त होते हैं। मुख्य गणना X^T(X R) उत्पाद का मूल्यांकन है कार्यान्वित, उदाहरण के लिए, एलओबीपीसीजी में, कुशल अवरोधन त्रुटियों के संचय को समाप्त करता है, उच्च-स्तरीय ब्लास आव्युह -आव्युह उत्पाद कार्यों का उपयोग करने की अनुमति देता है, और सामान्यतः एकल-सदिश एक-एक-एक तकनीक की तुलना में शीघ्रता से अभिसरण की ओर जाता है।

निपल्स विधि

गैर-रैखिक पुनरावृत्त आंशिक न्यूनतम वर्ग (निपल्स) प्रमुख अवयव या आंशिक कम वर्ग विश्लेषण में पहले कुछ अवयवों की गणना के लिए घटाव द्वारा आव्युह अपस्फीति के साथ मौलिक शक्ति पुनरावृत्ति का प्रकार है। बहुत उच्च-आयामी डेटासमुच्चय के लिए, जैसे कि *ओमिक्स विज्ञान (उदाहरण के लिए, जीनोमिक्स, चयापचय) में उत्पन्न डेटासमुच्चय के लिए सामान्यतः केवल पहले कुछ पीसी की गणना करना आवश्यक होता है। गैर-रैखिक पुनरावृत्त आंशिक न्यूनतम वर्ग (निपल्स) एल्गोरिथ्म प्रमुख स्कोर और लोडिंग 'T₁ और r₁^T' के पुनरावृत्त अनुमानों को अद्यतन करता है। शक्ति पुनरावृत्ति द्वारा प्रत्येक पुनरावृत्ति पर X द्वारा बाईं ओर और दाईं ओर गुणा किया जाता है, अर्थात, सहप्रसरण आव्युह की गणना उत्पाद X^T(X r) = ((X r)^TX)^T का मूल्यांकन करने वाले फलन के आधार पर, X^TX में पावर पुनरावृत्तियों के आव्युह-मुक्त कार्यान्वयन की तरह, टाला जाता है।

घटाव द्वारा आव्युह अपस्फीति बाहरी उत्पाद, T₁r₁^T X से घटाकर किया जाता है अवस्फीत अवशिष्ट आव्युह को छोड़ते हुए पश्चात के प्रमुख पीसी की गणना करने के लिए उपयोग किया जाता है। बड़े डेटा मेट्रिसेस, या मेट्रिसेस के लिए, जिनमें स्तम्भ कोलीनियरिटी का उच्च स्तर होता है, निपल्स पीसी की ऑर्थोगोनलिटी के हानि से ग्रस्त होता है, क्योंकि प्रत्येक पुनरावृत्ति और आव्युह अपस्फीति में घटाव द्वारा संचित मशीन स्पष्ट राउंड-ऑफ त्रुटियां होती हैं। ऑर्थोगोनलिटी के इस हानि को विलुप्त करने के लिए प्रत्येक पुनरावृत्ति चरण पर स्कोर और लोडिंग दोनों के लिए ग्राम-श्मिट री-ऑर्थोगोनलाइज़ेशन एल्गोरिदम प्रयुक्त किया जाता है। एकल-सदिश गुणन पर निपल्स निर्भरता उच्च-स्तरीय ब्लास का लाभ नहीं उठा सकती है और परिणामस्वरूप क्लस्टर अग्रणी विलक्षण मानों के लिए धीमी गति से अभिसरण होता है इन दोनों कमियों को अधिक परिष्कृत आव्युह -मुक्त ब्लॉक सॉल्वर में हल किया जाता है, जैसे कि स्थानीय रूप से अधिकतम ब्लॉक प्रीकंडिशनेड कंजुगेट ग्रेडिएंट ( एलओबीपीसीजी) विधि होती हैं।

ऑनलाइन/अनुक्रमिक अनुमान

ऑनलाइन या स्ट्रीमिंग स्थिति में बैच में संग्रहीत होने के अतिरिक्त अनेक भाग में डेटा आने के साथ, पीसीए प्रोजेक्शन का अनुमान लगाना उपयोगी होता है जिसे क्रमिक रूप से अपडेट किया जा सकता है। यह कुशलता से किया जा सकता है, किन्तु इसके लिए भिन्न -भिन्न एल्गोरिदम की आवश्यकता होती है।

पीसीए और गुणात्मक वेरिएबल

पीसीए में, यह सामान्य है कि हम गुणात्मक वेरिएबल को पूरक अवयवों के रूप में प्रस्तुत करना चाहते हैं। उदाहरण के लिए, पौधों पर अनेक मात्रात्मक वेरिएबलों को मापा गया है। इन पौधों के लिए, कुछ गुणात्मक वेरिएबल उपलब्ध हैं, उदाहरण के लिए, वह प्रजाति जिससे पौधे संबंधित हैं। यह डेटा मात्रात्मक वेरिएबल के लिए पीसीए के अधीन थे। परिणामों का विश्लेषण करते समय, प्रमुख अवयवों को गुणात्मक वेरिएबल प्रजातियों से जोड़ना स्वाभाविक है। इसके लिए निम्न परिणाम प्राप्त होते हैं।

• विभिन्न प्रजातियों की पहचान, तथ्यात्मक प्लेनों पर, उदाहरण के लिए, विभिन्न रंगों का उपयोग करना।
• प्रतिनिधित्व, ही प्रजाति से संबंधित पौधों के गुरुत्वाकर्षण के केंद्रों के तथ्यात्मक प्लेनों पर।
• गुरुत्वाकर्षण के प्रत्येक केंद्र और प्रत्येक अक्ष के लिए, गुरुत्व केंद्र और उत्पत्ति के मध्य के अंतर के महत्व का न्याय करने के लिए पी-मान।

इन परिणामों को गुणात्मक वेरिएबल को पूरक अवयव के रूप में प्रस्तुत करना कहा जाता है। यह प्रक्रिया हसन, ली और पेज 2009 और पेज 2013 में विस्तृत है।कुछ सॉफ्टवेयर इस विकल्प को स्वचालित विधियों से प्रस्तुत करते हैं। यह एसपीएडी की स्तिथि है, जो ऐतिहासिक रूप से, लुडोविक लेबार्ट के कार्य के पश्चात , फैक्टोमाइनर इस विकल्प और R पैकेज को प्रस्तावित करने वाले प्रथम व्यक्ति थे ।

अनुप्रयोग

बुद्धि

कारक विश्लेषण का सबसे पहला प्रयोग मानव बुद्धि के अवयवों का पता लगाने और मापने में था। यह माना जाता था कि बुद्धि में विभिन्न असंबद्ध अवयव होते हैं जैसे कि स्थानिक बुद्धि, मौखिक बुद्धि, आगमन, कटौती आदि और इन पर अंक विभिन्न परीक्षणों के परिणामों से कारक विश्लेषण द्वारा जोड़े जा सकते हैं, जिससे एकल सूचकांक दिया जा सके जिसे इंटेलिजेंस कोशिएंट (IQ) के रूप में जाना जाता है। ). अग्रणी सांख्यिकीय मनोवैज्ञानिक चार्ल्स स्पीयरमैन ने वास्तव में 1904 में अपने बुद्धि के दो-कारक सिद्धांत दिए हैं | बुद्धि के दो-कारक सिद्धांत के लिए कारक विश्लेषण विकसित किया, जिसमें साइकोमेट्रिक्स के विज्ञान के लिए औपचारिक तकनीक सम्मिलित थी। 1924 में लुई लियोन थर्स्टन ने मानसिक आयु की धारणा को विकसित करते हुए बुद्धि के 56 कारकों की खोजने का प्रयास था | मानक IQ परीक्षण आज इसी प्रारंभिक कार्य पर आधारित हैं।

आवासीय भेदभाव

1949 में, शेवकी और विलियम्स ने फैक्टोरियल इकोलॉजी का सिद्धांत प्रस्तुत किया, जो 1950 से 1970 के दशक तक आवासीय भेदभाव के अध्ययन पर प्रभावी था। यह शहर में निकटतम पहचानने योग्य थे यह विभिन्न विशेषताओं द्वारा दूसरे से भिन्न किए जा सकते थे जिन्हें कारक विश्लेषण द्वारा घटाकर तीन किया जा सकता था। इन्हें 'सामाजिक पद' (व्यावसायिक स्थिति का सूचकांक), 'वर्ग' या समूह का आकार, और 'जातीयता' के रूप में जाना जाता था; क्लस्टर विश्लेषण को तीन प्रमुख कारक वेरिएबल के मानों के अनुसार शहर को क्लस्टर या परिसर में विभाजित करने के लिए प्रयुक्त किया जा सकता है। शहरी भूगोल में फैक्टोरियल इकोलॉजी के आस पास व्यापक साहित्य विकसित हुआ, किन्तु 1980 के पश्चात पद्धतिगत रूप से प्राचीन होने और उत्तर आधुनिक भौगोलिक प्रतिमानों में कम जगह होने के कारण यह दृष्टिकोण फैशन से बाहर हो गया था।

कारक विश्लेषण की समस्याओं में से सदैव विभिन्न कृत्रिम कारकों के लिए ठोस नाम खोजना रहा है। 2000 में, फ्लड ने फैक्टोरियल इकोलॉजी दृष्टिकोण को पुनर्जीवित किया, यह दिखाने के लिए कि प्रमुख अवयव विश्लेषण ने कारक रोटेशन का सहारा लिए बिना वास्तव में सीधे सार्थक उत्तर दिए हैं। प्रमुख अवयव वास्तव में शहरों में व्यकित को साथ या भिन्न करने वाले 'बलों' के दोहरे वेरिएबल या छाया मान थे। पहला अवयव 'पहुंच' था, यात्रा की मांग और अंतरिक्ष की मांग के मध्य क्लासिक व्यापार-संवर्त , जिसके आससमीप मौलिक शहरी अर्थशास्त्र आधारित है। अगले दो अवयव 'हानि ' थे, जो समान स्थिति के व्यकित को भिन्न निकटतम (नियोजन द्वारा मध्यस्थता) में रखता है, और जातीयता, जहां समान जातीय पृष्ठभूमि के लोग सह-पता लगाने की प्रयास करते हैं।

उसी समय के बारे में, ऑस्ट्रेलियाई सांख्यिकी ब्यूरो ने प्रमुख वेरिएबल के समुच्चय के पहले प्रमुख अवयव को लेते हुए लाभ और हानि के भिन्न -भिन्न सूचकांकों को परिभाषित किया, जिन्हें महत्वपूर्ण माना गया था। यह सेइफ़ा इंडेक्स नियमित रूप से विभिन्न न्यायालयों के लिए प्रकाशित होते हैं, और स्थानिक विश्लेषण में अधिकतर उपयोग किए जाते हैं।

विकास सूचकांक

पीसीए इंडेक्स के विकास के लिए उपलब्ध एकमात्र औपचारिक विधि रहा है, जो अन्यथा हिट-या-मिस तदर्थ उपक्रम है।

नगर विकास सूचकांक पीसीए द्वारा 1996 में 254 वैश्विक शहरों के सर्वेक्षण में शहर के परिणामों के लगभग 200 संकेतकों से विकसित किया गया था। पहला प्रमुख अवयव पुनरावृत्त प्रतिगमन के अधीन था, मूल वेरिएबल को तब तक जोड़ा गया जब तक कि इसकी लगभग 90% भिन्नता की गणना नहीं की जस सकती हैं। इंडेक्स ने अंततः लगभग 15 संकेतकों का उपयोग किया किन्तु अनेक और वेरिएबलों का अच्छा भविष्यवक्ता था। इसका तुलनात्मक मान प्रत्येक शहर की स्थिति के व्यक्तिपरक मूल्यांकन के साथ बहुत अच्छी तरह से मेल खाता है। मूलभूत फ्रेम की वस्तुओं पर गुणांक अंतर्निहित सेवाएं प्रदान करने की औसत निवेश के लगभग आनुपातिक थे, यह सुझाव देते हुए कि सूचकांक वास्तव में शहर में प्रभावी भौतिक और सामाजिक निवेश का उपाय था।

संयुक्त राष्ट्र विकास कार्यक्रम से देश-स्तरीय मानव विकास सूचकांक (एचडीआई), जो 1990 से प्रकाशित हुआ है और विकास अध्ययनों में बहुत व्यापक रूप से उपयोग किया जाता है, यह समान संकेतकों पर बहुत समान गुणांक हैं, यह दृढ़ता से सुझाव देते हैं कि यह मूल रूप से पीसीए का उपयोग करके बनाया गया था।

जनसंख्या आनुवंशिकी

1978 में लुइगी लुका कवेली-स्फोर्ज़ा कैवली-स्फोर्ज़ा और अन्य ने क्षेत्रों में मानव जीन आवृत्तियों में भिन्नता पर डेटा को सारांशित करने के लिए प्रमुख अवयव विश्लेषण (पीसीए) के उपयोग उत्तरदायित्व उठाया हैं। अवयवों ने विशिष्ट पैटर्न दिखाए, जिनमें ग्रेडियेंट और साइनसॉइडल तरंगें सम्मिलित हैं। उन्होंने विशिष्ट प्राचीन प्रवासन घटनाओं के परिणामस्वरूप इन प्रतिमानों की व्याख्या की हैं।

तब से, पीसीए प्रदर्शन तंत्र के रूप में पीसीए का उपयोग करने वाले हजारों पेपरों के साथ जनसंख्या आनुवंशिकी में सर्वव्यापी रहा है। इसमें निकटता के अनुसार आनुवंशिकी अधिक सीमा तक भिन्न होती है, इसलिए पहले दो प्रमुख अवयव वास्तव में स्थानिक वितरण दिखाते हैं और इसका उपयोग विभिन्न जनसंख्या समूहों के सापेक्ष भौगोलिक स्थान को मानचित्र करने के लिए किया जा सकता है, जिससे ऐसे व्यक्तियों को दिखाया जा सकता है जो अपने मूल स्थानों से भटक गए हैं।

जेनेटिक्स में पीसीए तकनीकी रूप से विवादास्पद रहा है, जिसमें तकनीक असतत गैर-सामान्य वेरिएबल और अधिकतर बाइनरी एलील मार्करों पर की गई है। पीसीए में मानक त्रुटि के किसी भी उपाय की कमी भी अधिक सुसंगत उपयोग के लिए बाधा है। अगस्त 2022 में, आणविक जीवविज्ञानी ईरान जोड़ा गया ने 12 पीसीए अनुप्रयोगों का विश्लेषण करते हुए वैज्ञानिक रिपोर्ट में सैद्धांतिक पेपर प्रकाशित किया। उन्होंने यह निष्कर्ष निकाला कि इस विधि में परिवर्रतन करना सरल था, जो, उनके विचार में, 'त्रुटी, विरोधाभासी और व्यर्थ' परिणाम उत्पन्न करता था। विशेष रूप से, उन्होंने तर्क दिया, जनसंख्या आनुवंशिकी में प्राप्त परिणाम चेरी-पिकिंग और सर्कुलर तर्क द्वारा विशेषता थे।

मार्केट अनुसंधान और दृष्टिकोण के सूचकांक

मार्केट अनुसंधान पीसीए का व्यापक उपयोगकर्ता रहा है। इसका उपयोग उत्पादों के लिए क्लाइंट की संतुष्टि या ग्राहक निष्ठा स्कोर विकसित करने के लिए किया जाता है, और क्लस्टरिंग के साथ, मार्केट खंडों को विकसित करने के लिए विज्ञापन अभियानों के साथ लक्षित किया जा सकता है, उसी प्रकार जैसे फैक्टोरियल इकोलॉजी समान विशेषताओं वाले भौगोलिक क्षेत्रों का पता लगा सकते हैं।

पीसीए शीघ्रता से बड़ी मात्रा में डेटा को लघु, सरलता से पचने वाले वेरिएबल में परिवर्तित कर देता है जिसे अधिक शीघ्रता से और सरलता से विश्लेषण किया जा सकता है। किसी भी उपभोक्ता प्रश्नावली में, उपभोक्ता के दृष्टिकोण को जानने के लिए डिज़ाइन किए गए प्रश्नों की श्रृंखला होती है, और प्रमुख अवयव इन दृष्टिकोणों के अंतर्निहित अव्यक्त वेरिएबल की खोज करते हैं। उदाहरण के लिए, 2013 में ऑक्सफोर्ड इंटरनेट सर्वेक्षण ने 2000 व्यकित से उनके दृष्टिकोण और विश्वासों के बारे में पूछा, और इन विश्लेषकों से चार प्रमुख अवयव आयाम निकाले, जिन्हें उन्होंने 'एस्केप', 'सोशल नेटवर्किंग', 'दक्षता' और 'समस्या उत्पन्न करने' के रूप में पहचाना जाता हैं। .

2008 में जो फ्लड (नीति विश्लेषक) के अन्य उदाहरण ने ऑस्ट्रेलिया में 2697 समूहों के राष्ट्रीय सर्वेक्षण में 28 दृष्टिकोण प्रश्नों से आवास के प्रति व्यवहारिक सूचकांक निकाला जाता हैं। पहला प्रमुख अवयव संपत्ति और घर के स्वामित्व के प्रति सामान्य दृष्टिकोण का प्रतिनिधित्व करता है। अनुक्रमणिका, या इसके सन्निहित अभिवृत्ति प्रश्न, कार्यकाल पसंद के सामान्य रेखीय मॉडल में डाले जा सकते हैं। यह आय, वैवाहिक स्थिति या सामान्य प्रकार के अतिरिक्त अब तक निजी किराये का सबसे शक्तिशाली निर्धारक विधि सूचकांक था।

मात्रात्मक वित्त

See also: पोर्टफोलियो अनुकूलन

मात्रात्मक वित्त में, प्रमुख अवयव विश्लेषण सीधे ब्याज दर डेरिवेटिव पोर्टफोलियो के विपत्ति प्रबंधन पर प्रयुक्त किया जा सकता है। ट्रेडिंग मल्टीपल स्वैप (वित्त) जो सामान्यतः 30-500 अन्य मार्केट उद्धृत योग्य स्वैप उपकरणों का कार्य है, इसको सामान्यतः 3 या 4 प्रमुख अवयवों तक कम करने की मांग की जाती है, जो मैक्रो आधार पर ब्याज दरों के मार्ग का प्रतिनिधित्व करते हैं। फैक्टर लोडिंग (या मल्टीप्लायर) के रूप में प्रतिनिधित्व किए जाने वाले विपत्ति को परिवर्तित करना व्यक्तिगत 30–500 बकेट के विपत्ति को सामूहिक रूप से देखने के लिए उपलब्ध से विपरीत आकलन और समझ प्रदान करता है।

पीसीए को संग्रहण पर भी इसी तरह से प्रयुक्त किया गया है, विपत्ति वापसी अनुपात और विपत्ति -प्रतिफल स्पेक्ट्रम दोनों के लिए हैं। आवेदन पोर्टफोलियो विपत्ति को कम करना है, जहां संपत्ति आवंटन अंतर्निहित शेयरों के अतिरिक्त प्रमुख पोर्टफोलियो पर प्रयुक्त होता है। दूसरा, पोर्टफोलियो रिटर्न को बढ़ाने के लिए प्रमुख अवयवों का उपयोग स्टॉक चयन मानदंड के साथ ऊपर की क्षमता के साथ करना है।

तंत्रिका विज्ञान

प्रमुख अवयव विश्लेषण के प्रकार का उपयोग तंत्रिका विज्ञान में उत्तेजना के विशिष्ट गुणों की पहचान करने के लिए किया जाता है जो न्यूरॉन की क्रिया क्षमता उत्पन्न करने की संभावना को बढ़ाता है। इस तकनीक को स्पाइक-ट्रिगर सहप्रसरण स्पाइक-ट्रिगर सहप्रसरण विश्लेषण के रूप में जाना जाता है। विशिष्ट अनुप्रयोग में प्रयोगकर्ता सफेद ध्वनि प्रक्रिया को उत्तेजना के रूप में प्रस्तुत करता है (सामान्यतः यह तब परीक्षण विषय के लिए संवेदी इनपुट के रूप में, या विद्युत प्रवाह के रूप में सीधे न्यूरॉन में इंजेक्ट किया जाता है) और एक्शन पोटेंशिअल या स्पाइक्स की ट्रेन रिकॉर्ड करता है, जो परिणामस्वरूप न्यूरॉन उत्पादित होता है। । संभवतः, उत्तेजना की कुछ विशेषताएं न्यूरॉन को स्पाइक करने की अधिक संभावना बनाती हैं। इन सुविधाओं को निकालने के लिए, प्रयोगकर्ता स्पाइक-ट्रिगर किए गए आर्टिस्ट की भाग के सहप्रसरण आव्युह की गणना करता है, सभी उत्तेजनाओं का समुच्चय (सामान्यतः 100 एमएस के क्रम में परिमित समय खिड़की पर परिभाषित और विघटित) जो तुरंत स्पाइक से पहले होता है। स्पाइक-ट्रिगर सहप्रसरण आव्युह और पूर्व उत्तेजना पहनावा के सहप्रसरण आव्युह के मध्य अंतर के आइजन्वेक्टर और ईगेनवेल्यूज़ (सभी उत्तेजनाओं का समुच्चय , समान लंबाई समय विंडो पर परिभाषित) पुनः उत्तेजनाओं के सदिश स्थान में दिशाओं का संकेत देते हैं जिसके साथ स्पाइक-ट्रिगर पहनावा का विचरण पूर्व प्रोत्साहन पहनावा से सबसे भिन्न था। विशेष रूप से, सबसे बड़े धनात्मक आइजेनवैल्यू ​​​​वाले आइजन्वेक्टर उन दिशाओं के अनुरूप होते हैं जिनके साथ स्पाइक-ट्रिगर पहनावा के विचरण ने पूर्व के विचरण की तुलना में सबसे बड़ा धनात्मक परिवर्तन दिखाया हैं। चूँकि यह वह दिशाएँ थीं जिनमें भिन्न -भिन्न उत्तेजनाओं ने स्पाइक का नेतृत्व किया, वह अधिकतर प्रासंगिक उत्तेजना सुविधाओं के पश्चात की मांग के अच्छे अनुमान हैं।

तंत्रिका विज्ञान में, पीसीए का उपयोग न्यूरॉन की पहचान को उसकी क्रिया क्षमता के आकार से पहचानने के लिए भी किया जाता है। स्पाइक सॉर्टिंग महत्वपूर्ण प्रक्रिया है क्योंकि इलेक्ट्रोफिजियोलॉजी या बाह्यकोशिकीय रिकॉर्डिंग तकनीकें अधिकतर से अधिक न्यूरॉन से संकेत लेती हैं। स्पाइक इसमें, पहले पीसीए का उपयोग एक्शन पोटेंशियल वेवफॉर्म के स्थान की गतिशीलता को कम करने के लिए किया जाता है, और पुनः व्यक्तिगत न्यूरॉन्स के साथ विशिष्ट एक्शन पोटेंशिअल को जोड़ने के लिए क्लस्टर विश्लेषण किया जाता है।

पीसीए आयाम कमी तकनीक के रूप में विशेष रूप से बड़े न्यूरोनल पहनावा की समन्वित गतिविधियों का पता लगाने के लिए अनुकूल है। यह मस्तिष्क में वेरिएबल संक्रमण के समय सामूहिक वेरिएबल , अर्थात आदेश पैरामीटर निर्धारित करने में उपयोग किया गया है।

अन्य विधियों के साथ संबंध

कॉरेस्पोंडेंस विश्लेषण

कॉरेस्पोंडेंस विश्लेषण (सीए) जीन-पॉल बेंजेक्री द्वारा विकसित किया गया था और वैचारिक रूप से पीसीए के समान है, किन्तु डेटा को मापता है (जो गैर-ऋणात्मक होना चाहिए) जिससे पंक्तियों और स्तंभों को समान रूप से व्यवहार किया जा सके। यह परंपरागत रूप से आकस्मिक तालिकाओं पर प्रयुक्त होता है। सीए इस तालिका से जुड़े ची-स्क्वायर आँकड़ों को ऑर्थोगोनल कारकों में विघटित करता है। क्योंकि सीए वर्णनात्मक तकनीक है, इसे उन तालिकाओं पर प्रयुक्त किया जा सकता है जिनके लिए ची-स्क्वेर्ड आँकड़ा उपयुक्त है या नहीं हैं। सीए के अनेक प्रकार उपलब्ध हैं जिनमें डिट्रेंडेड कॉरेस्पोंडेंस विश्लेषण और कैनोनिकल कॉरेस्पोंडेंस विश्लेषण सम्मिलित हैं। विशेष विस्तार एकाधिक कॉरेस्पोंडेंस विश्लेषण है, जिसे श्रेणीबद्ध डेटा के लिए प्रमुख अवयव विश्लेषण के समकक्ष के रूप में देखा जा सकता है।

कारक विश्लेषण

ऊपर दी गई तस्वीर पीसीए और फैक्टर विश्लेषण के मध्य अंतर का उदाहरण है। शीर्ष आरेख में कारक (जैसे, कैरियर पथ) तीन देखे गए वेरिएबल (जैसे, डॉक्टर, वकील, शिक्षक) का प्रतिनिधित्व करता है, जबकि नीचे के आरेख में देखे गए वेरिएबल (जैसे, पूर्व-विद्यालय शिक्षक, मध्य विद्यालय शिक्षक, उच्च विद्यालय शिक्षक) ब्याज के अवयव में कम हो जाते हैं (जैसे, शिक्षक)।

प्रमुख कंपोनेंट विश्लेषण वेरिएबल्स बनाता है जो मूल वेरिएबल्स के रैखिक संयोजन हैं। नए वेरिएबल्स में यह संपत्ति है कि वेरिएबल्स सभी ऑर्थोगोनल हैं। पीसीए परिवर्तन क्लस्टरिंग से पहले प्री-प्रोसेसिंग चरण के रूप में सहायक हो सकता है। पीसीए भिन्नता-केंद्रित दृष्टिकोण है जो कुल परिवर्तनीय भिन्नता को पुन: उत्पन्न करने की मांग करता है, जिसमें अवयव वेरिएबल के सामान्य और अद्वितीय भिन्नता दोनों को दर्शाते हैं। पीसीए को सामान्यतः डेटा में कमी के प्रयोजनों के लिए पसंद किया जाता है (अर्थात, वेरिएबल स्थान को अधिकतम कारक स्थान में अनुवाद करना) हैं किन्तु तब नहीं जब लक्ष्य अव्यक्त निर्माण या कारकों का पता लगाना होता हैं।

कारक विश्लेषण प्रमुख अवयव विश्लेषण के समान है, उस कारक विश्लेषण में वेरिएबल के रैखिक संयोजन भी सम्मिलित हैं। पीसीए से भिन्न , कारक विश्लेषण सहसंबंध-केंद्रित दृष्टिकोण है जो वेरिएबल के मध्य अंतर-सहसंबंधों को पुन: उत्पन्न करने की मांग करता है, जिसमें कारक वेरिएबल के सामान्य भिन्नता अद्वितीय भिन्नता को छोड़कर इसका प्रतिनिधित्व करते हैं। सहसंबंध आव्युह के संदर्भ में, यह ऑफ-डायगोनल नियमों (अर्थात , साझा सह-विचरण ) को समझाने पर ध्यान केंद्रित करने के अनुरूप है, जबकि पीसीए विकर्ण पर बैठने वाली नियमों को समझाने पर ध्यान केंद्रित करता है। चूँकि , साइड परिणाम के रूप में, ऑन-डायगोनल नियमों को पुन: प्रस्तुत करने की प्रयास करते समय, पीसीए भी ऑफ-डायगोनल सहसंबंधों को अपेक्षाकृत अच्छी तरह से फिट करने की प्रयास करता है। पीसीए और कारक विश्लेषण द्वारा दिए गए परिणाम ज्यादातर स्थितियों में बहुत समान होते हैं, किन्तु सदैव ऐसा नहीं होता है, और कुछ समस्याएं ऐसी होती हैं जहां परिणाम महत्वपूर्ण रूप से भिन्न होते हैं। कारक विश्लेषण का सामान्यतः उपयोग तब किया जाता है जब अनुसंधान उद्देश्य डेटा संरचना (अर्थात, अव्यक्त निर्माण या कारक) या कारण मॉडलिंग का पता लगा रहा हो। यदि कारक मॉडल त्रुटी विधियों से तैयार किया गया है या मान्यताओं को पूर्ण नहीं किया गया है, तब कारक विश्लेषण त्रुटी परिणाम देता हैं।

K-कारण क्लस्टरिंग

यह प्रमाण किया गया है कि k-कारण क्लस्टरिंग का सरल समाधान k-कारण क्लस्टरिंग, क्लस्टर संकेतक द्वारा निर्दिष्ट, प्रमुख अवयवों द्वारा दिया जाता है, और मुख्य दिशाओं द्वारा विस्तार हुआ पीसीए सबस्पेस क्लस्टर सेंट्रोइड सबस्पेस के समान है। चूँकि , वह पीसीए की उपयोगी छूट है यह k-कारण क्लस्टरिंग नया परिणाम नहीं था, और इस कथन के प्रति उदाहरणों को उजागर करना सीधा है कि क्लस्टर सेंट्रोइड उप-स्थान प्रमुख दिशाओं द्वारा विस्तार हुआ है।

गैर-ऋणात्मक आव्युह गुणन

आंशिक अवशिष्ट भिन्नता तुलना, पीसीए और एनएमएफ पीसीए और एनएमएफ के लिए आंशिक अवशिष्ट भिन्नता (एफआरवी) भूखंड; पीसीए के लिए, सैद्धांतिक मान अवशिष्ट आइजेनवैल्यू ​​​​से योगदान है। इसकी तुलना में, पीसीए के लिए एफआरवी घटता और इसको यह तक पहुंचता है जहां कोई संकेत प्रभावी रूप से नहीं पकड़ा जाता है; जबकि एनएमएफ एफआरवी घटता निरंतर गिर रहा है, जो संकेत पकड़ने की उत्तम क्षमता का संकेत देता है। एनएमएफ के लिए एफआरवी घटता भी पीसीए की तुलना में उच्च स्तर पर परिवर्तित होता है, जो एनएमएफ की कम-ओवरफिटिंग संपत्ति को दर्शाता है। गैर-ऋणात्मक आव्युह कारककरण (एनएमएफ) आयाम कमी विधि है जहां आव्युह में केवल गैर-ऋणात्मक अवयवों का उपयोग किया जाता है, जो कि खगोल विज्ञान में आशाजनक विधि है, इस अर्थ में कि ज्योतिषीय संकेत गैर-ऋणात्मक हैं। पीसीए अवयव दूसरे के लिए ओर्थोगोनल हैं, जबकि एनएमएफ अवयव सभी गैर-ऋणात्मक हैं और इसलिए गैर-ऑर्थोगोनल आधार बनाते हैं।

पीसीए में, प्रत्येक अवयव के योगदान को उसके संबंधित आइजेनवैल्यू के परिमाण के आधार पर रैंक किया जाता है, जो कि अनुभवजन्य डेटा का विश्लेषण करने में भिन्नात्मक अवशिष्ट विचरण (एफआरवी) के समान है। एनएमएफ के लिए, इसके अवयवों को केवल अनुभवजन्य एफआरवी वक्रों के आधार पर रैंक किया गया है। अवशिष्ट भिन्नात्मक आइजेनवैल्यू भूखंड, अर्थात, $1-\sum _{i=1}^{k}\lambda _{i}{\Big /}\sum _{j=1}^{n}\lambda _{j}$ अवयव संख्या के फंक्सन के रूप में $k$ कुल दिया $n$ अवयव , पीसीए के लिए समतल पठार है, जहां अर्ध-स्थैतिक ध्वनि को दूर करने के लिए कोई डेटा कैप्वेरिएबल नहीं किया जाता है, पुनः ओवर-फिटिंग के संकेत के रूप में घटता शीघ्रता से गिर जाता है और यादृच्छिक ध्वनि को पकड़ लेता है। एनएमएफ के लिए एफआरवी घटता निरंतर घट रहा है जब एनएमएफ अवयवों का निर्माण किया जाता है तब गैर-ऋणात्मक आव्युह गुणन या अनुक्रमिक एनएमएफ , अर्ध-स्थैतिक ध्वनि के निरंतर कैप्वेरिएबल का संकेत; पुनः पीसीए की तुलना में उच्च स्तर पर अभिसरण करें, एनएमएफ की कम ओवरफिटिंग संपत्ति का संकेत दिया है ।

सहसंबंधों की प्रतीकात्मकता

मुख्य अवयवों की व्याख्या करना अधिकतर मुश्किल होता है जब डेटा में विभिन्न उत्पत्ति के अनेक वेरिएबल सम्मिलित होते हैं, या जब कुछ वेरिएबल गुणात्मक होते हैं। यह पीसीए उपयोगकर्ता को अनेक वेरिएबलों के नाजुक उन्मूलन की ओर ले जाता है। यदि टिप्पणियों या वेरिएबल का अक्षों की दिशा पर अत्यधिक प्रभाव पड़ता है, तब उन्हें हटा दिया जाना चाहिए और पुनः पूरक अवयवों के रूप में प्रक्षेपित किया जाना चाहिए। इसके अतिरिक्त , फैक्टोरियल प्लेन के केंद्र के समीप बिंदुओं के मध्य की निकटता की व्याख्या करने से बचना आवश्यक है।

सहसंबंधों की आइकनोग्राफी - समुद्री एरोसोल की भू-रसायन

इसके विपरीत, सहसंबंधों की प्रतिमा, जो कुल्हाड़ियों की प्रणाली पर प्रक्षेपण नहीं है, में यह कमियां नहीं हैं। इसलिए हम सभी वेरिएबल रख सकते हैं।

आरेख का सिद्धांत ठोस रेखा (धनात्मक सहसंबंध) या बिंदीदार रेखा (ऋणात्मक सहसंबंध) द्वारा सहसंबंध आव्युह के उल्लेखनीय सहसंबंधों को रेखांकित करना है।

शक्तिशाली सहसंबंध उल्लेखनीय नहीं है यदि यह प्रत्यक्ष नहीं है, किन्तु तीसरे वेरिएबल के प्रभाव के कारण होता है। इसके विपरीत, अशक्त सहसंबंध उल्लेखनीय हो सकते हैं। उदाहरण के लिए, यदि वेरिएबल Y अनेक स्वतंत्र वेरिएबलों पर निर्भर करता है, तब उनमें से प्रत्येक के साथ Y का सहसंबंध अशक्त और पुनः भी उल्लेखनीय है।

सामान्यीकरण

विरल पीसीए

Main article: विरल पीसीए

पीसीए का विशेष हानि यह है कि प्रमुख अवयव सामान्यतः सभी इनपुट वेरिएबलों के रैखिक संयोजन होते हैं। विरल पीसीए केवल कुछ इनपुट वेरिएबल वाले रैखिक संयोजनों को ढूंढकर इस हानि को दूर करता है। यह इनपुट वेरिएबल्स पर स्पार्सिटी बाधा जोड़कर डेटा की डायमेंशनलिटी को कम करने के लिए प्रमुख कंपोनेंट विश्लेषण (पीसीए) की क्लासिक पद्धति का विस्तार करता है। इसके साथ अनेक दृष्टिकोण प्रस्तावित किए गए हैं

• प्रतिगमन फ्रेम,
• उत्तल छूट / अर्ध-परिमित प्रोग्रामिंग फ्रेम,
• सामान्यीकृत शक्ति विधि फ्रेम
• वैकल्पिक अधिकतमकरण फ्रेम
• शाखा-और-बाध्य तकनीकों का उपयोग करके आगे-पीछे ग्रीडी खोज और स्पष्ट विधियाँ ,
• बायेसियन फॉर्मूलेशन फ्रेमवर्क।

स्पार्स पीसीए के पद्धतिगत और सैद्धांतिक विकास के साथ-साथ वैज्ञानिक अध्ययनों में इसके अनुप्रयोगों की हाल ही में सर्वेक्षण पत्र में समीक्षा की गई थी।

नॉनलाइनियर पीसीए

रैखिक पीसीए बनाम नॉनलाइनियर प्रमुख मैनिफोल्ड्स स्तन कैंसर माइक्रोएरे डेटा के वैज्ञानिक विज़ुअलाइज़ेशन के लिए: a) 3D पीसीए लीनियर मैनिफोल्ड में नोड्स और 2D प्रमुख सरफेस का कॉन्फिगरेशन। डेटासमुच्चय वृत्ताकार है और इसे 2D प्रमुख प्लेन पर पर्याप्त रूप से मानचित्र नहीं किया जा सकता है; बी) बिंदुओं के घनत्व के अनुमान के साथ आंतरिक 2डी गैर-रेखीय प्रमुख सतह निर्देशांक (ईएलमैप2D) में वितरण; c) b के समान), किन्तु रैखिक 2D पीसीए मैनिफोल्ड (पीसीए 2D) के लिए। बेसल स्तन कैंसर उपप्रकार को ईएलमैप2D के साथ अधिक पर्याप्त रूप से देखा जाता है और पीसीए 2D की तुलना में वितरण की कुछ विशेषताएं उत्तम रूप से हल हो जाती हैं। प्रमुख मैनिफोल्ड्स लोचदार मानचित्र एल्गोरिथम द्वारा निर्मित होते हैं। डेटा सार्वजनिक प्रतियोगिता के लिए उपलब्ध हैं। सॉफ्टवेयर मुफ्त गैर-व्यावसायिक उपयोग के लिए उपलब्ध है।

गैर-रैखिक आयामीता में कमी के अधिकांश आधुनिक विधियों पीसीए या K-साधनों में अपनी सैद्धांतिक और एल्गोरिथम जड़ें पाते हैं। पियर्सन का मूल विचार सीधी रेखा (या समतल) लेना था जो डेटा बिंदुओं के समुच्चय के लिए सबसे उपयुक्त होगा। ट्रेवर हैस्टी ने प्रमुख वक्र ्स को प्रस्तावित करके इस अवधारणा पर विस्तार किया पीसीए की ज्यामितीय व्याख्या के लिए प्राकृतिक विस्तार के रूप में, जो स्पष्ट रूप से प्रोजेक्शन (गणित) के पश्चात डेटा सन्निकटन के लिए अनेक गुना निर्माण करता है, जैसा कि अंजीर में दिखाया गया है।

इलास्टिक मानचित्र एल्गोरिथम प्रमुख जियोडेसिक विश्लेषण विश्लेषण भी देखें। अन्य लोकप्रिय सामान्यीकरण कर्नेल पीसीए है, जो धनात्मक निश्चित कर्नेल से जुड़े प्रजनन कर्नेल हिल्बर्ट स्पेस में किए गए पीसीए से मेल खाता है।

बहुरेखीय उप-स्थान सीखना में, पीसीए को बहुरेखीय प्रमुख अवयव विश्लेषण (एमपीसीए) के लिए सामान्यीकृत किया गया है जो सीधे टेंसर प्रस्तुतियों से सुविधाओं को निकालता है। Mपीसीए को टेंसर के प्रत्येक मोड में पुनरावृत्त रूप से पीसीए करके हल किया जाता है। एमपीसीए को चेहरे की पहचान, चाल की पहचान आदि के लिए प्रयुक्त किया गया है। एमपीसीए को आगे असंबद्ध एमपीसीए, गैर-ऋणात्मक एमपीसीए और शक्तिशाली एमपीसीए तक बढ़ाया गया है।

टकर अपघटन, पैराफैक, बहु-कारक विश्लेषण, सह-जड़ता विश्लेषण, स्टेटिस और डिस्टैटिस जैसे मॉडलों के साथ n-वे प्रमुख अवयव विश्लेषण किया जा सकता है।

शक्तिशाली पीसीए

जबकि पीसीए गणितीय रूप से अधिकतम विधि (स्क्वायर्ड त्रुटि को कम करने के रूप में) पाता है, यह अभी भी डेटा में ग़ैर के प्रति संवेदनशील है जो बड़ी त्रुटियां उत्पन्न करता है, कुछ ऐसा जो विधि पहले स्थान से बचने की प्रयास करती है। इसलिए पीसीए की गणना करने से पहले आउटलेयर को हटाना आम बात है। चूँकि, कुछ संदर्भों में, आउटलेयर को पहचानना मुश्किल हो सकता है। उदाहरण के लिए, डेटा खनन एल्गोरिदम जैसे सहसंबंध क्लस्टरिंग में, क्लस्टर और आउटलेयर को पॉइंट्स का असाइनमेंट पहले से ज्ञात नहीं है। पीसीए का हाल ही में प्रस्तावित सामान्यीकरण भारित पीसीए के आधार पर डेटा ऑब्जेक्ट्स को उनकी अनुमानित प्रासंगिकता के आधार पर भिन्न -भिन्न भार देकर शक्तिशाली बढ़ जाती है।

L1-नॉर्म फॉर्मूलेशन (L1-मानक प्रमुख अवयव विश्लेषण | L1-पीसीए) के आधार पर पीसीए के बाहरी-प्रतिरोधी वेरिएंट भी प्रस्तावित किए गए हैं।

शक्तिशाली प्रमुख अवयव विश्लेषण (आरपीसीए ) निम्न-श्रेणी और विरल मैट्रिसेस में अपघटन के माध्यम से पीसीए का संशोधन है जो व्यापक रूप से दूषित टिप्पणियों के संबंध में अच्छी तरह से काम करता है।

समान तकनीकें

स्वतंत्र अवयव विश्लेषण

स्वतंत्र अवयव विश्लेषण (आईसीए) को प्रमुख अवयव विश्लेषण के समान समस्याओं के लिए निर्देशित किया जाता है, किन्तु क्रमिक अनुमानों के अतिरिक्त योगात्मक रूप से वियोज्य अवयवों को ढूंढता है।

नेटवर्क अवयव विश्लेषण

आव्युह $E$ दिया, यह इसे दो मैट्रिसेस $E=AP$ में विघटित करने की प्रयास करता है . पीसीए और आईसीए जैसी तकनीकों से महत्वपूर्ण अंतर यह है कि कुछ प्रविष्टियां $A$ 0. यहाँ विवश हैं और $P$ नियामक परत कहा जाता है। जबकि सामान्यतः इस तरह के अपघटन के अनेक समाधान हो सकते हैं, वह सिद्ध करते हैं कि यदि निम्नलिखित नियम में पूर्ण होती हैं:

1. $A$ पूर्ण स्तंभ रैंक है
2. $A$ का प्रत्येक स्तंभ कम से कम होना चाहिए $L-1$ शून्य जहाँ $L$ के स्तंभों की संख्या $A$ है (या वैकल्पिक रूप से पंक्तियों की संख्या $P$). इस मानदंड के लिए औचित्य यह है कि यदि नोड को विनियामक परत से हटा दिया जाता है, साथ ही इससे जुड़े सभी आउटपुट नोड्स के साथ, परिणाम अभी भी पूर्ण स्तंभ रैंक के साथ कनेक्टिविटी आव्युह द्वारा विशेषता होना चाहिए।
3. $P$ पूरी पंक्ति रैंक होनी चाहिए।

तब अपघटन अदिश द्वारा गुणन तक अद्वितीय होता है।

प्रमुख अवयवों का विभेदक विश्लेषण

प्रमुख कंपोनेंट्स (डीएपीसी) का डिस्क्रिमिनेंट विश्लेषण बहुभिन्नरूपी विधि है जिसका उपयोग आनुवंशिक रूप से संबंधित व्यक्तियों के समूहों की पहचान करने और उनका वर्णन करने के लिए किया जाता है। आनुवंशिक भिन्नता को दो अवयवों में विभाजित किया गया है: समूहों के मध्य और समूहों के अंदर भिन्नता, और यह पूर्व को अधिकतम करती है। रेखीय विभेदक युग्मविकल्पी के रेखीय संयोजन होते हैं जो गुच्छों को सर्वोत्तम रूप से भिन्न करते हैं। एलील्स जो इस भेदभाव में सबसे अधिक योगदान करते हैं, इसलिए वह हैं जो समूहों में सबसे अधिक स्पष्ट रूप से भिन्न हैं। डीएपीसी द्वारा पहचाने गए समूहों में एलील्स का योगदान समूहों के मध्य आनुवंशिक विचलन को चलाने वाले जीनोम के क्षेत्रों की पहचान करने की अनुमति दे सकता है। डीएपीसी में, डेटा को पहले प्रमुख अवयव विश्लेषण (पीसीए ) का उपयोग करके रूपांतरित किया जाता है और इसके पश्चात इसमें विभेदक विश्लेषण (डीए) का उपयोग करके समूहों की पहचान की जाती है।

एडिजनेट पैकेज का उपयोग करके R पर डीएपीसी से (अधिक सूचना: एडिजनेट वेब पर) प्राप्त किया जा सकता है

दिशात्मक अवयव विश्लेषण

दिशात्मक अवयव विश्लेषण (डीसीए ) बहुभिन्नरूपी डेटासमुच्चय के विश्लेषण के लिए वायुमंडलीय विज्ञान में उपयोग की जाने वाली विधि है। पीसीए की तरह, यह आयाम में कमी, उत्तम विज़ुअलाइज़ेशन और बड़े डेटा-समुच्चय की उत्तम व्याख्या करने की अनुमति देता है। पीसीए की तरह, यह इनपुट डेटासमुच्चय से प्राप्त सहप्रसरण आव्युह पर आधारित है। पीसीए और डीसीए के मध्य अंतर यह है कि डीसीए को सदिश दिशा के इनपुट की अतिरिक्त आवश्यकता होती है, जिसे प्रभाव कहा जाता है। जबकि पीसीए स्पष्ट विचरण को अधिकतम करता है, डीसीए प्रभाव को देखते हुए संभाव्यता घनत्व को अधिकतम करता है। डीसीए के लिए प्रेरणा बहुभिन्नरूपी डेटासमुच्चय के अवयवों को खोजना है जो संभावित (संभाव्यता घनत्व का उपयोग करके मापा गया) और महत्वपूर्ण (प्रभाव का उपयोग करके मापा गया) दोनों हैं। डीसीए का उपयोग मौसम पूर्वानुमान समूहों में सबसे संभावित और सबसे गंभीर हीट-वेव पैटर्न खोजने के लिए किया गया है और जलवायु परिवर्तन के कारण वर्षा में सबसे संभावित और सबसे प्रभावशाली परिवर्तन होता हैं |

सॉफ्टवेयर/स्रोत कोड

• अल्ग्लिब - C++ और C लाइब्रेरी जो पीसीए को प्रयुक्त करती है और पीसीए को लघु करती है
• एनालिटिका (सॉफ्टवेयर) - बिल्ट-इन ईजेनडेकॉम्प फलन प्रमुख अवयवों की गणना करता है।
• ईएलकेआई - प्रक्षेपण के लिए पीसीए सम्मिलित है, जिसमें पीसीए के शक्तिशाली वेरिएंट, साथ ही पीसीए-आधारित क्लस्टर विश्लेषण सम्मिलित हैं।
• ग्रेटल - प्रमुख अवयव विश्लेषण या तब के माध्यम से किया जा सकता है pca कमांड या के माध्यम से princomp() फंक्सन हैं।
• जूलिया भाषा - के साथ पीसीए का समर्थन करता है pca मल्टीवेरिएटस्टैट्स पैकेज में कार्य करता है
• नाइमे - विश्लेषण के लिए जावा आधारित नोडल व्यवस्था सॉफ्टवेयर, इसमें पीसीए, पीसीए कंप्यूट, पीसीए अप्लाई, पीसीए इनवर्स नामक नोड्स इसे सरलता से बनाते हैं।
• मेपल (सॉफ्टवेयर) - पीसीए कमांड का उपयोग डेटा के समुच्चय पर प्रमुख अवयव विश्लेषण करने के लिए किया जाता है।
• मेथेमेटिका - सहप्रसरण और सहसंबंध विधियों दोनों का उपयोग करके प्रमुख कंपोनेंट्स कमांड के साथ प्रमुख कंपोनेंट विश्लेषण प्रयुक्त करता है।
• गणितपीएचपी - पीसीए के समर्थन के साथ पीएचपी गणित पुस्तकालय हैं।
• मैटलैब - एसवीडी फलन मूल प्रणाली का हिस्सा है। सांख्यिकी टूलबॉक्स में, कार्य princomp और pca (R2012b) प्रमुख अवयव देते हैं, जबकि कार्य pcares निम्न-रैंक पीसीए सन्निकटन के लिए अवशिष्ट और पुनर्निर्मित आव्युह देता है।
• माटप्लोटलिब – पायथन (प्रोग्रामिंग लैंग्वेज) लाइब्रेरी में .एमएलएबी मॉड्यूल में पीसीए पैकेज है।
• माइपैक - C++ में प्रमुख अवयव विश्लेषण का कार्यान्वयन प्रदान करता है।
• मर्मठ - डेल्फी (सॉफ्टवेयर) और फ़्री समीप्कल के लिए उच्च प्रदर्शन गणित पुस्तकालय पीसीए शक्तिशाली वेरिएंट सहित कर सकता है।
• एनएजी न्यूमेरिकल लाइब्रेरी - प्रधान अवयव विश्लेषण के माध्यम से कार्यान्वित किया जाता है जो g03aa दिनचर्या (पुस्तकालय के दोनों फोरट्रान संस्करणों में उपलब्ध) हैं।
• एनमैथ - .नेट फ्रेमवर्क के लिए पीसीए युक्त प्रोप्राइटरी संख्यात्मक पुस्तकालय हैं।
• जीएनयू ऑक्टेव - मुफ्त सॉफ्टवेयर कम्प्यूटेशनल वातावरण ज्यादातर मैटलैब, फलन के साथ संगत है princomp प्रमुख अवयव देता है।
• ओपनसीवी
• ओरेकल डाटाबेस 12c - के माध्यम से प्रयुक्त किया गया DBMS_DATA_MINING.SVDS_SCORING_MODE सेटिंग मान निर्दिष्ट करके SVDS_SCORING_पीसीए हैं |
• ऑरेंज (सॉफ्टवेयर) - अपने दृश्य प्रोग्रामिंग वातावरण में पीसीए को एकीकृत करता है। पीसीए स्क्री प्लॉट (व्याख्या विचरण की डिग्री) प्रदर्शित करता है जहां उपयोगकर्ता प्रमुख अवयवों की संख्या को अंतःक्रियात्मक रूप से चुन सकता है।
• उत्पत्ति (डेटा विश्लेषण सॉफ्टवेयर) - इसके प्रो संस्करण में पीसीए सम्मिलित है।
• क्लोकोर - पीसीए का उपयोग करके त्वरित प्रतिक्रिया के साथ बहुभिन्नरूपी डेटा का विश्लेषण करने के लिए वाणिज्यिक सॉफ्टवेयर हैं।
• आर (प्रोग्रामिंग भाषा) - मुफ्त सॉफ्टवेयर सांख्यिकीय पैकेज, कार्य princomp और prcomp प्रमुख अवयव विश्लेषण के लिए उपयोग किया जा सकता है; prcomp एकवचन मान अपघटन का उपयोग करता है जो सामान्यतः उत्तम संख्यात्मक स्पष्टता देता है। आर में पीसीए को प्रयुक्त करने वाले कुछ पैकेजों में सम्मिलित हैं, किन्तु यह इन तक सीमित नहीं हैं: ade4, vegan, ExPosition, dimRed, और FactoMineR. हैं |
• एसएएस (सॉफ्टवेयर) - प्रोप्राइटरी सॉफ्टवेयर; उदाहरण के लिए देखें
• स्किकिट-सीखें - मशीन लर्निंग के लिए पायथन लाइब्रेरी जिसमें अपघटन मॉड्यूल में पीसीए, प्रोबेबिलिस्टिक पीसीए, कर्नेल पीसीए, स्पार्स पीसीए और अन्य तकनीकें सम्मिलित हैं।
• साइलैब - फ्री और ओपन-सोर्स, क्रॉस-प्लेटफॉर्म न्यूमेरिकल कम्प्यूटेशनल पैकेज, फंक्शन princomp प्रमुख अवयव विश्लेषण, फलन की गणना करता है pca मानकीकृत वेरिएबलों के साथ प्रमुख अवयव विश्लेषण की गणना करता है।
• एसपीएसएस - पीसीए, कारक विश्लेषण और संबंधित क्लस्टर विश्लेषण के लिए सामाजिक वैज्ञानिकों द्वारा सामान्यतः उपयोग किया जाने वाला प्रोप्राइटरी सॉफ्टवेयर हैं।
• वीका (मशीन लर्निंग) - मशीन लर्निंग के लिए जावा लाइब्रेरी जिसमें प्रमुख अवयवों की गणना के लिए मॉड्यूल होते हैं।

यह भी देखें

• कॉरेस्पोंडेंस विश्लेषण (आकस्मिक तालिकाओं के लिए)
• एकाधिक कॉरेस्पोंडेंस विश्लेषण (गुणात्मक वेरिएबल के लिए)
• मिश्रित डेटा का कारक विश्लेषण (मात्रात्मक और गुणात्मक वेरिएबल के लिए)
• कैननिकल सहसंबंध
• सी.यू.आर आव्युह सन्निकटन (निम्न-रैंक एस वी डी सन्निकटन की जगह ले सकता है)
• डिट्रेंडेड कॉरेस्पोंडेंस विश्लेषण
• दिशात्मक अवयव विश्लेषण
• गतिशील मोड अपघटन
• आइजेनफेस
• अपेक्षा-अधिकतमकरण एल्गोरिथम
• v: अन्वेषी कारक विश्लेषण (विकिविश्वविद्यालय)
• क्रमगुणित कोड
• कार्यात्मक प्रमुख अवयव विश्लेषण
• ज्यामितीय डेटा विश्लेषण
• स्वतंत्र घटक विश्लेषण
• कर्नेल पीसीए
• L1-मानक प्रमुख घटक विश्लेषण
• निम्न-श्रेणी सन्निकटन
• आव्युह अपघटन
• गैर-ऋणात्मक आव्युह गुणनखंड
• गैर रेखीय आयामीता में कमी
• ओजा रुल
• बिंदु वितरण मॉडल (पीसीए मॉर्फोमेट्री और कंप्यूटर विजन पर प्रयुक्त होता है)
• बी: सांख्यिकी/बहुभिन्नरूपी डेटा विश्लेषण/प्रमुख अवयव विश्लेषण (विकिपुस्तक)
• प्रधान अवयव प्रतिगमन
• एकवचन स्पेक्ट्रम विश्लेषण
• विलक्षण मान अपघटन
• विरल पीसीए
• रूपांतरण कोडिंग
• भारित न्यूनतम वर्ग

अग्रिम पठन

• Jackson, J.E. (1991). A User's Guide to Principal Components (Wiley).
• Jolliffe, I. T. (1986). Principal Component Analysis. Springer Series in Statistics. Springer-Verlag. pp. 487. CiteSeerX 10.1.1.149.8828. doi:10.1007/b98835. ISBN 978-0-387-95442-4.
• Jolliffe, I. T. (2002). Principal Component Analysis. Springer Series in Statistics (in English). New York: Springer-Verlag. doi:10.1007/b98835. ISBN 978-0-387-95442-4.
• Husson François, Lê Sébastien & Pagès Jérôme (2009). Exploratory Multivariate Analysis by Example Using R. Chapman & Hall/CRC The R Series, London. 224p. ISBN 978-2-7535-0938-2
• Pagès Jérôme (2014). Multiple Factor Analysis by Example Using R. Chapman & Hall/CRC The R Series London 272 p

बाहरी संबंध

• University of Copenhagen video by Rasmus Bro on YouTube
• Stanford University video by Andrew Ng on YouTube
• A Tutorial on Principal Component Analysis
• A layman's introduction to principal component analysis on YouTube (a video of less than 100 seconds.)
• StatQuest: StatQuest: Principal Component Analysis (PCA), Step-by-Step on YouTube
• See also the list of Software implementations