रैखिक विभेदक विश्लेषण

अव्यक्त डिरिचलेट आवंटन के साथ भ्रमित न हों।

रेखीय विवेचक विश्लेषण (एलडीए) सामान्य विभेदक विश्लेषण (एनडीए) या विवेचक कार्य विश्लेषण फिशर के रेखीय विवेचक का एक सामान्यीकरण है, यह विधि सांख्यिकी और अन्य क्षेत्रों में प्रयुक्त होती है। जो दो या दो से अधिक वर्गों को चिह्नित या भिन्न करने वाली विशेषताओं का एक रैखिक संयोजन खोजने के लिए किया जाता है। वस्तुओं या घटनाओं का परिणामस्वरूप संयोजन का प्रयोग रेखीय वर्गीकारक के रूप में किया जा सकता है, या बाद में सांख्यिकीय वर्गीकरण से पहले आयामीता में कमी के लिए अधिक सामान्यतः के रूप में  किया जा सकता है।

एलडीए विचरण (एनोवा) और प्रतिगमन विश्लेषण निकटता से संबंधित है, जो एक आश्रित चर के रूप में होता है, जो कि अन्य विशेषताओं या मापों के रैखिक संयोजन के रूप में व्यक्त करने का प्रयास करता है। चूंकि, एनोवा श्रेणीबद्ध चर स्वतंत्र चर और एक सतत चर आश्रित चर के रूप में उपयोग करता है, जबकि विवेचक विश्लेषण में निरंतर स्वतंत्र चर होता है और एक श्रेणीबद्ध आश्रित चर अर्थात वर्ग लेबल के रूप में होता है। लॉजिस्टिक प्रतिगमन और प्रोबिट प्रतिगमन एनोवा की तुलना में एलडीए से अधिक मिलते-जुलते हैं, क्योंकि ये निरंतर स्वतंत्र चर के मूल्यों द्वारा एक श्रेणीगत चर की व्याख्या भी करते हैं। ये अन्य विधि उन अनुप्रयोगों में उत्तम हैं, जहां यह मान लेना उचित नहीं है, कि स्वतंत्र चर सामान्य रूप से वितरित किए जाते हैं, जो एलडीए पद्धति की एक मौलिक धारणा है।

एलडीए प्रमुख घटक विश्लेषण (पीसीए) और कारक विश्लेषण से काफी निकटता से संबंधित है, जिसमें वे दोनों चर के रैखिक संयोजनों की तलाश करते हैं, जो डेटा को सर्वोत्तम रूप से समझते हैं।। एलडीए स्पष्ट रूप से डेटा की कक्षाओं के बीच अंतर को मॉडल करने का प्रयास करता है। इसके विपरीत, पीसीए वर्ग किसी भी अंतर को ध्यान में नहीं रखता है और गुणक विश्लेषण समानता के बजाय मतभेदों पर आधारित फीचर संयोजन बनाता है।। विभेदक विश्लेषण भी कारक विश्लेषण से भिन्न है, क्योंकि यह एक अन्योन्याश्रित प्रद्योगिकी नहीं है:स्वतंत्र चरों तथा आश्रित चरों के बीच भेद को भी मानक चर कहा जाता है।

एलडीए काम करता है जब प्रत्येक अवलोकन के लिए स्वतंत्र चर पर किए गए माप निरंतर मात्रा के रूप में होते हैं। स्पष्ट स्वतंत्र चर के साथ काम करते समय, समतुल्य प्रद्योगिकी भेदभावपूर्ण पत्राचार विश्लेषण के रूप में है।

भेदभावपूर्ण विश्लेषण उस समय उपयोग किया जाता है, जब समूहों को प्राथमिकता क्लस्टर विश्लेषण के रूप में जाना जाता है। प्रत्येक मामले में एक मात्रात्मक भविष्यवक्ता उपायों पर एक अंक और एक समूह माप पर एक अंक होना चाहिए। सरल शब्दों में विवेचक संकल्पना विश्लेषण के रूप में चीजों को समूह वर्गों या एक ही प्रकार की श्रेणियों में बांटने की क्रिया का वर्गीकरण है।

इतिहास

1936 में सर रोनाल्ड फिशर द्वारा मूल द्विभाजित विभेदक विश्लेषण विकसित किया गया था। यह एक एनोवा या मनोवा से भिन्न है, जिसका उपयोग एक या एक से अधिक स्वतंत्र श्रेणीबद्ध चर के रूप में किया जाता है। एक एनोवा या बहु मनोवा के निरंतर आश्रित चर की भविष्यवाणी करने के लिए किया जाता है। भेदभावपूर्ण कार्य विश्लेषण यह निर्धारित करने में उपयोगी है, कि श्रेणी सदस्यता की भविष्यवाणी करने में चर का एक सेट प्रभावी है या नहीं।

दो वर्गों के लिए एलडीए

टिप्पणियों के एक सेट पर विचार करें ${\vec {x}}$ ज्ञात वर्ग के साथ किसी वस्तु या घटना के प्रत्येक नमूने के लिए (जिसे विशेषताएं, चर या माप भी कहा जाता है)। $y$. नमूनों के इस सेट को प्रशिक्षण सेट कहा जाता है। वर्गीकरण समस्या तब वर्ग के लिए एक अच्छा भविष्यवक्ता खोजने की है $y$ एक ही वितरण के किसी भी नमूने का आवश्यक नहीं कि प्रशिक्षण सेट से मात्र एक अवलोकन दिया गया हो ${\vec {x}}$.

एलडीए सशर्त संभाव्यता घनत्व कार्यों को मानकर समस्या का समाधान करता है $p({\vec {x}}|y=0)$ और $p({\vec {x}}|y=1)$ माध्य और सहप्रसरण मापदंडों के साथ दोनों बहुभिन्नरूपी सामान्य वितरण हैं $\left({\vec {\mu }}_{0},\Sigma _{0}\right)$ और $\left({\vec {\mu }}_{1},\Sigma _{1}\right)$, क्रमश। इस धारणा के अनुसार, बेयस वर्गीकारक | बेयस-इष्टतम समाधान अंक को दूसरी श्रेणी से होने की भविष्यवाणी करना है यदि संभावना अनुपात का लॉग कुछ थ्रेशोल्ड टी से बड़ा है, जिससे की:

$({\vec {x}}-{\vec {\mu }}_{0})^{\mathrm {T} }\Sigma _{0}^{-1}({\vec {x}}-{\vec {\mu }}_{0})+\ln |\Sigma _{0}|-({\vec {x}}-{\vec {\mu }}_{1})^{\mathrm {T} }\Sigma _{1}^{-1}({\vec {x}}-{\vec {\mu }}_{1})-\ln |\Sigma _{1}|\ >\ T$

किसी और धारणा के बिना, परिणामी वर्गीकारक को द्विघात वर्गीकारक (QDA) के रूप में संदर्भित किया जाता है।

एलडीए इसके अतिरिक्त सरलीकृत समरूपता धारणा बनाता है अर्थात कि वर्ग सहप्रसरण समान हैं, इसलिए $\Sigma _{0}=\Sigma _{1}=\Sigma$) और यह कि सहप्रसरण की पूरी रैंक है।

इस मामले में कई शर्तें रद्द:

${\vec {x}}^{\mathrm {T} }\Sigma _{0}^{-1}{\vec {x}}={\vec {x}}^{\mathrm {T} }\Sigma _{1}^{-1}{\vec {x}}$

${\vec {x}}^{\mathrm {T} }{\Sigma _{i}}^{-1}{\vec {\mu }}_{i}={{\vec {\mu }}_{i}}^{\mathrm {T} }{\Sigma _{i}}^{-1}{\vec {x}}$ क्योंकि $\Sigma _{i}$ हर्मिटियन आव्यूह है।

और उपरोक्त निर्णय मानदंड के रूप में है।

डॉट उत्पाद पर दहलीज बन जाता है।

${\vec {w}}^{\mathrm {T} }{\vec {x}}>c$

कुछ दहलीज स्थिर सी के लिए, जहां

${\vec {w}}=\Sigma ^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})$

$c={\frac {1}{2}}\,{\vec {w}}^{\mathrm {T} }({\vec {\mu }}_{1}+{\vec {\mu }}_{0})$

इसका मतलब है कि एक इनपुट की कसौटी ${\vec {x}}$ एक कक्षा में होना $y$ विशुद्ध रूप से ज्ञात प्रेक्षणों के इस रैखिक संयोजन के संकल्पना का रूप है।

वाई पूरी तरह से ज्ञात टिप्पणियों के इस रैखिक संयोजन का एक रूप है।

इस निष्कर्ष को ज्यामितीय दृष्टि से देखना अधिकांशतः उपयोगी होता है, एक इनपुट की कसौटी ${\vec {x}}$ एक कक्षा में होना $y$ विशुद्ध रूप से बहुआयामी अंतरिक्ष बिंदु के प्रक्षेपण का कार्य है ${\vec {x}}$ सदिश पर ${\vec {w}}$ इस प्रकार हम मात्र इसकी दिशा पर विचार करते हैं। दूसरे शब्दों में अवलोकन का है $y$ यदि संगत है ${\vec {x}}$ के लंबवत अधिसमतल के एक निश्चित तरफ स्थित है। ${\vec {w}}$. विमान का स्थान दहलीज द्वारा परिभाषित किया गया है $c$.जो कि के रूप में है।

अनुमान

विवेचक विश्लेषण की धारणाएं मनोवा के समान ही हैं। विश्लेषण आउटलेयर के प्रति पर्याप्त संवेदनशील है और सबसे छोटे समूह का आकार भविष्यवाणी करने वाले चरों की संख्या से बड़ा होना चाहिए।।

• बहुभिन्नरूपी सामान्य वितरण: समूहीकरण चर के प्रत्येक स्तर के लिए स्वतंत्र चर सामान्य होते हैं।
• प्रसरण/सहप्रसरण की एकरूपता (समरूपता): सभी चरों के बीच भिन्नताएँ भविष्यवक्ताओं के स्तरों पर समान होती हैं।।बॉक्स के एम आंकड़ों के साथ परीक्षण किया जा सकता है ।
• चूंकि यह सुझाव दिया गया है कि सहप्रसरण समान होने पर रैखिक विभेदक विश्लेषण का उपयोग किया जाता है, और जब सहप्रसरण समान नहीं होते हैं तो द्विघात क्लासिफायर क्वाड्रैटिक विवेचक विश्लेषण का उपयोग किया जा सकता है।
• बहुसंरेखता: पूर्वसूचक चरों के बीच बढ़े हुए सहसंबंध के साथ भविष्य कहनेवाला शक्ति घट सकती है।
• सांख्यिकीय स्वतंत्र: प्रतिभागियों को यादृच्छिक नमूना माना जाता है और एक चर पर एक प्रतिभागी का स्कोर अन्य सभी प्रतिभागियों के लिए उस चर पर स्कोर से स्वतंत्र माना जाता है।

यह सुझाव दिया गया है कि भेदभावपूर्ण विश्लेषण इन मान्यताओं के मामूली उल्लंघनों के लिए अपेक्षाकृत मजबूत है, और यह भी दिखाया गया है कि द्विबीजपत्री चरों का उपयोग करते समय विभेदक विश्लेषण अभी भी विश्वसनीय हो सकता है। जहां बहुभिन्नरूपी सामान्यता का अधिकांशतः उल्लंघन किया जाता है।

भेदभावपूर्ण कार्य

विवेकशील विश्लेषण भविष्यवक्ताओं के एक या अधिक रैखिक संयोजन बनाकर काम करता है, प्रत्येक संकल्पना के लिए एक नया अव्यक्त चर बन जाता है। इन कार्यों को विभेदक कार्य कहा जाता है। संभव कार्यों की संख्या या तो है $N_{g}-1$ जहाँ $N_{g}$ = समूहों की संख्या, या $p$ भविष्यवक्ताओं की संख्या है, जो कि छोटा हैइस संकल्पना ने बनाया है। पहला संकल्पना उस संकल्पना के समूहों के बीच के अंतर को अधिकतम करता है। दूसरा संकल्पना उस संकल्पना के अंतर को अधिकतम करता है, लेकिन पिछले संकल्पना के साथ सहसंबद्ध भी नहीं होना चाहिए। यह बाद के कार्यों के साथ इन आवश्यकता के साथ जारी रहता है, कि नया कार्य पिछले कार्यों में से किसी के साथ सहसंबद्ध न हो सके ।

दिया गया समूह $j$, साथ $\mathbb {R} _{j}$ नमूना स्थान के सेट, एक भेदभावपूर्ण नियम है जैसे कि यदि $x\in \mathbb {R} _{j}$, तब $x\in j$. भेदभावपूर्ण विश्लेषण तब, के "भोजन" क्षेत्रों को खोजें $\mathbb {R} _{j}$ वर्गीकरण त्रुटि को कम करने के लिए, इसलिए वर्गीकरण तालिका में उच्च प्रतिशत सही वर्गीकृत करने के लिए अग्रणी होता है।

प्रत्येक संकल्पना को एक विवेकशील स्कोर दिया जाता है, यह निर्धारित करने के लिए कि यह समूह प्लेसमेंट की कितनी अच्छी भविष्यवाणी करता है।

• संरचना सहसंबंध गुणांक: प्रत्येक भविष्यवक्ता और प्रत्येक संकल्पना के विवेचक स्कोर के बीच सहसंबंध होता है। यह एक शून्य क्रम सहसंबंध है अर्थात अन्य भविष्यवक्ताओं के लिए सही नहीं होता है ।
• मानकीकृत गुणांक: रैखिक संयोजन में प्रत्येक भविष्यवक्ता का वजन जो कि विभेदक कार्य है। एक प्रतिगमन समीकरण की तरह ये गुणांक आंशिक हैं अर्थात अन्य भविष्यवक्ताओं के लिए सही हैं। समूह असाइनमेंट की भविष्यवाणी करने में प्रत्येक भविष्यवक्ता के अद्वितीय योगदान को इंगित करता है।
• ग्रुप सेंट्रोइड्स पर कार्य: प्रत्येक संकल्पना के लिए ग्रुपिंग चर के लिए औसत विभेदक के रूप में स्कोर दिए गए हैं।। साधन जितने दूर होंगे, वर्गीकरण में त्रुटि उतनी ही कम होगी।

डिस्क्रिमिनेशननियम

• अधिकतम संभावना: असाइन करें $x$ उस समूह के लिए जो जनसंख्या (समूह) घनत्व को अधिकतम करता है।
• बेयस डिस्क्रिमिनेंट रूल: असाइन करता है $x$ उस समूह के लिए जो अधिकतम करता है, $\pi _{i}f_{i}(x)$ जहां πi उस वर्गीकरण की पूर्व संभावना का प्रतिनिधित्व करता है, और $f_{i}(x)$ जनसंख्या घनत्व का प्रतिनिधित्व करता है।
• फिशर का रेखीय विविक्तकर नियम: एसएस के बीच अनुपात को अधिकतम करता है और एस.एस समूह की भविष्यवाणी करने के लिए भविष्यवक्ताओं का एक रैखिक संयोजन पाता है।

अभिलक्षणिक मान

विवेचक विश्लेषण में एक अभिलाक्षणिक मान प्रत्येक संकल्पना की विशेष जड़ होती है। यह इस बात का संकेत है, कि यह संकल्पना समूहों को कितनी अच्छी प्रकार से भिन्न करता है, जहां अभिलाक्षणिक मान जितना बड़ा होता है, उतना ही उत्तम संकल्पना को भिन्न करता है।चूंकि इसे सावधानी के साथ समझा जाना चाहिए, क्योंकि अभिलाक्षणिक मान की कोई ऊपरी सीमा नहीं है।

इस प्रकार अभिलाक्षणिक मान को एनोवा के रूप में एसएस के बीच में और एस.एस के अंदर अनुपात के रूप में देखा जा सकता है,जब आश्रित चर विवेकशील के रूप में कार्य करता है, और समूह वाद्य चर स्तर के रूप में होते हैं,.इसका मतलब यह है कि सबसे बड़ा अभिलाक्षणिक मान पहले संकल्पनाके साथ जुड़ा हुआ है, दूसरा सबसे बड़ा दूसरे के साथ आदि।

प्रभाव बनावट

कुछ सुझाव देते हैं कि प्रभावी आकार उपायों के रूप में अभिलाक्षणिक मान उपयोग किया जाता है, चूंकि, यह सामान्यतः समर्थित नहीं है।इसके अतिरिक्त, विहित सहसंबंध प्रभावी आकार का पसंदीदा उपाय है। यह अभिलाक्षणिक मान के समान है, लेकिन एस.एस के बीच और एस.एस के कुल अनुपात का वर्गमूल है।. यह समूहों और कार्यों के बीच संबंध है।

प्रभाव आकार का एक अन्य लोकप्रिय उपाय प्रत्येक संकल्पना के लिए विचरण स्पष्टीकरण आवश्यकता का प्रतिशत है। प्रत्येक संकल्पना के लिए इसकी गणना इस प्रकार की जाती है: (λ_x/ क्रम_i) एक्स 100 जहां λ_xफ़ंक्शन और Σλ के लिए अभिलाक्षणिक मान है, और Σλi सभी अभिलाक्षणिक मान ​​​​का योग है। यह हमें बताता है कि अन्य कार्यों की तुलना में उस विशेष कार्य के लिए भविष्यवाणी कितनी मजबूत है।

सही ढंग से वर्गीकृत प्रतिशत का प्रभाव आकार के रूप में भी विश्लेषण किया जा सकता है। कप्पा मूल्य इस बात का वर्णन कर सकता है, कि आकस्मिक करार में सुधार होता है।कप्पा एक बहुत अच्छे या खराब प्रदर्शन वाले वर्गों द्वारा पक्षपातपूर्ण होने के बजाय सभी श्रेणियों में सामान्य बनाता है। स्पष्टीकरण की आवश्यकता होती है।Kappa normalizes across all categorizes rather than biased by a significantly good or poorly performing classes.

के वर्गों के लिए विहित विभेदक विश्लेषण

कैनोनिकल डिस्क्रिमिनेंट एनालिसिस (सीडीए) अक्षों को पाता है, (k − 1 कैनोनिकल निर्देशांक, k वर्गों की संख्या है) जो श्रेणियों को उत्तम प्रकार से भिन्न करते हैं। ये रैखिक कार्य असंबद्ध हैं और वास्तव में डेटा के एन आयामी बादल के माध्यम से एक इष्टतम k − 1 स्थान को प्रभावी रूप से परिभाषित करते हैं, जो k समूहों के उस स्थान में अनुमानों को सबसे अच्छी प्रकार से भिन्न करता है। नीचे विवरण के लिए "मल्टीक्लास एलडीए"के रूप में देखें।

फिशर का रैखिक विवेचक

फ़िशर के रैखिक विवेचक और एलडीए शब्द अधिकांशतः एक दूसरे के स्थान पर उपयोग किया जाता है, चूंकि रोनाल्ड ए फ़िशर का मूल लेख होता है वास्तव में थोड़ा भिन्न डिस्क्रिमिनेशनका वर्णन करता है, जो एलडीए की कुछ धारणाओं को नहीं बनाता है, जैसे कि सामान्य वितरण वर्ग या समान वर्ग सहप्रसरण होता है।

मान लीजिए कि टिप्पणियों के दो वर्गों का मतलब है ${\vec {\mu }}_{0},{\vec {\mu }}_{1}$ और सहप्रसरण $\Sigma _{0},\Sigma _{1}$. फिर सुविधाओं का रैखिक संयोजन ${\vec {w}}^{\mathrm {T} }{\vec {x}}$ साधन होंगे ${\vec {w}}^{\mathrm {T} }{\vec {\mu }}_{i}$ और प्रसरण ${\vec {w}}^{\mathrm {T} }\Sigma _{i}{\vec {w}}$ के लिए $i=0,1$. फिशर ने इन दो संभाव्यता वितरण के बीच भिन्नता के वर्गों के बीच भिन्नता के अनुपात के रूप में परिभाषित किया जाता है।

$S={\frac {\sigma _{\text{between}}^{2}}{\sigma _{\text{within}}^{2}}}={\frac {({\vec {w}}\cdot {\vec {\mu }}_{1}-{\vec {w}}\cdot {\vec {\mu }}_{0})^{2}}{{\vec {w}}^{\mathrm {T} }\Sigma _{1}{\vec {w}}+{\vec {w}}^{\mathrm {T} }\Sigma _{0}{\vec {w}}}}={\frac {({\vec {w}}\cdot ({\vec {\mu }}_{1}-{\vec {\mu }}_{0}))^{2}}{{\vec {w}}^{\mathrm {T} }(\Sigma _{0}+\Sigma _{1}){\vec {w}}}}$

यह उपाय, कुछ अर्थों में, वर्ग लेबलिंग के लिए संकेत-ध्वनि अनुपात का माप होता है। यह दिखाया जा सकता है कि अधिकतम पृथक्करण तब होता है,

${\vec {w}}\propto (\Sigma _{0}+\Sigma _{1})^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})$

जब एलडीए की धारणाएं संतुष्ट होती हैं, तो उपरोक्त समीकरण एलडीए के समतुल्य होता है।

फिशर का रेखीय विभेदक एक अक्ष के रूप में देखा गया

ध्यान दें कि सदिश ${\vec {w}}$ विवेचक हाइपरप्लेन के लिए सतह सामान्य है। एक उदाहरण के रूप में, दो आयामी समस्या में, दो समूहों को विभाजित करने वाली रेखा लंबवत होती है ${\vec {w}}$.

सामान्यतः, डिस्क्रिमिनेशनकिए जाने वाले डेटा बिंदुओं को प्रक्षेपित किया जाता है, ${\vec {w}}$; फिर एक आयामी वितरण के विश्लेषण से डेटा को सबसे भिन्न करने वाली सीमा को चुना जाता है। दहलीज के लिए कोई सामान्य नियम नहीं है। चूंकि, यदि दोनों कक्षाओं के बिंदुओं के अनुमान लगभग समान वितरण प्रदर्शित करता है, तो एक अच्छा विकल्प दो साधनों के अनुमानों के बीच हाइपरप्लेन होगा, ${\vec {w}}\cdot {\vec {\mu }}_{0}$ और ${\vec {w}}\cdot {\vec {\mu }}_{1}$. इस स्थिति में पैरामीटर c दहलीज स्थिति में है ${\vec {w}}\cdot {\vec {x}}>c$ स्पष्ट रूप से पाया जा सकता है।

$c={\vec {w}}\cdot {\frac {1}{2}}({\vec {\mu }}_{0}+{\vec {\mu }}_{1})={\frac {1}{2}}{\vec {\mu }}_{1}^{\mathrm {T} }\Sigma _{1}^{-1}{\vec {\mu }}_{1}-{\frac {1}{2}}{\vec {\mu }}_{0}^{\mathrm {T} }\Sigma _{0}^{-1}{\vec {\mu }}_{0}$.

ओत्सु की विधि फिशर के रेखीय विवेचक से संबंधित है, और एक ग्रेस्केल छवि में पिक्सेल के हिस्टोग्राम को एक काली/सफेद थ्रेसहोल्ड को चुनने के लिए बनाया गया है, जो कि इंट्रा-क्लास विचरण को कम करता है और काले और सफेद पिक्सेल कक्षाओं को दिये गये होते है, ग्रेस्केल के भीतर / बीच अंतर-वर्ग विचरण को अधिकतम करता है।

मल्टीक्लास एलडीए

3डी में 4 वर्गों के लिए एक-बनाम-सभी एलडीए अक्षों के लिए विज़ुअलाइज़ेशन

4 वर्गों के लिए रेखीय विवेचक अक्षों के साथ प्रक्षेपण

ऐसे मामले में जहां दो से अधिक वर्ग हैं, फिशर विवेचक की व्युत्पत्ति में उपयोग किए गए विश्लेषण को एक रेखीय उप स्थान खोजने के लिए विस्तारित किया जा सकता है, जो कि सभी वर्ग परिवर्तनशीलता को समाहित करता प्रतीत होता है। यह सामान्यीकरण सी. आर. राव के कारण है। मान लीजिए कि प्रत्येक C वर्ग का माध्य है $\mu _{i}$ और वही सहप्रसरण $\Sigma$ .के साथ तब वर्ग परिवर्तनशीलता के बीच बिखराव को वर्ग माध्य के नमूना सहप्रसरण द्वारा परिभाषित किया जा सकता है।

$\Sigma _{b}={\frac {1}{C}}\sum _{i=1}^{C}(\mu _{i}-\mu )(\mu _{i}-\mu )^{\mathrm {T} }$

जहां $\mu$ वर्ग का माध्य है। एक दिशा में वर्ग जुदाई ${\vec {w}}$ इस मामले में दिया जाएगा

$S={\frac {{\vec {w}}^{\mathrm {T} }\Sigma _{b}{\vec {w}}}{{\vec {w}}^{\mathrm {T} }\Sigma {\vec {w}}}}$

इसका मतलब है कि जब ${\vec {w}}$ का अभिलक्षणिक सदिश है $\Sigma ^{-1}\Sigma _{b}$ पृथक्करण संगत अभिलाक्षणिक मान के समतुल्य होगा।

चूंकि $\Sigma ^{-1}\Sigma _{b}$ का विकर्णीय किया जा सकता है, सुविधाओं के बीच परिवर्तनशीलता सी − 1 सबसे बड़े अभिलाक्षणिक मान के अनुरूप पैरामीटर के आकार में समाहित किया जाएगा. चूंकि $\Sigma _{b}$ अधिक से अधिक रैंक C − 1 का है। ये ईगेन सदिश मुख्य रूप से पीसीए के प्रकार के फीचर रिडक्शन में उपयोग किए जाते हैं। छोटे अभिलाक्षणिक मान ​​​​के अनुरूप ईगेंवैक्टर प्रशिक्षण डेटा की उपयुक्त पसंद के प्रति बहुत संवेदनशील होते हैं, और अगले खंड में वर्णित नियमितीकरण का उपयोग करना अधिकांशतः आवश्यक होता है.

यदि आयाम में कमी के अतिरिक्त, वर्गीकरण की आवश्यकता होती है, तो कई वैकल्पिक प्रद्योगिकी के रूप में उपलब्ध हैं। उदाहरण के लिए, वर्गों को विभाजित किया जा सकता है, और प्रत्येक विभाजन को वर्गीकृत करने के लिए एक मानक फिशर डिस्क्रिमिनेंट या एलडीए का उपयोग किया जाता है। इसका एक सामान्य उदाहरण "एक बनाम बाकी" है, जहां एक वर्ग के अंक एक समूह में रखे जाते हैं, और बाकी सब दूसरे में और फिर एलडीए लागू होता है। इसका परिणाम सी क्लासिफायर होगा, जिसके परिणाम संयुक्त होंगे।

एक अन्य सामान्य विधि जोड़ीदार वर्गीकरण है जहां प्रत्येक वर्ग के जोड़े के लिए एक नया वर्गीकारक बनाया जाता है,जिसमें कुल मिलाकर कुल C(C − 1)/2 वर्गीकारक होते हैं। एक अंतिम वर्गीकरण तैयार करने के लिए भिन्न-भिन्न वर्गीकारकों संयोजन के साथ होते हैं।

इंक्रीमेंटल एलडीए

एलडीए प्रद्योगिकी के विशिष्ट कार्यान्वयन के लिए सभी नमूने अग्रिम में उपलब्ध होने की आवश्यकता होती है.। चूंकि ऐसी स्थितियाँ होती हैं जहाँ संपूर्ण डेटा सेट उपलब्ध नहीं होता है और इनपुट डेटा को एक धारा के रूप में देखा जाता है। इस स्थिति में यह एलडीए सुविधा निष्कर्षण के लिए यह वांछनीय है कि पूरे डेटा सेट पर एल्गोरिथ्म को चलाए बिना नए नमूनों को देखकर गणना की गई है,एलडीए विशेषताओं को अद्यतन करने की क्षमता रखने के लिए वांछनीय होती है। उदाहरण के लिए, वास्तविक समय में मोबाइल रोबोटिक्स जैसे अनुप्रयोगों में नए प्रेक्षण उपलब्ध होते ही एक्सट्रेक्ट किए गए एवास्तविक समय में मोबाइल रोबोटिक्स जैसे अनुप्रयोगों में नए प्रेक्षण उपलब्ध होते ही एक्सट्रेक्ट किए गए एल. डी. ए. फीचर को अपडेट करना महत्वपूर्ण है। एक एल. डी. ए. विशेषता निष्कर्षण प्रद्योगिकी जो सिर्फ नए नमूने देख कर एल. डी. ए. सुविधाओं को अद्यतन कर सकते हैं, एक वृद्धिशील एल. डी. ए. एल्गोरिथ्म है और इस विचार का पिछले दो दशकों में बड़े पैमाने पर अध्ययन किया गया है। चटर्जी और रॉयचौधरी ने एलडीए सुविधाओं को अद्यतन करने के लिए एक वृद्धिशील स्वयं संगठित एलडीए कलन विधिप्रस्तावित किया। अन्य कार्य में, डेमिर और ओजमेमेट ने त्रुटि-सुधार और हेब्बियन सीखने के नियमों का उपयोग करते हुए एलडीए सुविधाओं को अद्यतन करने के लिए ऑनलाइन स्थानीय शिक्षण एल्गोरिदम प्रस्तावित किया। बाद में, अलियारी एट अल के नए नमूने देखकर एलडीए सुविधाओं को अद्यतन करने के लिए तेजी से वृद्धिशील एल्गोरिदम व्युत्पन्न किया गया था ।

व्यावहारिक उपयोग

व्यवहार में वर्ग का अर्थ और सहप्रसरण ज्ञात नहीं हैं। चूंकि,प्रशिक्षण सेट से इनका अनुमान लगाया जा सकता है। उपरोक्त समीकरणों में उपयुक्त मान के स्थान पर या तो अधिकतम संभावना अनुमान या अधिकतम पश्च अनुमान का उपयोग किया जा सकता है। चूंकि सहप्रसरण के अनुमानों को कुछ अर्थों में इष्टतम माना जा सकता है, इसका मतलब यह नहीं है कि इन मूल्यों को प्रतिस्थापित करके प्राप्त परिणामी विवेचक किसी भी अर्थ में इष्टतम है, भले ही सामान्य रूप से वितरित वर्गों की धारणा सही हो सकती है।

एलडीए और फिशर के विवेचक को वास्तविक डेटा पर लागू करने में एक और जटिलता तब होती है, जब प्रत्येक नमूने के माप की संख्या अर्थात प्रत्येक डेटा सदिश की आयाम प्रत्येक कक्षा में नमूनों की संख्या से अधिक हो जाती है।इस मामले में सहप्रसरण अनुमानों की पूरी रैंक नहीं होती है और इसलिए इसे उल्टा नहीं किया जा सकता है। इससे निपटने के कई तरीके हैं। उपरोक्त सूत्रों में सामान्य आव्यूह व्युत्क्रम के अतिरिक्त छद्म व्युत्क्रम का उपयोग करना है। चूंकि, उत्तम संख्यात्मक स्थिरता प्राप्त करने के लिए सबसे पहले समस्या के सबस्पेस को प्रक्षेपित करते हुए किया जा सकता है।$\Sigma _{b}$.

छोटे नमूने के बनावट से निपटने के लिए एक अन्य रणनीति सहप्रसरण आव्यूह के संकोचन अनुमानक का उपयोग होता है।

जिसे गणितीय रूप में व्यक्त किया जा सकता है।

$\Sigma =(1-\lambda )\Sigma +\lambda I\,$

जहाँ $I$ आइडेंटिटीआव्यूह है, और $\lambda$ संकोचन तीव्रता या नियमितीकरण पैरामीटर है।

यह नियमित विभेदक विश्लेषण के ढांचे की ओर ले जाता है। या संकोचन विभेदक विश्लेषण होता है ।

कई व्यावहारिक मामलों में रैखिक विवेचक उपयुक्त नहीं होते हैं। एलडीए और फिशर के विवेचक को कर्नेल चाल के माध्यम से गैर-रैखिक वर्गीकरण में उपयोग के लिए बढ़ाया जा सकता है। यहां, मूल प्रेक्षणों को प्रभावी रूप से एक उच्च आयामी गैर रैखिक अंतरिक्ष में प्रतिचित्रित किया गया है। इस गैर रैखिक स्थान में रैखिक वर्गीकरण फिर मूल स्थान में गैर रैखिक वर्गीकरण के समतुल्य होता है। इसका सबसे अधिक उपयोग किया जाने वाला उदाहरण कर्नेल एकाधिक विभेदक विश्लेषण होता है।

एलडीए को कई विभेदक विश्लेषणों के लिए सामान्यीकृत किया जा सकता है, जहां सी मात्र दो के अतिरिक्त एन संभावित राज्यों के साथ एक श्रेणीबद्ध चर बन जाता है। जिसे अनुरूप रूप से यदि वर्ग-सशर्त घनत्व $p({\vec {x}}\mid c=i)$ साझा सहप्रसरण के साथ सामान्य होता हैं, पर्याप्त आँकड़ा $P(c\mid {\vec {x}})$ एन अनुमानों के मूल्य हैं, जो एन साधनों द्वारा फैलाए गए रैखिक उप-स्थान हैं, व्युत्क्रम सहप्रसरण आव्यूह द्वारा परिशोधित परिवर्तन। इन अनुमानों को एक आव्यूह सामान्यीकृत अभिलाक्षणिक मान समस्या को हल करके पाया जा सकता है, ईजेन डीकंपोजीशन होता है, जो नमूनों के माध्यम से मापन से तैयार किया जाता है, और हर भाग में साझा सहप्रसविताआव्यूह होता है। विवरण के लिए ऊपर "मल्टीक्लास एलडीए" के रूप में देखें।

अनुप्रयोग

नीचे दिए गए उदाहरणों के अतिरिक्त, एलडीए को स्थिति (मार्केटिंग) और उत्पाद प्रबंधन में लागू किया जाता है।

दिवालियापन की भविष्यवाणी

लेखा अनुपात और अन्य वित्तीय चर के आधार पर दिवालियापन की भविष्यवाणी में, रैखिक विभेदक विश्लेषण व्यवस्थित रूप से यह समझाने के लिए था। कि प्रथम सांख्यिकीय पद्धति के रूप में लागू किया गया था।जिसका इस्तेमाल दिवालियापन बनाम अस्तित्व में था।एलडीए के सामान्य वितरण मान्यताओं के अनुरूप लेखा करण अनुपात की अनदेखी के बावजूद, एडवर्ड ऑल्टमैन का जेड-स्कोर वित्तीय विश्लेषण उपकरण अभी भी व्यावहारिक उपयोग में अभी भी अग्रणी मॉडल के रूप में है।

फेसेस की पहचान

कम्प्यूटरीकृत फेसेस की आइडेंटिटी प्रणाली में, प्रत्येक फेसेस को बड़ी संख्या में पिक्सेल मानों द्वारा प्रदर्शित किया जाता है। रेखीय डिस्क्रिमिनेशन विश्लेषण का प्रमुख रूप से प्रयोग वर्गीकरण से पूर्व लक्षणों की संख्या को अधिक प्रबंधनीय संख्या में घटाने के लिए किया जाता है। प्रत्येक नया आयाम पिक्सेल मानों का एक रैखिक संयोजन है, जो एक टेम्पलेट का निर्माण करता है। फिशर के रैखिक विवेचक का उपयोग करके प्राप्त रैखिक संयोजनों को फिशर फेसेस कहा जाता है, जबकि संबंधित प्रमुख घटक विश्लेषण के उपयोग से प्राप्त रेखीय संयोजनों को ईजीफेसेस कहा जाता है।

मार्केटिंग

मार्केटिंगमें, भेदभावपूर्ण विश्लेषण का उपयोग अधिकांशतः उन कारकों को निर्धारित करने के लिए किया जाता था, जो विभिन्न प्रकार के ग्राहकों और उत्पादों को सर्वेक्षण या अन्य प्रकार के एकत्रित डेटा के आधार पर भिन्न करते हैं। लॉजिस्टिक रिग्रेशन या अन्य विधि अब अधिक सामान्य रूप से उपयोग किए जाते हैं। मार्केटिंग में विभेदक विश्लेषण के उपयोग को निम्नलिखित चरणों द्वारा वर्णित किया जा सकता है:

1. समस्या तैयार करना और डेटा एकत्र करना- इस श्रेणी में उत्पादों का मूल्यांकन करने के लिए उपयोग किए जाने वाले सामाजिक गुणों की आइडेंटिटी करना मात्रात्मक मार्केटिंग अनुसंधान प्रद्योगिक के रूप में है। जैसे सांख्यिकीय सर्वेक्षण का उपयोग करें जिससे की सभी उत्पाद विशेषताओं की रेटिंग के संबंध में संभावित ग्राहकों के नमूने से डेटा एकत्र किए जा सकते है, डेटा संग्रह चरण सामान्यतः मार्केटिंग अनुसंधान पेशेवरों द्वारा की जाती है। सर्वेक्षण के प्रश्न प्रतिवादी को शोधकर्ता द्वारा चुनी गई विशेषताओं की एक श्रृंखला पर उत्पाद को एक से पांच (या 1 से 7, या 1 से 10) तक रेट करने के लिए कहते हैं। कहीं भी पाँच से बीस विशेषताओं का चयन किया जाता है। उनमें निम्न चीज़ें सम्मलित हो सकती हैं: उपयोग में आसानी, वजन, उपयुक्तता, टिकाऊपन, रंगीनता, कीमत या बनावट के रूप में हो सकती है। और इस प्रकार गुण अध्ययन किए जा रहे है। उत्पाद के आधार पर गुण भिन्न-भिन्न होंगे। अध्ययन में सभी उत्पादों के बारे में एक ही प्रश्न पूछा गया है। कई उत्पादों के डेटा को संहिताबद्ध किया जाता है और एक सांख्यिकीय कार्यक्रम जैसे आर भाषा, एसपीएसएस या एसएएस प्रोग्रामिंग भाषा में इनपुट किया जाता है। यह चरण कारक विश्लेषण के समान है।
2. डिस्क्रिमिनेंट संकल्पना गुणांक का अनुमान लगाएं और सांख्यिकीय महत्व और वैधता निर्धारित करें उपयुक्त डिस्क्रिमिनेंट विश्लेषण विधि चुनें। प्रत्यक्ष विधि में विवेचक संकल्पना का आकलन करना सम्मलित है, जिससे की सभी भविष्यवक्ताओं का एक साथ मूल्यांकन किया जा सके। स्टेप चरणबद्ध प्रतिगमन भविष्यवाणियों में क्रमिक रूप से प्रवेश करता है। दो-समूह विधि का उपयोग तब किया जाना चाहिए जब आश्रित चर में दो श्रेणियां या अवस्थाएँ हों। एकाधिक विभेदक विधि का उपयोग तब किया जाता है जब आश्रित चर में तीन या अधिक श्रेणीबद्ध अवस्थाएँ होती हैं। विल्क्स लैम्ब्डा डिस्ट्रीब्यूशन का प्रयोग करें। एसपीएसएस में महत्व या एसएएस में एफ स्टेट के परीक्षण के लिए विल्क्स लैम्ब्डा का उपयोग करें। वैधता का परीक्षण करने के लिए उपयोग की जाने वाली सबसे आम विधि नमूने को एक अनुमान या विश्लेषण नमूने और एक सत्यापन या होल्डआउट नमूने में विभाजित करना है। अनुमान नमूना का उपयोग विवेचक संकल्पना के निर्माण में किया जाता है। सत्यापन नमूने का उपयोग एक वर्गीकरण आव्यूह के निर्माण के लिए किया जाता है जिसमें सही ढंग से वर्गीकृत और गलत वर्गीकृत मामलों की संख्या सम्मलित होती है। सही ढंग से वर्गीकृत मामलों के प्रतिशत को हिट अनुपात कहा जाता है।
3. परिणामों को दो आयामी मानचित्र पर प्लॉट करें, आयामों को परिभाषित करें और परिणामों की व्याख्या करें। सांख्यिकीय कार्यक्रम या संबंधित मॉड्यूल परिणामों को प्रतिचित्रित करता है। प्रत्येक उत्पाद को सामान्यतया दो-आयामी स्थान में मानचित्र से ग्रथित किया जायेगा।एक दूसरे से उत्पादों की दूरी या तो वे कितने अलग हैं संकेत मिलता है.आयामों को शोधकर्ता द्वारा लेबल किया जाना चाहिए। इसके लिए व्यक्तिपरक निर्णय की आवश्यकता होती है और अक्सर यह बहुत ही चुनौतीपूर्ण होता है। अवधारणात्मक मानचित्रण देखें।

बायोमेडिकल अध्ययन

चिकित्सा में विभेदक विश्लेषण का मुख्य उपयोग रोगी की तीक्ष्णता की स्थिति और रोग के परिणाम का पूर्वानुमान है। उदाहरण के लिए, पूर्वव्यापी विश्लेषण के दौरान रोगी को बीमारी की गंभीरता के अनुसार हल्के, मध्यम और गंभीर रूप में समूहों में विभाजित किया जाता है। इसके बाद नैदानिक और प्रयोगशाला के विश्लेषणों का अध्ययन किया जाता है, जिससे की आंकड़ों के आधार पर विभिन्न स्तरों का पता लगाया जा सके।इन चर भेदभावपूर्ण कार्यों का उपयोग करते हुए, भेदभावपूर्ण कार्यों का निर्माण किया जाता है जो रोग को किसी भावी रोगी में हल्के, मध्यम या गंभीर रूप में वर्गीकृत करने में सहायक होता है।

जीव विज्ञान में, समान सिद्धांतों का उपयोग विभिन्न जैविक वस्तुओं के समूहों को वर्गीकृत करने और परिभाषित करने के लिए किया जाता है, उदाहरण के लिए, फूरियर ट्रांसफॉर्म इन्फ्रारेड स्पेक्ट्रा के आधार पर साल्मोनेला एंटरिटिडिस के फेज प्रकारों को परिभाषित करने के लिए, एस्चेरिचिया कोलाई के पशु स्रोत का पता लगाने के लिए इसके विषाणु कारकों का अध्ययन करना वगैरह के रूप में होता है।

एर्थ विज्ञान

इस विधि का उपयोग परिवर्तन ज़ोनस्क्रीरिफिकेशन को आवश्यक अलग-अलग करने के लिए किया जा सकता हैseparate the alteration zones. उदाहरण के लिए, जब विभिन्न क्षेत्रों से भिन्न-भिन्न डेटा उपलब्ध होते हैं, तो विवेकशील विश्लेषण डेटा के पैटर्न को ढूंढ सकता है और इसे प्रभावी ढंग से वर्गीकृत कर सकता है।

रसद प्रतिगमन की तुलना

विभेदक कार्य विश्लेषण रसद प्रतिगमन के समान है, और दोनों का उपयोग समान शोध प्रश्नों के उत्तर देने के लिए किया जा सकता है।तार्किक प्रतिगमन में विवेकपूर्ण विश्लेषण के रूप में कई धारणाएं और प्रतिबंध नहीं हैं। चूंकि, जब डिस्क्रिमिनेंट एनालिसिस की धारणाएँ पूरी होती हैं, तो यह लॉजिस्टिक रिग्रेशन से अधिक शक्तिशाली होता है। लॉजिस्टिक प्रतिगमन के विपरीत, विभेदक विश्लेषण का उपयोग छोटे नमूना बनावटों के साथ किया जा सकता है। यह दिखाया गया है कि जब नमूना बनावट समान होते हैं, और विचरण सहप्रसरण की एकरूपता हो, तो विवेचक विश्लेषण अधिक उपयुक्त होता है।इन सभी फायदों के अतिरिक्त, लॉजिस्टिक रिग्रेशन कम से कम आम पसंद बन गया है, क्योंकि भेदभावपूर्ण विश्लेषण की धारणाएं संभवतः ही कभी पूरी होती हैं।

उच्च आयाम में रैखिक विवेचक

उच्च आयामों में ज्यामितीय विसंगतियाँ आयामीता के प्रसिद्ध अभिशाप को जन्म देती हैं। फिर भी, माप की घटना की एकाग्रता के उचित उपयोग से अभिकलन आसान हो सकता है।। आयामीता के इन अभिशाप का एक महत्वपूर्ण स्थिति डोनो और टैनर द्वारा प्रकाश में लाया गया था, यदि एक नमूना अनिवार्य रूप से उच्च आयामी है, तो प्रत्येक बिंदु को रेखीय असमानता के द्वारा, यहां तक कि अत्यधिक बड़ी नमूनों के लिए भी, शेष बिंदु से अलग किया जा सकता है। । इन रैखिक असमानताओं को संभाव्यता वितरण के एक समृद्ध परिवार के लिए रैखिक विवेचक के मानक (फिशर) रूप में चुना जा सकता है। विशेष रूप से, इस प्रकार के प्रमेय लॉगरिदमिक रूप से अवतल माप के लिए सिद्ध होते हैं। बहुभिन्नरूपी सामान्य वितरण सहित लॉग-अवतल वितरण प्रमाण लॉग अवतल माध्यमों के लिए एकाग्रता असमानताओं पर आधारित है और एक बहुआयामी घन पर उत्पाद के माध्यमों के लिए यह उत्पाद संभाव्यता रिक्त स्थान के लिए तालग्रैंड की एकाग्रता असमानता का उपयोग करके सिद्ध होता है। मौलिक रेखीय विभेदकों द्वारा डेटा पृथक्करण उच्च आयाम में कृत्रिम बुद्धिमत्ता प्रणालियों के लिए त्रुटि सुधार की समस्या को सरल करता है।

यह भी देखें

• डेटा माइनिंग
• निर्णय ट्री सीखना
• कारक विश्लेषण
• कर्नेल फिशर डिस्क्रिमिनेंट एनालिसिस
• लोगिट (लॉजिस्टिक रिग्रेशन के लिए)
• रेखीय प्रतिगमन
• एकाधिक विभेदक विश्लेषण
• बहुआयामी स्केलिंग
• पैटर्न मान्यता
• वरीयता प्रतिगमन
• द्विघात वर्गीकारक
• सांख्यिकीय वर्गीकरण

अग्रिम पठन

• Duda, R. O.; Hart, P. E.; Stork, D. H. (2000). Pattern Classification (2nd ed.). Wiley Interscience. ISBN 978-0-471-05669-0. MR 1802993.
• Hilbe, J. M. (2009). Logistic Regression Models. Chapman & Hall/CRC Press. ISBN 978-1-4200-7575-5.
• Mika, S.; et al. (1999). "Fisher Discriminant Analysis with Kernels". Neural Networks for Signal Processing IX: Proceedings of the 1999 IEEE Signal Processing Society Workshop (Cat. No.98TH8468). pp. 41–48. CiteSeerX 10.1.1.35.9904. doi:10.1109/NNSP.1999.788121. ISBN 978-0-7803-5673-3. S2CID 8473401. {{cite book}}: |journal= ignored (help)
• McFarland, H. Richard; Donald, St. P. Richards (2001). "Exact Misclassification Probabilities for Plug-In Normal Quadratic Discriminant Functions. I. The Equal-Means Case". Journal of Multivariate Analysis. 77 (1): 21–53. doi:10.1006/jmva.2000.1924.
• McFarland, H. Richard; Donald, St. P. Richards (2002). "Exact Misclassification Probabilities for Plug-In Normal Quadratic Discriminant Functions. II. The Heterogeneous Case". Journal of Multivariate Analysis. 82 (2): 299–330. doi:10.1006/jmva.2001.2034.
• Haghighat, M.; Abdel-Mottaleb, M.; Alhalabi, W. (2016). "Discriminant Correlation Analysis: Real-Time Feature Level Fusion for Multimodal Biometric Recognition". IEEE Transactions on Information Forensics and Security. 11 (9): 1984–1996. doi:10.1109/TIFS.2016.2569061. S2CID 15624506.

बाहरी संबंध

• Discriminant Correlation Analysis (DCA) of the Haghighat article (see above)
• ALGLIB contains open-source एल. डी. ए. implementation in C# / C++ / Pascal / VBA.
• एल. डी. ए. in Python- एल. डी. ए. implementation in Python
• एल. डी. ए. tutorial using MS Excel
• Biomedical statistics. Discriminant analysis
• StatQuest: Linear Discriminant Analysis (LDA) clearly explained on YouTube
• Course notes, Discriminant function analysis by G. David Garson, NC State University
• Discriminant analysis tutorial in Microsoft Excel by Kardi Teknomo
• Course notes, Discriminant function analysis by David W. Stockburger, Missouri State University
• Discriminant function analysis (DA) by John Poulsen and Aaron French, San Francisco State University