स्वतंत्र घटक विश्लेषण

संकेत आगे बढ़ाना में, स्वतंत्र घटक विश्लेषण (आईसीए) बहुभिन्नरूपी सांख्यिकी संकेत को योगात्मक उपघटकों में अलग करने के लिए कम्प्यूटेशनल विधि है। ऐसा यह मानकर किया जाता है कि अधिक से अधिक उपघटक गाऊसी है और यह कि उपघटक दूसरे से सांख्यिकीय रूप से स्वतंत्र हैं। ICA अंधा स्रोत जुदाई का विशेष मामला है। सामान्य उदाहरण अनुप्रयोग शोरगुल वाले कमरे में व्यक्ति के भाषण को सुनने की कॉकटेल पार्टी समस्या है।

परिचय
स्वतंत्र घटक विश्लेषण बहुभिन्नरूपी संकेत को स्वतंत्र गैर-गाऊसी संकेतों में विघटित करने का प्रयास करता है। उदाहरण के रूप में, ध्वनि आमतौर पर संकेत होता है जो कई स्रोतों से संकेतों के प्रत्येक समय टी पर संख्यात्मक जोड़ से बना होता है। सवाल यह है कि क्या इन योगदान स्रोतों को देखे गए कुल सिग्नल से अलग करना संभव है। जब सांख्यिकीय स्वतंत्रता धारणा सही होती है, तो मिश्रित संकेत का अंधा ICA पृथक्करण बहुत अच्छा परिणाम देता है। इसका उपयोग उन संकेतों के लिए भी किया जाता है जिन्हें विश्लेषण उद्देश्यों के लिए मिश्रित करके उत्पन्न नहीं किया जाना चाहिए।

कॉकटेल पार्टी की समस्या आईसीए का सरल अनुप्रयोग है, जहां अंतर्निहित भाषण संकेतों को कमरे में साथ बात करने वाले लोगों के नमूना डेटा से अलग किया जाता है। आमतौर पर बिना किसी देरी या गूँज के समस्या को सरल बना दिया जाता है। ध्यान दें कि फ़िल्टर्ड और विलंबित संकेत आश्रित घटक की प्रति है, और इस प्रकार सांख्यिकीय स्वतंत्रता धारणा का उल्लंघन नहीं होता है।

निर्माण के लिए वजन मिलाना$M$ से संकेतों का अवलोकन किया $N$ घटकों को में रखा जा सकता है $M \times N$  आव्यूह। विचार करने वाली महत्वपूर्ण बात यह है कि यदि $N$  स्रोत मौजूद हैं, कम से कम $N$  मूल संकेतों को पुनर्प्राप्त करने के लिए अवलोकन (उदाहरण के लिए माइक्रोफ़ोन यदि देखा गया संकेत ऑडियो है) की आवश्यकता होती है। जब समान संख्या में अवलोकन और स्रोत संकेत होते हैं, तो मिश्रण मैट्रिक्स वर्गाकार होता है ($M = N$ ). अनिर्धारित के अन्य मामले ($M < N$ ) और अतिनिर्धारित ($M > N$ ) की जांच की गई है।

यह कि मिश्रित संकेतों का ICA पृथक्करण बहुत अच्छे परिणाम देता है, यह दो धारणाओं और मिश्रण स्रोत संकेतों के तीन प्रभावों पर आधारित है। दो धारणाएँ: स्रोत संकेतों को मिलाने के तीन प्रभाव: सरल शब्दों में कहें तो, दो स्वतंत्र यादृच्छिक चर के योग में आमतौर पर वितरण होता है जो इसके करीब होता है गॉसियन दो मूल चरों में से किसी की तुलना में। यहां हम प्रत्येक संकेत के मान को यादृच्छिक चर मानते हैं। वे सिद्धांत आईसीए की बुनियादी स्थापना में योगदान करते हैं। यदि मिश्रण के सेट से निकाले गए संकेत स्वतंत्र हैं, और गैर-गाऊसी हिस्टोग्राम हैं या कम जटिलता है, तो उन्हें स्रोत संकेत होना चाहिए।
 * 1) स्रोत संकेत दूसरे से स्वतंत्र हैं।
 * 2) प्रत्येक स्रोत सिग्नल के मान में गैर-गाऊसी वितरण होते हैं।
 * 1) स्वतंत्रता: धारणा 1 के अनुसार, स्रोत संकेत स्वतंत्र हैं; हालाँकि, उनके सिग्नल मिश्रण नहीं हैं। ऐसा इसलिए है क्योंकि सिग्नल मिश्रण समान स्रोत सिग्नल साझा करते हैं।
 * 2) सामान्यता: केंद्रीय सीमा प्रमेय के अनुसार, परिमित विचरण के साथ स्वतंत्र यादृच्छिक चर के योग का वितरण गॉसियन वितरण की ओर जाता है।
 * 1) जटिलता: किसी भी सिग्नल मिश्रण की अस्थायी जटिलता उसके सरलतम घटक स्रोत सिग्नल की तुलना में अधिक होती है।

घटक स्वतंत्रता को परिभाषित करना
आईसीए अनुमानित घटकों की सांख्यिकीय स्वतंत्रता को अधिकतम करके स्वतंत्र घटकों (जिन्हें कारक, अव्यक्त चर या स्रोत भी कहा जाता है) का पता लगाता है। हम स्वतंत्रता के लिए प्रॉक्सी को परिभाषित करने के कई तरीकों में से चुन सकते हैं, और यह विकल्प आईसीए एल्गोरिथम के रूप को नियंत्रित करता है। आईसीए के लिए स्वतंत्रता की दो व्यापक परिभाषाएँ हैं


 * 1) आपसी जानकारी को कम करना
 * 2) गैर-गौसियनिटी का अधिकतमकरण

आईसीए एल्गोरिथम का मिनिमाइजेशन-ऑफ-म्युचुअल इंफॉर्मेशन (एमएमआई) परिवार कुल्बैक-लीब्लर डाइवर्जेंस | कुल्बैक-लीब्लर डाइवर्जेंस और अधिकतम एंट्रॉपी के सिद्धांत जैसे उपायों का उपयोग करता है। केंद्रीय सीमा प्रमेय से प्रेरित ICA एल्गोरिदम का गैर-गौसियनिटी परिवार, कुकुदता और नाइनट्रॉपी का उपयोग करता है।

आईसीए के लिए विशिष्ट एल्गोरिदम वास्तविक पुनरावृत्त एल्गोरिदम के लिए समस्या की जटिलता को सरल बनाने और कम करने के लिए केंद्रीकरण (शून्य माध्य संकेत बनाने के लिए माध्य घटाना), श्वेत परिवर्तन (आमतौर पर ईजेनवेल्यू अपघटन के साथ), और पूर्वप्रक्रमण चरणों के रूप में आयाम में कमी का उपयोग करते हैं।. मुख्य घटक विश्लेषण या एकवचन मूल्य अपघटन के साथ श्वेतकरण और आयाम में कमी प्राप्त की जा सकती है। श्वेतकरण यह सुनिश्चित करता है कि एल्गोरिदम चलाने से पहले सभी आयामों को समान रूप से प्राथमिकता माना जाता है। आईसीए के लिए प्रसिद्ध एल्गोरिदम में infomax, फास्टआईसीए, जेएडीई (आईसीए), और कर्नेल-स्वतंत्र घटक विश्लेषण शामिल हैं। सामान्य तौर पर, आईसीए स्रोत संकेतों की वास्तविक संख्या, स्रोत संकेतों के विशिष्ट रूप से सही क्रम, और न ही स्रोत संकेतों के उचित स्केलिंग (साइन सहित) की पहचान नहीं कर सकता है।

आईसीए सिग्नल पृथक्करण के लिए महत्वपूर्ण है और इसके कई व्यावहारिक अनुप्रयोग हैं। यह डेटा के तथ्यात्मक कोड की खोज (या यहां तक ​​कि विशेष मामले) से निकटता से संबंधित है, यानी, प्रत्येक डेटा वेक्टर का नया वेक्टर-मूल्यवान प्रतिनिधित्व इस तरह से परिणामी कोड वेक्टर (नुकसान मुक्त) द्वारा विशिष्ट रूप से एन्कोड किया जाता है। कोडिंग), लेकिन कोड घटक सांख्यिकीय रूप से स्वतंत्र हैं।

गणितीय परिभाषाएँ
रैखिक स्वतंत्र घटक विश्लेषण को नीरव और शोर वाले मामलों में विभाजित किया जा सकता है, जहां नीरव आईसीए शोर आईसीए का विशेष मामला है। नॉनलाइनियर आईसीए को अलग मामले के रूप में माना जाना चाहिए।

सामान्य परिभाषा
डेटा को देखे गए यादृच्छिक वेक्टर द्वारा दर्शाया गया है $$\boldsymbol{x}=(x_1,\ldots,x_m)^T$$ और छिपे हुए घटक यादृच्छिक वेक्टर के रूप में $$\boldsymbol{s}=(s_1,\ldots,s_n)^T.$$ कार्य देखे गए डेटा को बदलना है $$\boldsymbol{x},$$ रैखिक स्थिर परिवर्तन का उपयोग करना $$\boldsymbol{W}$$ जैसा $$\boldsymbol{s} = \boldsymbol{W} \boldsymbol{x},$$ अधिकतम स्वतंत्र घटकों के वेक्टर में $$\boldsymbol{s}$$ किसी कार्य द्वारा मापा जाता है $$F(s_1,\ldots,s_n)$$ आज़ाद के।

रैखिक नीरव आईसीए
अवयव $$x_i$$ देखे गए यादृच्छिक वेक्टर की $$\boldsymbol{x}=(x_1,\ldots,x_m)^T$$ स्वतंत्र घटकों के योग के रूप में उत्पन्न होते हैं $$s_k$$, $$k=1,\ldots,n$$:

$$x_i = a_{i,1} s_1 + \cdots + a_{i,k} s_k + \cdots + a_{i,n} s_n$$ मिश्रण भार द्वारा भारित $$a_{i,k}$$.

उसी जनरेटिव मॉडल को सदिश रूप में लिखा जा सकता है $$\boldsymbol{x}=\sum_{k=1}^{n} s_k \boldsymbol{a}_k$$, जहां मनाया यादृच्छिक वेक्टर $$\boldsymbol{x}$$ आधार वैक्टर द्वारा दर्शाया गया है $$\boldsymbol{a}_k=(\boldsymbol{a}_{1,k},\ldots,\boldsymbol{a}_{m,k})^T$$. आधार वैक्टर $$\boldsymbol{a}_k$$ मिक्सिंग मैट्रिक्स के कॉलम बनाएं $$\boldsymbol{A}=(\boldsymbol{a}_1,\ldots,\boldsymbol{a}_n)$$ और उत्पादक सूत्र के रूप में लिखा जा सकता है $$\boldsymbol{x}=\boldsymbol{A} \boldsymbol{s}$$, कहाँ $$\boldsymbol{s}=(s_1,\ldots,s_n)^T$$.

मॉडल और प्राप्तियों (नमूने) को देखते हुए $$\boldsymbol{x}_1,\ldots,\boldsymbol{x}_N$$ यादृच्छिक वेक्टर का $$\boldsymbol{x}$$, कार्य दोनों मिश्रण मैट्रिक्स का अनुमान लगाना है $$\boldsymbol{A}$$ और स्रोत $$\boldsymbol{s}$$. यह अनुकूल रूप से गणना करके किया जाता है $$\boldsymbol{w}$$ वैक्टर और लागत समारोह स्थापित करना जो या तो गणना की गैर-गौसियनिटी को अधिकतम करता है $$s_k = \boldsymbol{w}^T \boldsymbol{x}$$ या आपसी जानकारी को कम करता है। कुछ मामलों में, स्रोतों के संभाव्यता बंटन का प्राथमिक ज्ञान लागत फलन में इस्तेमाल किया जा सकता है।

मूल स्रोत $$\boldsymbol{s}$$ देखे गए संकेतों को गुणा करके पुनर्प्राप्त किया जा सकता है $$\boldsymbol{x}$$ मिश्रण मैट्रिक्स के व्युत्क्रम के साथ $$\boldsymbol{W}=\boldsymbol{A}^{-1}$$, जिसे अनमिक्सिंग मैट्रिक्स के रूप में भी जाना जाता है। यहाँ यह माना जाता है कि मिश्रण मैट्रिक्स वर्ग है ($$n=m$$). यदि आधार सदिशों की संख्या प्रेक्षित सदिशों की विमा से अधिक है, $$n>m$$, कार्य अधूरा है लेकिन छद्म व्युत्क्रम के साथ अभी भी हल करने योग्य है।

रैखिक शोर आईसीए
शून्य-माध्य और असंबद्ध गाऊसी शोर की अतिरिक्त धारणा के साथ $$n\sim N(0,\operatorname{diag}(\Sigma))$$, आईसीए मॉडल रूप लेता है $$\boldsymbol{x}=\boldsymbol{A} \boldsymbol{s}+n$$.

अरैखिक आईसीए
स्रोतों के मिश्रण को रैखिक होने की आवश्यकता नहीं है। अरैखिक मिश्रण समारोह का उपयोग करना $$f(\cdot|\theta)$$ मापदंडों के साथ $$\theta$$ अरेखीय आईसीए मॉडल है $$x=f(s|\theta)+n$$.

पहचान
स्रोतों के क्रमपरिवर्तन और स्केलिंग तक स्वतंत्र घटकों की पहचान की जा सकती है। इस पहचान की आवश्यकता है कि:


 * अधिक से अधिक स्रोत $$s_k$$ गाऊसी है,
 * देखे गए मिश्रणों की संख्या, $$m$$, कम से कम अनुमानित घटकों की संख्या जितनी बड़ी होनी चाहिए $$n$$: $$m \ge n$$. यह मिश्रण मैट्रिक्स कहने के बराबर है $$\boldsymbol{A}$$ इसके व्युत्क्रम के अस्तित्व के लिए पूर्ण रैंक (रैखिक बीजगणित) का होना चाहिए।

बाइनरी आईसीए
आईसीए का विशेष संस्करण बाइनरी आईसीए है जिसमें सिग्नल स्रोत और मॉनिटर दोनों बाइनरी फॉर्म में हैं और मॉनिटर से अवलोकन बाइनरी स्वतंत्र स्रोतों के संयोजन मिश्रण हैं। समस्या को चिकित्सा निदान, बहु-क्लस्टर असाइनमेंट, नेटवर्क टोमोग्राफी और इंटरनेट संसाधन प्रबंधन सहित कई डोमेन में अनुप्रयोगों के लिए दिखाया गया था।

होने देना $${x_1, x_2, \ldots, x_m}$$ से बाइनरी चर का सेट हो $$m$$ मॉनिटर और $${y_1, y_2, \ldots, y_n}$$ से बाइनरी चर का सेट हो $$n$$ स्रोत। स्रोत-मॉनिटर कनेक्शन (अज्ञात) मिश्रण मैट्रिक्स द्वारा दर्शाए जाते हैं $\boldsymbol{G}$, कहाँ $$g_{ij} = 1$$ इंगित करता है कि i-वें स्रोत से संकेत j-वें मॉनिटर द्वारा देखा जा सकता है। सिस्टम निम्नानुसार काम करता है: किसी भी समय, यदि कोई स्रोत $$i$$ सक्रिय है ($$y_i=1$$) और यह मॉनिटर से जुड़ा होता है $$j$$ ($$g_{ij}=1$$) फिर मॉनिटर $$j$$ कुछ गतिविधि देखेंगे ($$x_j=1$$). औपचारिक रूप से हमारे पास है:



x_i = \bigvee_{j=1}^n (g_{ij}\wedge y_j), i = 1, 2, \ldots, m, $$ कहाँ $$\wedge$$ बूलियन और है $$\vee$$ बूलियन OR है। ध्यान दें कि शोर को स्पष्ट रूप से प्रतिरूपित नहीं किया जाता है, बल्कि इसे स्वतंत्र स्रोतों के रूप में माना जा सकता है।

उपरोक्त समस्या को ह्यूरिस्टिक रूप से हल किया जा सकता है दिखाएँ कि यह दृष्टिकोण मध्यम शोर स्तरों के तहत सटीक है।

सामान्यीकृत बाइनरी आईसीए ढांचा व्यापक समस्या सूत्रीकरण प्रस्तुत करता है जिसके लिए जनरेटिव मॉडल पर किसी भी ज्ञान की आवश्यकता नहीं होती है। दूसरे शब्दों में, यह विधि किसी स्रोत को उसके स्वतंत्र घटकों (जितना संभव हो सके, और बिना किसी जानकारी को खोए) में विघटित करने का प्रयास करती है, जिस तरह से इसे उत्पन्न किया गया था। यद्यपि यह समस्या काफी जटिल दिखाई देती है, इसे शाखा और बाउंड सर्च ट्री एल्गोरिथम या सदिश के साथ मैट्रिक्स के एकल गुणन के साथ कसकर ऊपरी सीमा के साथ सटीक रूप से हल किया जा सकता है।

प्रक्षेपण पीछा
सिग्नल मिश्रण में गॉसियन संभाव्यता घनत्व कार्य होते हैं, और स्रोत संकेतों में गैर-गाऊसी प्रायिकता घनत्व फ़ंक्शन होते हैं। प्रत्येक स्रोत संकेत को वजन वेक्टर के आंतरिक उत्पाद और उन सिग्नल मिश्रणों को ले कर संकेत मिश्रणों के सेट से निकाला जा सकता है जहां यह आंतरिक उत्पाद सिग्नल मिश्रणों का ऑर्थोगोनल प्रक्षेपण प्रदान करता है। शेष चुनौती इस तरह के वजन वाले वेक्टर को ढूंढ रही है। ऐसा करने के लिए प्रकार का तरीका प्रोजेक्शन परस्यूट है। प्रोजेक्शन पीछा समय में प्रक्षेपण की तलाश करता है जैसे कि निकाला गया संकेत जितना संभव हो उतना गैर-गाऊसी है। यह आईसीए के विपरीत है, जो आमतौर पर एम सिग्नल मिश्रण से साथ एम सिग्नल निकालता है, जिसके लिए एम × एम अनमिक्सिंग मैट्रिक्स का अनुमान लगाने की आवश्यकता होती है। आईसीए पर प्रक्षेपण खोज का व्यावहारिक लाभ यह है कि यदि आवश्यक हो तो एम से कम सिग्नल निकाले जा सकते हैं, जहां प्रत्येक स्रोत सिग्नल को एम-एलिमेंट वेट वेक्टर का उपयोग करके एम सिग्नल मिश्रण से निकाला जाता है।

प्रक्षेपण खोज के उपयोग के साथ सही वज़न वैक्टर ढूंढकर हम कर्टोसिस का उपयोग एकाधिक स्रोत सिग्नल को पुनर्प्राप्त करने के लिए कर सकते हैं।

एक परिमित नमूने के लिए संकेत के संभाव्यता घनत्व समारोह के कर्टोसिस की गणना इस प्रकार की जाती है



K=\frac{\operatorname{E}[(\mathbf{y}-\mathbf{\overline{y}})^4]}{(\operatorname{E}[(\mathbf{y}-\mathbf{\overline{y}})^2])^2}-3 $$ कहाँ $$\mathbf{\overline{y}}$$ का नमूना माध्य है $$\mathbf{y}$$, निकाले गए संकेत। निरंतर 3 सुनिश्चित करता है कि गॉसियन संकेतों में शून्य कर्टोसिस है, सुपर-गाऊसी संकेतों में सकारात्मक कुर्तोसिस है, और उप-गाऊसी संकेतों में नकारात्मक कुर्तोसिस है। भाजक का विचरण है $$\mathbf{y}$$, और यह सुनिश्चित करता है कि मापा कर्टोसिस सिग्नल विचरण को ध्यान में रखता है। प्रोजेक्शन परस्यूट का लक्ष्य कर्टोसिस को अधिकतम करना है, और निकाले गए सिग्नल को यथासंभव गैर-सामान्य बनाना है।

कर्टोसिस को गैर-सामान्यता के माप के रूप में उपयोग करते हुए, अब हम जांच कर सकते हैं कि सिग्नल का कर्टोसिस कैसे होता है $$\mathbf{y} = \mathbf{w}^T \mathbf{x}$$ एम मिश्रण के सेट से निकाला गया $$\mathbf{x}=(x_1,x_2,\ldots,x_M)^T$$ वजन वेक्टर के रूप में भिन्न होता है $$\mathbf{w}$$ मूल के चारों ओर घुमाया जाता है। हमारी धारणा को देखते हुए कि प्रत्येक स्रोत संकेत देता है $$\mathbf{s}$$ सुपर-गाऊसी है जिसकी हम उम्मीद करेंगे:
 * 1) निकाले गए सिग्नल का कर्टोसिस $$\mathbf{y}$$ अधिकतम सटीक होना जब $$\mathbf{y} = \mathbf{s}$$.
 * 2) निकाले गए सिग्नल का कर्टोसिस $$\mathbf{y}$$ अधिकतम कब होना है $$\mathbf{w}$$ अनुमानित कुल्हाड़ियों के लिए ओर्थोगोनल है $$S_1$$ या $$S_2$$, क्योंकि हम जानते हैं कि इष्टतम भार सदिश रूपांतरित अक्ष के लिए ओर्थोगोनल होना चाहिए $$S_1$$ या $$S_2$$.

एकाधिक स्रोत मिश्रण संकेतों के लिए, हम संकेतों को पुनर्प्राप्त करने के लिए कर्टोसिस और ग्राम-श्मिट ऑर्थोगोनलाइज़ेशन (जीएसओ) का उपयोग कर सकते हैं। एम-डायमेंशनल स्पेस में एम सिग्नल मिश्रण दिए जाने पर, जीएसओ इन डेटा पॉइंट्स को वेट वेक्टर का उपयोग करके (एम-1) -डायमेंशनल स्पेस पर प्रोजेक्ट करता है। हम जीएसओ के उपयोग से निकाले गए संकेतों की स्वतंत्रता की गारंटी दे सकते हैं।

का सही मान ज्ञात करने के लिए $$\mathbf{w}$$, हम ढतला हुआ वंश विधि का उपयोग कर सकते हैं। हम सबसे पहले डेटा को सफेद करते हैं, और रूपांतरित करते हैं $$\mathbf{x}$$ नए मिश्रण में $$\mathbf{z}$$, जिसका इकाई विचरण है, और $$\mathbf{z}=(z_1,z_2,\ldots,z_M)^T$$. इस प्रक्रिया को एकवचन मान अपघटन लागू करके प्राप्त किया जा सकता है $$\mathbf{x}$$,


 * $$\mathbf{x} = \mathbf{U} \mathbf{D} \mathbf{V}^T$$

प्रत्येक वेक्टर को पुनर्स्केल करना $$U_i=U_i/\operatorname{E}(U_i^2)$$, और जाने $$\mathbf{z} = \mathbf{U}$$. भारित वेक्टर द्वारा निकाला गया संकेत $$\mathbf{w}$$ है $$\mathbf{y} = \mathbf{w}^T \mathbf{z}$$. यदि भार सदिश w की इकाई लंबाई है, तो y का प्रसरण भी 1 है, अर्थात $$\operatorname{E}[(\mathbf{w}^T \mathbf{z})^2]=1$$. कर्टोसिस को इस प्रकार लिखा जा सकता है:



K=\frac{\operatorname{E}[\mathbf{y}^4]}{(\operatorname{E}[\mathbf{y}^2])^2}-3=\operatorname{E}[(\mathbf{w}^T \mathbf{z})^4]-3. $$ के लिए अद्यतन करने की प्रक्रिया $$\mathbf{w}$$ है:
 * $$\mathbf{w}_{new}=\mathbf{w}_{old}-\eta\operatorname{E}[\mathbf{z}(\mathbf{w}_{old}^T \mathbf{z})^3 ].$$

कहाँ $$\eta$$ इसकी गारंटी देने के लिए छोटा स्थिरांक है $$\mathbf{w}$$ इष्टतम समाधान में परिवर्तित हो जाता है। प्रत्येक अद्यतन के बाद, हम सामान्य करते हैं $$\mathbf{w}_{new}=\frac{\mathbf{w}_{new}}{|\mathbf{w}_{new}|}$$, और सेट करें $$\mathbf{w}_{old}=\mathbf{w}_{new}$$, और अद्यतन प्रक्रिया को अभिसरण तक दोहराएं। हम वेट वेक्टर को अपडेट करने के लिए दूसरे एल्गोरिदम का भी उपयोग कर सकते हैं $$\mathbf{w}$$.

एक अन्य दृष्टिकोण नेगेंट्रॉपी का उपयोग कर रहा है कर्टोसिस के बजाय। कर्टोसिस की तुलना में नेगेंट्रॉपी का उपयोग करना अधिक मजबूत तरीका है, क्योंकि कुर्तोसिस आउटलेयर के प्रति बहुत संवेदनशील है। गौसियन वितरण की महत्वपूर्ण संपत्ति पर नेगेंट्रॉपी विधियां आधारित हैं: समान भिन्नता के सभी निरंतर यादृच्छिक चर के बीच गॉसियन वैरिएबल में सबसे बड़ा एंट्रॉपी है। यही कारण है कि हम सबसे अधिक नॉनगॉसियन चर खोजना चाहते हैं। विभेदक एन्ट्रापी में साधारण प्रमाण पाया जा सकता है।
 * $$J(x) = S(y) - S(x)\,$$

y x के समान सहप्रसरण मैट्रिक्स का गॉसियन यादृच्छिक चर है


 * $$S(x) = - \int p_x(u) \log p_x(u) du$$

नेगेंट्रॉपी के लिए सन्निकटन है
 * $$J(x)=\frac{1}{12}(E(x^3))^2 + \frac{1}{48}(kurt(x))^2$$ कॉमन के मूल पत्रों में प्रमाण पाया जा सकता है; इसे आपो हाइवरिनन, जुहा करहुनेन और एर्की ओजा द्वारा स्वतंत्र घटक विश्लेषण पुस्तक में पुन: प्रस्तुत किया गया है। यह सन्निकटन भी कर्टोसिस (आउटलेर्स के प्रति संवेदनशीलता) जैसी समस्या से ग्रस्त है। अन्य दृष्टिकोण विकसित किए गए हैं। :$$J(y) = k_1(E(G_1(y)))^2 + k_2(E(G_2(y)) - E(G_2(v))^2$$

का विकल्प $$G_1$$ और $$G_2$$ हैं
 * $$G_1 = \frac{1}{a_1}\log(\cosh(a_1u))$$ और $$G_2 = -\exp(-\frac{u^2}{2})$$

इन्फोमैक्स
पर आधारित

इन्फोमैक्स आईसीए अनिवार्य रूप से प्रक्षेपण खोज का बहुभिन्नरूपी, समानांतर संस्करण है। जबकि प्रोजेक्शन परस्यूट एम सिग्नल मिश्रण के सेट से बार में सिग्नल की श्रृंखला निकालता है, आईसीए समानांतर में एम सिग्नल निकालता है। यह प्रक्षेपण खोज की तुलना में ICA को अधिक मजबूत बनाता है। प्रोजेक्शन परस्यूट विधि निकाले गए सिग्नल की स्वतंत्रता सुनिश्चित करने के लिए ग्राम-श्मिट ऑर्थोगोनलाइजेशन का उपयोग करती है, जबकि आईसीए निकाले गए सिग्नल की स्वतंत्रता सुनिश्चित करने के लिए इन्फोमैक्स और अधिकतम संभावना अनुमान का उपयोग करती है। निकाले गए सिग्नल की गैर-सामान्यता सिग्नल के लिए उपयुक्त मॉडल, या पूर्व, निर्दिष्ट करके हासिल की जाती है।

इन्फोमैक्स पर आधारित आईसीए की प्रक्रिया संक्षेप में है: सिग्नल मिश्रण का सेट दिया गया है $$\mathbf{x}$$ और समान स्वतंत्र मॉडल संचयी वितरण कार्यों का सेट (cdfs) $$g$$, हम अनमिक्सिंग मैट्रिक्स की तलाश करते हैं $$\mathbf{W}$$ जो संकेतों की संयुक्त एन्ट्रॉपी को अधिकतम करता है $$\mathbf{Y}=g(\mathbf{y})$$, कहाँ $$\mathbf{y}=\mathbf{Wx}$$ द्वारा निकाले गए संकेत हैं $$\mathbf{W}$$. इष्टतम दिया $$\mathbf{W}$$, संकेत $$\mathbf{Y}$$ अधिकतम एन्ट्रापी है और इसलिए स्वतंत्र हैं, जो यह सुनिश्चित करता है कि निकाले गए संकेत $$\mathbf{y}=g^{-1}(\mathbf{Y})$$ स्वतंत्र भी हैं। $$g$$ उलटा कार्य है, और सिग्नल मॉडल है। ध्यान दें कि यदि स्रोत संकेत मॉडल प्रायिकता घनत्व कार्य करता है $$p_s$$ निकाले गए सिग्नल की प्रायिकता घनत्व फ़ंक्शन से मेल खाता है $$p_{\mathbf{y}}$$, फिर की संयुक्त एन्ट्रापी को अधिकतम करना $$Y$$ के बीच आपसी जानकारी की मात्रा को भी अधिकतम करता है $$\mathbf{x}$$ और $$\mathbf{Y}$$. इस कारण से, स्वतंत्र संकेतों को निकालने के लिए एंट्रॉपी का उपयोग करना इन्फोमैक्स के रूप में जाना जाता है।

वेक्टर चर की एन्ट्रापी पर विचार करें $$\mathbf{Y}=g(\mathbf{y})$$, कहाँ $$\mathbf{y}=\mathbf{Wx}$$ अनमिक्सिंग मैट्रिक्स द्वारा निकाले गए संकेतों का सेट है $$\mathbf{W}$$. पीडीएफ के साथ वितरण से नमूना मूल्यों के सीमित सेट के लिए $$p_{\mathbf{y}}$$, की एन्ट्रापी $$\mathbf{Y}$$ अनुमान लगाया जा सकता है:

H(\mathbf{Y})=-\frac{1}{N}\sum_{t=1}^N \ln p_{\mathbf{Y}}(\mathbf{Y}^t) $$ संयुक्त पीडीएफ $$p_{\mathbf{Y}}$$ संयुक्त पीडीएफ से संबंधित दिखाया जा सकता है $$p_{\mathbf{y}}$$ बहुभिन्नरूपी रूप से निकाले गए संकेतों की:

p_{\mathbf{Y}}(Y)=\frac{p_{\mathbf{y}}(\mathbf{y})}{|\frac{\partial\mathbf{Y}}{\partial \mathbf{y}}|} $$ कहाँ $$\mathbf{J}=\frac{\partial\mathbf{Y}}{\partial \mathbf{y}}$$ जैकबियन मैट्रिक्स है। अपने पास $$|\mathbf{J}|=g'(\mathbf{y})$$, और $$g'$$ स्रोत संकेतों के लिए माना गया पीडीएफ है $$g'=p_s$$, इसलिए,

p_{\mathbf{Y}}(Y)=\frac{p_{\mathbf{y}}(\mathbf{y})}{|\frac{\partial\mathbf{Y}}{\partial \mathbf{y}}|}=\frac{p_\mathbf{y}(\mathbf{y})}{p_\mathbf{s}(\mathbf{y})} $$ इसलिए,

H(\mathbf{Y})=-\frac{1}{N}\sum_{t=1}^N \ln\frac{p_\mathbf{y}(\mathbf{y})}{p_\mathbf{s}(\mathbf{y})} $$ हम जानते हैं कि कब $$p_{\mathbf{y}}=p_s$$, $$p_{\mathbf{Y}}$$ समान वितरण का है, और $$H({\mathbf{Y}})$$ अधिकतम है। तब से

p_{\mathbf{y}}(\mathbf{y})=\frac{p_\mathbf{x}(\mathbf{x})}{|\frac{\partial\mathbf{y}}{\partial\mathbf{x}}|}=\frac{p_\mathbf{x}(\mathbf{x})}{|\mathbf{W}|} $$ कहाँ $$|\mathbf{W}|$$ अनमिक्सिंग मैट्रिक्स के निर्धारक का निरपेक्ष मान है $$\mathbf{W}$$. इसलिए,

H(\mathbf{Y})=-\frac{1}{N}\sum_{t=1}^N \ln\frac{p_\mathbf{x}(\mathbf{x}^t)}{|\mathbf{W}|p_\mathbf{s}(\mathbf{y}^t)} $$ इसलिए,

H(\mathbf{Y})=\frac{1}{N}\sum_{t=1}^N \ln p_\mathbf{s}(\mathbf{y}^t)+\ln|\mathbf{W}|+H(\mathbf{x}) $$ तब से $$H(\mathbf{x})=-\frac{1}{N}\sum_{t=1}^N\ln p_\mathbf{x}(\mathbf{x}^t)$$, और अधिकतम करना $$\mathbf{W}$$ प्रभावित नहीं करता $$H_{\mathbf{x}}$$, इसलिए हम फ़ंक्शन को अधिकतम कर सकते हैं

h(\mathbf{Y})=\frac{1}{N}\sum_{t=1}^N \ln p_\mathbf{s}(\mathbf{y}^t)+\ln|\mathbf{W}| $$ निकाले गए सिग्नल की स्वतंत्रता प्राप्त करने के लिए।

यदि मॉडल संयुक्त पीडीएफ के एम सीमांत पीडीएफ़ हैं $$p_{\mathbf{s}}$$ स्वतंत्र हैं और स्रोत संकेतों के लिए आमतौर पर सुपर-गॉसियन मॉडल पीडीएफ का उपयोग करते हैं $$p_{\mathbf{s}}=(1-\tanh(\mathbf{s})^2)$$, तो हमारे पास हैं

h(\mathbf{Y})=\frac{1}{N}\sum_{i=1}^M\sum_{t=1}^N \ln (1-\tanh(\mathbf{w_i^T x^t})^2)+\ln|\mathbf{W}| $$ योग में, मनाया संकेत मिश्रण दिया $$\mathbf{x}$$, निकाले गए संकेतों का संगत सेट $$\mathbf{y}$$ और स्रोत सिग्नल मॉडल $$p_{\mathbf{s}}=g'$$, हम इष्टतम अनमिक्सिंग मैट्रिक्स पा सकते हैं $$\mathbf{W}$$, और निकाले गए संकेतों को स्वतंत्र और गैर-गाऊसी बनाते हैं। प्रोजेक्शन पीछा की स्थिति की तरह, हम अनमिक्सिंग मैट्रिक्स का इष्टतम समाधान खोजने के लिए ग्रेडिएंट डिसेंट विधि का उपयोग कर सकते हैं।

अधिकतम संभावना अनुमान के आधार पर
अधिकतम संभावना अनुमान (एमएलई) पैरामीटर मान खोजने के लिए मानक सांख्यिकीय उपकरण है (उदाहरण के लिए अनमिक्सिंग मैट्रिक्स $$\mathbf{W}$$) जो कुछ डेटा का सबसे अच्छा फिट प्रदान करते हैं (उदाहरण के लिए, निकाले गए सिग्नल $$y$$) किसी दिए गए मॉडल के लिए (उदाहरण के लिए, अनुमानित संयुक्त संभावना घनत्व फ़ंक्शन (पीडीएफ) $$p_s$$ स्रोत संकेतों का)।

एमएल मॉडल में पीडीएफ का विनिर्देश शामिल होता है, जो इस मामले में पीडीएफ है $$p_s$$ अज्ञात स्रोत संकेतों की $$s$$. एमएल आईसीए का उपयोग करना, उद्देश्य अनमिक्सिंग मैट्रिक्स खोजना है जो निकाले गए संकेतों को उत्पन्न करता है $$y = \mathbf{W}x$$ संयुक्त पीडीएफ के साथ जितना संभव हो उतना संयुक्त पीडीएफ के साथ $$p_s$$ अज्ञात स्रोत संकेतों की $$s$$.

MLE इस प्रकार इस धारणा पर आधारित है कि यदि मॉडल pdf $$p_s$$ और मॉडल पैरामीटर $$\mathbf{A}$$ सही हैं तो डेटा के लिए उच्च संभावना प्राप्त की जानी चाहिए $$x$$ जो वास्तव में देखे गए थे। इसके विपरीत यदि $$\mathbf{A}$$ सही पैरामीटर मानों से दूर है तो देखे गए डेटा की कम संभावना की उम्मीद की जाएगी।

MLE का उपयोग करते हुए, हम मॉडल पैरामीटर मानों के दिए गए सेट के लिए प्रेक्षित डेटा की प्रायिकता कहते हैं (उदाहरण के लिए, pdf $$p_s$$ और मैट्रिक्स $$\mathbf{A}$$) देखे गए डेटा को देखते हुए मॉडल पैरामीटर मानों की संभावना।

हम संभावना समारोह को परिभाषित करते हैं $$\mathbf{L(W)}$$ का $$\mathbf{W}$$:

$$\mathbf{ L(W)} = p_s (\mathbf{W}x)|\det \mathbf{W}|. $$ यह प्रायिकता घनत्व के बराबर है $$x$$, तब से $$s = \mathbf{W}x$$.

इस प्रकार, यदि हम खोजना चाहते हैं $$\mathbf{W}$$ यह देखे गए मिश्रणों को उत्पन्न करने की सबसे अधिक संभावना है $$x$$ अज्ञात स्रोत संकेतों से $$s$$ पीडीएफ के साथ $$p_s$$ तो हमें केवल उसे खोजने की जरूरत है $$\mathbf{W}$$ जो संभावना को अधिकतम करता है $$\mathbf{L(W)}$$. अनमिक्सिंग मैट्रिक्स जो समीकरण को अधिकतम करता है, इष्टतम अनमिक्सिंग मैट्रिक्स के एमएलई के रूप में जाना जाता है।

लॉग संभावना का उपयोग करना आम बात है, क्योंकि इसका मूल्यांकन करना आसान है। जैसा कि लघुगणक मोनोटोनिक फ़ंक्शन है, $$\mathbf{W}$$ जो कार्य को अधिकतम करता है $$\mathbf{L(W)}$$ इसके लघुगणक को भी अधिकतम करता है $$\ln \mathbf{L(W)}$$. यह हमें उपरोक्त समीकरण का लघुगणक लेने की अनुमति देता है, जो लॉग संभावना फ़ंक्शन उत्पन्न करता है

$$\ln \mathbf{L(W)} =\sum_{i}\sum_{t} \ln p_s(w^T_ix_t) + N\ln|\det \mathbf{W}|$$ यदि हम स्रोत संकेतों के लिए आमतौर पर उपयोग किए जाने वाले उच्च-कर्टोसिस मॉडल पीडीएफ को प्रतिस्थापित करते हैं $$p_s = (1-\tanh(s)^2)$$ तो हमारे पास हैं

$$\ln \mathbf{L(W)} ={1 \over N}\sum_{i}^{M} \sum_{t}^{N}\ln(1-\tanh(w^T_i x_t )^2) + \ln |\det \mathbf{W}|$$ यह मैट्रिक्स $$\mathbf{W}$$ जो इस फ़ंक्शन को अधिकतम करता है वह अधिकतम संभावना अनुमान है।

इतिहास और पृष्ठभूमि
स्वतंत्र घटक विश्लेषण के लिए प्रारंभिक सामान्य रूपरेखा 1984 से जेनी हेरॉल्ट और बर्नार्ड Ans द्वारा पेश की गई थी, 1985 और 1986 में क्रिश्चियन जटन द्वारा और विकसित किया गया,  और 1991 में पियरे कोमोन द्वारा परिष्कृत, और 1994 के अपने पेपर में लोकप्रिय हुआ। 1995 में, टोनी बेल और टेरी सेजनोव्स्की ने infomax पर आधारित तेज़ और कुशल ICA एल्गोरिथम पेश किया, जो 1987 में राल्फ लिंस्कर द्वारा पेश किया गया सिद्धांत था।

साहित्य में कई एल्गोरिदम उपलब्ध हैं जो आईसीए करते हैं। औद्योगिक अनुप्रयोगों सहित बड़े पैमाने पर इस्तेमाल किया जाने वाला फास्टिका एल्गोरिथम है, जिसे हावरिनन और ओजा द्वारा विकसित किया गया है, जो लागत कार्य के रूप में नेगेंट्रॉपी का उपयोग करता है। अन्य उदाहरण नेत्रहीन स्रोत पृथक्करण से संबंधित हैं जहां अधिक सामान्य दृष्टिकोण का उपयोग किया जाता है। उदाहरण के लिए, कोई स्वतंत्रता धारणा को छोड़ सकता है और पारस्परिक रूप से सहसंबद्ध संकेतों को अलग कर सकता है, इस प्रकार, सांख्यिकीय रूप से निर्भर संकेत। सेप होचरेइटर और जुरगेन श्मिटहुबर ने दिखाया कि नियमितीकरण (गणित) (1999) के उप-उत्पाद के रूप में गैर-रैखिक आईसीए या स्रोत पृथक्करण कैसे प्राप्त किया जाए। उनकी पद्धति को स्वतंत्र स्रोतों की संख्या के बारे में प्राथमिक ज्ञान की आवश्यकता नहीं है।

अनुप्रयोग
आईसीए को गैर-भौतिक संकेतों का विश्लेषण करने के लिए बढ़ाया जा सकता है। उदाहरण के लिए, आईसीए को समाचार सूची संग्रहों के बैग पर चर्चा के विषयों को खोजने के लिए लागू किया गया है।

कुछ आईसीए आवेदन नीचे सूचीबद्ध हैं: * न्यूरॉन्स की ऑप्टिकल इमेजिंग * न्यूरोनल स्पाइक सॉर्टिंग * चेहरा पहचान * प्राथमिक दृश्य न्यूरॉन्स के ग्रहणशील क्षेत्रों की मॉडलिंग * शेयर बाजार की कीमतों की भविष्यवाणी * मोबाइल फोन संचार * टमाटर के पकने का रंग आधारित पता लगाना
 * ईईजी डेटा से आंखों की झपकी जैसी कलाकृतियों को हटाना।
 * ईईजी का उपयोग करके निर्णय लेने की भविष्यवाणी करना
 * एकल कोशिका (जीव विज्ञान) आरएनए-अनुक्रमण प्रयोगों में समय के साथ जीन अभिव्यक्ति में परिवर्तन का विश्लेषण।
 * मस्तिष्क की रेस्टिंग अवस्था fMRI का अध्ययन।
 * खगोल विज्ञान और ब्रह्मांड विज्ञान
 * वित्त

उपलब्धता
आईसीए निम्नलिखित सॉफ्टवेयर के माध्यम से लागू किया जा सकता है:


 * एसएएस भाषा प्रोसी आईसीए
 * स्किकिट-लर्न पायथन कार्यान्वयन ].org/stable/modules/generated/sklearn.decomposition.FastICA.html sklearn.decomposition.FastICA]

यह भी देखें

 * अंधा deconvolution
 * कारक विश्लेषण
 * हिल्बर्ट स्पेक्ट्रम
 * मूर्ति प्रोद्योगिकी
 * गैर-नकारात्मक मैट्रिक्स गुणनखंड|गैर-ऋणात्मक मैट्रिक्स गुणनखंडन (NMF)
 * गैर रेखीय आयामीता में कमी
 * प्रोजेक्शन पीछा
 * वेरिमैक्स रोटेशन

संदर्भ

 * Comon, Pierre (1994): "Independent Component Analysis: a new concept?", Signal Processing, 36(3):287–314 (The original paper describing the concept of ICA)
 * Hyvärinen, A.; Karhunen, J.; Oja, E. (2001): Independent Component Analysis, New York: Wiley, ISBN 978-0-471-40540-5 ( Introductory chapter )
 * Hyvärinen, A.; Oja, E. (2000): "Independent Component Analysis: Algorithms and Application", Neural Networks, 13(4-5):411-430. (Technical but pedagogical introduction).
 * Comon, P.; Jutten C., (2010): Handbook of Blind Source Separation, Independent Component Analysis and Applications. Academic Press, Oxford UK. ISBN 978-0-12-374726-6
 * Lee, T.-W. (1998): Independent component analysis: Theory and applications, Boston, Mass: Kluwer Academic Publishers, ISBN 0-7923-8261-7
 * Acharyya, Ranjan (2008): A New Approach for Blind Source Separation of Convolutive Sources - Wavelet Based Separation Using Shrinkage Function ISBN 3-639-07797-0 ISBN 978-3639077971 (this book focuses on unsupervised learning with Blind Source Separation)

बाहरी संबंध

 * What is independent component analysis? by Aapo Hyvärinen
 * Independent Component Analysis: A Tutorial by Aapo Hyvärinen
 * A Tutorial on Independent Component Analysis
 * FastICA as a package for Matlab, in R language, C++
 * ICALAB Toolboxes for Matlab, developed at RIKEN
 * High Performance Signal Analysis Toolkit provides C++ implementations of FastICA and Infomax
 * ICA toolbox Matlab tools for ICA with Bell-Sejnowski, Molgedey-Schuster and mean field ICA. Developed at DTU.
 * Demonstration of the cocktail party problem
 * EEGLAB Toolbox ICA of EEG for Matlab, developed at UCSD.
 * FMRLAB Toolbox ICA of fMRI for Matlab, developed at UCSD
 * MELODIC, part of the FMRIB Software Library.
 * Discussion of ICA used in a biomedical shape-representation context
 * FastICA, CuBICA, JADE and TDSEP algorithm for Python and more...
 * Group ICA Toolbox and Fusion ICA Toolbox
 * Tutorial: Using ICA for cleaning EEG signals