स्वतंत्र घटक विश्लेषण

संकेतों को आगे बढ़ाने के लिए स्वतंत्र घटक विश्लेषण (आईसीए) बहुभिन्नरूपी सांख्यिकी संकेत को योगात्मक उपघटकों में अलग करने के लिए कम्प्यूटेशनल विधि है। इसका उपयोग यह मानकर किया जाता है कि अधिक से अधिक उपघटक गाऊसी है और यह कि उपघटक दूसरे से सांख्यिकीय रूप से स्वतंत्र हैं। इस प्रकार आईसीए विचारहीन स्त्रोत विभाजन की विशेष स्थिति हैं। सामान्य उदाहरण अनुप्रयोग ध्वनिगुल वाले कमरे में व्यक्ति के भाषण को सुनने की कॉकटेल पार्टी समस्या है।

परिचय
स्वतंत्र घटक विश्लेषण बहुभिन्नरूपी संकेत को स्वतंत्र गैर-गाऊसी संकेतों में विघटित करने का प्रयास करता है। इस प्रकार उदाहरण के रूप में, ध्वनि सामान्यतः संकेत होता है जो कई स्रोतों से संकेतों के प्रत्येक समय टी पर संख्यात्मक जोड़ से बना होता है। इस प्रकार प्रश्न यह है कि क्या इन योगदान स्रोतों को देखे गए कुल संकेत से अलग करना संभव है। इस प्रकार जब सांख्यिकीय स्वतंत्रता धारणा सही होती है, तो मिश्रित संकेत का विचारहीन आईसीए पृथक्करण बहुत अच्छा परिणाम देता है। इस प्रकार इसका उपयोग उन संकेतों के लिए भी किया जाता है जिन्हें विश्लेषण उद्देश्यों के लिए मिश्रित करके उत्पन्न नहीं किया जाना चाहिए।

कॉकटेल पार्टी की समस्या आईसीए का सरल अनुप्रयोग है, जहाँ अंतर्निहित भाषण संकेतों को कमरे में साथ बात करने वाले लोगों के नमूना डेटा से अलग किया जाता है। सामान्यतः इसके अतिरिक्त किसी देरी या गूँज के समस्या को सरल बना दिया जाता है। इस प्रकार ध्यान दें कि फ़िल्टर्ड और विलंबित संकेत आश्रित घटक की प्रति है, और इस प्रकार सांख्यिकीय स्वतंत्रता धारणा का उल्लंघन नहीं होता है।

निर्माण के लिए वजन मिलाना$M$ से संकेतों का अवलोकन किया $N$ घटकों को में $M \times N$  आव्यूह उपयोग किया जाता है। इस पर विचार करने वाली महत्वपूर्ण बात यह है कि यदि $N$  स्रोत सम्मलित हैं, कम से कम $N$  मूल संकेतों को पुनर्प्राप्त करने के लिए अवलोकन उदाहरण के लिए माइक्रोफ़ोन यदि देखा गया संकेत ऑडियो की आवश्यकता होती है। जब समान संख्या में अवलोकन और स्रोत संकेत होते हैं, तो ($M = N$ ) मिश्रण आव्यूह वर्गाकार होता है। अनिर्धारित के अन्य स्थितियों ($M < N$ ) और अतिनिर्धारित ($M > N$ ) की जांच की गई है।

यह कि मिश्रित संकेतों का आईसीए पृथक्करण बहुत अच्छे परिणाम देता है, यह दो धारणाओं और मिश्रण स्रोत संकेतों के तीन प्रभावों पर आधारित है। इसकी दो धारणाएं हैं : स्रोत संकेतों को मिलाने के तीन प्रभाव: सरल शब्दों में कहें तो, दो स्वतंत्र यादृच्छिक चर के योग में सामान्यतः वितरण होता है जो इसके करीब होता है गॉसियन दो मूल चरों में से किसी की तुलना में उपयोग किया जाता हैं। यहां हम प्रत्येक संकेत के मान को यादृच्छिक चर मानते हैं। वे सिद्धांत आईसीए की बुनियादी स्थापना में योगदान करते हैं। यदि मिश्रण के सेट से निकाले गए संकेत स्वतंत्र हैं, और गैर-गाऊसी हिस्टोग्राम हैं या कम जटिलता है, तो उन्हें स्रोत संकेत होना चाहिए।
 * 1) स्रोत संकेत दूसरे से स्वतंत्र हैं।
 * 2) प्रत्येक स्रोत संकेत के मान में गैर-गाऊसी वितरण होते हैं।
 * 1) स्वतंत्रता: धारणा 1 के अनुसार, स्रोत संकेत स्वतंत्र हैं; चूंकि उनके संकेत मिश्रण नहीं हैं। ऐसा इसलिए है क्योंकि संकेत मिश्रण समान स्रोत संकेत साझा करते हैं।
 * 2) सामान्यता: केंद्रीय सीमा प्रमेय के अनुसार, परिमित विचरण के साथ स्वतंत्र यादृच्छिक चर के योग का वितरण गॉसियन वितरण की ओर जाता है।
 * 1) जटिलता: किसी भी संकेत मिश्रण की अस्थायी जटिलता उसके सरलतम घटक स्रोत संकेत की तुलना में अधिक होती है।

घटक स्वतंत्रता को परिभाषित करना
आईसीए अनुमानित घटकों की सांख्यिकीय स्वतंत्रता को अधिकतम करके स्वतंत्र घटकों का पता लगाता है, जिन्हें कारक, अव्यक्त चर या स्रोत भी कहा जाता है। हम स्वतंत्रता के लिए प्रॉक्सी को परिभाषित करने के कई तरीकों में से चुन सकते हैं, और यह विकल्प आईसीए एल्गोरिथम के रूप को नियंत्रित करता है। आईसीए के लिए स्वतंत्रता की दो व्यापक परिभाषाएँ हैं


 * 1) आपसी जानकारी को कम करना
 * 2) गैर-गौसियनिटी का अधिकतमकरण

आईसीए एल्गोरिथम का मिनिमाइजेशन-ऑफ-म्युचुअल इंफॉर्मेशन (एमएमआई) समुच्चय कुल्बैक-लीब्लर डाइवर्जेंस या कुल्बैक-लीब्लर डाइवर्जेंस और अधिकतम एंट्रॉपी के सिद्धांत जैसे उपायों का उपयोग करता है। केंद्रीय सीमा प्रमेय से प्रेरित आईसीए एल्गोरिदम का गैर-गौसियनिटी समुच्चय, कुकुदता और नाइनट्रॉपी का उपयोग करता है।

आईसीए के लिए विशिष्ट एल्गोरिदम वास्तविक पुनरावृत्त एल्गोरिदम के लिए समस्या की जटिलता को सरल बनाने और कम करने के लिए केंद्रीकरण शून्य माध्य संकेत बनाने के लिए माध्य घटाना, श्वेत परिवर्तन सामान्यतः ईजेनवेल्यू अपघटन के साथ और पूर्वप्रक्रमण चरणों के रूप में आयाम में कमी का उपयोग करते हैं। मुख्य घटक विश्लेषण या एकवचन मूल्य अपघटन के साथ श्वेतकरण और आयाम में कमी प्राप्त की जा सकती है। श्वेतकरण यह सुनिश्चित करता है कि एल्गोरिदम चलाने से पहले सभी आयामों को समान रूप से प्राथमिकता माना जाता है। आईसीए के लिए प्रसिद्ध एल्गोरिदम में इन्फो मैक्स, फास्टआईसीए, जेएडीई (आईसीए), और कर्नेल-स्वतंत्र घटक विश्लेषण सम्मलित हैं। सामान्यतः आईसीए स्रोत संकेतों की वास्तविक संख्या, स्रोत संकेतों के विशिष्ट रूप से सही क्रम, और न ही स्रोत संकेतों के उचित स्केलिंग साइन सहित की पहचान नहीं कर सकता है।

आईसीए संकेत पृथक्करण के लिए महत्वपूर्ण है और इसके कई व्यावहारिक अनुप्रयोग हैं। यह डेटा के तथ्यात्मक कोड की खोज या यहां तक ​​कि विशेष स्थितियों से निकटता से संबंधित है, अर्थात प्रत्येक डेटा सदिश का नया सदिश-मूल्यवान प्रतिनिधित्व इस प्रकार से परिणामी कोड सदिश द्वारा विशिष्ट रूप से एन्कोड कोडिंग किया जाता है। अपितु कोड घटक सांख्यिकीय रूप से स्वतंत्र हैं।

गणितीय परिभाषाएँ
रैखिक स्वतंत्र घटक विश्लेषण को नीरव और ध्वनि वाले स्थितियों में विभाजित किया जा सकता है, जहाँ नीरव आईसीए ध्वनि आईसीए की विशेष स्थिति हैं। इस प्रकार नॉनलाइनियर आईसीए को अलग स्थितियों के रूप में माना जाना चाहिए।

सामान्य परिभाषा
डेटा $$\boldsymbol{x}=(x_1,\ldots,x_m)^T$$को देखे गए यादृच्छिक सदिश द्वारा दर्शाया गया है और छिपे हुए घटक यादृच्छिक सदिश के रूप में $$\boldsymbol{s}=(s_1,\ldots,s_n)^T.$$ कार्य देखे गए डेटा को बदलना है,  $$\boldsymbol{x},$$ रैखिक स्थिर परिवर्तन का उपयोग करना $$\boldsymbol{W}$$ जैसा $$\boldsymbol{s} = \boldsymbol{W} \boldsymbol{x},$$ अधिकतम स्वतंत्र घटकों के सदिश में $$\boldsymbol{s}$$ किसी कार्य द्वारा मापा जाता है $$F(s_1,\ldots,s_n)$$ इंडिपेंडेंट के लिए उपयोग किये जाते हैं।

रैखिक नीरव आईसीए
अवयव $$x_i$$ देखे गए यादृच्छिक सदिश की $$\boldsymbol{x}=(x_1,\ldots,x_m)^T$$ स्वतंत्र घटकों के योग $$s_k$$, $$k=1,\ldots,n$$ के रूप में उत्पन्न होते हैं:

$$x_i = a_{i,1} s_1 + \cdots + a_{i,k} s_k + \cdots + a_{i,n} s_n$$ ,मिश्रण भार द्वारा भारित $$a_{i,k}$$ रहता हैं।

उसी जनरेटिव मॉडल को सदिश रूप $$\boldsymbol{x}=\sum_{k=1}^{n} s_k \boldsymbol{a}_k$$ में लिखा जा सकता है, जहाँ मनाया यादृच्छिक सदिश $$\boldsymbol{x}$$ आधार सदिश $$\boldsymbol{a}_k=(\boldsymbol{a}_{1,k},\ldots,\boldsymbol{a}_{m,k})^T$$द्वारा दर्शाया गया है। आधार सदिश $$\boldsymbol{a}_k$$ मिक्सिंग आव्यूह के कॉलम $$\boldsymbol{A}=(\boldsymbol{a}_1,\ldots,\boldsymbol{a}_n)$$ बनाएं और $$\boldsymbol{x}=\boldsymbol{A} \boldsymbol{s}$$, जहाँ $$\boldsymbol{s}=(s_1,\ldots,s_n)^T$$ उत्पादक सूत्र के रूप में लिखा जा सकता है।

मॉडल और प्राप्तियों को देखते हुए $$\boldsymbol{x}_1,\ldots,\boldsymbol{x}_N$$ यादृच्छिक सदिश का $$\boldsymbol{x}$$, कार्य दोनों मिश्रण $$\boldsymbol{A}$$ आव्यूह और स्रोत $$\boldsymbol{s}$$ का अनुमान लगाना है, यह अनुकूल रूप से गणना करके किया जाता है $$\boldsymbol{w}$$ सदिश और लागत फलन स्थापित करना जो या तो गणना की गैर-गौसियनिटी $$s_k = \boldsymbol{w}^T \boldsymbol{x}$$ को अधिकतम करता है या आपसी जानकारी को कम करता है। कुछ स्थितियों में, स्रोतों के संभाव्यता बंटन का प्राथमिक ज्ञान लागत फलन में उपयोग किया जा सकता है।

मूल स्रोत $$\boldsymbol{s}$$ देखे गए संकेतों को गुणा करके पुनर्प्राप्त किया जा सकता है $$\boldsymbol{x}$$ मिश्रण आव्यूह के व्युत्क्रम के साथ $$\boldsymbol{W}=\boldsymbol{A}^{-1}$$, जिसे अनमिक्सिंग आव्यूह के रूप में भी जाना जाता है। यहाँ यह माना जाता है कि मिश्रण आव्यूह वर्ग ($$n=m$$) है। यदि आधार सदिशों की संख्या प्रेक्षित सदिशों की विमा $$n>m$$ से अधिक है, अपितु छद्म व्युत्क्रम के साथ अभी भी हल करने योग्य है।

रैखिक ध्वनि आईसीए
शून्य-माध्य और असंबद्ध गाऊसी ध्वनि की अतिरिक्त धारणा के साथ $$n\sim N(0,\operatorname{diag}(\Sigma))$$, आईसीए मॉडल $$\boldsymbol{x}=\boldsymbol{A} \boldsymbol{s}+n$$ रूप लेता है।

अरैखिक आईसीए
स्रोतों के मिश्रण को रैखिक होने की आवश्यकता नहीं है। अरैखिक मिश्रण फलन का उपयोग करना $$f(\cdot|\theta)$$ मापदंडों के साथ $$\theta$$ अरेखीय आईसीए मॉडल $$x=f(s|\theta)+n$$ है।

पहचान
स्रोतों के क्रमपरिवर्तन और स्केलिंग तक स्वतंत्र घटकों की पहचान की जा सकती है। इस पहचान की आवश्यकता है कि:


 * अधिक से अधिक स्रोत $$s_k$$ गाऊसी है,
 * देखे गए मिश्रणों की संख्या, $$m$$, कम से कम अनुमानित घटकों की संख्या जितनी बड़ी होनी चाहिए $$n$$: $$m \ge n$$. यह मिश्रण आव्यूह कहने के बराबर है $$\boldsymbol{A}$$ इसके व्युत्क्रम के अस्तित्व के लिए पूर्ण रैंक (रैखिक बीजगणित) का होना चाहिए।

बाइनरी आईसीए
आईसीए का विशेष संस्करण बाइनरी आईसीए है जिसमें संकेत स्रोत और मॉनिटर दोनों बाइनरी फॉर्म में हैं और मॉनिटर से अवलोकन बाइनरी स्वतंत्र स्रोतों के संयोजन मिश्रण हैं। समस्या को चिकित्सा निदान, बहु-क्लस्टर असाइनमेंट, नेटवर्क टोमोग्राफी और इंटरनेट संसाधन प्रबंधन सहित कई डोमेन में अनुप्रयोगों के लिए दिखाया गया था।

होने देना $${x_1, x_2, \ldots, x_m}$$ से बाइनरी चर का सेट हो $$m$$ मॉनिटर और $${y_1, y_2, \ldots, y_n}$$ से बाइनरी चर का सेट हो $$n$$ स्रोत। स्रोत-मॉनिटर कनेक्शन (अज्ञात) मिश्रण आव्यूह द्वारा $\boldsymbol{G}$ दर्शाए जाते हैं, जहाँ $$g_{ij} = 1$$ इंगित करता है कि i-वें स्रोत से संकेत j-वें मॉनिटर द्वारा देखा जा सकता है। सिस्टम निम्नानुसार काम करता है: किसी भी समय, यदि कोई स्रोत $$i$$ सक्रिय है ($$y_i=1$$) और यह मॉनिटर से जुड़ा होता है $$j$$ ($$g_{ij}=1$$) फिर मॉनिटर $$j$$ कुछ गतिविधि देखेंगे ($$x_j=1$$) औपचारिक रूप से हमारे पास है:



x_i = \bigvee_{j=1}^n (g_{ij}\wedge y_j), i = 1, 2, \ldots, m, $$ जहाँ $$\wedge$$ बूलियन और है $$\vee$$ बूलियन OR है। ध्यान दें कि ध्वनि को स्पष्ट रूप से प्रतिरूपित नहीं किया जाता है, बल्कि इसे स्वतंत्र स्रोतों के रूप में माना जा सकता है।

उपरोक्त समस्या को ह्यूरिस्टिक रूप से हल किया जा सकता है दिखाएँ कि यह दृष्टिकोण मध्यम ध्वनि स्तरों के अनुसार सटीक है।

सामान्यीकृत बाइनरी आईसीए ढांचा व्यापक समस्या सूत्रीकरण प्रस्तुत करता है जिसके लिए जनरेटिव मॉडल पर किसी भी ज्ञान की आवश्यकता नहीं होती है। दूसरे शब्दों में, यह विधि किसी स्रोत को उसके स्वतंत्र घटकों के लिए जितना संभव हो सके, और बिना किसी जानकारी को विघटित करने का प्रयास करती है, जिस प्रकार से इसे उत्पन्न किया गया था। यद्यपि यह समस्या अधिक जटिल दिखाई देती है, इसे शाखा और बाउंड सर्च ट्री एल्गोरिथम या सदिश के साथ आव्यूह के एकल गुणन के साथ कसकर ऊपरी सीमा के साथ सटीक रूप से हल किया जा सकता है।

प्रक्षेपण
संकेत मिश्रण में गॉसियन संभाव्यता घनत्व कार्य होते हैं, और स्रोत संकेतों में गैर-गाऊसी प्रायिकता घनत्व फलन होते हैं। प्रत्येक स्रोत संकेत को वजन सदिश के आंतरिक उत्पाद और उन संकेत मिश्रणों को ले कर संकेत मिश्रणों के सेट से निकाला जा सकता है जहाँ यह आंतरिक उत्पाद संकेत मिश्रणों का ऑर्थोगोनल प्रक्षेपण प्रदान करता है। शेष चुनौती इस प्रकार के वजन वाले सदिश को ढूंढ रही है। ऐसा करने के लिए प्रकार का तरीका प्रोजेक्शन परस्यूट है।

प्रोजेक्शन पीछा समय में प्रक्षेपण की तलाश करता है जैसे कि निकाला गया संकेत जितना संभव हो उतना गैर-गाऊसी है। यह आईसीए के विपरीत है, जो सामान्यतः एम संकेत मिश्रण से साथ एम संकेत निकालता है, जिसके लिए m × m अनमिक्सिंग आव्यूह का अनुमान लगाने की आवश्यकता होती है। आईसीए पर प्रक्षेपण खोज का व्यावहारिक लाभ यह है कि यदि आवश्यक हो तो एम से कम संकेत निकाले जा सकते हैं, जहाँ प्रत्येक स्रोत संकेत को एम-एलिमेंट वेट सदिश का उपयोग करके एम संकेत मिश्रण से निकाला जाता है।

प्रक्षेपण खोज के उपयोग के साथ सही वज़न सदिश ढूंढकर हम कर्टोसिस का उपयोग एकाधिक स्रोत संकेत को पुनर्प्राप्त करने के लिए कर सकते हैं।

परिमित प्रमाण के लिए संकेत के संभाव्यता घनत्व फलन के कर्टोसिस की गणना इस प्रकार की जाती है



K=\frac{\operatorname{E}[(\mathbf{y}-\mathbf{\overline{y}})^4]}{(\operatorname{E}[(\mathbf{y}-\mathbf{\overline{y}})^2])^2}-3 $$ जहाँ $$\mathbf{\overline{y}}$$ का नमूना माध्य है $$\mathbf{y}$$, निकाले गए संकेत निरंतर 3 सुनिश्चित करता है कि गॉसियन संकेतों में शून्य कर्टोसिस है, सुपर-गाऊसी संकेतों में सकारात्मक कुर्तोसिस है, और उप-गाऊसी संकेतों में नकारात्मक कुर्तोसिस है। भाजक $$\mathbf{y}$$ का विचरण है और यह सुनिश्चित करता है कि मापा कर्टोसिस संकेत विचरण को ध्यान में रखता है। प्रोजेक्शन परस्यूट का लक्ष्य कर्टोसिस को अधिकतम करना है, और निकाले गए संकेत को यथासंभव गैर-सामान्य बनाना है।

कर्टोसिस को गैर-सामान्यता के माप के रूप में उपयोग करते हुए, अब हम जांच कर सकते हैं कि संकेत का कर्टोसिस कैसे होता है $$\mathbf{y} = \mathbf{w}^T \mathbf{x}$$ एम मिश्रण के सेट से निकाला गया $$\mathbf{x}=(x_1,x_2,\ldots,x_M)^T$$ वजन सदिश के रूप में भिन्न होता है, $$\mathbf{w}$$ मूल के चारों ओर घुमाया जाता है। हमारी धारणा को देखते हुए कि प्रत्येक स्रोत संकेत देता है, $$\mathbf{s}$$ सुपर-गाऊसी है जिसकी हम उम्मीद करेंगे:
 * 1) निकाले गए संकेत का कर्टोसिस $$\mathbf{y}$$ अधिकतम सटीक होना जब $$\mathbf{y} = \mathbf{s}$$ हैं।
 * 2) निकाले गए संकेत का कर्टोसिस $$\mathbf{y}$$ अधिकतम कब होना है $$\mathbf{w}$$ अनुमानित अक्ष के लिए ओर्थोगोनल  $$S_1$$ या $$S_2$$ है, क्योंकि हम जानते हैं कि इष्टतम भार सदिश रूपांतरित अक्ष के लिए ओर्थोगोनल होना चाहिए $$S_1$$ या $$S_2$$ हैं।

एकाधिक स्रोत मिश्रण संकेतों के लिए, हम संकेतों को पुनर्प्राप्त करने के लिए कर्टोसिस और ग्राम-श्मिट ऑर्थोगोनलाइज़ेशन (जीएसओ) का उपयोग कर सकते हैं। एम-डायमेंशनल स्पेस में एम संकेत मिश्रण दिए जाने पर, जीएसओ इन डेटा पॉइंट्स को वेट सदिश का उपयोग करके (m-1) -डायमेंशनल स्पेस पर प्रोजेक्ट करता है। हम जीएसओ के उपयोग से निकाले गए संकेतों की स्वतंत्रता की गारंटी दे सकते हैं।

का सही मान ज्ञात करने के लिए $$\mathbf{w}$$, हम ढतला हुआ वंश विधि का उपयोग कर सकते हैं। हम सबसे पहले डेटा को सफेद करते हैं, और रूपांतरित करते हैं $$\mathbf{x}$$ नए मिश्रण में $$\mathbf{z}$$, जिसका इकाई विचरण और $$\mathbf{z}=(z_1,z_2,\ldots,z_M)^T$$है, इस प्रक्रिया को $$\mathbf{x}$$ मान पर अपघटन लागू करके प्राप्त किया जा सकता है ,


 * $$\mathbf{x} = \mathbf{U} \mathbf{D} \mathbf{V}^T$$

प्रत्येक सदिश को पुनर्स्केल करना $$U_i=U_i/\operatorname{E}(U_i^2)$$, और जाने $$\mathbf{z} = \mathbf{U}$$. भारित सदिश द्वारा निकाला गया संकेत $$\mathbf{w}$$ $$\mathbf{y} = \mathbf{w}^T \mathbf{z}$$ है, यदि भार सदिश w की इकाई लंबाई है, तो y का प्रसरण भी 1 है, अर्थात $$\operatorname{E}[(\mathbf{w}^T \mathbf{z})^2]=1$$. कर्टोसिस को इस प्रकार लिखा जा सकता है:



K=\frac{\operatorname{E}[\mathbf{y}^4]}{(\operatorname{E}[\mathbf{y}^2])^2}-3=\operatorname{E}[(\mathbf{w}^T \mathbf{z})^4]-3. $$ के लिए अद्यतन करने की प्रक्रिया $$\mathbf{w}$$ है:
 * $$\mathbf{w}_{new}=\mathbf{w}_{old}-\eta\operatorname{E}[\mathbf{z}(\mathbf{w}_{old}^T \mathbf{z})^3 ].$$

जहाँ $$\eta$$ इसकी गारंटी देने के लिए छोटा स्थिरांक है $$\mathbf{w}$$ इष्टतम समाधान में परिवर्तित हो जाता है। प्रत्येक अद्यतन $$\mathbf{w}_{new}=\frac{\mathbf{w}_{new}}{|\mathbf{w}_{new}|}$$ के बाद हम सामान्य करते हैं, और $$\mathbf{w}_{old}=\mathbf{w}_{new}$$सेट करते हैं, और अद्यतन प्रक्रिया को अभिसरण तक दोहराएं। हम वेट सदिश को अपडेट करने के लिए दूसरे एल्गोरिदम $$\mathbf{w}$$ का भी उपयोग कर सकते है।

कर्टोसिस के अतिरिक्त एक अन्य दृष्टिकोण नेगेंट्रॉपी का उपयोग कर रहा है। कर्टोसिस की तुलना में नेगेंट्रॉपी का उपयोग करना अधिक मजबूत तरीका है, क्योंकि कुर्तोसिस आउटलेयर के प्रति बहुत संवेदनशील है। गौसियन वितरण की महत्वपूर्ण संपत्ति पर नेगेंट्रॉपी विधियां आधारित हैं: समान भिन्नता के सभी निरंतर यादृच्छिक चर के बीच गॉसियन वैरिएबल में सबसे बड़ा एंट्रॉपी है। यही कारण है कि हम सबसे अधिक नॉनगॉसियन चर खोजना चाहते हैं। विभेदक एन्ट्रापी में साधारण प्रमाण पाया जा सकता है।
 * $$J(x) = S(y) - S(x)\,$$

y x के समान सहप्रसरण आव्यूह का गॉसियन यादृच्छिक चर है


 * $$S(x) = - \int p_x(u) \log p_x(u) du$$

नेगेंट्रॉपी के लिए सन्निकटन है
 * $$J(x)=\frac{1}{12}(E(x^3))^2 + \frac{1}{48}(kurt(x))^2$$ कॉमन के मूल पत्रों में प्रमाण पाया जा सकता है, इसे आपो हाइवरिनन, जुहा करहुनेन और एर्की ओजा द्वारा स्वतंत्र घटक विश्लेषण पुस्तक में पुन: प्रस्तुत किया गया है। यह सन्निकटन भी कर्टोसिस आउटलेर्स के प्रति संवेदनशीलता जैसी समस्या से ग्रस्त है। अन्य दृष्टिकोण विकसित किए गए हैं। :$$J(y) = k_1(E(G_1(y)))^2 + k_2(E(G_2(y)) - E(G_2(v))^2$$

इसका विकल्प $$G_1$$ और $$G_2$$ हैं
 * $$G_1 = \frac{1}{a_1}\log(\cosh(a_1u))$$ और $$G_2 = -\exp(-\frac{u^2}{2})$$

इन्फोमैक्स पर आधारित
इन्फोमैक्स आईसीए अनिवार्य रूप से प्रक्षेपण खोज का बहुभिन्नरूपी, समानांतर संस्करण है। जबकि प्रोजेक्शन परस्यूट एम संकेत मिश्रण के सेट से बार में संकेत की श्रृंखला निकालता है, आईसीए समानांतर में एम संकेत निकालता है। यह प्रक्षेपण खोज की तुलना में आईसीए को अधिक मजबूत बनाता है।

प्रोजेक्शन परस्यूट विधि निकाले गए संकेत की स्वतंत्रता सुनिश्चित करने के लिए ग्राम-श्मिट ऑर्थोगोनलाइजेशन का उपयोग करती है, जबकि आईसीए निकाले गए संकेत की स्वतंत्रता सुनिश्चित करने के लिए इन्फोमैक्स और अधिकतम संभावना अनुमान का उपयोग करती है। इस प्रकार निकाले गए संकेत की गैर-सामान्यता संकेत के लिए उपयुक्त मॉडल, या पूर्व, निर्दिष्ट करके हासिल की जाती है।

इन्फोमैक्स पर आधारित आईसीए की प्रक्रिया संक्षेप में है: संकेत मिश्रण का सेट दिया गया है $$\mathbf{x}$$ और समान स्वतंत्र मॉडल संचयी वितरण कार्य का सेट (cdfs) $$g$$, हम अनमिक्सिंग आव्यूह $$\mathbf{W}$$ की खोज करते हैं जो संकेतों की संयुक्त एन्ट्रॉपी $$\mathbf{Y}=g(\mathbf{y})$$ को अधिकतम करता है, जहाँ $$\mathbf{y}=\mathbf{Wx}$$ द्वारा निकाले गए संकेत $$\mathbf{W}$$ हैं, इस प्रकार इष्टतम $$\mathbf{W}$$, संकेत $$\mathbf{Y}$$ अधिकतम एन्ट्रापी है और इसलिए स्वतंत्र हैं, जो यह सुनिश्चित करता है कि निकाले गए संकेत $$\mathbf{y}=g^{-1}(\mathbf{Y})$$ स्वतंत्र भी हैं।  इस प्रकार $$g$$ उलटा कार्य है, और संकेत मॉडल है। ध्यान दें कि यदि स्रोत संकेत मॉडल प्रायिकता घनत्व कार्य करता है $$p_s$$ निकाले गए संकेत की प्रायिकता घनत्व फलन $$p_{\mathbf{y}}$$ से मेल खाता है, फिर की संयुक्त एन्ट्रापी को अधिकतम करना $$Y$$ के बीच आपसी जानकारी की मात्रा को भी अधिकतम करता है $$\mathbf{x}$$ और $$\mathbf{Y}$$. इस कारण से, स्वतंत्र संकेतों को निकालने के लिए एंट्रॉपी का उपयोग करना इन्फोमैक्स के रूप में जाना जाता है।

सदिश चर की एन्ट्रापी पर विचार करें $$\mathbf{Y}=g(\mathbf{y})$$, जहाँ $$\mathbf{y}=\mathbf{Wx}$$ अनमिक्सिंग आव्यूह द्वारा निकाले गए संकेतों $$\mathbf{W}$$ का सेट है, पीडीएफ के साथ वितरण से नमूना मूल्यों के सीमित सेट के लिए $$p_{\mathbf{y}}$$, की एन्ट्रापी $$\mathbf{Y}$$ अनुमान लगाया जा सकता है:

H(\mathbf{Y})=-\frac{1}{N}\sum_{t=1}^N \ln p_{\mathbf{Y}}(\mathbf{Y}^t) $$ संयुक्त पीडीएफ $$p_{\mathbf{Y}}$$ संयुक्त पीडीएफ से संबंधित $$p_{\mathbf{y}}$$ दिखाया जा सकता है बहुभिन्नरूपी रूप से निकाले गए संकेतों की:

p_{\mathbf{Y}}(Y)=\frac{p_{\mathbf{y}}(\mathbf{y})}{|\frac{\partial\mathbf{Y}}{\partial \mathbf{y}}|} $$ जहाँ $$\mathbf{J}=\frac{\partial\mathbf{Y}}{\partial \mathbf{y}}$$ जैकबियन आव्यूह है। अपने पास $$|\mathbf{J}|=g'(\mathbf{y})$$, और $$g'$$ स्रोत संकेतों के लिए माना गया पीडीएफ $$g'=p_s$$है, इसलिए,

p_{\mathbf{Y}}(Y)=\frac{p_{\mathbf{y}}(\mathbf{y})}{|\frac{\partial\mathbf{Y}}{\partial \mathbf{y}}|}=\frac{p_\mathbf{y}(\mathbf{y})}{p_\mathbf{s}(\mathbf{y})} $$ इसलिए,

H(\mathbf{Y})=-\frac{1}{N}\sum_{t=1}^N \ln\frac{p_\mathbf{y}(\mathbf{y})}{p_\mathbf{s}(\mathbf{y})} $$ हम जानते हैं कि कब $$p_{\mathbf{y}}=p_s$$, $$p_{\mathbf{Y}}$$ समान वितरण का है, और $$H({\mathbf{Y}})$$ अधिकतम है। तब से

p_{\mathbf{y}}(\mathbf{y})=\frac{p_\mathbf{x}(\mathbf{x})}{|\frac{\partial\mathbf{y}}{\partial\mathbf{x}}|}=\frac{p_\mathbf{x}(\mathbf{x})}{|\mathbf{W}|} $$ जहाँ $$|\mathbf{W}|$$ अनमिक्सिंग आव्यूह के निर्धारक का निरपेक्ष मान है $$\mathbf{W}$$. इसलिए,

H(\mathbf{Y})=-\frac{1}{N}\sum_{t=1}^N \ln\frac{p_\mathbf{x}(\mathbf{x}^t)}{|\mathbf{W}|p_\mathbf{s}(\mathbf{y}^t)} $$ इसलिए,

H(\mathbf{Y})=\frac{1}{N}\sum_{t=1}^N \ln p_\mathbf{s}(\mathbf{y}^t)+\ln|\mathbf{W}|+H(\mathbf{x}) $$ तब से $$H(\mathbf{x})=-\frac{1}{N}\sum_{t=1}^N\ln p_\mathbf{x}(\mathbf{x}^t)$$, और अधिकतम $$H_{\mathbf{x}}$$ करना $$\mathbf{W}$$ प्रभावित नहीं करता, इसलिए हम फलन को अधिकतम कर सकते हैं

h(\mathbf{Y})=\frac{1}{N}\sum_{t=1}^N \ln p_\mathbf{s}(\mathbf{y}^t)+\ln|\mathbf{W}| $$ निकाले गए संकेत की स्वतंत्रता प्राप्त करने के लिए उपयोग किया जाता हैं ।

यदि मॉडल संयुक्त पीडीएफ के एम सीमांत पीडीएफ़ हैं, $$p_{\mathbf{s}}$$ स्वतंत्र हैं और स्रोत संकेतों के लिए सामान्यतः सुपर-गॉसियन मॉडल पीडीएफ $$p_{\mathbf{s}}=(1-\tanh(\mathbf{s})^2)$$का उपयोग करते हैं, तो हमारे पास हैं-

h(\mathbf{Y})=\frac{1}{N}\sum_{i=1}^M\sum_{t=1}^N \ln (1-\tanh(\mathbf{w_i^T x^t})^2)+\ln|\mathbf{W}| $$ योग में, मनाया संकेत मिश्रण $$\mathbf{x}$$ दिया जाता हैं, निकाले गए संकेतों का संगत सेट $$\mathbf{y}$$ और स्रोत संकेत मॉडल $$p_{\mathbf{s}}=g'$$, हम इष्टतम अनमिक्सिंग आव्यूह $$\mathbf{W}$$ पा सकते हैं, और निकाले गए संकेतों को स्वतंत्र और गैर-गाऊसी बनाते हैं। प्रोजेक्शन पीछा की स्थिति की प्रकार, हम अनमिक्सिंग आव्यूह का इष्टतम समाधान खोजने के लिए ग्रेडिएंट डिसेंट विधि का उपयोग कर सकते हैं।

अधिकतम संभावना अनुमान के आधार पर
अधिकतम संभावना अनुमान (एमएलई) पैरामीटर मान खोजने के लिए मानक सांख्यिकीय उपकरण (उदाहरण के लिए अनमिक्सिंग आव्यूह $$\mathbf{W}$$) है, जो कुछ डेटा का सबसे अच्छा फिट प्रदान करते हैं (उदाहरण के लिए, निकाले गए संकेत $$y$$) किसी दिए गए मॉडल के लिए उदाहरण के लिए, अनुमानित संयुक्त संभावना घनत्व फलन (पीडीएफ) $$p_s$$ स्रोत संकेतों का होता है।

एमएल मॉडल में पीडीएफ का विनिर्देश सम्मलित होता है, जो इस स्थितियों में पीडीएफ है $$p_s$$ अज्ञात स्रोत संकेतों की $$s$$. एमएल आईसीए का उपयोग करना, उद्देश्य अनमिक्सिंग आव्यूह खोजना है जो निकाले गए संकेतों $$y = \mathbf{W}x$$ को उत्पन्न करता है, संयुक्त पीडीएफ के साथ जितना संभव हो उतना संयुक्त पीडीएफ के साथ $$p_s$$ अज्ञात स्रोत संकेतों की $$s$$ है।

MLE इस प्रकार इस धारणा पर आधारित है कि यदि मॉडल pdf $$p_s$$ और मॉडल पैरामीटर $$\mathbf{A}$$ सही हैं तो डेटा के लिए उच्च संभावना प्राप्त की जानी चाहिए $$x$$ जो वास्तव में देखे गए थे। इसके विपरीत यदि $$\mathbf{A}$$ सही पैरामीटर मानों से दूर है तो देखे गए डेटा की कम संभावना की उम्मीद की जाएगी।

MLE का उपयोग करते हुए, हम मॉडल पैरामीटर मानों के दिए गए सेट के लिए प्रेक्षित डेटा की प्रायिकता कहते हैं (उदाहरण के लिए, pdf $$p_s$$ और आव्यूह $$\mathbf{A}$$) देखे गए डेटा को देखते हुए मॉडल पैरामीटर मानों की संभावना है।

हम संभावना फलन $$\mathbf{L(W)}$$ का $$\mathbf{W}$$ को परिभाषित करते हैं :

$$\mathbf{ L(W)} = p_s (\mathbf{W}x)|\det \mathbf{W}|. $$ यह प्रायिकता $$x$$ घनत्व $$s = \mathbf{W}x$$ के बराबर है।

इस प्रकार, यदि हम खोजना चाहते हैं $$\mathbf{W}$$ यह देखे गए मिश्रणों को उत्पन्न करने की सबसे अधिक संभावना है $$x$$ अज्ञात स्रोत संकेतों से $$s$$ पीडीएफ के साथ $$p_s$$ तो हमें केवल उसे खोजने की जरूरत है $$\mathbf{W}$$ जो संभावना को अधिकतम $$\mathbf{L(W)}$$ करता है, अनमिक्सिंग आव्यूह जो समीकरण को अधिकतम करता है, इष्टतम अनमिक्सिंग आव्यूह के एमएलई के रूप में जाना जाता है।

लॉग संभावना का उपयोग करना आम बात है, क्योंकि इसका मूल्यांकन करना आसान है। जैसा कि लघुगणक मोनोटोनिक फलन $$\mathbf{W}$$ है, जो कार्य को अधिकतम करता है $$\mathbf{L(W)}$$ इसके लघुगणक को भी अधिकतम करता है $$\ln \mathbf{L(W)}$$. यह हमें उपरोक्त समीकरण का लघुगणक लेने की अनुमति देता है, जो लॉग संभावना फलन उत्पन्न करता है

$$\ln \mathbf{L(W)} =\sum_{i}\sum_{t} \ln p_s(w^T_ix_t) + N\ln|\det \mathbf{W}|$$

यदि हम स्रोत संकेतों के लिए सामान्यतः उपयोग किए जाने वाले उच्च-कर्टोसिस मॉडल पीडीएफ को $$p_s = (1-\tanh(s)^2)$$प्रतिस्थापित करते हैं  तो हमारे पास हैं

$$\ln \mathbf{L(W)} ={1 \over N}\sum_{i}^{M} \sum_{t}^{N}\ln(1-\tanh(w^T_i x_t )^2) + \ln |\det \mathbf{W}|$$ यह आव्यूह $$\mathbf{W}$$ जो इस फलन को अधिकतम करता है, वह अधिकतम संभावना अनुमान है।

इतिहास और पृष्ठभूमि
स्वतंत्र घटक विश्लेषण के लिए प्रारंभिक सामान्य रूपरेखा 1984 से जेनी हेरॉल्ट और बर्नार्ड द्वारा प्रस्तुत की गई थी, 1985 और 1986 में क्रिश्चियन जटन द्वारा और विकसित किया गया,   और 1991 में पियरे कोमोन द्वारा परिष्कृत, और 1994 के अपने पेपर में लोकप्रिय हुआ। 1995 में, टोनी बेल और टेरी सेजनोव्स्की ने इन्फोमैक्सपर आधारित तेज़ और कुशल आईसीए एल्गोरिथम प्रस्तुत किया, जो 1987 में राल्फ लिंस्कर द्वारा प्रस्तुत किया गया सिद्धांत था।

साहित्य में कई एल्गोरिदम उपलब्ध हैं जो आईसीए करते हैं। औद्योगिक अनुप्रयोगों सहित बड़े पैमाने पर उपयोग किया जाने वाला फास्टिका एल्गोरिथम है, जिसे हावरिनन और ओजा द्वारा विकसित किया गया है, जो लागत कार्य के रूप में नेगेंट्रॉपी का उपयोग करता है। अन्य उदाहरण नेत्रहीन स्रोत पृथक्करण से संबंधित हैं जहाँ अधिक सामान्य दृष्टिकोण का उपयोग किया जाता है। उदाहरण के लिए, कोई स्वतंत्रता धारणा को छोड़ सकता है और पारस्परिक रूप से सहसंबद्ध संकेतों को अलग कर सकता है, इस प्रकार सांख्यिकीय रूप से निर्भर संकेत विकसित किया गया है। सेप होचरेइटर और जुरगेन श्मिटहुबर ने दिखाया कि नियमितीकरण (गणित) (1999) के उप-उत्पाद के रूप में गैर-रैखिक आईसीए या स्रोत पृथक्करण कैसे प्राप्त किया जाए। उनकी पद्धति को स्वतंत्र स्रोतों की संख्या के बारे में प्राथमिक ज्ञान की आवश्यकता नहीं है।

अनुप्रयोग
आईसीए को गैर-भौतिक संकेतों का विश्लेषण करने के लिए बढ़ाया जा सकता है। उदाहरण के लिए, आईसीए को समाचार सूची संग्रहों के बैग पर चर्चा के विषयों को खोजने के लिए लागू किया गया है।

कुछ आईसीए आवेदन नीचे सूचीबद्ध हैं: * न्यूरॉन्स की ऑप्टिकल इमेजिंग * न्यूरोनल स्पाइक सॉर्टिंग * चेहरा पहचान * प्राथमिक दृश्य न्यूरॉन्स के ग्रहणशील क्षेत्रों की मॉडलिंग * शेयर बाजार की कीमतों * मोबाइल फोन संचार * टमाटर के पकने का रंग आधारित पता लगाना आवश्यक होता हैं।
 * ईईजी डेटा से आंखों की झपकी जैसी कलाकृतियों को हटाना।
 * ईईजी का उपयोग करके निर्णय लेने की भविष्यवाणी करना
 * एकल कोशिका (जीव विज्ञान) आरएनए-अनुक्रमण प्रयोगों में समय के साथ जीन अभिव्यक्ति में परिवर्तन का विश्लेषण।
 * मस्तिष्क की रेस्टिंग अवस्था fMRI का अध्ययन।
 * खगोल विज्ञान और ब्रह्मांड विज्ञान
 * वित्त

उपलब्धता
आईसीए निम्नलिखित सॉफ्टवेयर के माध्यम से लागू किया जा सकता है:


 * एसएएस भाषा प्रोसी आईसीए
 * स्किकिट-लर्न पायथन कार्यान्वयन ].org/stable/modules/generated/sklearn.decomposition.Fastआईसीए.html sklearn.decomposition.Fastआईसीए]

यह भी देखें

 * अंधा deconvolution
 * कारक विश्लेषण
 * हिल्बर्ट स्पेक्ट्रम
 * मूर्ति प्रोद्योगिकी
 * गैर-नकारात्मक मैट्रिक्स गुणनखंड|गैर-ऋणात्मक मैट्रिक्स गुणनखंडन (NMF)
 * गैर रेखीय आयामीता में कमी
 * प्रोजेक्शन पीछा
 * वेरिमैक्स रोटेशन

संदर्भ

 * Comon, Pierre (1994): "Independent Component Analysis: a new concept?", Signal Processing, 36(3):287–314 (The original paper describing the concept of आईसीए)
 * Hyvärinen, A.; Karhunen, J.; Oja, E. (2001): Independent Component Analysis, New York: Wiley, ISBN 978-0-471-40540-5 ( Introductory chapter )
 * Hyvärinen, A.; Oja, E. (2000): "Independent Component Analysis: Algorithms and Application", Neural Networks, 13(4-5):411-430. (Technical but pedagogical introduction).
 * Comon, P.; Jutten C., (2010): Handbook of Blind Source Separation, Independent Component Analysis and Applications. Academic Press, Oxford UK. ISBN 978-0-12-374726-6
 * Lee, T.-W. (1998): Independent component analysis: Theory and applications, Boston, Mass: Kluwer Academic Publishers, ISBN 0-7923-8261-7
 * Acharyya, Ranjan (2008): A New Approach for Blind Source Separation of Convolutive Sources - Wavelet Based Separation Using Shrinkage Function ISBN 3-639-07797-0 ISBN 978-3639077971 (this book focuses on unsupervised learning with Blind Source Separation)

बाहरी संबंध

 * What is independent component analysis? by Aapo Hyvärinen
 * Independent Component Analysis: A Tutorial by Aapo Hyvärinen
 * A Tutorial on Independent Component Analysis
 * Fastआईसीए as a package for Matlab, in R language, C++
 * आईसीएLAB Toolboxes for Matlab, developed at RIKEN
 * High Performance Signal Analysis Toolkit provides C++ implementations of Fastआईसीए and Infomax
 * आईसीए toolbox Matlab tools for आईसीए with Bell-Sejnowski, Molgedey-Schuster and mean field आईसीए. Developed at DTU.
 * Demonstration of the cocktail party problem
 * EEGLAB Toolbox आईसीए of EEG for Matlab, developed at UCSD.
 * FMRLAB Toolbox आईसीए of fMRI for Matlab, developed at UCSD
 * MELODIC, part of the FMRIB Software Library.
 * Discussion of आईसीए used in a biomedical shape-representation context
 * Fastआईसीए, CuBआईसीए, JADE and TDSEP algorithm for Python and more...
 * Group आईसीए Toolbox and Fusion आईसीए Toolbox
 * Tutorial: Using आईसीए for cleaning EEG signals