स्वतंत्र घटक विश्लेषण

संकेतों को अग्रेषित करने के लिए स्वतंत्र घटक विश्लेषण (आईसीए) बहुभिन्नरूपी सांख्यिकी संकेत को योगात्मक उपघटकों में अलग करने के लिए कम्प्यूटरीकृत विधि है। इसका उपयोग यह मानकर किया जाता है कि अधिक से अधिक उपघटक गाऊसी प्रमेय का पालन करते है और यह कि उपघटक दूसरे से सांख्यिकीय रूप से स्वतंत्र हैं। इस प्रकार आईसीए विचारहीन स्त्रोत विभाजन की विशेष स्थिति हैं। सामान्य उदाहरण अनुप्रयोग ध्वनियुक्त कमरे में व्यक्ति के भाषण को सुनने की कॉकटेल समूह की समस्या है।

परिचय

चार बेतरतीब ढंग से मिश्रित वीडियो पर आईसीए। शीर्ष: मूल स्रोत वीडियो हैं। मध्य एल्गोरिदम में इनपुट के रूप में उपयोग किए जाने वाले चार यादृच्छिक मिश्रण हैं। जो नीचे: पुनर्निर्मित वीडियो में देखा जा सकता हैं।

स्वतंत्र घटक विश्लेषण बहुभिन्नरूपी संकेत को स्वतंत्र गैर-गाऊसी संकेतों में विघटित करने का प्रयास करता है। इस प्रकार उदाहरण के रूप में, ध्वनि सामान्यतः संकेत होता है जो इस प्रकार कई स्रोतों से संकेतों के प्रत्येक समय टी पर संख्यात्मक जोड़ से बना होता है। इस प्रकार प्रश्न यह है कि क्या इन योगदान स्रोतों को देखे गए कुल संकेत से अलग करना संभव है। इस प्रकार जब सांख्यिकीय स्वतंत्रता धारणा सही होती है, तो इस प्रकार मिश्रित संकेत का विचारहीन आईसीए पृथक्करण बहुत अच्छा परिणाम देता है। इस प्रकार इसका उपयोग उन संकेतों के लिए भी किया जाता है जिन्हें विश्लेषण उद्देश्यों के लिए मिश्रित करके उत्पन्न नहीं किया जाना चाहिए।

कॉकटेल पार्टी की समस्या आईसीए का सरल अनुप्रयोग है, जहाँ अंतर्निहित संकेतों को कमरे में साथ बात करने वाले लोगों के नमूना डेटा से अलग किया जाता है। सामान्यतः इसके अतिरिक्त गूँजने की समस्या को सरल बना दिया जाता है। इस प्रकार ध्यान दें कि फ़िल्टर्ड और विलंबित संकेत आश्रित घटक की प्रति है, और इस प्रकार सांख्यिकीय स्वतंत्रता धारणा का उल्लंघन नहीं होता है।

इस प्रकार निर्माण के लिए वजन को संयोजित करना ${\textstyle M}$ से संकेतों का अवलोकन किया तथा ${\textstyle N}$ घटकों को में ${\textstyle M\times N}$ आव्यूह उपयोग किया जाता है। इस पर विचार करने वाली महत्वपूर्ण बात यह है कि यदि ${\textstyle N}$ स्रोत सम्मलित हैं, इस प्रकार कम से कम ${\textstyle N}$ मूल संकेतों को पुनर्प्राप्त करने के लिए अवलोकन उदाहरण के लिए माइक्रोफ़ोन यदि देखा गया संकेत ऑडियो की आवश्यकता होती है। इस प्रकार जब समान संख्या में अवलोकन और स्रोत संकेत होते हैं, तो (${\textstyle M=N}$) मिश्रण आव्यूह वर्गाकार होता है। इस प्रकार अनिर्धारित के अन्य स्थितियों (${\textstyle M<N}$) और अतिनिर्धारित (${\textstyle M>N}$) की जांच की गई है।

यह मिश्रित संकेतों का आईसीए पृथक्करण बहुत अच्छे परिणाम देता है, इस प्रकार यह दो धारणाओं और मिश्रण स्रोत संकेतों के तीन प्रभावों पर आधारित है। इस प्रकार इसकी दो धारणाएं हैं :

1. स्रोत संकेत दूसरे से स्वतंत्र हैं।
2. प्रत्येक स्रोत संकेत के मान में गैर-गाऊसी वितरण होते हैं।

स्रोत संकेतों को मिलाने के तीन प्रभाव:

1. स्वतंत्रता: धारणा 1 के अनुसार, स्रोत संकेत स्वतंत्र हैं; चूंकि इस प्रकार उनके संकेत मिश्रण नहीं हैं। ऐसा इसलिए है क्योंकि संकेत मिश्रण समान स्रोत संकेत साझा करते हैं।
2. सामान्यत: इस प्रकार केंद्रीय सीमा प्रमेय के अनुसार, परिमित विचरण के साथ स्वतंत्र यादृच्छिक चर के योग का वितरण गॉसियन वितरण की ओर जाता है।
   सरल शब्दों में कहें तो, दो स्वतंत्र यादृच्छिक चर के योग में सामान्यतः वितरण होता है जो इसके करीब होता है गॉसियन दो मूल चरों में से किसी की तुलना में उपयोग किया जाता हैं। यहां इस प्रकार हम प्रत्येक संकेत के मान को यादृच्छिक चर मानते हैं।
3. जटिलता: किसी भी संकेत मिश्रण की अस्थायी जटिलता उसके सरलतम घटक स्रोत संकेत की तुलना में अधिक होती है।

इस प्रकार इस सिद्धांत आईसीए की मौलिक स्थापना में योगदान करते हैं। इस प्रकार यदि मिश्रण के समुच्चय से निकाले गए संकेत स्वतंत्र हैं, और इस प्रकार गैर-गाऊसी हिस्टोग्राम हैं या कम जटिलता है, तो उन्हें स्रोत संकेत होना चाहिए।

घटक स्वतंत्रता को परिभाषित करना

आईसीए अनुमानित घटकों की सांख्यिकीय स्वतंत्रता को अधिकतम करके स्वतंत्र घटकों का पता लगाता है, जिन्हें कारक, अव्यक्त चर या स्रोत भी कहा जाता है। इस प्रकार हम स्वतंत्रता के लिए प्रॉक्सी को परिभाषित करने के कई तरीकों में से चुन सकते हैं, और यह विकल्प आईसीए एल्गोरिथम के रूप को नियंत्रित करता है। इस प्रकार आईसीए के लिए स्वतंत्रता की दो व्यापक परिभाषाएँ हैं

1. आपसी जानकारी को कम करना
2. गैर-गौसियनिटी का अधिकतमकरण

आईसीए एल्गोरिथम का मिनिमाइजेशन-ऑफ-म्युचुअल इंफॉर्मेशन (एमएमआई) समुच्चय कुल्बैक-लीब्लर डाइवर्जेंस या कुल्बैक-लीब्लर डाइवर्जेंस और अधिकतम एंट्रॉपी के सिद्धांत जैसे उपायों का उपयोग करता है। इस प्रकार केंद्रीय सीमा प्रमेय से प्रेरित आईसीए एल्गोरिदम का गैर-गौसियनिटी समुच्चय, कुकुदता और नाइनट्रॉपी का उपयोग करता है।

आईसीए के लिए विशिष्ट एल्गोरिदम वास्तविक पुनरावृत्त एल्गोरिदम के लिए समस्या की जटिलता को सरल बनाने और कम करने के लिए केंद्रीकरण शून्य माध्य संकेत बनाने के लिए माध्य घटाना, श्वेत परिवर्तन सामान्यतः ईजेनवेल्यू अपघटन के साथ और पूर्वप्रक्रमण चरणों के रूप में आयाम में कमी का उपयोग करते हैं। इस प्रकार मुख्य घटक विश्लेषण या एकवचन मूल्य अपघटन के साथ श्वेतकरण और आयाम में कमी प्राप्त की जा सकती है। इस प्रकार श्वेतकरण यह सुनिश्चित करता है कि एल्गोरिदम चलाने से पहले सभी आयामों को समान रूप से प्राथमिकता माना जाता है। इस प्रकार आईसीए के लिए प्रसिद्ध एल्गोरिदम में इन्फो मैक्स , फास्टआईसीए, जेएडीई (आईसीए), और कर्नेल-स्वतंत्र घटक विश्लेषण सम्मलित हैं। सामान्यतः इस प्रकार आईसीए स्रोत संकेतों की वास्तविक संख्या, स्रोत संकेतों के विशिष्ट रूप से सही क्रम, और न ही स्रोत संकेतों के उचित स्केलिंग साइन सहित की पहचान नहीं कर सकता है।

आईसीए संकेत पृथक्करण के लिए महत्वपूर्ण है और इसके कई व्यावहारिक अनुप्रयोग हैं। इस प्रकार यह डेटा के तथ्यात्मक कोड की खोज या यहां तक ​​कि विशेष स्थितियों से निकटता से संबंधित है, अर्थात इस प्रकार प्रत्येक डेटा सदिश के इस सदिश के मान के लिए प्रतिनिधित्व करते हुए यह इस प्रकार परिणामी कोड को सदिश द्वारा विशिष्ट रूप से एन्कोड कोडिंग करता है। अपितु कोड घटक सांख्यिकीय रूप से स्वतंत्र हैं।

गणितीय परिभाषाएँ

रैखिक स्वतंत्र घटक विश्लेषण को नीरव और ध्वनि वाले स्थितियों में विभाजित किया जा सकता है, जहाँ नीरव आईसीए ध्वनि आईसीए की विशेष स्थिति हैं। इस प्रकार नॉनलाइनियर आईसीए को अलग स्थितियों के रूप में माना जाना चाहिए।

सामान्य परिभाषा

डेटा ${\boldsymbol {x}}=(x_{1},\ldots ,x_{m})^{T}$को देखे गए यादृच्छिक सदिश द्वारा दर्शाया गया है और छिपे हुए घटक यादृच्छिक सदिश के रूप में ${\boldsymbol {s}}=(s_{1},\ldots ,s_{n})^{T}.$ कार्य देखे गए डेटा को बदलना है, इस प्रकार ${\boldsymbol {x}},$ रैखिक स्थिर परिवर्तन ${\boldsymbol {W}}$ का उपयोग करना जैसा ${\boldsymbol {s}}={\boldsymbol {W}}{\boldsymbol {x}},$ अधिकतम स्वतंत्र घटकों के सदिश में ${\boldsymbol {s}}$ किसी कार्य द्वारा मापा जाता है $F(s_{1},\ldots ,s_{n})$ इंडिपेंडेंट के लिए उपयोग किये जाते हैं।

जनरेटिव प्रारूप

रैखिक नीरव आईसीए

अवयव $x_{i}$ देखे गए यादृच्छिक सदिश की ${\boldsymbol {x}}=(x_{1},\ldots ,x_{m})^{T}$ स्वतंत्र घटकों के योग $s_{k}$, $k=1,\ldots ,n$ के रूप में उत्पन्न होते हैं:

$x_{i}=a_{i,1}s_{1}+\cdots +a_{i,k}s_{k}+\cdots +a_{i,n}s_{n}$मिश्रण भार द्वारा भारित $a_{i,k}$ रहता हैं।

उसी जनरेटिव प्रारूप को सदिश रूप ${\boldsymbol {x}}=\sum _{k=1}^{n}s_{k}{\boldsymbol {a}}_{k}$ में लिखा जा सकता है, जहाँ यादृच्छिक सदिश ${\boldsymbol {x}}$ आधार सदिश ${\boldsymbol {a}}_{k}=({\boldsymbol {a}}_{1,k},\ldots ,{\boldsymbol {a}}_{m,k})^{T}$द्वारा दर्शाया गया है। आधार सदिश ${\boldsymbol {a}}_{k}$ मिक्सिंग आव्यूह के कॉलम ${\boldsymbol {A}}=({\boldsymbol {a}}_{1},\ldots ,{\boldsymbol {a}}_{n})$ बनाएं और ${\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}$, जहाँ ${\boldsymbol {s}}=(s_{1},\ldots ,s_{n})^{T}$ उत्पादक सूत्र के रूप में लिखा जा सकता है।

इस प्रकार प्रारूप को देखते हुए ${\boldsymbol {x}}_{1},\ldots ,{\boldsymbol {x}}_{N}$ यादृच्छिक सदिश का ${\boldsymbol {x}}$, कार्य दोनों मिश्रण ${\boldsymbol {A}}$ आव्यूह और स्रोत ${\boldsymbol {s}}$ का अनुमान लगाना है, इस प्रकार यह अनुकूल रूप से गणना करके किया जाता है ${\boldsymbol {w}}$ सदिश और लागत फलन स्थापित करना जो या तो गणना की गैर-गौसियनिटी $s_{k}={\boldsymbol {w}}^{T}{\boldsymbol {x}}$ को अधिकतम करता है या इस प्रकार आपसी जानकारी को कम करता है। कुछ स्थितियों में, स्रोतों के संभाव्यता बंटन का प्राथमिक ज्ञान लागत फलन में उपयोग किया जा सकता है।

मूल स्रोत ${\boldsymbol {s}}$ देखे गए संकेतों को गुणा करके पुनर्प्राप्त किया जा सकता है ${\boldsymbol {x}}$ मिश्रण आव्यूह के व्युत्क्रम के साथ ${\boldsymbol {W}}={\boldsymbol {A}}^{-1}$ उपयोग किया जाता है, जिसे अनमिक्सिंग आव्यूह के रूप में भी जाना जाता है। यहाँ यह माना जाता है कि मिश्रण आव्यूह वर्ग ($n=m$) है। इस प्रकार यदि आधार सदिशों की संख्या प्रेक्षित सदिशों की विमा $n>m$ से अधिक है, अपितु छद्म व्युत्क्रम के साथ अभी भी हल करने योग्य है।

रैखिक ध्वनि आईसीए

शून्य-माध्य और असंबद्ध गाऊसी ध्वनि की अतिरिक्त धारणा के साथ $n\sim N(0,\operatorname {diag} (\Sigma ))$, आईसीए प्रारूप ${\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}+n$ रूप लेता है।

अरैखिक आईसीए

स्रोतों के मिश्रण को रैखिक होने की आवश्यकता नहीं है। इस प्रकार अरैखिक मिश्रण फलन का उपयोग करना $f(\cdot |\theta )$ मापदंडों के साथ $\theta$ अरेखीय आईसीए प्रारूप $x=f(s|\theta )+n$ है।

पहचान

स्रोतों के क्रमपरिवर्तन और स्केलिंग तक स्वतंत्र घटकों की पहचान की जा सकती है। इस प्रकार इस पहचान की आवश्यकता है कि:

• अधिक से अधिक स्रोत $s_{k}$ गाऊसी है,
• देखे गए मिश्रणों की संख्या, $m$, कम से कम अनुमानित घटकों की संख्या जितनी बड़ी होनी चाहिए $n$: $m\geq n$. यह मिश्रण आव्यूह कहने के बराबर है ${\boldsymbol {A}}$ इसके व्युत्क्रम के अस्तित्व के लिए पूर्ण रैंक (रैखिक बीजगणित) का होना चाहिए।

बाइनरी आईसीए

आईसीए का विशेष संस्करण बाइनरी आईसीए है, जिसमें इस प्रकार संकेत स्रोत और मॉनिटर दोनों बाइनरी फॉर्म में हैं और मॉनिटर से अवलोकन बाइनरी स्वतंत्र स्रोतों के संयोजन मिश्रण हैं। समस्या को चिकित्सा निदान, बहु-क्लस्टर असाइनमेंट, नेटवर्क टोमोग्राफी और इंटरनेट संसाधन प्रबंधन सहित कई डोमेन में अनुप्रयोगों के लिए दिखाया गया था।

होने देना ${x_{1},x_{2},\ldots ,x_{m}}$ से बाइनरी चर का समुच्चय हो $m$ मॉनिटर और ${y_{1},y_{2},\ldots ,y_{n}}$ से बाइनरी चर का समुच्चय हो $n$ स्रोत है। इस प्रकार स्रोत-मॉनिटर कनेक्शन (अज्ञात) मिश्रण आव्यूह द्वारा ${\textstyle {\boldsymbol {G}}}$ दर्शाए जाते हैं, जहाँ $g_{ij}=1$ इंगित करता है, कि i-वें स्रोत से संकेत j-वें मॉनिटर द्वारा देखा जा सकता है। इस प्रकार सिस्टम निम्नानुसार काम करता है: किसी भी समय, यदि कोई स्रोत $i$ सक्रिय है ($y_{i}=1$) और यह मॉनिटर से जुड़ा होता है $j$ ($g_{ij}=1$) फिर मॉनिटर $j$ कुछ गतिविधि देखेंगे ($x_{j}=1$) औपचारिक रूप से हमारे पास है:

$x_{i}=\bigvee _{j=1}^{n}(g_{ij}\wedge y_{j}),i=1,2,\ldots ,m,$

जहाँ $\wedge$ बूलियन और है $\vee$ बूलियन OR है। ध्यान दें कि ध्वनि को स्पष्ट रूप से प्रतिरूपित नहीं किया जाता है, बल्कि इसे स्वतंत्र स्रोतों के रूप में माना जा सकता है।

उपरोक्त समस्या को ह्यूरिस्टिक रूप से हल किया जा सकता है दिखाएँ कि यह दृष्टिकोण मध्यम ध्वनि स्तरों के अनुसार सटीक है।

सामान्यीकृत बाइनरी आईसीए ढांचा व्यापक समस्या सूत्रीकरण प्रस्तुत करता है, जिसके लिए जनरेटिव प्रारूप पर किसी भी ज्ञान की आवश्यकता नहीं होती है। दूसरे शब्दों में, यह विधि किसी स्रोत को उसके स्वतंत्र घटकों के लिए जितना संभव हो सके, और इस प्रकार बिना किसी जानकारी को विघटित करने का प्रयास करती है, जिस प्रकार से इसे उत्पन्न किया गया था। यद्यपि यह समस्या अधिक जटिल दिखाई देती है, इसे शाखा और बाउंड सर्च ट्री एल्गोरिथम या सदिश के साथ आव्यूह के एकल गुणन के साथ कसकर ऊपरी सीमा के साथ सटीक रूप से हल किया जा सकता है।

विचारहीन स्त्रोत विभाजन के तरीके

प्रक्षेपण

संकेत मिश्रण में गॉसियन संभाव्यता घनत्व कार्य होते हैं, और स्रोत संकेतों में गैर-गाऊसी प्रायिकता घनत्व फलन होते हैं। इस प्रकार प्रत्येक स्रोत संकेत को वजन सदिश के आंतरिक उत्पाद और उन संकेत मिश्रणों को ले कर संकेत मिश्रणों के समुच्चय से निकाला जा सकता है जहाँ यह आंतरिक उत्पाद संकेत मिश्रणों का ऑर्थोगोनल प्रक्षेपण प्रदान करता है। शेष चुनौती इस प्रकार के वजन वाले सदिश को ढूंढ रही है। ऐसा करने के लिए प्रकार का तरीका प्रक्षेपण परस्यूट है।

प्रक्षेपण समय में प्रक्षेपण की तलाश करता है जैसे कि निकाला गया संकेत जितना संभव हो उतना गैर-गाऊसी है। इस प्रकार यह आईसीए के विपरीत है, जो सामान्यतः एम संकेत मिश्रण से साथ एम संकेत निकालता है, जिसके लिए m × m अनमिक्सिंग आव्यूह का अनुमान लगाने की आवश्यकता होती है। इस प्रकार आईसीए पर प्रक्षेपण खोज का व्यावहारिक लाभ यह है कि यदि आवश्यक हो तो एम से कम संकेत निकाले जा सकते हैं, जहाँ प्रत्येक स्रोत संकेत को एम-एलिमेंट वेट सदिश का उपयोग करके एम संकेत मिश्रण से निकाला जाता है।

इस प्रकार प्रक्षेपण खोज के उपयोग के साथ सही वज़न सदिश ढूंढकर हम कर्टोसिस का उपयोग एकाधिक स्रोत संकेत को पुनर्प्राप्त करने के लिए कर सकते हैं।

परिमित प्रमाण के लिए संकेत के संभाव्यता घनत्व फलन के कर्टोसिस की गणना इस प्रकार की जाती है

$K={\frac {\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{4}]}{(\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{2}])^{2}}}-3$

जहाँ $\mathbf {\overline {y}}$ का नमूना माध्य है $\mathbf {y}$, निकाले गए संकेत निरंतर 3 सुनिश्चित करता है कि गॉसियन संकेतों में शून्य कर्टोसिस है, सुपर-गाऊसी संकेतों में सकारात्मक कुर्तोसिस है, और उप-गाऊसी संकेतों में नकारात्मक कुर्तोसिस है। इस प्रकार भाजक $\mathbf {y}$ का विचरण है और यह सुनिश्चित करता है कि मापा कर्टोसिस संकेत विचरण को ध्यान में रखता है। इस प्रकार प्रक्षेपण परस्यूट का लक्ष्य कर्टोसिस को अधिकतम करना है, और निकाले गए संकेत को यथासंभव गैर-सामान्य बनाना है।

कर्टोसिस को गैर-सामान्यता के माप के रूप में उपयोग करते हुए, अब हम जांच कर सकते हैं कि संकेत का कर्टोसिस कैसे होता है $\mathbf {y} =\mathbf {w} ^{T}\mathbf {x}$ एम मिश्रण के समुच्चय से निकाला गया $\mathbf {x} =(x_{1},x_{2},\ldots ,x_{M})^{T}$ वजन सदिश के रूप में भिन्न होता है, $\mathbf {w}$ मूल के चारों ओर घुमाया जाता है। हमारी धारणा को देखते हुए कि प्रत्येक स्रोत संकेत देता है, $\mathbf {s}$ सुपर-गाऊसी है जिसकी हम उम्मीद करेंगे:

1. निकाले गए संकेत का कर्टोसिस $\mathbf {y}$ अधिकतम सटीक होना जब $\mathbf {y} =\mathbf {s}$ हैं।
2. निकाले गए संकेत का कर्टोसिस $\mathbf {y}$ अधिकतम कब होना है, $\mathbf {w}$ अनुमानित अक्ष के लिए ओर्थोगोनल $S_{1}$ या $S_{2}$ है, क्योंकि इस प्रकार हम जानते हैं कि इष्टतम भार सदिश रूपांतरित अक्ष के लिए ओर्थोगोनल होना चाहिए $S_{1}$ या $S_{2}$ हैं।

एकाधिक स्रोत मिश्रण संकेतों के लिए, इस प्रकार हम संकेतों को पुनर्प्राप्त करने के लिए कर्टोसिस और ग्राम-श्मिट ऑर्थोगोनलाइज़ेशन (जीएसओ) का उपयोग कर सकते हैं। एम-डायमेंशनल स्पेस में एम संकेत मिश्रण दिए जाने पर, जीएसओ इन डेटा पॉइंट्स को वेट सदिश का उपयोग करके (m-1) -डायमेंशनल स्पेस पर प्रोजेक्ट करता है। इस प्रकार हम जीएसओ के उपयोग से निकाले गए संकेतों की स्वतंत्रता की गारंटी दे सकते हैं।

का सही मान ज्ञात करने के लिए $\mathbf {w}$, हम ढतला हुआ वंश विधि का उपयोग कर सकते हैं। हम सबसे पहले डेटा को सफेद करते हैं, और $\mathbf {x}$ नए मिश्रण में $\mathbf {z}$ को रूपांतरित करता हैं, जिसका इकाई विचरण और $\mathbf {z} =(z_{1},z_{2},\ldots ,z_{M})^{T}$है, इस प्रक्रिया को $\mathbf {x}$ मान पर अपघटन लागू करके प्राप्त किया जा सकता है ,

$\mathbf {x} =\mathbf {U} \mathbf {D} \mathbf {V} ^{T}$

प्रत्येक सदिश को पुनर्स्केल करना $U_{i}=U_{i}/\operatorname {E} (U_{i}^{2})$, और जाने $\mathbf {z} =\mathbf {U}$. भारित सदिश द्वारा निकाला गया संकेत $\mathbf {w}$ $\mathbf {y} =\mathbf {w} ^{T}\mathbf {z}$ है, यदि भार सदिश w की इकाई लंबाई है, तो y का प्रसरण भी 1 है, अर्थात $\operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{2}]=1$. कर्टोसिस को इस प्रकार लिखा जा सकता है:

$K={\frac {\operatorname {E} [\mathbf {y} ^{4}]}{(\operatorname {E} [\mathbf {y} ^{2}])^{2}}}-3=\operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{4}]-3.$

के लिए अद्यतन करने की प्रक्रिया $\mathbf {w}$ है:

$\mathbf {w} _{new}=\mathbf {w} _{old}-\eta \operatorname {E} [\mathbf {z} (\mathbf {w} _{old}^{T}\mathbf {z} )^{3}].$

जहाँ $\eta$ इसकी गारंटी देने के लिए छोटा स्थिरांक है $\mathbf {w}$ इष्टतम समाधान में परिवर्तित हो जाता है। इस प्रकार प्रत्येक अद्यतन $\mathbf {w} _{new}={\frac {\mathbf {w} _{new}}{|\mathbf {w} _{new}|}}$ के बाद हम सामान्य करते हैं, और $\mathbf {w} _{old}=\mathbf {w} _{new}$समुच्चय करते हैं , और अद्यतन प्रक्रिया को अभिसरण तक दोहराएं जाते हैं। हम वेट सदिश को अपडेट करने के लिए दूसरे एल्गोरिदम $\mathbf {w}$ का भी उपयोग कर सकते है।

कर्टोसिस के अतिरिक्त एक अन्य दृष्टिकोण नेगेंट्रॉपी का उपयोग कर रहा है। इस प्रकार कर्टोसिस की तुलना में नेगेंट्रॉपी का उपयोग करना अधिक मजबूत तरीका है, क्योंकि इस प्रकार कुर्तोसिस आउटलेयर के प्रति बहुत संवेदनशील है। इस प्रकार गौसियन वितरण की महत्वपूर्ण संपत्ति पर नेगेंट्रॉपी विधियां आधारित हैं: इस प्रकार समान भिन्नता के सभी निरंतर यादृच्छिक चर के बीच गॉसियन वैरिएबल में सबसे बड़ा एंट्रॉपी है। यही कारण है कि हम सबसे अधिक नॉनगॉसियन चर खोजना चाहते हैं। इस प्रकार विभेदक एन्ट्रापी में साधारण प्रमाण पाया जा सकता है।

$J(x)=S(y)-S(x)\,$

y x के समान सहप्रसरण आव्यूह का गॉसियन यादृच्छिक चर है

$S(x)=-\int p_{x}(u)\log p_{x}(u)du$

नेगेंट्रॉपी के लिए सन्निकटन है

$J(x)={\frac {1}{12}}(E(x^{3}))^{2}+{\frac {1}{48}}(kurt(x))^{2}$ कॉमन के मूल पत्रों में प्रमाण पाया जा सकता है, इस प्रकार इसे आपो हाइवरिनन, जुहा करहुनेन और एर्की ओजा द्वारा स्वतंत्र घटक विश्लेषण पुस्तक में पुन: प्रस्तुत किया गया है। इस प्रकार यह सन्निकटन भी कर्टोसिस आउटलेर्स के प्रति संवेदनशीलता जैसी समस्या से ग्रस्त है। इस प्रकार अन्य दृष्टिकोण विकसित किए गए हैं। :$J(y)=k_{1}(E(G_{1}(y)))^{2}+k_{2}(E(G_{2}(y))-E(G_{2}(v))^{2}$

इसका विकल्प $G_{1}$ और $G_{2}$ हैं

$G_{1}={\frac {1}{a_{1}}}\log(\cosh(a_{1}u))$ और $G_{2}=-\exp(-{\frac {u^{2}}{2}})$

इन्फोमैक्स पर आधारित

इन्फोमैक्स आईसीए अनिवार्य रूप से प्रक्षेपण खोज का बहुभिन्नरूपी, समानांतर संस्करण है। जबकि प्रक्षेपण परस्यूट एम संकेत मिश्रण के समुच्चय से बार में संकेत की श्रृंखला निकालता है, आईसीए समानांतर में एम संकेत निकालता है। इस प्रकार यह प्रक्षेपण खोज की तुलना में आईसीए को अधिक मजबूत बनाता है।

प्रक्षेपण परस्यूट विधि निकाले गए संकेत की स्वतंत्रता सुनिश्चित करने के लिए ग्राम-श्मिट ऑर्थोगोनलाइजेशन का उपयोग करती है, जबकि आईसीए निकाले गए संकेत की स्वतंत्रता सुनिश्चित करने के लिए इन्फोमैक्स और अधिकतम संभावना अनुमान का उपयोग करती है। इस प्रकार निकाले गए संकेत की गैर-सामान्यता संकेत के लिए उपयुक्त प्रारूप, या पूर्व, निर्दिष्ट करके प्राप्त की जाती है।

इन्फोमैक्स पर आधारित आईसीए की प्रक्रिया संक्षेप में है: संकेत मिश्रण का समुच्चय दिया गया है, $\mathbf {x}$ और समान स्वतंत्र प्रारूप संचयी वितरण कार्य का समुच्चय (cdfs) $g$, हम अनमिक्सिंग आव्यूह $\mathbf {W}$ की खोज करते हैं जो संकेतों की संयुक्त एन्ट्रॉपी $\mathbf {Y} =g(\mathbf {y} )$ को अधिकतम करता है, जहाँ इस प्रकार $\mathbf {y} =\mathbf {Wx}$ द्वारा निकाले गए संकेत $\mathbf {W}$ हैं, इस प्रकार इष्टतम $\mathbf {W}$, संकेत $\mathbf {Y}$ अधिकतम एन्ट्रापी है और इसलिए स्वतंत्र हैं, जो इस प्रकार सुनिश्चित करता है कि निकाले गए संकेत $\mathbf {y} =g^{-1}(\mathbf {Y} )$ स्वतंत्र भी हैं। इस प्रकार $g$ उलटा कार्य और संकेत प्रारूप है। इस प्रकार ध्यान दें कि यदि स्रोत संकेत प्रारूप प्रायिकता घनत्व $p_{s}$ कार्य करता है, इस प्रकार निकाले गए संकेत की प्रायिकता घनत्व फलन $p_{\mathbf {y} }$ से मेल खाता है , इस प्रकार संयुक्त एन्ट्रापी को अधिकतम करना $Y$ के बीच आपसी जानकारी की मात्रा को भी अधिकतम करता है, इस प्रकार $\mathbf {x}$ और $\mathbf {Y}$ इस कारण से, स्वतंत्र संकेतों को निकालने के लिए एंट्रॉपी का उपयोग करना इन्फोमैक्स के रूप में जाना जाता है।

सदिश चर की एन्ट्रापी पर विचार करें $\mathbf {Y} =g(\mathbf {y} )$, जहाँ $\mathbf {y} =\mathbf {Wx}$ अनमिक्सिंग आव्यूह द्वारा निकाले गए संकेतों $\mathbf {W}$ का समुच्चय है, इस प्रकार पीडीएफ के साथ वितरण से नमूना मूल्यों के सीमित समुच्चय के लिए $p_{\mathbf {y} }$, की एन्ट्रापी $\mathbf {Y}$ अनुमान लगाया जा सकता है:

$H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {Y} }(\mathbf {Y} ^{t})$

इस प्रकार संयुक्त पीडीएफ $p_{\mathbf {Y} }$ संयुक्त पीडीएफ से संबंधित $p_{\mathbf {y} }$ दिखाया जा सकता है, इस प्रकार बहुभिन्नरूपी रूप से निकाले गए संकेतों की:

$p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}$

जहाँ $\mathbf {J} ={\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}$ जैकबियन आव्यूह है। अपने पास $|\mathbf {J} |=g'(\mathbf {y} )$, और $g'$ स्रोत संकेतों के लिए माना गया पीडीएफ $g'=p_{s}$है , इसलिए,

$p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}={\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}$

इसलिए,

$H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}$

हम जानते हैं कि कब $p_{\mathbf {y} }=p_{s}$, $p_{\mathbf {Y} }$ समान वितरण का है, और $H({\mathbf {Y} })$ अधिकतम है।

$p_{\mathbf {y} }(\mathbf {y} )={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}|}}={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|\mathbf {W} |}}$

जहाँ $|\mathbf {W} |$ अनमिक्सिंग आव्यूह के निर्धारक का निरपेक्ष मान $\mathbf {W}$ है, इसलिए,

$H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {x} }(\mathbf {x} ^{t})}{|\mathbf {W} |p_{\mathbf {s} }(\mathbf {y} ^{t})}}$

इसलिए,

$H(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |+H(\mathbf {x} )$

तब से $H(\mathbf {x} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {x} }(\mathbf {x} ^{t})$, और अधिकतम $H_{\mathbf {x} }$ करना $\mathbf {W}$ प्रभावित नहीं करता, इसलिए इस प्रकार हम फलन को अधिकतम कर सकते हैं

$h(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |$

इस प्रकार निकाले गए संकेत की स्वतंत्रता प्राप्त करने के लिए उपयोग किया जाता हैं ।

यदि प्रारूप संयुक्त पीडीएफ के एम सीमांत पीडीएफ़ हैं, इस प्रकार $p_{\mathbf {s} }$ स्वतंत्र हैं और इस प्रकार स्रोत के संकेतों के लिए सामान्यतः सुपर-गॉसियन प्रारूप पीडीएफ $p_{\mathbf {s} }=(1-\tanh(\mathbf {s} )^{2})$का उपयोग करते हैं , तो हमारे पास हैं-

$h(\mathbf {Y} )={\frac {1}{N}}\sum _{i=1}^{M}\sum _{t=1}^{N}\ln(1-\tanh(\mathbf {w_{i}^{T}x^{t}} )^{2})+\ln |\mathbf {W} |$

योग में, मनाया संकेत मिश्रण $\mathbf {x}$ दिया जाता हैं , निकाले गए संकेतों का संगत समुच्चय $\mathbf {y}$ और स्रोत संकेत प्रारूप $p_{\mathbf {s} }=g'$, हम इष्टतम अनमिक्सिंग आव्यूह $\mathbf {W}$ पा सकते हैं, और इस प्रकार निकाले गए संकेतों को स्वतंत्र और गैर-गाऊसी बनाते हैं। इस प्रकार प्रक्षेपण की स्थिति की प्रकार, हम अनमिक्सिंग आव्यूह का इष्टतम समाधान खोजने के लिए ग्रेडिएंट डिसेंट विधि का उपयोग कर सकते हैं।

अधिकतम संभावना अनुमान के आधार पर

अधिकतम संभावना अनुमान (एमएलई) पैरामीटर मान खोजने के लिए मानक सांख्यिकीय उपकरण उदाहरण के लिए अनमिक्सिंग आव्यूह $\mathbf {W}$ है, जो इस प्रकार कुछ डेटा का सबसे अच्छा फिट प्रदान करते हैं (उदाहरण के लिए, निकाले गए संकेत $y$) किसी दिए गए प्रारूप के लिए उदाहरण के लिए, अनुमानित संयुक्त संभावना घनत्व फलन (पीडीएफ) $p_{s}$ स्रोत संकेतों का होता है।

एमएल प्रारूप में पीडीएफ का विनिर्देश सम्मलित होता है, जो इस स्थितियों में पीडीएफ $p_{s}$ है, इस प्रकार अज्ञात स्रोत संकेतों की $s$. एमएल आईसीए का उपयोग करना, उद्देश्य अनमिक्सिंग आव्यूह खोजना है जो निकाले गए संकेतों $y=\mathbf {W} x$ को उत्पन्न करता है, इस प्रकार संयुक्त पीडीएफ के साथ जितना संभव हो उतना संयुक्त पीडीएफ के साथ $p_{s}$ अज्ञात स्रोत संकेतों की $s$ है।

MLE इस धारणा पर आधारित है कि यदि प्रारूप $p_{s}$ और प्रारूप पैरामीटर $\mathbf {A}$ सही हैं तो इस प्रकार डेटा के लिए उच्च संभावना प्राप्त की जानी चाहिए $x$ जो वास्तव में देखे गए थे। इसके विपरीत यदि $\mathbf {A}$ सही पैरामीटर मानों से दूर है तो देखे गए डेटा की कम संभावना की उम्मीद की जाएगी।

MLE का उपयोग करते हुए हम प्रारूप पैरामीटर मानों के दिए गए समुच्चय के लिए प्रेक्षित डेटा की प्रायिकता कहते हैं, उदाहरण के लिए, pdf $p_{s}$ और आव्यूह $\mathbf {A}$ देखे गए डेटा को देखते हुए प्रारूप पैरामीटर मानों की संभावना है।

हम संभावना फलन $\mathbf {L(W)}$ का $\mathbf {W}$ को परिभाषित करते हैं:

$\mathbf {L(W)} =p_{s}(\mathbf {W} x)|\det \mathbf {W} |.$

यह प्रायिकता $x$ घनत्व $s=\mathbf {W} x$ के बराबर है।

इस प्रकार, यदि हम $\mathbf {W}$ खोजना चाहते हैं, यह देखे गए मिश्रणों को उत्पन्न करने की सबसे अधिक संभावना है, इस प्रकार $x$ अज्ञात स्रोत संकेतों से $s$ पीडीएफ के साथ $p_{s}$ तो हमें केवल उसे $\mathbf {W}$ खोजने की जरूरत है, जो संभावना को अधिकतम $\mathbf {L(W)}$ करता है, इस प्रकार अनमिक्सिंग आव्यूह जो समीकरण को अधिकतम करता है, इस प्रकार इष्टतम अनमिक्सिंग आव्यूह के एमएलई के रूप में जाना जाता है।

इस प्रकार लॉग संभावना का उपयोग करना आम बात है, क्योंकि इसका मूल्यांकन करना सरल है। जैसा कि लघुगणक मोनोटोनिक फलन $\mathbf {W}$ है, जो कार्य को अधिकतम करता है $\mathbf {L(W)}$ इसके लघुगणक $\ln \mathbf {L(W)}$ को भी अधिकतम करता है, यह हमें उपरोक्त समीकरण का लघुगणक लेने की अनुमति देता है, जो इस प्रकार लॉग संभावना फलन उत्पन्न करता है

$\ln \mathbf {L(W)} =\sum _{i}\sum _{t}\ln p_{s}(w_{i}^{T}x_{t})+N\ln |\det \mathbf {W} |$

यदि हम स्रोत संकेतों के लिए सामान्यतः उपयोग किए जाने वाले उच्च-कर्टोसिस प्रारूप पीडीएफ को $p_{s}=(1-\tanh(s)^{2})$प्रतिस्थापित करते हैं तो हमारे पास हैं

$\ln \mathbf {L(W)} ={1 \over N}\sum _{i}^{M}\sum _{t}^{N}\ln(1-\tanh(w_{i}^{T}x_{t})^{2})+\ln |\det \mathbf {W} |$

यह आव्यूह $\mathbf {W}$ जो इस फलन को अधिकतम करता है, इस प्रकार अधिकतम संभावना अनुमान है।

इतिहास और पृष्ठभूमि

स्वतंत्र घटक विश्लेषण के लिए प्रारंभिक सामान्य रूपरेखा 1984 से जेनी हेरॉल्ट और बर्नार्ड द्वारा प्रस्तुत की गई थी, इस प्रकार 1985 और 1986 में क्रिश्चियन जटन द्वारा और विकसित किया गया, और 1991 में पियरे कोमोन द्वारा परिष्कृत, और 1994 के अपने पेपर में लोकप्रिय हुआ। इस प्रकार 1995 में, टोनी बेल और टेरी सेजनोव्स्की ने इन्फोमैक्सपर आधारित तेज़ और कुशल आईसीए एल्गोरिथम प्रस्तुत किया, जो इस प्रकार 1987 में राल्फ लिंस्कर द्वारा प्रस्तुत किया गया सिद्धांत था।

साहित्य में कई एल्गोरिदम उपलब्ध हैं जो आईसीए करते हैं। इस प्रकार औद्योगिक अनुप्रयोगों सहित बड़े पैमाने पर उपयोग किया जाने वाला फास्टिका एल्गोरिथम है, जिसे हावरिनन और ओजा द्वारा विकसित किया गया है, जो इस प्रकार लागत कार्य के रूप में नेगेंट्रॉपी का उपयोग करता है। इस प्रकार अन्य उदाहरण नेत्रहीन स्रोत पृथक्करण से संबंधित हैं, जहाँ इस प्रकार अधिक सामान्य दृष्टिकोण का उपयोग किया जाता है। इस प्रकार उदाहरण के लिए, कोई स्वतंत्रता धारणा को छोड़ सकता है और इस प्रकार पारस्परिक रूप से सहसंबद्ध संकेतों को अलग कर सकता है, इस प्रकार सांख्यिकीय रूप से निर्भर संकेत विकसित किया गया है। इस प्रकार सेप होचरेइटर और जुरगेन श्मिटहुबर ने दिखाया कि नियमितीकरण (गणित) (1999) के उप-उत्पाद के रूप में गैर-रैखिक आईसीए या स्रोत पृथक्करण कैसे प्राप्त किया जाए। इस प्रकार इस पद्धति को स्वतंत्र स्रोतों की संख्या के बारे में प्राथमिक ज्ञान की आवश्यकता नहीं है।

अनुप्रयोग

आईसीए को गैर-भौतिक संकेतों का विश्लेषण करने के लिए बढ़ाया जा सकता है। इस प्रकार उदाहरण के लिए, आईसीए को समाचार सूची संग्रहों के बैग पर चर्चा के विषयों को खोजने के लिए लागू किया गया है।

कुछ आईसीए आवेदन नीचे सूचीबद्ध हैं:

EEGLAB में स्वतंत्र घटक विश्लेषण

* न्यूरॉन्स की ऑप्टिकल इमेजिंग * न्यूरोनल स्पाइक सॉर्टिंग * चेहरा पहचान * प्राथमिक दृश्य न्यूरॉन्स के ग्रहणशील क्षेत्रों की प्रारूपिंग * शेयर बाजार की कीमतों * मोबाइल फोन संचार * टमाटर के पकने का रंग आधारित पता लगाना आवश्यक होता हैं।

• ईईजी डेटा से आंखों की झपकी जैसी कलाकृतियों को हटाना।
• ईईजी का उपयोग करके निर्णय लेने की भविष्यवाणी करना।
• एकल कोशिका (जीव विज्ञान) आरएनए-अनुक्रमण प्रयोगों में समय के साथ जीन अभिव्यक्ति में परिवर्तन का विश्लेषण
• मस्तिष्क की रेस्टिंग अवस्था fMRI का अध्ययन।
• खगोल विज्ञान और ब्रह्मांड विज्ञान
• वित्त

उपलब्धता

आईसीए निम्नलिखित सॉफ्टवेयर के माध्यम से लागू किया जा सकता है:

• एसएएस भाषा प्रोसी आईसीए
• स्किकिट-लर्न पायथन कार्यान्वयन [https://scikit-learn.org/stable/modules/generated/sklearn.decomposition.Fastica.html sklearn.decomposition.Fastica]

यह भी देखें

• विचारहीन डेकनवल्शन
• कारक विश्लेषण
• हिल्बर्ट स्पेक्ट्रम
• मूर्ति प्रोद्योगिकी
• गैर-ऋणात्मक आव्यूह गुणनखंड, गैर-ऋणात्मक मैट्रिक्स गुणनखंडन (NMF)
• गैर रेखीय आयामीता में कमी
• प्रोजेक्शन
• वेरिमैक्स रोटेशन

संदर्भ

• Comon, Pierre (1994): "Independent Component Analysis: a new concept?", Signal Processing, 36(3):287–314 (The original paper describing the concept of आईसीए)
• Hyvärinen, A.; Karhunen, J.; Oja, E. (2001): Independent Component Analysis, New York: Wiley, ISBN 978-0-471-40540-5 ( Introductory chapter )
• Hyvärinen, A.; Oja, E. (2000): "Independent Component Analysis: Algorithms and Application", Neural Networks, 13(4-5):411-430. (Technical but pedagogical introduction).
• Comon, P.; Jutten C., (2010): Handbook of Blind Source Separation, Independent Component Analysis and Applications. Academic Press, Oxford UK. ISBN 978-0-12-374726-6
• Lee, T.-W. (1998): Independent component analysis: Theory and applications, Boston, Mass: Kluwer Academic Publishers, ISBN 0-7923-8261-7
• Acharyya, Ranjan (2008): A New Approach for Blind Source Separation of Convolutive Sources - Wavelet Based Separation Using Shrinkage Function ISBN 3-639-07797-0 ISBN 978-3639077971 (this book focuses on unsupervised learning with Blind Source Separation)

बाहरी संबंध

• What is independent component analysis? by Aapo Hyvärinen
• Independent Component Analysis: A Tutorial by Aapo Hyvärinen
• A Tutorial on Independent Component Analysis
• Fastआईसीए as a package for Matlab, in R language, C++
• आईसीएLAB Toolboxes for Matlab, developed at RIKEN
• High Performance Signal Analysis Toolkit provides C++ implementations of Fastआईसीए and Infomax
• आईसीए toolbox Matlab tools for आईसीए with Bell-Sejnowski, Molgedey-Schuster and mean field आईसीए. Developed at DTU.
• Demonstration of the cocktail party problem
• EEGLAB Toolbox आईसीए of EEG for Matlab, developed at UCSD.
• FMRLAB Toolbox आईसीए of fMRI for Matlab, developed at UCSD
• MELODIC, part of the FMRIB Software Library.
• Discussion of आईसीए used in a biomedical shape-representation context
• Fastआईसीए, CuBआईसीए, JADE and TDSEP algorithm for Python and more...
• Group आईसीए Toolbox and Fusion आईसीए Toolbox
• Tutorial: Using आईसीए for cleaning EEG signals