डेटा प्रबंधन की समूह विधि

डेटा प्रबंधन की समूह विधि (जीएमडीएच) मल्टी-पैरामीट्रिक डेटासेट के कंप्यूटर-आधारित गणितीय मॉडलिंग के लिए आगमनात्मक एल्गोरिदम का वर्ग है जो कि मॉडल के पूरी तरह से स्वचालित संरचनात्मक और पैरामीट्रिक अनुकूलन की सुविधा देता है।

जीएमडीएच का उपयोग डेटा माइनिंग, नॉलेज डिस्कवरी, प्रेडिक्शन , काम्प्लेक्स सिस्टम मॉडलिंग, ऑप्टिमाइजेशन (गणित) और पैटर्न पहचान जैसे क्षेत्रों में किया जाता है। जीएमडीएच एल्गोरिदम को आगमनात्मक प्रक्रिया की विशेषता होती है जो धीरे-धीरे काम्प्लेक्स बहुपद मॉडलों को खोजती है और बाहरी मानदंड के माध्यम से सर्वोत्तम समाधान का चयन करती है।

एकाधिक इनपुट और आउटपुट वाला जीएमडीएच मॉडल बेस फ़ंक्शन (1) के घटकों का सबसेट है:

$Y(x_{1},\dots ,x_{n})=a_{0}+\sum \limits _{i=1}^{m}a_{i}f_{i}$

जहां f_i प्राथमिक कार्य हैं जो इनपुट के विभिन्न सेटों पर निर्भर हैं, जिसमे a_i गुणांक हैं और m आधार फ़ंक्शन घटकों की संख्या है।

सर्वोत्तम समाधान खोजने के लिए, जीएमडीएच एल्गोरिदम बेस फ़ंक्शन (1) के विभिन्न घटक उपसमुच्चय पर विचार करता है जिन्हें आंशिक मॉडल कहा जाता है। इन मॉडलों के गुणांकों का अनुमान न्यूनतम वर्ग विधि द्वारा लगाया जाता है। जीएमडीएच एल्गोरिदम धीरे-धीरे आंशिक मॉडल घटकों की संख्या बढ़ाता है और बाहरी मानदंड के न्यूनतम मूल्य द्वारा निरुपित इष्टतम कोम्प्लेक्सिटी के साथ मॉडल संरचना खोजता है। इस प्रक्रिया को मॉडलों का स्व-संगठन कहा जाता है।

जीएमडीएच में उपयोग किए जाने वाले पहले आधार फ़ंक्शन के रूप में, धीरे-धीरे काम्प्लेक्स कोलमोगोरोव-गैबोर बहुपद (2) था:

$Y(x_{1},\dots ,x_{n})=a_{0}+\sum \limits _{i=1}^{n}{a_{i}}x_{i}+\sum \limits _{i=1}^{n}{\sum \limits _{j=i}^{n}{a_{ij}}}x_{i}x_{j}+\sum \limits _{i=1}^{n}{\sum \limits _{j=i}^{n}{\sum \limits _{k=j}^{n}{a_{ijk}}}}x_{i}x_{j}x_{k}+\cdots$

समान्यत: दूसरी डिग्री तक के कार्यों वाले अधिक सरल आंशिक मॉडल का उपयोग किया जाता है।

आगमनात्मक एल्गोरिदम को बहुपद इन्टेलीजेंस नेटवर्क के रूप में भी जाना जाता है। जुर्गन श्मिधुबर ने जीएमडीएच को पहली गहन शिक्षण विधियों में से बताया, और टिप्पणी की कि इसका उपयोग 1971 की प्रारंभ में आठ-परत इन्टेलीजेंस नेट को प्रशिक्षित करने के लिए किया गया था।

इतिहास

File:Photo of Prof. Alexey G. Ivakhnenko.jpg

जीएमडीएच लेखक - सोवियत वैज्ञानिक प्रो. एलेक्सी जी. इवाख्नेंको।

इस पद्धति की प्रारंभ 1968 में कीव में साइबरनेटिक्स संस्थान में प्रो. एलेक्सी ग्रिगोरेविच इवाख्नेंको या एलेक्सी जी. इवाख्नेंको द्वारा की गई थी। यह आगमनात्मक दृष्टिकोण प्रारंभ से ही कंप्यूटर-आधारित पद्धति थी, इसलिए कंप्यूटर प्रोग्राम और एल्गोरिदम का सेट नए सैद्धांतिक सिद्धांतों के आधार पर प्राप्त प्राथमिक व्यावहारिक परिणाम थे। लेखक की ओपन कोड शेयरिंग नीति की फलस्वरूप यह विधि विश्व भर में बड़ी संख्या में वैज्ञानिक प्रयोगशालाओं में तेजी से स्थापित हो गई। चूँकि अधिकांश नियमित कार्य कंप्यूटर पर स्थानांतरित हो जाते हैं, वस्तुनिष्ठ परिणाम पर मानव प्रभाव का प्रभाव कम हो जाता है। वास्तव में, इस दृष्टिकोण को आर्टिफिशियल इन्टेलीजेंस थीसिस के कार्यान्वयन में से माना जा सकता है, जिसमें कहा गया है कि कंप्यूटर मनुष्यों के लिए शक्तिशाली सलाहकार के रूप में कार्य कर सकता है।

जीएमडीएच के विकास में विज्ञान के विभिन्न क्षेत्रों से विचारों का संश्लेषण सम्मिलित है: "ब्लैक बॉक्स" की साइबरनेटिक अवधारणा और जोड़ीदार विशेषताओं के क्रमिक आनुवंशिक चयन का सिद्धांत, गोडेल की अपूर्णता प्रमेय और गैबोर का "निर्णय चयन की स्वतंत्रता" का सिद्धांत अधेमर की गलतता और बीयर के बाहरी परिवर्धन का सिद्धांत है।

जीएमडीएच अनिश्चितता के अनुसार प्रयोगात्मक डेटा के लिए मॉडल की संरचनात्मक-पैरामीट्रिक पहचान के लिए समस्याओं को हल करने की मूल विधि है। ऐसी समस्या गणितीय मॉडल के निर्माण में होती है जो जांच की गई वस्तु या प्रक्रिया के अज्ञात पैटर्न का अनुमान लगाती है। यह इसके बारे में उस जानकारी का उपयोग करता है जो डेटा में निहित है। जीएमडीएच निम्नलिखित सिद्धांतों के सक्रिय अनुप्रयोग द्वारा मॉडलिंग के अन्य विधियों से भिन्न है: स्वचालित मॉडल निर्माण, अनिर्णायक निर्णय, और इष्टतम कोम्प्लेक्सिटी के मॉडल खोजने के लिए बाहरी मानदंडों द्वारा निरंतर चयन और इसमें स्वचालित मॉडल संरचना निर्माण के लिए मूल बहुस्तरीय प्रक्रिया थी, जो जोड़ीदार क्रमिक विशेषताओं पर विचार करते हुए जैविक चयन की प्रक्रिया का अनुकरण करती है। ऐसी प्रक्रिया वर्तमान में डीप लर्निंग नेटवर्क में उपयोग की जाती है इष्टतम मॉडल की तुलना करने और चुनने के लिए, डेटा नमूने के दो या अधिक उपसमूहों का उपयोग किया जाता है। इससे प्रारंभिक धारणाओं से बचना संभव हो जाता है, क्योंकि नमूना विभाजन इष्टतम मॉडल के स्वचालित निर्माण के समय विभिन्न प्रकार की अनिश्चितता को स्पष्ट रूप से स्वीकार करता है।

विकास के समय नोइज़ी डेटा और नोइज़ी(इलेक्ट्रॉनिक्स) के साथ चैनल (संचार) से गुजरने वाले सिग्नल के लिए मॉडल बनाने की समस्या के मध्य जैविक सादृश्य स्थापित किया गया था। इससे नोइज़ी-प्रतिरक्षा मॉडलिंग के सिद्धांत की नींव रखना संभव हो गया था। इस सिद्धांत का मुख्य परिणाम यह है कि इष्टतम पूर्वानुमानित मॉडल की कोम्प्लेक्सिटी डेटा में अनिश्चितता के स्तर पर निर्भर करती है: यह स्तर जितना अधिक होगा (उदाहरण के लिए नोइज़ी के कारण) - उतना ही सरल इष्टतम मॉडल (कम अनुमानित मापदंडों के साथ) होना चाहिए। इसने फजी सेट में नोइज़ी भिन्नता के स्तर के लिए इष्टतम मॉडल कोम्प्लेक्सिटी के स्वचालित अनुकूलन की संरचनात्मक प्रेरण विधि के रूप में जीएमडीएच सिद्धांत के विकास की प्रारंभ किया था। इसलिए, जीएमडीएच को अधिकांशतः प्रयोगात्मक डेटा से नॉलेज एस्ट्रक्शन के लिए मूल सूचना प्रौद्योगिकी माना जाता है।

1968-1971 की अवधि पहचान, पैटर्न पहचान और अल्पकालिक पूर्वानुमान की समस्याओं के समाधान के लिए केवल नियमितता मानदंड के अनुप्रयोग की विशेषता है। संदर्भ फ़ंक्शन के रूप में बहुपद, लॉजिकल नेट्स फ़ज़ी ज़ादेह सेट और बेयस संभाव्यता सूत्र का उपयोग किया गया था। नए दृष्टिकोण के साथ पूर्वानुमान की अत्यधिक स्पष्टता से लेखक प्रेरित हुए। नोइज़ी प्रतिरक्षा की जांच नहीं की गई।

अवधि 1972-1975 नोइज़ी वाले डेटा और अपूर्ण सूचना आधार के मॉडलिंग की समस्या का समाधान किया गया। जिससे नोइज़ी प्रतिरोधक क्षमता बढ़ाने के लिए बहुमानदंड चयन और अतिरिक्त प्राथमिक जानकारी का उपयोग प्रस्तावित किया गया था। सर्वोत्तम प्रयोगों से पता चला है कि अतिरिक्त मानदंड द्वारा इष्टतम मॉडल की विस्तारित परिभाषा के साथ नोइज़ी स्तर सिग्नल से दस गुना अधिक हो सकता है। फिर शैनन के सामान्य संचार सिद्धांत के प्रमेय का उपयोग करके इसमें सुधार किया गया था।

अवधि 1976-1979 बहुस्तरीय जीएमडीएच एल्गोरिदम के अभिसरण की जांच की गई थी। तब यह दिखाया गया कि कुछ बहुस्तरीय एल्गोरिदम में बहुपरतीय त्रुटि होती है - जो नियंत्रण प्रणालियों की स्थैतिक त्रुटि के समान होती है। 1977 में बहुस्तरीय जीएमडीएच एल्गोरिदम द्वारा वस्तुनिष्ठ प्रणाली विश्लेषण समस्याओं का समाधान प्रस्तावित किया गया था। यह पता चला कि मानदंड समूह द्वारा छँटाई करने से समीकरणों की एकमात्र इष्टतम प्रणाली मिलती है और इसलिए काम्प्लेक्स वस्तु तत्वों, उनके मुख्य इनपुट और आउटपुट वेरिएबल को दिखाया जाता है।

अवधि 1980-1988 अनेक महत्वपूर्ण सैद्धान्तिक परिणाम प्राप्त हुए थे। जिसने यह स्पष्ट हो गया कि दीर्घकालिक पूर्वानुमान के लिए पूर्ण भौतिक मॉडल का उपयोग नहीं किया जा सकता है। तथा यह भी सिद्ध हो गया है कि जीएमडीएच के गैर-भौतिक मॉडल प्रतिगमन विश्लेषण के भौतिक मॉडल की तुलना में अनुमान और पूर्वानुमान के लिए अधिक स्पष्ट हैं। मॉडलिंग के लिए दो भिन्न-भिन्न समय के पैमाने का उपयोग करने वाले दो-स्तरीय एल्गोरिदम विकसित किए गए थे।

1989 से फजी ऑब्जेक्ट के गैर-पैरामीट्रिक मॉडलिंग के लिए नए एल्गोरिदम (एसी, ओसीसी, पीएफ) और विशेषज्ञ प्रणालियों के लिए एसएलपी विकसित और जांच की गई। जीएमडीएच विकास के वर्तमान चरण को मल्टीप्रोसेसर कंप्यूटरों के लिए गहन शिक्षण न्यूरोनेट और समानांतर आगमनात्मक एल्गोरिदम के विकास के रूप में वर्णित किया जा सकता है।

बाहरी मानदंड

बाहरी मानदंड जीएमडीएच की प्रमुख विशेषताओं में से है। मानदंड मॉडल की आवश्यकताओं का वर्णन करता है, उदाहरण के लिए न्यूनतम वर्गों का न्यूनतमकरण। इसकी गणना सदैव डेटा नमूने के भिन्न भाग के साथ की जाती है जिसका उपयोग गुणांक के अनुमान के लिए नहीं किया गया है। इससे इनपुट डेटा में अनिश्चितता के स्तर के अनुसार इष्टतम कोम्प्लेक्सिटी के मॉडल का चयन करना संभव हो जाता है। अनेक लोकप्रिय मानदंड हैं:

• नियमितता का मानदंड (सीआर) - नमूना B पर मॉडल का न्यूनतम वर्ग
• न्यूनतम पूर्वाग्रह या संगति का मानदंड - दो भिन्न-भिन्न नमूनों A और B, के आधार पर विकसित दो मॉडलों के अनुमानित आउटपुट (या गुणांक वैक्टर) के मध्य अंतर की वर्ग त्रुटि, नमूना B पर अनुमानित वर्ग आउटपुट द्वारा विभाजित किया जाता है। जहाँ इसका उपयोग करके मॉडल की तुलना यह सुसंगत मॉडल प्राप्त करने और नोइज़ी वाले डेटा से छिपे हुए भौतिक नियम को पुनर्प्राप्त करने में सक्षम बनाता है।
• क्रॉस-वैलिडेशन मानदंड।

जीएमडीएच का उपयोग करके मॉडल विकास का सरल विवरण

जीएमडीएच का उपयोग करके मॉडलिंग के लिए, केवल चयन मानदंड और अधिकतम मॉडल कोम्प्लेक्सिटी पूर्व-चयनित हैं। फिर, डिज़ाइन प्रक्रिया पहली परत से प्रारंभ होती है और आगे बढ़ती है। छिपी हुई परतों में परतों और न्यूरॉन्स की संख्या, मॉडल संरचना स्वचालित रूप से निर्धारित होती है। स्वीकार्य इनपुट के सभी संभावित संयोजनों (सभी संभावित न्यूरॉन्स) पर विचार किया जा सकता है। फिर बहुपद गुणांकों को उपलब्ध न्यूनतम विधियों में से जैसे एकवचन मूल्य अपघटन (प्रशिक्षण डेटा के साथ) का उपयोग करके निर्धारित किया जाता है। फिर, उत्तम बाहरी मानदंड मान वाले न्यूरॉन्स (डेटा के परीक्षण के लिए) रखे जाते हैं, और अन्य हटा दिए जाते हैं। यदि परत के सर्वश्रेष्ठ न्यूरॉन के लिए बाहरी मानदंड न्यूनतम तक पहुंच जाता है या रुकने वाले मानदंड से अधिक हो जाता है, तो नेटवर्क डिज़ाइन पूरा हो जाता है और अंतिम परत के सर्वश्रेष्ठ न्यूरॉन की बहुपद अभिव्यक्ति को गणितीय पूर्वानुमान फ़ंक्शन के रूप में पेश किया जाता है; यदि नहीं, तो अगली परत तैयार हो जाएगी और यह प्रक्रिया चलती रहेगी।

जीएमडीएच-प्रकार इन्टेलीजेंस नेटवर्क

आंशिक मॉडल पर विचार के लिए ऑर्डर चुनने के अनेक भिन्न-भिन्न विधि हैं। जीएमडीएच में उपयोग किया जाने वाला सबसे पहला विचार आदेश और जिसे मूल रूप से मल्टीलेयर इंडक्टिव प्रक्रिया कहा जाता है, सबसे लोकप्रिय है। यह बेस फ़ंक्शन से उत्पन्न धीरे-धीरे काम्प्लेक्स मॉडलों को छांटना है। सर्वोत्तम मॉडल को न्यूनतम बाहरी मानदंड विशेषता द्वारा दर्शाया जाता है। बहुस्तरीय प्रक्रिया न्यूरॉन्स के बहुपद सक्रियण कार्य के साथ आर्टिफिशियल इन्टेलीजेंस नेटवर्क के समान है। इसलिए, ऐसे दृष्टिकोण वाले एल्गोरिदम को समान्यत: जीएमडीएच-प्रकार न्यूरल नेटवर्क या पॉलीनोमियल न्यूरल नेटवर्क के रूप में जाना जाता है। ली ने दिखाया कि जीएमडीएच-प्रकार के इन्टेलीजेंस नेटवर्क ने सिंगल एक्सपोनेंशियल स्मूथ, डबल एक्सपोनेंशियल स्मूथ, एआरआईएमए और बैक-प्रोपेगेशन न्यूरल नेटवर्क जैसे शास्त्रीय पूर्वानुमान एल्गोरिदम से उत्तम प्रदर्शन किया था।

कॉम्बिनेटोरियल जीएमडीएच

चित्र .1। विभिन्न कोम्प्लेक्सिटी वाले कॉम्बिनेटोरियल जीएमडीएच मॉडल के लिए नियमितता के मानदंड के न्यूनतम मूल्यों का विशिष्ट वितरण।

आंशिक मॉडलों पर विचार करने के लिए और महत्वपूर्ण दृष्टिकोण जो अधिक से अधिक लोकप्रिय हो रहा है वह संयुक्त खोज है जो या तो सीमित है या पूर्ण है। इस दृष्टिकोण के बहुपद इन्टेलीजेंस नेटवर्क के प्रतियोगिता के कुछ लाभ हैं, किंतु इसके लिए अधिक कम्प्यूटेशनल शक्ति की आवश्यकता होती है और इस प्रकार यह बड़ी संख्या में इनपुट वाली वस्तुओं के लिए प्रभावी नहीं है। कॉम्बिनेटोरियल जीएमडीएच की महत्वपूर्ण उपलब्धि यह है कि यदि इनपुट डेटा में नोइज़ी का स्तर शून्य से अधिक है तो यह रैखिक प्रतिगमन दृष्टिकोण से पूरी तरह से उत्तम प्रदर्शन करता है। यह गारंटी देता है कि संपूर्ण सॉर्टिंग के समय सबसे इष्टतम मॉडल स्थापित किया जाएगा।

बेसिक कॉम्बिनेटोरियल एल्गोरिदम निम्नलिखित चरण बनाता है:

• डेटा सैंपल को कम से कम दो सैंपल A और B. में विभाजित करता है।
• निरंतर बढ़ती कोम्प्लेक्सिटी के साथ आंशिक मॉडल के अनुसार A से उप-नमूने उत्पन्न करता है।
• मॉडल कोम्प्लेक्सिटी की प्रत्येक परत पर आंशिक मॉडल के गुणांक का अनुमान लगाता है।
• नमूना B पर मॉडल के लिए बाहरी मानदंड के मूल्य की गणना करता है।
• मानदंड के न्यूनतम मूल्य द्वारा निरुपित सर्वोत्तम मॉडल (मॉडल का सेट) चुनता है।
• इष्टतम कोम्प्लेक्सिटी के चयनित मॉडल के लिए संपूर्ण डेटा नमूने पर गुणांकों की पुनर्गणना करें।

जीएमडीएच-प्रकार के इन्टेलीजेंस नेटवर्क के विपरीत, कॉम्बिनेटोरियल एल्गोरिदम समान्यत: कोम्प्लेक्सिटी के निश्चित स्तर पर नहीं रुकता है क्योंकि मानदंड मान में वृद्धि का बिंदु केवल स्थानीय न्यूनतम हो सकता है, चित्र 1 देखें।

एल्गोरिदम

• कॉम्बिनेटोरियल (कोम्बी)
• बहुस्तरीय पुनरावृत्त (एमआईए)
• जीएन
• वस्तुनिष्ठ प्रणाली विश्लेषण (ओएसए)
• हार्मोनिक
• दो स्तरीय (एआरआईएमएडी)
• गुणक-योगात्मक (एमएए)
• वस्तुनिष्ठ कंप्यूटर क्लस्टरीकरण (ओसीसी);
• पॉइंटिंग फिंगर (पीएफ) क्लस्टराइजेशन एल्गोरिदम;
• एनालॉग कॉम्प्लेक्सिंग (एसी)
• हार्मोनिक पुनर्विवेचन
• सांख्यिकीय निर्णयों के बहुस्तरीय सिद्धांत (एमटीएसडी) के आधार पर एल्गोरिदम
• अनुकूली मॉडल विकास का समूह (गेम)

सॉफ़्टवेयर की सूची

• फर्जी गेम प्रोजेक्ट - विवर्त स्रोत। क्रॉस-प्लेटफ़ॉर्म।
• जीवोम - शैक्षणिक उपयोग के लिए अनुरोध पर निःशुल्क। केवल विंडोज़.
• जीएमडीएच शेल - जीएमडीएच-आधारित, पूर्वानुमानित विश्लेषण और समय श्रृंखला पूर्वानुमान सॉफ्टवेयर। निःशुल्क शैक्षणिक लाइसेंसिंग और निःशुल्क परीक्षण संस्करण उपलब्ध है। केवल विंडोज़.
• नॉलेजमाइनर - वाणिज्यिक उत्पाद। केवल मैक ओएस एक्स। निःशुल्क डेमो संस्करण उपलब्ध है।
• पीएनएन डिस्कवरी क्लाइंट - वाणिज्यिक उत्पाद।
• साइंसी आरपीएफ! - फ्रीवेयर, ओपन सोर्स।
• डब्ल्यूजीएमडीएच - वेका (मशीन लर्निंग) प्लगइन, ओपन सोर्स।
• R पैकेज - विवर्त स्रोत।
• प्रतिगमन कार्यों के लिए आर पैकेज - विवर्त स्रोत।
• एमआईए एल्गोरिदम की पायथन लाइब्रेरी - विवर्त स्रोत।

बाहरी संबंध

• Library of GMDH books and articles
• Group Method of Data Handling

अग्रिम पठन

• A.G. Ivakhnenko. Heuristic Self-Organization in Problems of Engineering Cybernetics, Automatica, vol.6, 1970 — p. 207-219.
• S.J. Farlow. Self-Organizing Methods in Modelling: GMDH Type Algorithms. New-York, Bazel: Marcel Decker Inc., 1984, 350 p.
• H.R. Madala, A.G. Ivakhnenko. Inductive Learning Algorithms for Complex Systems Modeling. CRC Press, Boca Raton, 1994.