जनरेटिव मॉडल

सांख्यिकीय वर्गीकरण में, दो मुख्य दृष्टिकोणों को जनरेटिव दृष्टिकोण और भेदभावपूर्ण दृष्टिकोण कहा जाता है। सांख्यिकीय मॉडल की डिग्री में भिन्न, विभिन्न दृष्टिकोणों द्वारा ये गणना वर्गीकरण नियम शब्दावली असंगत है,^{[lower-alpha 1]} लेकिन निम्नलिखित तीन प्रमुख प्रकारों को प्रतिष्ठित किया जा सकता है। लेकिन जेबरा (2004) के बाद

जनरेटिव मॉडल संयुक्त संभाव्यता वितरण का सांख्यिकीय मॉडल है $P(X,Y)$ दिए गए नमूदार चर X और लक्ष्य चर Y पर;^[1]
विवेकशील मॉडल सशर्त संभाव्यता का मॉडल है $P(Y\mid X=x)$ लक्ष्य Y का, अवलोकन x दिया गया; और
संभाव्यता मॉडल का उपयोग किए बिना गणना किए गए वर्गीकृत को भी भेदभावपूर्ण के रूप में शिथिल रूप से संदर्भित किया जाता है।

इन अंतिम दो वर्गों के बीच भेद निरंतर नहीं किया जाता है;^[2] जेबरा (2004) इन तीन वर्गों को जनरेटिव लर्निंग, कंडीशनल लर्निंग और भेदभावपूर्ण लर्निंग के रूप में संदर्भित करता है, लेकिन एनजी & जॉर्डन (2002) केवल दो वर्गों को अलग करता है, उन्हें जनरेटिव वर्गीकरणकर्ता (संयुक्त वितरण) और भेदभावपूर्ण वर्गीकरणकर्ता (सशर्त वितरण या कोई वितरण नहीं) कहते हैं बाद के दो वर्गों के बीच अंतर नहीं करते।^[3] समान रूप से, जनरेटिव मॉडल पर आधारित वर्गीकरणकर्ता जनरेटिव वर्गीकरणकर्ता है जबकि भेदभावपूर्ण मॉडल पर आधारित वर्गीकरणकर्ता भेदभावपूर्ण वर्गीकरणकर्ता है चूँकि यह शब्द रैखिक वर्गीकारक को भी संदर्भित करता है जो मॉडल पर आधारित नहीं हैं।

प्रत्येक के मानक उदाहरण, जो सभी रेखीय वर्गीकारक हैं, हैं:

जनरेटिव वर्गीकरणकर्ता:
- भोले बेयस वर्गीकारक और
- रैखिक विभेदक विश्लेषण
भेदभावपूर्ण मॉडल:
- संभार तन्त्र परावर्तन

वर्गीकरण के लिए आवेदन में, अवलोकन x से लेबल y (या लेबल पर संभाव्यता वितरण) में जाना चाहता है। संभाव्यता वितरण ("'वितरण-मुक्त वर्गीकारक) का उपयोग किए बिना, कोई भी इसकी सीधे गणना कर सकता है; अवलोकन दिए जाने पर लेबल की संभावना का अनुमान लगाया जा सकता है, $P(Y|X=x)$ (भेदभावपूर्ण मॉडल), और उस पर आधार वर्गीकरण; या कोई संयुक्त वितरण का अनुमान लगा सकता है $P(X,Y)$ (जेनेरेटिव मॉडल), उस से सशर्त संभाव्यता की गणना करें $P(Y|X=x)$ , और उसके बाद उस पर आधार वर्गीकरण ये तेजी से अप्रत्यक्ष हैं, लेकिन तेजी से संभाव्य हैं, अधिक डोमेन ज्ञान और संभाव्यता सिद्धांत को प्रयुक्त करने की अनुमति देते हैं। व्यवहार में विशेष समस्या के आधार पर विभिन्न दृष्टिकोणों का उपयोग किया जाता है, और संकर कई दृष्टिकोणों की ताकत को जोड़ सकते हैं।

परिभाषा

वैकल्पिक विभाजन इन्हें सममित रूप से परिभाषित करता है:

जनरेटिव मॉडल अवलोकनीय 'X' की सशर्त संभावना का मॉडल है, जिसे लक्ष्य 'Y' दिया गया है, प्रतीकात्मक रूप से, $P(X\mid Y=y)$ ^[4]
भेदभावपूर्ण मॉडल लक्ष्य 'Y' की सशर्त संभावना का मॉडल है, जिसे अवलोकन 'X' दिया गया है, प्रतीकात्मक रूप से, $P(Y\mid X=x)$ ^[5]

सही परिभाषा के अतिरिक्त, शब्दावली संवैधानिक है क्योंकि जनरेटिव मॉडल का उपयोग यादृच्छिक उदाहरण (परिणाम (संभाव्यता)) उत्पन्न करने के लिए किया जा सकता है, या तो अवलोकन और लक्ष्य $(x,y)$ , या प्रेक्षण x का लक्ष्य मान y दिया गया है,^[4] जबकि विवेकशील मॉडल या भेदभावपूर्ण वर्गीकरणकर्ता (बिना मॉडल के) का उपयोग लक्ष्य चर Y के मान को विभेदित करने के लिए किया जा सकता है, अवलोकन x दिया गया है।^[5] विक्ट: डिस्क्रिमिनेट (अंतर) और विक्ट: क्लासिफाई के बीच का अंतर सूक्ष्म है, और इन्हें निरंतर अलग नहीं किया जाता है। (भेदभाव वर्गीकरण के बराबर होने पर शब्द भेदभावपूर्ण वर्गीकरणकर्ता शब्द बन जाता है।)

जनरेटिव मॉडल शब्द का उपयोग उन मॉडलों का वर्णन करने के लिए भी किया जाता है जो आउटपुट चर के उदाहरणों को ऐसे विधि से उत्पन्न करते हैं जिनका इनपुट चर के संभावित नमूनों पर संभाव्यता वितरण से कोई स्पष्ट संबंध नहीं है। जनरेटिव प्रतिकूल नेटवर्क, जनरेटिव मॉडल के इस वर्ग के उदाहरण हैं, और मुख्य रूप से संभावित इनपुट के लिए विशेष आउटपुट की समानता से आंका जाता है। ऐसे मॉडल वर्गीकरणकर्ता नहीं होते हैं।

मॉडलों के बीच संबंध

वर्गीकरण के लिए आवेदन में, अवलोकन योग्य X अधिकांशतः निरंतर चर होता है, लक्ष्य Y सामान्यतः असतत चर होता है जिसमें लेबल का परिमित समुच्चय होता है, और सशर्त संभाव्यता $P(Y\mid X)$ (गैर-नियतात्मक) लक्ष्य फलन के रूप में भी व्याख्या की जा सकती है $f\colon X\to Y$ , X को इनपुट और Y को आउटपुट के रूप में मानते हुए।

लेबल के सीमित समुच्चय को देखते हुए, जनरेटिव मॉडल की दो परिभाषाएँ निकट से संबंधित हैं। सशर्त वितरण का मॉडल $P(X\mid Y=y)$ प्रत्येक लेबल के वितरण का मॉडल है, और संयुक्त वितरण का मॉडल लेबल मूल्यों के वितरण के मॉडल के बराबर है $P(Y)$ , साथ में लेबल दिए गए प्रेक्षणों के वितरण के साथ, $P(X\mid Y)$ ; प्रतीकात्मक रूप से, $P(X,Y)=P(X\mid Y)P(Y).$ इस प्रकार, जबकि संयुक्त संभाव्यता वितरण का मॉडल लेबल के वितरण के मॉडल की तुलना में अधिक जानकारीपूर्ण है (लेकिन उनकी सापेक्ष आवृत्तियों के बिना), यह अपेक्षाकृत छोटा कदम है, इसलिए ये हमेशा अलग नहीं होते हैं।

संयुक्त वितरण के मॉडल को देखते हुए, $P(X,Y)$ व्यक्तिगत चर के वितरण की गणना सीमांत वितरण के रूप में की जा सकती है। $P(X)=\sum _{y}P(X,Y=y)$ और $P(Y)=\int _{x}P(Y,X=x)$ (X को निरंतर मानते हुए, इसलिए इसे एकीकृत करना, और Y को असतत के रूप में, इसलिए इसके ऊपर योग करना), और या तो सशर्त वितरण की गणना सशर्त संभाव्यता की परिभाषा से की जा सकती है: $P(X\mid Y)=P(X,Y)/P(Y)$ और $P(Y\mid X)=P(X,Y)/P(X)$ .