मात्रात्मक प्रतिगमन

मात्रात्मक प्रतिगमन एक प्रकार का रिग्रेशन विश्लेषण है जिसका उपयोग सांख्यिकी और अर्थमिति में किया जाता है। जबकि कम से कम वर्गों की विधि पूर्वसूचक चर के मूल्यों में प्रतिक्रिया चर के सशर्त माध्य का अनुमान लगाती है, मात्रात्मक प्रतिगमन प्रतिक्रिया चर के सशर्त माध्य (या अन्य मात्राओं) का अनुमान लगाता है। मात्रात्मक प्रतिगमन रेखीय प्रतिगमन का एक विस्तार है जिसका उपयोग तब किया जाता है जब रेखीय प्रतिगमन की शर्तें पूरी नहीं होती हैं।

मात्रात्मक प्रतिगमन के लिए उदाहरण

लाभ और अनुप्रयोग

सामान्य न्यूनतम वर्ग प्रतिगमन के सापेक्ष मात्रात्मक प्रतिगमन का एक लाभ यह है कि मात्रात्मक प्रतिगमन अनुमान प्रतिक्रिया माप में बाहरी कारकों के मुकाबले अधिक मजबूत होते हैं। हालांकि, मात्रात्मक प्रतिगमन का मुख्य आकर्षण और लाभ तब होता है जब सशर्त मात्रात्मक कार्य रुचि के होते हैं। चरों के बीच संबंध का अधिक व्यापक विश्लेषण प्राप्त करने के लिए केंद्रीय प्रवृत्ति और सांख्यिकीय फैलाव के विभिन्न उपाय उपयोगी हो सकते हैं।पारिस्थितिकी में, मात्रात्मक प्रतिगमन को प्रस्तावित किया गया है और उन मामलों में चर के बीच अधिक उपयोगी भविष्य कहनेवाला संबंधों की खोज करने के तरीके के रूप में उपयोग किया जाता है जहां कोई सहसंबंध नहीं है या ऐसे चर के साधनों के बीच केवल एक कमजोर संबंध है। पारिस्थितिकी में मात्रात्मक प्रतिगमन की आवश्यकता और सफलता को विभिन्न कारकों के बीच बातचीत की जटिलता के लिए जिम्मेदार ठहराया गया है, जिससे एक चर के दूसरे चर की विभिन्न श्रेणियों के डेटा के साथ असमान भिन्नता हो सकती है। मात्रात्मक प्रतिगमन का एक अन्य अनुप्रयोग विकास मानचित्र के क्षेत्रों में है, जहां शतमक वक्र का उपयोग आमतौर पर असामान्य वृद्धि के लिए आवरण करने के लिए किया जाता है।

इतिहास

माध्य प्रतिगमन ढलान का अनुमान लगाने का विचार, निरपेक्ष विचलन के योग को कम करने के बारे में एक प्रमुख प्रमेय और माध्य प्रतिगमन के निर्माण के लिए एक ज्यामितीय एल्गोरिथ्म का प्रस्ताव 1760 में डबरोवनिक के एक जेसुइट कैथोलिक पादरी रुसर जोसिप बोस्कोविक द्वारा किया गया था। आइजैक न्यूटन के इस सुझाव पर निर्माण कि वह पृथ्वी की अण्डाकारता में रुचि रखते हैं, कि इसके घूमने से भूमध्य रेखा पर ध्रुवों पर समान चपटे उभार हो सकते हैं। उन्होंने अंततः एक सतह विशेषता के तीन अवलोकनों से घूर्णन ग्रह के भूमध्य रेखा को निर्धारित करने के लिए पहली ज्यामितीय प्रक्रिया का उत्पादन किया। मात्रात्मक प्रतिगमन के लिए अधिक महत्वपूर्ण बात यह है कि वह कम से कम पूर्ण मानदंड का पहला सबूत विकसित करने में सक्षम था और 1805 में लेजेन्ड्रे द्वारा पचास वर्षों में पेश किए गए कम से कम वर्गों से पहले था।

अन्य विचारकों ने पियरे-साइमन लाप्लास जैसे बोस्कोविक के विचार पर निर्माण करना शुरू किया, जिन्होंने तथाकथित "विधि डी स्थिति" विकसित की। इसने फ्रांसिस एडगेवर्थ के बहुवचन माध्यिका  को जन्म दिया - माध्यिका प्रतिगमन के लिए एक ज्यामितीय दृष्टिकोण - और इसे सरलीकृत पद्धति के अग्रदूत के रूप में मान्यता प्राप्त है।  बोस्कोविक (Bošković), लाप्लास (Laplace) और एडगेवर्थ (Edgeworth) के कार्यों को मात्रात्मक प्रतिगमन में रोजर कोएनकर (Roger Koenker) के योगदान की प्रस्तावना के रूप में मान्यता दी गई थी।

बड़े आंकड़े सम्मुचय के लिए माध्यिका प्रतिगमन संगणना कम से कम वर्ग विधि की तुलना में काफी कठिन हैं, जिसके कारण 20 वीं शताब्दी के उत्तरार्ध में संगणको को व्यापक रूप से अपनाने तक सांख्यिकीविदों के बीच लोकप्रियता की कमी को जन्म दिया है।

मात्रा

मात्रात्मक प्रतिगमन एक आश्रित चर के सशर्त मात्रा को व्याख्यात्मक चर के रैखिक कार्य के रूप में व्यक्त करता है। मात्रात्मक प्रतिगमन की व्यावहारिकता के लिए महत्वपूर्ण यह है कि मात्रा को एक न्यूनतम समस्या के समाधान के रूप में व्यक्त किया जा सकता है, जैसा कि हम अगले भाग में सशर्त मात्रा पर चर्चा करने से पहले इस भाग में दिखाएंगे।

एक यादृच्छिक चर की मात्रा

मान लेते हैं $Y$ संचयी वितरण कार्य के साथ एक वास्तविक-मूल्यवान यादृच्छिक चर बनें $F_{Y}(y)=P(Y\leq y)$ . $\tau$ Y का वां क्वांटाइल किसके द्वारा दिया जाता है।

$q_{Y}(\tau )=F_{Y}^{-1}(\tau )=\inf \left\{y:F_{Y}(y)\geq \tau \right\}$

जहाँ पर $\tau \in (0,1).$हानि फलन को इस प्रकार परिभाषित करें $\rho _{\tau }(m)=m(\tau -\mathbb {I} _{(m<0)})$, सूचक कार्य है की अपेक्षित हानि को कम करके एक विशिष्ट मात्रा पाई जा सकती है $Y-u$ इसके संबंध में $u$ : ( pp. 5)

$q_{Y}(\tau )={\underset {u}{\mbox{arg min}}}E(\rho _{\tau }(Y-u))={\underset {u}{\mbox{arg min}}}{\biggl \{}(\tau -1)\int _{-\infty }^{u}(y-u)dF_{Y}(y)+\tau \int _{u}^{\infty }(y-u)dF_{Y}(y){\biggr \}}.$

यह अपेक्षित हानि के व्युत्पन्न की गणना करके, इसे 0 पर सेट करके, और q को समाधान देकर लाइबनिज़ अभिन्न नियम (Leibniz integral rule) के एक आवेदन के माध्यम से दिखाया जा सकता है।

$0=(1-\tau )\int _{-\infty }^{q_{\tau }}dF_{Y}(y)-\tau \int _{q_{\tau }}^{\infty }dF_{Y}(y).$

यह समीकरण कम हो जाता है

$0=F_{Y}(q_{\tau })-\tau ,$

और फिर करने के लिए

$F_{Y}(q_{\tau })=\tau .$

अगर समाधान $q_{\tau }$ अद्वितीय नहीं है, तो हमें प्राप्त करने के लिए ऐसा सबसे छोटा हल लेना होगा $\tau$ यादृच्छिक चर का Y वां मात्रा।

उदाहरण

मान लेते हैं $Y$ एक असतत यादृच्छिक चर है $y_{i}=i$ साथ $i=1,2,\dots ,9$ समान संभावनाओं के साथ कार्य Y की माध्यिका ज्ञात करना है, और इसलिए मान $\tau =0.5$ चुना जाता है। तब की अपेक्षित हानि $Y-u$ है।

$L(u)=E(\rho _{\tau }(Y-u))={\frac {(\tau -1)}{9}}\sum _{y_{i}<u}$$(y_{i}-u)$$+{\frac {\tau }{9}}\sum _{y_{i}\geq u}$$(y_{i}-u)$$={\frac {0.5}{9}}{\Bigl (}$$-$$\sum _{y_{i}<u}$$(y_{i}-u)$$+\sum _{y_{i}\geq u}$$(y_{i}-u)$${\Bigr )}.$

तब से ${0.5/9}$ एक स्थिरांक है, इसे अपेक्षित हानि फलन से निकाला जा सकता है (यह केवल तभी सत्य है जब $\tau =0.5$) फिर, u=3 पर,

$L(3)\propto \sum _{i=1}^{2}$$-(i-3)$$+\sum _{i=3}^{9}$$(i-3)$$=[(2+1)+(0+1+2+...+6)]=24.$

मान लीजिए कि u में 1 इकाई की वृद्धि की गई है। तब अपेक्षित नुकसान बदल जाएगा $(3)-(6)=-3$ u को 4 में बदलने पर यदि, u=5, अपेक्षित हानि है।

$L(5)\propto \sum _{i=1}^{4}i+\sum _{i=0}^{4}i=20,$

और आप में कोई भी बदलाव अपेक्षित नुकसान को बढ़ा देगा। अत: u=5 माध्यिका है। नीचे दी गई तालिका अपेक्षित हानि दर्शाती है (द्वारा विभाजित ${0.5/9}$) यू के विभिन्न मूल्यों के लिए।

u	1	2	3	4	5	6	7	8	9
Expected loss	36	29	24	21	20	21	24	29	36

अंतर्ज्ञान

मान लेते हैं $\tau =0.5$ और q के लिए एक प्रारंभिक अनुमान है $q_{\tau }$ । q पर मूल्यांकन की गई अपेक्षित हानि है

$L(q)=-0.5\int _{-\infty }^{q}(y-q)dF_{Y}(y)+0.5\int _{q}^{\infty }(y-q)dF_{Y}(y).$

अपेक्षित हानि को कम करने के लिए, हम q के मान को थोड़ा आगे बढ़ाते हैं यह देखने के लिए कि क्या अपेक्षित हानि बढ़ेगी या घटेगी। मान लीजिए हम q को 1 इकाई बढ़ाते हैं। तब प्रत्याशित हानि का परिवर्तन होगा।

$\int _{-\infty }^{q}1dF_{Y}(y)-\int _{q}^{\infty }1dF_{Y}(y).$

समीकरण का पहला पद है $F_{Y}(q)$ और समीकरण का दूसरा पद है $1-F_{Y}(q)$. इसलिए, अपेक्षित हानि फ़ंक्शन का परिवर्तन नकारात्मक है यदि और केवल यदि $F_{Y}(q)<0.5$, अर्थात् यदि और केवल यदि q माध्यिका से छोटा है। इसी तरह, यदि हम q को 1 इकाई से कम करते हैं, तो अपेक्षित हानि फलन का परिवर्तन ऋणात्मक होता है यदि और केवल यदि q माध्यिका से बड़ा हो।

प्रत्याशित हानि फलन को न्यूनतम करने के लिए, यदि q माध्यिका से छोटा (बड़ा) है, तब तक हम L(q) को बढ़ाएंगे (कमी) करेंगे, जब तक कि q माध्यिका तक नहीं पहुंच जाता। न्यूनीकरण के पीछे विचार उन बिंदुओं की संख्या (घनत्व के साथ भारित) की गणना करना है जो q से बड़े या छोटे हैं और फिर q को उस बिंदु पर ले जाएं जहां q से बड़ा है $100\tau$अंक का%।

नमूना मात्रा

$\tau$ निम्न न्यूनीकरण समस्या को हल करके नमूना मात्रा प्राप्त की जा सकती है

${\hat {q}}_{\tau }={\underset {q\in \mathbb {R} }{\mbox{arg min}}}\sum _{i=1}^{n}\rho _{\tau }(y_{i}-q),$

$={\underset {q\in \mathbb {R} }{\mbox{arg min}}}\left[(\tau -1)\sum _{y_{i}<q}(y_{i}-q)+\tau \sum _{y_{i}\geq q}(y_{i}-q)\right]$,

जहां समारोह $\rho _{\tau }$ झुका हुआ निरपेक्ष मान फलन है। अंतर्ज्ञान जनसंख्या मात्रात्मक के समान है।

सशर्त मात्रात्मक और मात्रात्मक प्रतिगमन

Y दिए गए X की $\tau$ सशर्त मात्रा है Y दिए गए X के सशर्त संभाव्यता वितरण की $\tau$ मात्रा है।

$Q_{Y|X}(\tau )=\inf \left\{y:F_{Y|X}(y)\geq \tau \right\}$.

हम एक सशर्त मात्रा को इंगित करने के लिए पूंजी q  का उपयोग करते हैं यह इंगित करने के लिए कि यह एक यादृच्छिक चर है।

के लिए मात्रात्मक प्रतिगमन में $\tau$वें मात्रा हम यह धारणा बनाते हैं कि $\tau$वें सशर्त मात्रा को व्याख्यात्मक चर के रैखिक कार्य के रूप में दिया गया है:

$Q_{Y|X}(\tau )=X\beta _{\tau }$.

के वितरण समारोह को देखते हुए $Y$, $\beta _{\tau }$ हल करके प्राप्त किया जा सकता है।

$\beta _{\tau }={\underset {\beta \in \mathbb {R} ^{k}}{\mbox{arg min}}}E(\rho _{\tau }(Y-X\beta )).$

नमूना एनालॉग को हल करने का अनुमानक देता है $\beta$.

${\hat {\beta _{\tau }}}={\underset {\beta \in \mathbb {R} ^{k}}{\mbox{arg min}}}\sum _{i=1}^{n}(\rho _{\tau }(Y_{i}-X_{i}\beta )).$

ध्यान दें कि जब $\tau =0.5$, हानि समारोह $\rho _{\tau }$ निरपेक्ष मान फलन के समानुपाती होता है, और इस प्रकार माध्यिका प्रतिगमन कम से कम निरपेक्ष विचलन द्वारा रैखिक प्रतिगमन के समान होता है।

प्रतिगमन मापदंडों के लिए अनुमानों की गणना

मात्रात्मक प्रतिगमन से उत्पन्न होने वाले गणितीय रूप कम से कम वर्गों की विधि में उत्पन्न होने वाले रूपों से भिन्न होते हैं। कम से कम वर्गों की विधि एक आंतरिक उत्पाद स्थान में समस्याओं पर विचार करती है, जिसमें उप-स्थानों पर प्रक्षेपण शामिल होता है, और इस प्रकार वर्ग त्रुटियों को कम करने की समस्या को संख्यात्मक रैखिक बीजगणित में एक समस्या में कम किया जा सकता है। मात्रात्मक प्रतिगमन में यह संरचना नहीं होती है, और इसके बजाय न्यूनतम समस्या को रैखिक प्रोग्रामिंग समस्या के रूप में सुधार किया जा सकता है

${\underset {\beta ,u^{+},u^{-}\in \mathbb {R} ^{k}\times \mathbb {R} _{+}^{2n}}{\min }}\left\{\tau 1_{n}^{'}u^{+}+(1-\tau )1_{n}^{'}u^{-}|X\beta +u^{+}-u^{-}=Y\right\},$

कहाँ पे

$u_{j}^{+}=\max(u_{j},0)$ ,    $u_{j}^{-}=-\min(u_{j},0).$

सिंप्लेक्स तरीके या आंतरिक बिंदु विधियाँ रैखिक प्रोग्रामिंग समस्या को हल करने के लिए लागू किया जा सकता है।

स्पर्शोन्मुख गुण

के लिये $\tau \in (0,1)$, कुछ नियमितता शर्तों के तहत, ${\hat {\beta }}_{\tau }$ स्पर्शोन्मुख रूप से सामान्य है:

${\sqrt {n}}({\hat {\beta }}_{\tau }-\beta _{\tau }){\overset {d}{\rightarrow }}N(0,\tau (1-\tau )D^{-1}\Omega _{x}D^{-1}),$

कहाँ पे

$D=E(f_{Y}(X\beta )XX^{\prime })$ तथा $\Omega _{x}=E(X^{\prime }X).$

स्पर्शोन्मुख विचरण-सहप्रसरण मैट्रिक्स का प्रत्यक्ष अनुमान हमेशा संतोषजनक नहीं होता है। मात्रात्मक प्रतिगमन मापदंडों के लिए प्रतिगमन रैंक-स्कोर परीक्षण या बूटस्ट्रैप विधियों के साथ अनुमान लगाया जा सकता है।

समतुल्य

इनवेरिएंस पर पृष्ठभूमि के लिए अपरिवर्तनीय अनुमानक देखें या समकक्ष देखें।

स्केल तुल्यता

किसी के लिए $a>0$ तथा $\tau \in [0,1]$

${\hat {\beta }}(\tau ;aY,X)=a{\hat {\beta }}(\tau ;Y,X),$

${\hat {\beta }}(\tau ;-aY,X)=-a{\hat {\beta }}(1-\tau ;Y,X).$

शिफ्ट तुल्यता

किसी के लिए $\gamma \in R^{k}$ तथा $\tau \in [0,1]$

${\hat {\beta }}(\tau ;Y+X\gamma ,X)={\hat {\beta }}(\tau ;Y,X)+\gamma .$

डिजाइन के पुनर्मूल्यांकन के समतुल्य

होने देना $A$ कोई भी हो $p\times p$ नॉनसिंगुलर मैट्रिक्स और $\tau \in [0,1]$

${\hat {\beta }}(\tau ;Y,XA)=A^{-1}{\hat {\beta }}(\tau ;Y,X).$

मोनोटोन ट्रांसफॉर्मेशन के लिए इनवेरिएंस

यदि $h$ पर एक गैर-घटता हुआ कार्य है $\mathbb {R}$, निम्नलिखित अपरिवर्तनीय संपत्ति लागू होती है:

$h(Q_{Y|X}(\tau ))\equiv Q_{h(Y)|X}(\tau ).$

उदाहरण 1):

यदि $W=\exp(Y)$ तथा $Q_{Y|X}(\tau )=X\beta _{\tau }$, फिर $Q_{W|X}(\tau )=\exp(X\beta _{\tau })$. माध्य प्रतिगमन में समान गुण नहीं होते हैं क्योंकि $\operatorname {E} (\ln(Y))\neq \ln(\operatorname {E} (Y)).$

मात्रात्मक प्रतिगमन के लिए बायेसियन तरीके

चूंकि मात्रात्मक प्रतिगमन आमतौर पर वाई | एक्स के सशर्त वितरण के लिए पैरामीट्रिक संभावना नहीं मानता है, बायेसियन विधियां काम करने की संभावना के साथ काम करती हैं। एक सुविधाजनक विकल्प असममित लाप्लासियन संभावना है, क्योंकि एक फ्लैट पूर्व के तहत परिणामी पश्च का तरीका सामान्य मात्रात्मक प्रतिगमन अनुमान है। हालाँकि, पीछे के अनुमान की व्याख्या सावधानी से की जानी चाहिए। यांग, वांग और हे वैध अनुमान के लिए एक पश्च विचरण समायोजन प्रदान किया। इसके साथ ही, यांग और हे दिखाया गया है कि यदि कार्य संभावना को अनुभवजन्य संभावना के रूप में चुना जाता है, तो किसी के पास अस्वाभाविक रूप से मान्य पश्च अनुमान हो सकता है।

मात्रात्मक प्रतिगमन के लिए मशीन सीखने के तरीके

सरल रेखीय प्रतिगमन के अलावा, कई मशीन सीखने के तरीके हैं जिन्हें मात्रात्मक प्रतिगमन तक बढ़ाया जा सकता है। स्क्वेर्ड एरर से टिल्टेड एब्सोल्यूट वैल्यू लॉस फंक्शन में स्विच करने से ग्रेडिएंट डिसेंट आधारित लर्निंग एल्गोरिदम को माध्य के बजाय एक निर्दिष्ट मात्रा सीखने की अनुमति मिलती है। इसका मतलब है कि हम सभी न्यूरल नेटवर्क और डीप लर्निंग एल्गोरिदम को मात्रात्मक प्रतिगमन पर लागू कर सकते हैं। ट्री-आधारित शिक्षण एल्गोरिदम मात्रात्मक प्रतिगमन के लिए भी उपलब्ध हैं (देखें, उदाहरण के लिए, मात्रात्मक प्रतिगमन फ़ॉरेस्ट, यादृच्छिक वनों के सरल सामान्यीकरण के रूप में)।

सेंसर मात्रात्मक प्रतिगमन

यदि प्रतिक्रिया चर सेंसरिंग के अधीन है, तो सशर्त माध्य अतिरिक्त वितरण संबंधी मान्यताओं के बिना पहचाने जाने योग्य नहीं है, लेकिन सशर्त मात्रा अक्सर पहचान योग्य होती है। सेंसर किए गए मात्रात्मक प्रतिगमन पर हाल के काम के लिए, देखें: पोर्टनॉय और वांग और वांग उदाहरण (2):

होने देना $Y^{c}=\max(0,Y)$ तथा $Q_{Y|X}=X\beta _{\tau }$. फिर $Q_{Y^{c}|X}(\tau )=\max(0,X\beta _{\tau })$. यह सेंसर किया गया मात्रात्मक प्रतिगमन मॉडल है: अनुमानित मूल्य बिना किसी वितरण संबंधी धारणा के प्राप्त किए जा सकते हैं, लेकिन कम्प्यूटेशनल कठिनाई की कीमत पर, जिनमें से कुछ को एक अनुमान के रूप में एक साधारण तीन चरण सेंसर वाली मात्रात्मक प्रतिगमन प्रक्रिया का उपयोग करके टाला जा सकता है। प्रतिक्रिया चर पर यादृच्छिक सेंसरिंग के लिए, पोर्टनॉय के सेंसर किए गए मात्रात्मक प्रतिगमन (2003)प्रत्येक सेंसर किए गए बिंदु को उचित रूप से पुन: भारित करने के आधार पर सभी पहचान योग्य मात्रात्मक कार्यों का लगातार अनुमान प्रदान करता है।

कार्यान्वयन

कई सांख्यिकीय सॉफ्टवेयर पैकेजों में मात्रात्मक प्रतिगमन के कार्यान्वयन शामिल हैं:

• मैटलैब फ़ंक्शन quantreg
• विचार, संस्करण 6 के बाद से।
• ग्रेटल के पास है quantreg आज्ञा।
• आर कई पैकेज प्रदान करता है जो मात्रात्मक प्रतिगमन को लागू करते हैं, विशेष रूप से quantreg रोजर कोएनकर द्वारा, लेकिन gbm, quantregForest, qrnn तथा qgam
• पायथन, के माध्यम से Scikit-garden तथा statsmodels
• एसएएस के माध्यम से proc quantreg (देखें। 9.2) तथा proc quantselect (देखें। 9.3)।
• गया, के माध्यम से qreg आज्ञा।
• वोपाल वैबिट, के माध्यम से --loss_function quantile.
• गणित पैकेज QuantileRegression.m GitHub पर MathematicaForPrediction प्रोजेक्ट में होस्ट किया गया।

अग्रिम पठन

• Angrist, Joshua D.; Pischke, Jörn-Steffen (2009). "Quantile Regression". Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press. pp. 269–291. ISBN 978-0-691-12034-8.
• Koenker, Roger (2005). Quantile Regression. Cambridge University Press. ISBN 978-0-521-60827-5.