प्रभाव मूल्यांकन: Difference between revisions
No edit summary |
No edit summary |
||
| Line 1: | Line 1: | ||
{{Short description|Assessment of particular interventions}} | {{Short description|Assessment of particular interventions}} | ||
{{external links|date=जून 2017}} | {{external links|date=जून 2017}} | ||
प्रभावशाली मूल्यांकन उन परिवर्तनों का आकलन करता है जिन्हें किसी विशेष हस्तक्षेप के लिए जिम्मेदार ठहराया जा सकता है, जैसे कि एक परियोजना, कार्यक्रम या नीति, दोनों इच्छित और साथ ही आदर्श रूप से अनपेक्षितइत्यादि।<ref>[http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/EXTISPMA/0,,menuPK:384336~pagePK:149018~piPK:149093~theSitePK:384329,00.html World Bank Poverty Group on Impact Evaluation], accessed on January 6, 2008</ref> परिणाम की जाँच करने के विपरीत, जो जांच करता है कि लक्ष्यों को प्राप्त किया गया है या नहीं, प्रभावशाली मूल्यांकन को प्रश्न का उत्तर देने के लिए संरचित किया गया है: यदि हस्तक्षेप नहीं किया गया होता तो प्रतिभागियों की भलाई जैसे परिणाम कैसे बदल जाते? इसमें प्रतितथ्यात्मक विश्लेषण सम्मिलित है, अर्थात्, वास्तव में क्या हुआ और हस्तक्षेप की अनुपस्थिति में क्या हुआ होगा, के बीच तुलना किया जाता है।<ref>{{Cite web |url=http://lnweb90.worldbank.org/oed/oeddoclib.nsf/DocUNIDViewForJavaSearch/35BC420995BF58F8852571E00068C6BD/$file/impact_evaluation.pdf |title=White, H. (2006) Impact Evaluation: The Experience of the Independent Evaluation Group of the World Bank, World Bank, Washington, D.C., p. 3 |access-date=2010-01-07 |archive-date=2018-02-19 |archive-url=https://web.archive.org/web/20180219111550/http://lnweb90.worldbank.org/oed/oeddoclib.nsf/DocUNIDViewForJavaSearch/35BC420995BF58F8852571E00068C6BD/$file/impact_evaluation.pdf |url-status=dead }}</ref> प्रभावशाली मूल्यांकन कारण और प्रभावशाली प्रश्नों का उत्तर देना चाहता है। दूसरे शब्दों में, वे परिणामों में उन परिवर्तनों की तलाश करते हैं जो सीधे तौर पर किसी कार्यक्रम के लिए जिम्मेदार होते हैं।<ref>{{Cite web |url=http://publications.worldbank.org/index.php?main_page=product_info&cPath=1&products_id=23915 |title=Gertler, Martinez, Premand, Rawlings and Vermeersch (2011) Impact Evaluation in Practice, Washington, DC:The World Bank |access-date=2010-12-15 |archive-url=https://web.archive.org/web/20110717080441/http://publications.worldbank.org/index.php?main_page=product_info&cPath=1&products_id=23915 |archive-date=2011-07-17 |url-status=dead }}</ref> | |||
प्रभावशाली मूल्यांकन लोगों को साक्ष्य-आधारित नीति निर्माण के लिए महत्वपूर्ण सवालों के जवाब देने में मदद करता है:जैसे क्या काम करता है, क्या नहीं, कहाँ, क्यों और कितना? विकसित और विकासशील दोनों देशों के संदर्भ में हाल के वर्षों में नीति निर्माण में इस पर अधिक ध्यान दिया गया है।<ref>{{cite web|url=http://www.3ieimpact.org/media/filer/2012/05/07/Working_Paper_8.pdf|title=लॉग इन करें|access-date=16 January 2017}}</ref> यह [[मूल्यांकन]] उपकरणों और दृष्टिकोणों के शस्त्रागार का एक महत्वपूर्ण घटक है और जीवन स्तर में सुधार लाने के लिए सहायता वितरण और सार्वजनिक व्यय की प्रभावशीलता में सुधार के लिए वैश्विक प्रयासों का अभिन्न अंग है। मूल रूप से विकासशील देशों में सामाजिक क्षेत्र के कार्यक्रमों के मूल्यांकन की ओर अधिक उन्मुख, विशेष रूप से [[सशर्त नकद हस्तांतरण]], प्रभावशाली मूल्यांकन अब कृषि, ऊर्जा और परिवहन जैसे अन्य क्षेत्रों में तेजी से लागू किया जा रहा है। | |||
== प्रतितथ्यात्मक मूल्यांकन डिजाइन == | == प्रतितथ्यात्मक मूल्यांकन डिजाइन == | ||
[[प्रतितथ्यात्मक सशर्त]] विश्लेषण मूल्यांकनकर्ताओं को हस्तक्षेपों और परिणामों के बीच कारण और | [[प्रतितथ्यात्मक सशर्त]] विश्लेषण मूल्यांकनकर्ताओं को हस्तक्षेपों और परिणामों के बीच कारण और प्रभावशाली को श्रेय देने में सक्षम बनाता है। 'प्रतितथ्यात्मक' मापन करता है कि हस्तक्षेप के अभाव में लाभार्थियों के साथ क्या हुआ होगा, और हस्तक्षेप के अनुसार देखे गए प्रतितथ्यात्मक परिणामों की तुलना करके प्रभावशाली का अनुमान लगाया जाता है। प्रभावशाली मूल्यांकन में मुख्य चुनौती यह है कि प्रतितथ्यात्मक को प्रत्यक्ष रूप से नहीं देखा जा सकता है और इसे एक तुलना समूह के संदर्भ में अनुमानित किया जाना चाहिए। संभावित (प्रत्याशित) या पूर्वव्यापी (पूर्वव्यापी) मूल्यांकन डिजाइन का उपयोग करते हुए, प्रतितथ्यात्मक विश्लेषण के लिए एक उपयुक्त तुलना समूह का निर्धारण करने के लिए स्वीकृत दृष्टिकोणों की एक श्रृंखला है। संभावित मूल्यांकन हस्तक्षेप के डिजाइन चरण के समय शुरू होते हैं, जिसमें हस्तक्षेप लाभार्थियों ('उपचार समूह') और गैर-लाभार्थियों ('तुलना समूह') से आधार रेखा और अंतिम-पंक्ति डेटा का संग्रह सम्मिलित है; वे उपचार और तुलना समूहों में व्यक्तियों या समुदायों के चयन को सम्मिलित कर सकते हैं। पूर्वव्यापी मूल्यांकन सामान्यतः कार्यान्वयन चरण के बाद आयोजित किए जाते हैं और मौजूदा सर्वेक्षण डेटा का फायदा उठा सकते हैं, हालांकि हस्तक्षेप और तुलना समूहों की तुलनात्मकता सुनिश्चित करने के लिए सबसे अच्छा मूल्यांकन यथासंभव आधार रेखा के करीब डेटा एकत्र करेगा। | ||
आंतरिक वैधता (अध्ययन डिजाइन) और बाहरी वैधता (सामान्यता) से संबंधित पांच प्रमुख सिद्धांत हैं जो कठोर | आंतरिक वैधता (अध्ययन डिजाइन) और बाहरी वैधता (सामान्यता) से संबंधित पांच प्रमुख सिद्धांत हैं जो कठोर प्रभावशाली मूल्यांकन को संबोधित करना चाहिए:जैसे जटिल कारक, [[चयन पूर्वाग्रह]], अधिप्लावन प्रभाव, संदूषण और प्रभावशाली विषमता इत्यादि।<ref>{{cite web|url=http://www.3ieimpact.org/media/filer/2012/04/20/principles-for-impact-evaluation.pdf|title=लॉग इन करें|access-date=16 January 2017}}</ref> | ||
* भ्रम तब होता है जब कुछ कारक, विशेष रूप से सामाजिक आर्थिक स्थिति से संबंधित, हस्तक्षेप के जोखिम के साथ सहसंबद्ध होते हैं और, जोखिम से स्वतंत्र, ब्याज के परिणाम से कारणात्मक रूप से संबंधित होते हैं। इसलिए उलझाने वाले कारक हस्तक्षेप और परिणाम के बीच देखे गए (संभवतः नकली) संबंध के लिए वैकल्पिक व्याख्याएं हैं। | * भ्रम तब होता है जब कुछ कारक, विशेष रूप से सामाजिक आर्थिक स्थिति से संबंधित, हस्तक्षेप के जोखिम के साथ सहसंबद्ध होते हैं और, जोखिम से स्वतंत्र, ब्याज के परिणाम से कारणात्मक रूप से संबंधित होते हैं। इसलिए उलझाने वाले कारक हस्तक्षेप और परिणाम के बीच देखे गए (संभवतः नकली) संबंध के लिए वैकल्पिक व्याख्याएं हैं। | ||
* चयन पूर्वाग्रह, भ्रम का एक विशेष स्थिति होता है, जहां हस्तक्षेप प्रतिभागियों को लाभार्थी आबादी से गैर-यादृच्छिक रूप से खींचा जाता है, और चयन का निर्धारण करने वाले मानदंड परिणामों से संबंधित होते हैं। गैर-अवलोकित विषमता, जो हस्तक्षेप तक पहुंच या भागीदारी से जुड़ी हैं, और ब्याज के परिणाम से कारणात्मक रूप से संबंधित हैं, यदि बेहिसाब हो तो हस्तक्षेप और परिणाम के बीच एक नकली संबंध हो सकता है। स्व-चयन तब होता है, उदाहरण के लिए, अधिक सक्षम या संगठित व्यक्ति या समुदाय, जिनके हित के बेहतर परिणाम होने की अधिक संभावना होती है, उनके हस्तक्षेप में भाग लेने की भी अधिक संभावना होती है। अंतर्जात कार्यक्रम का चयन वहां होता है जहां व्यक्तियों या समुदायों को भाग लेने के लिए चुना जाता है क्योंकि उन्हें हस्तक्षेप से लाभान्वित होने की अधिक संभावना दिखाई देती है। भ्रमित करने वाले कारकों को अनदेखा करने से छोड़े गए चर पूर्वाग्रह की समस्या हो सकती है। चयन पूर्वाग्रह के विशेष प्रकरण में, चयन चर की अंतर्जातता एक साथ पूर्वाग्रह | * चयन पूर्वाग्रह, भ्रम का एक विशेष स्थिति होता है, जहां हस्तक्षेप प्रतिभागियों को लाभार्थी आबादी से गैर-यादृच्छिक रूप से खींचा जाता है, और चयन का निर्धारण करने वाले मानदंड परिणामों से संबंधित होते हैं। गैर-अवलोकित विषमता, जो हस्तक्षेप तक पहुंच या भागीदारी से जुड़ी हैं, और ब्याज के परिणाम से कारणात्मक रूप से संबंधित हैं, यदि बेहिसाब हो तो हस्तक्षेप और परिणाम के बीच एक नकली संबंध हो सकता है। स्व-चयन तब होता है, उदाहरण के लिए, अधिक सक्षम या संगठित व्यक्ति या समुदाय, जिनके हित के बेहतर परिणाम होने की अधिक संभावना होती है, उनके हस्तक्षेप में भाग लेने की भी अधिक संभावना होती है। अंतर्जात कार्यक्रम का चयन वहां होता है जहां व्यक्तियों या समुदायों को भाग लेने के लिए चुना जाता है क्योंकि उन्हें हस्तक्षेप से लाभान्वित होने की अधिक संभावना दिखाई देती है। भ्रमित करने वाले कारकों को अनदेखा करने से छोड़े गए चर पूर्वाग्रह की समस्या हो सकती है। चयन पूर्वाग्रह के विशेष प्रकरण में, चयन चर की अंतर्जातता एक साथ पूर्वाग्रह उत्त्पन कर सकती है। | ||
* अधिप्लावन (प्रायोगिक मूल्यांकन के प्रकरण में छूत के रूप में संदर्भित) तब होता है जब तुलना (नियंत्रण) समूह के सदस्य हस्तक्षेप से प्रभावित होते हैं। | * अधिप्लावन (प्रायोगिक मूल्यांकन के प्रकरण में छूत के रूप में संदर्भित) तब होता है जब तुलना (नियंत्रण) समूह के सदस्य हस्तक्षेप से प्रभावित होते हैं। | ||
* संदूषण तब होता है जब उपचार और/या तुलना समूहों के सदस्यों के पास अन्य हस्तक्षेप तक पहुंच होती है जो ब्याज के परिणाम को भी प्रभावित करता है। | * संदूषण तब होता है जब उपचार और/या तुलना समूहों के सदस्यों के पास अन्य हस्तक्षेप तक पहुंच होती है जो ब्याज के परिणाम को भी प्रभावित करता है। | ||
* | * प्रभावशाली विषमता लाभार्थी प्रकार और संदर्भ के कारण प्रभावशाली में अंतर को दर्शाता है। उच्च गुणवत्ता प्रभावशाली मूल्यांकन इस बात का आकलन करेगा कि किसी हस्तक्षेप से विभिन्न समूहों (जैसे, वंचित) को किस हद तक लाभ होता है और साथ ही प्रभावशाली पर संदर्भ के संभावित प्रभावशाली का भी। जिस डिग्री के परिणाम सामान्य होते हैं, वह अन्य संदर्भों में हस्तक्षेप के लिए सीखे गए पाठों की प्रयोज्यता को निर्धारित करेगा। | ||
प्रभावशाली मूल्यांकन डिजाइनों की पहचान प्रतितथ्यात्मक उत्पन्न करने के लिए उपयोग की जाने वाली विधियों के प्रकार से की जाती है और इसे मोटे तौर पर तीन श्रेणियों में वर्गीकृत किया जा सकता है - प्रायोगिक, अर्ध-प्रायोगिक और गैर-प्रायोगिक डिज़ाइन - जो डिजाइन के समय या कार्यान्वयन चरण के बाद हस्तक्षेप, और चयन पूर्वाग्रह की डिग्री व्यवहार्यता, लागत, भागीदारी में भिन्न होते हैं। सफेद (2006)<ref name="worldbank.org">{{Cite web |url=http://lnweb90.worldbank.org/oed/oeddoclib.nsf/DocUNIDViewForJavaSearch/35BC420995BF58F8852571E00068C6BD/$file/impact_evaluation.pdf |title=White, H. (2006) Impact Evaluation: The Experience of the Independent Evaluation Group of the World Bank, World Bank, Washington, D.C. |access-date=2010-01-07 |archive-date=2018-02-19 |archive-url=https://web.archive.org/web/20180219111550/http://lnweb90.worldbank.org/oed/oeddoclib.nsf/DocUNIDViewForJavaSearch/35BC420995BF58F8852571E00068C6BD/$file/impact_evaluation.pdf |url-status=dead }}</ref> और रैवेलियन (2008)<ref>[http://siteresources.worldbank.org/INTISPMA/Resources/383704-1153333441931/Evaluating_Antipoverty_Programs.pdf Ravallion, M. (2008) Evaluating Anti-Poverty Programs]</ref> वैकल्पिक प्रभावशाली मूल्यांकन दृष्टिकोणों पर चर्चा करें। | |||
== प्रायोगिक दृष्टिकोण == | == प्रायोगिक दृष्टिकोण == | ||
| Line 23: | Line 23: | ||
प्रयोगात्मक मूल्यांकन के अनुसार उपचार और तुलना समूहों को बेतरतीब ढंग से चुना जाता है और हस्तक्षेप से अलग किया जाता है, साथ ही किसी भी हस्तक्षेप से जो ब्याज के परिणाम को प्रभावित कर सकता है। इन मूल्यांकन डिजाइनों को यादृच्छिक नियंत्रित परीक्षण (आरसीटी) कहा जाता है। प्रायोगिक मूल्यांकन में तुलना समूह को [[नियंत्रण समूह]] कहा जाता है। जब हस्तक्षेप द्वारा बिना किसी संक्रमण के पर्याप्त रूप से बड़े नमूने पर यादृच्छिककरण लागू किया जाता है, तो औसतन उपचार और नियंत्रण समूहों के बीच एकमात्र अंतर यह है कि बाद वाले को हस्तक्षेप प्राप्त नहीं होता है। यादृच्छिक नमूना सर्वेक्षण, जिसमें मूल्यांकन के लिए नमूना यादृच्छिक रूप से चुना जाता है, प्रयोगात्मक मूल्यांकन डिजाइनों के साथ भ्रमित नहीं होना चाहिए, जिसके लिए उपचार के यादृच्छिक समनुदेशन की आवश्यकता होती है। | प्रयोगात्मक मूल्यांकन के अनुसार उपचार और तुलना समूहों को बेतरतीब ढंग से चुना जाता है और हस्तक्षेप से अलग किया जाता है, साथ ही किसी भी हस्तक्षेप से जो ब्याज के परिणाम को प्रभावित कर सकता है। इन मूल्यांकन डिजाइनों को यादृच्छिक नियंत्रित परीक्षण (आरसीटी) कहा जाता है। प्रायोगिक मूल्यांकन में तुलना समूह को [[नियंत्रण समूह]] कहा जाता है। जब हस्तक्षेप द्वारा बिना किसी संक्रमण के पर्याप्त रूप से बड़े नमूने पर यादृच्छिककरण लागू किया जाता है, तो औसतन उपचार और नियंत्रण समूहों के बीच एकमात्र अंतर यह है कि बाद वाले को हस्तक्षेप प्राप्त नहीं होता है। यादृच्छिक नमूना सर्वेक्षण, जिसमें मूल्यांकन के लिए नमूना यादृच्छिक रूप से चुना जाता है, प्रयोगात्मक मूल्यांकन डिजाइनों के साथ भ्रमित नहीं होना चाहिए, जिसके लिए उपचार के यादृच्छिक समनुदेशन की आवश्यकता होती है। | ||
प्रायोगिक दृष्टिकोण को अधिकांशतः मूल्यांकन के 'सोने के मानक' के रूप में रखा जाता है। यह एकमात्र मूल्यांकन डिजाइन है जो हस्तक्षेप और परिणामों के बीच एक कारण संबंध को प्रदर्शित करने में चयन पूर्वाग्रह के लिए निर्णायक रूप से जिम्मेदार हो सकता है। यादृच्छिकरण और हस्तक्षेपों से अलगाव सामाजिक नीति के दायरे में व्यावहारिक नहीं हो सकता है और बचाव के लिए नैतिक रूप से कठिन हो सकता है,<ref name="auto">{{cite journal|last=Martin|first=Ravallion|date=1 January 2009|title=Should the Randomistas Rule?|url=http://ideas.repec.org/a/bpj/evoice/v6y2009i2n6.html|volume=6|issue=2|pages=1–5|access-date=16 January 2017|via=RePEc - IDEAS}}</ref> हालांकि प्राकृतिक प्रयोगों का उपयोग करने के अवसर हो सकते हैं। भ्रमित करने वाले कारकों को अनदेखा करने से छोड़े गए चर पूर्वाग्रह की समस्या हो सकती है। बामबर्गर एंड व्हाइट (2007)<ref name="ed.gov">[http://www.eric.ed.gov/ERICWebPortal/custom/portlets/recordDetails/detailmini.jsp?_nfpb=true&_&ERICExtSearch_SearchValue_0=EJ800319&ERICExtSearch_SearchType_0=no&accno=EJ800319 Bamberger, M. and White, H. (2007) Using Strong Evaluation Designs in Developing Countries: Experience and Challenges, ''Journal of MultiDisciplinary Evaluation'', Volume 4, Number 8, 58-73]</ref> विकास हस्तक्षेपों पर आरसीटी लागू करने की कुछ सीमाओं पर प्रकाश डाल सकेंगे। स्क्रिप्वेन (2008) द्वारा पद्धतिगत समालोचना की गई है<ref>Scriven (2008) A Summative Evaluation of RCT Methodology: & An Alternative Approach to Causal Research, ''Journal of MultiDisciplinary Evaluation'', Volume 5, Number 9, 11-24</ref> प्रस्तुत किए गए पूर्वाग्रहों के कारण सामाजिक हस्तक्षेपों को पूरी तरह से [[अंधा प्रयोग]] नहीं किया जा सकता है, और डिएटन (2009)<ref>{{cite journal|last=Deaton|first=Angus|date=1 January 2009|title=Instruments of Development: Randomization in the Tropics, and the Search for the Elusive Keys to Economic Development|ssrn=1335715}}</ref> ने इंगित किया है कि आरसीटी के अभ्यास विश्लेषण में प्रतिगमन-आधारित दृष्टिकोणों पर वापस आ जाता है जिससे वे बचना चाहते हैं और इसलिए समान संभावित पूर्वाग्रहों के अधीन हैं। अन्य समस्याओं में हस्तक्षेपों के अधिकांशतः विषम और बदलते संदर्भ, तार्किक और व्यावहारिक चुनौतियाँ, | प्रायोगिक दृष्टिकोण को अधिकांशतः मूल्यांकन के 'सोने के मानक' के रूप में रखा जाता है। यह एकमात्र मूल्यांकन डिजाइन है जो हस्तक्षेप और परिणामों के बीच एक कारण संबंध को प्रदर्शित करने में चयन पूर्वाग्रह के लिए निर्णायक रूप से जिम्मेदार हो सकता है। यादृच्छिकरण और हस्तक्षेपों से अलगाव सामाजिक नीति के दायरे में व्यावहारिक नहीं हो सकता है और बचाव के लिए नैतिक रूप से कठिन हो सकता है,<ref name="auto">{{cite journal|last=Martin|first=Ravallion|date=1 January 2009|title=Should the Randomistas Rule?|url=http://ideas.repec.org/a/bpj/evoice/v6y2009i2n6.html|volume=6|issue=2|pages=1–5|access-date=16 January 2017|via=RePEc - IDEAS}}</ref> हालांकि प्राकृतिक प्रयोगों का उपयोग करने के अवसर हो सकते हैं। भ्रमित करने वाले कारकों को अनदेखा करने से छोड़े गए चर पूर्वाग्रह की समस्या हो सकती है। बामबर्गर एंड व्हाइट (2007)<ref name="ed.gov">[http://www.eric.ed.gov/ERICWebPortal/custom/portlets/recordDetails/detailmini.jsp?_nfpb=true&_&ERICExtSearch_SearchValue_0=EJ800319&ERICExtSearch_SearchType_0=no&accno=EJ800319 Bamberger, M. and White, H. (2007) Using Strong Evaluation Designs in Developing Countries: Experience and Challenges, ''Journal of MultiDisciplinary Evaluation'', Volume 4, Number 8, 58-73]</ref> विकास हस्तक्षेपों पर आरसीटी लागू करने की कुछ सीमाओं पर प्रकाश डाल सकेंगे। स्क्रिप्वेन (2008) द्वारा पद्धतिगत समालोचना की गई है<ref>Scriven (2008) A Summative Evaluation of RCT Methodology: & An Alternative Approach to Causal Research, ''Journal of MultiDisciplinary Evaluation'', Volume 5, Number 9, 11-24</ref> प्रस्तुत किए गए पूर्वाग्रहों के कारण सामाजिक हस्तक्षेपों को पूरी तरह से [[अंधा प्रयोग]] नहीं किया जा सकता है, और डिएटन (2009)<ref>{{cite journal|last=Deaton|first=Angus|date=1 January 2009|title=Instruments of Development: Randomization in the Tropics, and the Search for the Elusive Keys to Economic Development|ssrn=1335715}}</ref> ने इंगित किया है कि आरसीटी के अभ्यास विश्लेषण में प्रतिगमन-आधारित दृष्टिकोणों पर वापस आ जाता है जिससे वे बचना चाहते हैं और इसलिए समान संभावित पूर्वाग्रहों के अधीन हैं। अन्य समस्याओं में हस्तक्षेपों के अधिकांशतः विषम और बदलते संदर्भ, तार्किक और व्यावहारिक चुनौतियाँ, जाँच करने सेवा वितरण में कठिनाइयाँ, तुलना समूह द्वारा हस्तक्षेप तक पहुँच और समय के साथ चयन मानदंड और/या हस्तक्षेप में परिवर्तन सम्मिलित हैं। इस प्रकार, यह अनुमान लगाया गया है कि आरसीटी केवल 5 प्रतिशत विकास वित्त पर लागू होते हैं।<ref name="ed.gov" /> | ||
| Line 29: | Line 29: | ||
=== यादृच्छिक नियंत्रण परीक्षण (आरसीटी) === | === यादृच्छिक नियंत्रण परीक्षण (आरसीटी) === | ||
आरसीटी एक नए हस्तक्षेप की प्रभावशीलता को मापने के लिए उपयोग किए जाने वाले अध्ययन हैं। वे अपने दम पर कार्य-कारण प्रमाणित करने की संभावना नहीं रखते हैं, हालांकि कारण- | आरसीटी एक नए हस्तक्षेप की प्रभावशीलता को मापने के लिए उपयोग किए जाने वाले अध्ययन हैं। वे अपने दम पर कार्य-कारण प्रमाणित करने की संभावना नहीं रखते हैं, हालांकि कारण-प्रभावशाली संबंधों की जांच के लिए एक उपकरण प्रदान करते हुए यादृच्छिककरण पूर्वाग्रह को कम करता है।<ref>{{Cite journal|last1=Hariton|first1=Eduardo|last2=Locascio|first2=Joseph J.|date=December 2018|title=Randomised controlled trials—the gold standard for effectiveness research|journal=BJOG: An International Journal of Obstetrics and Gynaecology|volume=125|issue=13|pages=1716|doi=10.1111/1471-0528.15199|issn=1470-0328|pmc=6235704|pmid=29916205}}</ref> भ्रमित करने वाले कारकों को अनदेखा करने से छोड़े गए चर पूर्वाग्रह की समस्या हो सकती है। आरसीटी यादृच्छिक समनुदेशन पर भरोसा करते हैं, जिसका अर्थ है कि मूल्यांकन लगभग सदैव पहले से तैयार किया जाना चाहिए, क्योंकि यह दुर्लभ है कि किसी परियोजना का प्राकृतिक समनुदेशन यादृच्छिक आधार पर होगा।<ref name=":1">{{cite journal|last=White|first=Howard|date=8 March 2013|title=विकास हस्तक्षेपों का मूल्यांकन करने के लिए यादृच्छिक नियंत्रण परीक्षणों के उपयोग का परिचय|journal=Journal of Development Effectiveness|volume=5|pages=30–49|doi=10.1080/19439342.2013.764652|s2cid=51812043|doi-access=free}}</ref> आरसीटी डिजाइन करते समय, पांच प्रमुख प्रश्न पूछे जाने की आवश्यकता होती है: किस उपचार का परीक्षण किया जा रहा है, कितने उपचार समूह होंगे, समनुदेशन की इकाई क्या होगी, कितने बड़े नमूने की आवश्यकता होगी, परीक्षण कैसे होगा यादृच्छिक होना।<ref name=":1" /> एक अच्छी तरह से आयोजित आरसीटी एक विशिष्ट जनसंख्या या समनुदेशन की इकाई के अंतर्गत औसत उपचार प्रभावशाली के बारे में एक विश्वसनीय अनुमान देगा।<ref name=":2">{{Cite web|last1=Deaton|first1=Angus|last2=Cartwright|first2=Nancy|date=2016-11-09|title=यादृच्छिक नियंत्रित परीक्षणों की सीमाएँ|url=https://voxeu.org/article/limitations-randomised-controlled-trials|access-date=2020-10-26|website=VoxEU.org}}</ref> आरसीटी की एक खामी 'परिवहन समस्या' है, यह रेखांकित करते हुए कि एक आबादी के अंतर्गत जो काम करता है वह जरूरी नहीं कि दूसरी आबादी के अंतर्गत भी काम करे, जिसका अर्थ है कि औसत उपचार प्रभावशाली समनुदेशन की अलग-अलग इकाइयों पर लागू नहीं होता है।<ref name=":2" /> | ||
| Line 44: | Line 44: | ||
यदि चयन विशेषताओं को जाना और देखा जाता है, तो पूर्वाग्रह को दूर करने के लिए उन्हें नियंत्रित किया जा सकता है। मिलान में देखी गई चयन विशेषताओं के आधार पर गैर-प्रतिभागियों के साथ कार्यक्रम के प्रतिभागियों की तुलना करना सम्मिलित है। [[प्रवृत्ति स्कोर मिलान]] (पीएसएम) अवलोकन योग्य विशेषताओं के एक सेट के आधार पर भाग लेने की संभावना की गणना करने के लिए एक सांख्यिकीय मॉडल का उपयोग करता है और समान संभावना स्कोर वाले प्रतिभागियों और गैर-प्रतिभागियों से मेल खाता है। [[प्रतिगमन विच्छेदन डिजाइन]] एक निर्णय नियम का उपयोग करता है कि इस कट-ऑफ के दोनों ओर के परिणामों की तुलना करने के लिए हस्तक्षेप कौन करता है और कौन नहीं करता है। | यदि चयन विशेषताओं को जाना और देखा जाता है, तो पूर्वाग्रह को दूर करने के लिए उन्हें नियंत्रित किया जा सकता है। मिलान में देखी गई चयन विशेषताओं के आधार पर गैर-प्रतिभागियों के साथ कार्यक्रम के प्रतिभागियों की तुलना करना सम्मिलित है। [[प्रवृत्ति स्कोर मिलान]] (पीएसएम) अवलोकन योग्य विशेषताओं के एक सेट के आधार पर भाग लेने की संभावना की गणना करने के लिए एक सांख्यिकीय मॉडल का उपयोग करता है और समान संभावना स्कोर वाले प्रतिभागियों और गैर-प्रतिभागियों से मेल खाता है। [[प्रतिगमन विच्छेदन डिजाइन]] एक निर्णय नियम का उपयोग करता है कि इस कट-ऑफ के दोनों ओर के परिणामों की तुलना करने के लिए हस्तक्षेप कौन करता है और कौन नहीं करता है। | ||
अंतर या दोहरे अंतर में अंतर, जो हस्तक्षेप और तुलना समूहों के लिए आधार रेखा और अंत-रेखा पर एकत्र किए गए डेटा का उपयोग करते हैं, चयन पूर्वाग्रह के खाते में इस धारणा के अनुसार उपयोग किया जा सकता है कि चयन का निर्धारण करने वाले अप्राप्य कारक समय के साथ तय होते | अंतर या दोहरे अंतर में अंतर, जो हस्तक्षेप और तुलना समूहों के लिए आधार रेखा और अंत-रेखा पर एकत्र किए गए डेटा का उपयोग करते हैं, चयन पूर्वाग्रह के खाते में इस धारणा के अनुसार उपयोग किया जा सकता है कि चयन का निर्धारण करने वाले अप्राप्य कारक समय (समय अपरिवर्तनीय) के साथ तय होते हैं। | ||
इंस्ट्रुमेंटल वेरिएबल एस्टीमेशन उन कारकों (' | इंस्ट्रुमेंटल वेरिएबल एस्टीमेशन उन कारकों ('उपकरणों ') का उपयोग करके चयन पूर्वाग्रह के लिए खाता है जो चयन के साथ सहसंबद्ध हैं लेकिन परिणाम नहीं हैं, इस प्रकार कार्यक्रम की भागीदारी के पहलुओं को अलग करते हैं जिन्हें बहिर्जात के रूप में माना जा सकता है। ये पूर्वाग्रह कार्यक्रम के प्रभावों को बढ़ा-चढ़ाकर या कम करने की भूमिका निभाते हैं। | ||
पाइपलाइन दृष्टिकोण ([[स्टेप्ड-वेज ट्रायल]] स्टेप्ड-वेज डिजाइन) तुलना समूह के रूप में बाद के चरण में एक परियोजना में भाग लेने के लिए पहले से चुने गए लाभार्थियों का उपयोग करता है। धारणा यह है कि जैसा कि उन्हें भविष्य में हस्तक्षेप प्राप्त करने के लिए चुना गया है, वे उपचार समूह के समान हैं, और इसलिए ब्याज के परिणाम चर के संदर्भ में तुलनीय हैं। हालाँकि, व्यवहार में, यह गारंटी नहीं दी जा सकती है कि उपचार और तुलना समूह तुलनीय हैं और तुलनात्मकता को सत्यापित करने के लिए मिलान की कुछ विधि लागू करने की आवश्यकता होगी। | पाइपलाइन दृष्टिकोण ([[स्टेप्ड-वेज ट्रायल]] स्टेप्ड-वेज डिजाइन) तुलना समूह के रूप में बाद के चरण में एक परियोजना में भाग लेने के लिए पहले से चुने गए लाभार्थियों का उपयोग करता है। धारणा यह है कि जैसा कि उन्हें भविष्य में हस्तक्षेप प्राप्त करने के लिए चुना गया है, वे उपचार समूह के समान हैं, और इसलिए ब्याज के परिणाम चर के संदर्भ में तुलनीय हैं। हालाँकि, व्यवहार में, यह गारंटी नहीं दी जा सकती है कि उपचार और तुलना समूह तुलनीय हैं और तुलनात्मकता को सत्यापित करने के लिए मिलान की कुछ विधि लागू करने की आवश्यकता होगी। | ||
| Line 52: | Line 52: | ||
=== गैर-प्रयोगात्मक डिजाइन === | === गैर-प्रयोगात्मक डिजाइन === | ||
गैर-प्रयोगात्मक | गैर-प्रयोगात्मक प्रभावशाली मूल्यांकन तथाकथित हैं क्योंकि उनमें एक तुलना समूह सम्मिलित नहीं है जिसकी हस्तक्षेप तक पहुंच नहीं है। गैर-प्रयोगात्मक मूल्यांकन में उपयोग की जाने वाली विधि हस्तक्षेप के कार्यान्वयन से पहले और बाद में हस्तक्षेप समूहों की तुलना करना है। हस्तक्षेप [[बाधित समय-श्रृंखला]] (ITS) मूल्यांकन में हस्तक्षेप से पहले और बाद में उपचारित व्यक्तियों पर कई डेटा बिंदुओं की आवश्यकता होती है, जबकि पहले बनाम बाद में (या पूर्व-परीक्षण के बाद) डिज़ाइनों को पहले और बाद में केवल एक डेटा बिंदु की आवश्यकता होती है। परीक्षण के बाद के विश्लेषण में केवल हस्तक्षेप समूह के हस्तक्षेप के बाद के डेटा सम्मिलित हैं। गैर-प्रायोगिक डिजाइन सबसे निष्क्रिय मूल्यांकन डिजाइन हैं, क्योंकि हस्तक्षेप और परिणामों के बीच एक कारण संबंध को दृढ़ता से दिखाने के लिए, मूल्यांकन को यह प्रदर्शित करना चाहिए कि परिणामों के लिए संभावित वैकल्पिक स्पष्टीकरण अप्रासंगिक हैं। हालांकि, ऐसे अनुप्रयोग हैं जिनके लिए यह डिज़ाइन प्रासंगिक है, उदाहरण के लिए, हस्तक्षेप से समय-बचत की गणना करने में जो सुविधाओं तक पहुंच में सुधार करता है। इसके अतिरिक्त , ऐसे प्रकरण भी हो सकते हैं जहां गैर-प्रायोगिक डिजाइन एकमात्र व्यवहार्य प्रभावशाली मूल्यांकन डिजाइन हैं, जैसे कि सार्वभौमिक रूप से कार्यान्वित कार्यक्रम या राष्ट्रीय नीति सुधार जिसमें कोई पृथक तुलना समूह सम्मलित होने की संभावना नहीं है। | ||
== कार्यक्रम के प्रभावों का अनुमान लगाने में पक्षपात == | == कार्यक्रम के प्रभावों का अनुमान लगाने में पक्षपात == | ||
कार्यक्रम के | कार्यक्रम के प्रभावशाली का आकलन करने के लिए यादृच्छिक क्षेत्र प्रयोग सबसे मजबूत शोध डिजाइन हैं। इस विशेष शोध डिजाइन को सामान्यतः पसंद का डिजाइन कहा जाता है जब यह व्यवहार्य होता है क्योंकि यह कार्यक्रम के वास्तविक प्रभावों (रॉसी, लिप्से और फ्रीमैन, 2004) के निष्पक्ष और सटीक अनुमान की अनुमति देता है। | ||
उस के साथ, यादृच्छिक क्षेत्र प्रयोग सदैव करने के लिए संभव नहीं होते हैं और इन स्थितियों में वैकल्पिक अनुसंधान डिजाइन होते हैं जो एक मूल्यांकनकर्ता के निपटान में होते हैं। मुख्य समस्या हालांकि यह है कि एक मूल्यांकनकर्ता चाहे जो भी डिजाइन चुनता है, वे एक आम समस्या से ग्रस्त हैं: भले ही डिजाइन के माध्यम से कितनी अच्छी तरह से सोचा या अच्छी तरह से लागू किया गया हो, प्रत्येक डिजाइन कार्यक्रम प्रभावों के पक्षपातपूर्ण अनुमानों के अधीन है। ये पूर्वाग्रह कार्यक्रम के प्रभावों को बढ़ा-चढ़ाकर या कम करने की भूमिका निभाते हैं। इतना ही नहीं, (रॉसी एट अल।, 2004) लेकिन पूर्वाग्रह किस दिशा में ले जा सकता है, यह सामान्यतः पहले से ज्ञात नहीं किया जा सकता है। ये पक्षपात हितधारक के हित को प्रभावित करते हैं। इसके अतिरिक्त , यह संभव है कि कार्यक्रम के प्रतिभागियों को नुकसान हो, अगर पूर्वाग्रह इस तरह से है कि यह एक अप्रभावी या हानिकारक कार्यक्रम को प्रभावी बनाने में योगदान देता है। इस बात की भी संभावना है कि पक्षपात एक प्रभावी कार्यक्रम को अप्रभावी या यहां तक कि हानिकारक भी बना सकता है। यह संभवतः कार्यक्रम की उपलब्धियों को छोटा या महत्वहीन भी बना सकता है इसलिए कर्मियों को मजबूर कर सकता है और यहां तक कि (रॉसी एट अल।, 2004) कार्यक्रम के प्रायोजकों को कार्यक्रम के लिए धन को कम करने या समाप्त करने का कारण भी बना सकता है । | उस के साथ, यादृच्छिक क्षेत्र प्रयोग सदैव करने के लिए संभव नहीं होते हैं और इन स्थितियों में वैकल्पिक अनुसंधान डिजाइन होते हैं जो एक मूल्यांकनकर्ता के निपटान में होते हैं। मुख्य समस्या हालांकि यह है कि एक मूल्यांकनकर्ता चाहे जो भी डिजाइन चुनता है, वे एक आम समस्या से ग्रस्त हैं: भले ही डिजाइन के माध्यम से कितनी अच्छी तरह से सोचा या अच्छी तरह से लागू किया गया हो, प्रत्येक डिजाइन कार्यक्रम प्रभावों के पक्षपातपूर्ण अनुमानों के अधीन है। ये पूर्वाग्रह कार्यक्रम के प्रभावों को बढ़ा-चढ़ाकर या कम करने की भूमिका निभाते हैं। इतना ही नहीं, (रॉसी एट अल।, 2004) लेकिन पूर्वाग्रह किस दिशा में ले जा सकता है, यह सामान्यतः पहले से ज्ञात नहीं किया जा सकता है। ये पक्षपात हितधारक के हित को प्रभावित करते हैं। इसके अतिरिक्त , यह संभव है कि कार्यक्रम के प्रतिभागियों को नुकसान हो, अगर पूर्वाग्रह इस तरह से है कि यह एक अप्रभावी या हानिकारक कार्यक्रम को प्रभावी बनाने में योगदान देता है। इस बात की भी संभावना है कि पक्षपात एक प्रभावी कार्यक्रम को अप्रभावी या यहां तक कि हानिकारक भी बना सकता है। यह संभवतः कार्यक्रम की उपलब्धियों को छोटा या महत्वहीन भी बना सकता है इसलिए कर्मियों को मजबूर कर सकता है और यहां तक कि (रॉसी एट अल।, 2004) कार्यक्रम के प्रायोजकों को कार्यक्रम के लिए धन को कम करने या समाप्त करने का कारण भी बना सकता है । | ||
यह कहना सुरक्षित है कि यदि एक अपर्याप्त डिजाइन पूर्वाग्रह | यह कहना सुरक्षित है कि यदि एक अपर्याप्त डिजाइन पूर्वाग्रह उत्त्पन करता है, तो कार्यक्रम के वित्तपोषण के लिए बड़े पैमाने पर जिम्मेदार हितधारक सबसे अधिक चिंतित होंगे; मूल्यांकन के परिणाम हितधारकों को यह तय करने में मदद करते हैं कि कार्यक्रम को वित्त पोषण जारी रखना है या नहीं क्योंकि अंतिम निर्णय फंडर्स और प्रायोजकों के पास है। इसे चयन पूर्वाग्रह (रॉसी एट अल।, 2004) के रूप में जाना जाता है। न केवल हितधारक अधिकतर चिंतित हैं, बल्कि जो कार्यक्रम में भाग ले रहे हैं या जिन कार्यक्रमों को सकारात्मक रूप से प्रभावित करने का इरादा है, वे चुने गए डिज़ाइन और उस चुने हुए डिज़ाइन द्वारा प्रदान किए गए परिणाम से प्रभावित होंगे। इसलिए, (रॉसी एट अल।, 2004) मूल्यांकनकर्ता की चिंता कार्यक्रम प्रभावों के आकलन में पूर्वाग्रह की मात्रा को कम करना है। | ||
पूर्वाग्रह सामान्यतः दो स्थितियों में दिखाई देते हैं: जब प्रोग्राम एक्सपोज़र के साथ परिणाम का मापन या प्रोग्राम एक्सपोज़र के बिना परिणाम क्या होता, इसका अनुमान संबंधित सही मान (p267) से अधिक या कम होता है। दुर्भाग्य से (रॉसी एट अल।, 2004), सभी प्रकार के पूर्वाग्रह स्पष्ट नहीं हैं जो | पूर्वाग्रह सामान्यतः दो स्थितियों में दिखाई देते हैं: जब प्रोग्राम एक्सपोज़र के साथ परिणाम का मापन या प्रोग्राम एक्सपोज़र के बिना परिणाम क्या होता, इसका अनुमान संबंधित सही मान (p267) से अधिक या कम होता है। दुर्भाग्य से (रॉसी एट अल।, 2004), सभी प्रकार के पूर्वाग्रह स्पष्ट नहीं हैं जो प्रभावशाली मूल्यांकन से समझौता कर सकते हैं । | ||
प्रभावशाली मूल्यांकन डिजाइन का सबसे आम रूप व्यक्तियों या अन्य इकाइयों के दो समूहों की तुलना कर रहा है, एक हस्तक्षेप समूह जो कार्यक्रम प्राप्त करता है और एक नियंत्रण समूह जो नहीं करता है।(रॉसी एट अल।, 2004) कार्यक्रम के प्रभावशाली का अनुमान तब उपयुक्त परिणाम माप पर समूहों के बीच अंतर पर आधारित होता है । कार्यक्रम और नियंत्रण समूहों के लिए व्यक्तियों का यादृच्छिक समनुदेशन निरंतर समानता की धारणा बनाने की अनुमति देता है। यादृच्छिकीकरण के माध्यम से नहीं बनाई गई समूह तुलनाओं को गैर-समतुल्य तुलना डिजाइन (रॉसी एट अल।, 2004) के रूप में जाना जाता है। | |||
=== चयन पूर्वाग्रह === | === चयन पूर्वाग्रह === | ||
जब तुल्यता की धारणा का अभाव होता है, तो समूहों के बीच परिणाम में अंतर, जो बिना परवाह किए हुआ होता, कार्यक्रम प्रभावों के अनुमान में पूर्वाग्रह का एक रूप बनाता है। इसे चयन पूर्वाग्रह (रॉसी एट अल।, 2004) के रूप में जाना जाता है। यह एक गैर-समतुल्य समूह तुलना डिजाइन का उपयोग करके किसी भी | जब तुल्यता की धारणा का अभाव होता है, तो समूहों के बीच परिणाम में अंतर, जो बिना परवाह किए हुआ होता, कार्यक्रम प्रभावों के अनुमान में पूर्वाग्रह का एक रूप बनाता है। इसे चयन पूर्वाग्रह (रॉसी एट अल।, 2004) के रूप में जाना जाता है। यह एक गैर-समतुल्य समूह तुलना डिजाइन का उपयोग करके किसी भी प्रभावशाली मूल्यांकन में कार्यक्रम प्रभावशाली अनुमान की वैधता के लिए खतरा उत्त्पन करता है और उन स्थितियों में प्रकट होता है जहां प्रभावशाली के लिए जिम्मेदार कुछ प्रक्रिया जो पूरी तरह से ज्ञात नहीं हैं, चयन करती है कि कौन से व्यक्ति समूह के अतिरिक्त किस समूह में होंगे। शुद्ध अवसर द्वारा निर्धारित किए जा रहे समूहों को समनुदेशन (रॉसी एट अल।, 2004) यह प्रतिभागी स्व-चयन के कारण हो सकता है, या यह प्रोग्राम प्लेसमेंट (प्लेसमेंट पूर्वाग्रह) के कारण हो सकता है।<ref name=":0">{{Cite book|url=https://www.adb.org/sites/default/files/publication/392376/impact-evaluation-development-interventions-guide.pdf|title=Impact Evaluation of Development Interventions: A Practical Guide|last1=White|first1=Howard|last2=Raitzer|first2=David|publisher=Asian Development Bank|year=2017|isbn=978-92-9261-059-3|location=Manila}}</ref> | ||
चयन पूर्वाग्रह प्राकृतिक या जानबूझकर प्रक्रियाओं के माध्यम से हो सकता है जो पहले से ही गठित हस्तक्षेप और नियंत्रण समूहों के सदस्यों के लिए परिणाम डेटा के नुकसान का कारण बनता है। इसे एट्रिशन के रूप में जाना जाता है और यह दो तरीकों से आ सकता है (रॉसी एट अल।, 2004): हस्तक्षेप या नियंत्रण समूह से बाहर होने वाले लक्ष्यों तक नहीं पहुंचा जा सकता है या लक्ष्य माप में सहयोग करने से इनकार करते हैं। डिफरेंशियल एट्रिशन तब माना जाता है जब एट्रिशन स्पष्ट मौका प्रक्रिया (रॉसी एट अल।, 2004) के अतिरिक्त किसी चीज के परिणामस्वरूप होता है। ये पूर्वाग्रह कार्यक्रम के प्रभावों को बढ़ा-चढ़ाकर या कम करने की भूमिका निभाते हैं। इसका तात्पर्य यह है कि वे व्यक्ति जो हस्तक्षेप समूह से थे, जिनके परिणाम डेटा गायब हैं, उन्हें नियंत्रण समूह के समान परिणाम-प्रासंगिक विशेषताओं के रूप में नहीं माना जा सकता है, जिनके परिणाम डेटा गायब हैं (रॉसी एट अल।, 2004, p271)। हालांकि, यादृच्छिक समनुदेशन डिजाइन चयन पूर्वाग्रह से सुरक्षित नहीं हैं जो कि संघर्षण (रॉसी एट अल।, 2004) से प्रेरित है। | चयन पूर्वाग्रह प्राकृतिक या जानबूझकर प्रक्रियाओं के माध्यम से हो सकता है जो पहले से ही गठित हस्तक्षेप और नियंत्रण समूहों के सदस्यों के लिए परिणाम डेटा के नुकसान का कारण बनता है। इसे एट्रिशन के रूप में जाना जाता है और यह दो तरीकों से आ सकता है (रॉसी एट अल।, 2004): हस्तक्षेप या नियंत्रण समूह से बाहर होने वाले लक्ष्यों तक नहीं पहुंचा जा सकता है या लक्ष्य माप में सहयोग करने से इनकार करते हैं। डिफरेंशियल एट्रिशन तब माना जाता है जब एट्रिशन स्पष्ट मौका प्रक्रिया (रॉसी एट अल।, 2004) के अतिरिक्त किसी चीज के परिणामस्वरूप होता है। अन्य लेखक प्रभावशाली मूल्यांकन और प्रभावशाली मूल्यांकन के बीच अंतर करते हैं। इसे चयन पूर्वाग्रह (रॉसी एट अल।, 2004) के रूप में जाना जाता है। ये पूर्वाग्रह कार्यक्रम के प्रभावों को बढ़ा-चढ़ाकर या कम करने की भूमिका निभाते हैं। इसका तात्पर्य यह है कि वे व्यक्ति जो हस्तक्षेप समूह से थे, जिनके परिणाम डेटा गायब हैं, उन्हें नियंत्रण समूह के समान परिणाम-प्रासंगिक विशेषताओं के रूप में नहीं माना जा सकता है, जिनके परिणाम डेटा गायब हैं (रॉसी एट अल।, 2004, p271)। हालांकि, यादृच्छिक समनुदेशन डिजाइन चयन पूर्वाग्रह से सुरक्षित नहीं हैं जो कि संघर्षण (रॉसी एट अल।, 2004) से प्रेरित है। | ||
=== पूर्वाग्रह के अन्य रूप === | === पूर्वाग्रह के अन्य रूप === | ||
ऐसे अन्य कारक हैं जो | ऐसे अन्य कारक हैं जो प्रभावशाली मूल्यांकन के परिणामों में पक्षपात के लिए जिम्मेदार हो सकते हैं। ये सामान्यतः हस्तक्षेप के समय होने वाले कार्यक्रम को प्राप्त करने के अतिरिक्त अन्य घटनाओं या अनुभवों से संबंधित होते हैं। इन पूर्वाग्रहों में (रॉसी एट अल।, 2004) धर्मनिरपेक्ष रुझान, हस्तक्षेप करने वाली घटनाएं और परिपक्वता सम्मिलित हैं । | ||
====सेक्युलर रुझान या सेक्युलर बहाव==== | ====सेक्युलर रुझान या सेक्युलर बहाव==== | ||
| Line 82: | Line 82: | ||
==== दखल देने वाली घटनाएं ==== | ==== दखल देने वाली घटनाएं ==== | ||
हस्तक्षेप करने वाली घटनाएँ धर्मनिरपेक्ष प्रवृत्तियों के समान हैं; इस प्रकरण में यह अल्पकालिक घटनाएँ हैं जो परिवर्तन उत्पन्न कर सकती हैं जो कार्यक्रम के | हस्तक्षेप करने वाली घटनाएँ धर्मनिरपेक्ष प्रवृत्तियों के समान हैं; इस प्रकरण में यह अल्पकालिक घटनाएँ हैं जो परिवर्तन उत्पन्न कर सकती हैं जो कार्यक्रम के प्रभावशाली के अनुमानों में पूर्वाग्रह का परिचय दे सकती हैं, जैसे कि बिजली कटौती संचार को बाधित करना या भोजन की खुराक के वितरण में बाधा डालना पोषण कार्यक्रम (रॉसी 2004, पृ.273 और अन्य) के साथ हस्तक्षेप कर सकता है। | ||
==== परिपक्वता ==== | ==== परिपक्वता ==== | ||
प्रभावशाली मूल्यांकन को इस तथ्य को समायोजित करने की आवश्यकता है कि प्राकृतिक परिपक्व और विकासात्मक प्रक्रियाएं कार्यक्रम से स्वतंत्र रूप से काफी परिवर्तन ला सकती हैं। कार्यक्रम प्रभावों के अनुमानों में इन परिवर्तनों को सम्मिलित करने से पक्षपात अनुमानों का परिणाम होगा। पूर्वाग्रह के इस रूप का एक उदाहरण (रॉसी एट अल।, 2004, पी 273) वयस्कों के बीच निवारक स्वास्थ्य प्रथाओं में सुधार करने के लिए एक कार्यक्रम होगा जो अप्रभावी लग सकता है क्योंकि स्वास्थ्य सामान्यतः उम्र के साथ कम हो जाता है। | |||
यादृच्छिक समनुदेशन और परिणाम माप के बीच कार्यक्रम और नियंत्रण समूहों के लिए तुलनीय परिस्थितियों का सावधानीपूर्वक रखरखाव, समूहों पर अन्य अंतर अनुभवों या घटनाओं के | यादृच्छिक समनुदेशन और परिणाम माप के बीच कार्यक्रम और नियंत्रण समूहों के लिए तुलनीय परिस्थितियों का सावधानीपूर्वक रखरखाव, समूहों पर अन्य अंतर अनुभवों या घटनाओं के प्रभावशाली से पूर्वाग्रह को रोकना चाहिए। यदि इन शर्तों में से कोई भी डिजाइन(रॉसी एट अल।, 2004, पृ 274)से अनुपस्थित है, तो कार्यक्रम प्रभावशाली के अनुमानों में पूर्वाग्रह की संभावना है। | ||
== अनुमान के तरीके == | == अनुमान के तरीके == | ||
अनुमान के तरीके मोटे तौर पर मूल्यांकन डिजाइन का पालन करते हैं। प्रतितथ्यात्मक से कल्याण में परिवर्तन को मापने के लिए अलग-अलग डिज़ाइनों को अलग-अलग आकलन विधियों की आवश्यकता होती है। प्रायोगिक और अर्ध-प्रायोगिक मूल्यांकन में, हस्तक्षेप के अनुमानित | अनुमान के तरीके मोटे तौर पर मूल्यांकन डिजाइन का पालन करते हैं। प्रतितथ्यात्मक से कल्याण में परिवर्तन को मापने के लिए अलग-अलग डिज़ाइनों को अलग-अलग आकलन विधियों की आवश्यकता होती है। प्रायोगिक और अर्ध-प्रायोगिक मूल्यांकन में, हस्तक्षेप के अनुमानित प्रभावशाली की गणना उपचार समूह (हस्तक्षेप प्राप्त करने वाले) और नियंत्रण या तुलना समूह (जो नहीं करते हैं) के बीच औसत परिणामों में अंतर के रूप में की जाती है। इस पद्धति को यादृच्छिक नियंत्रण परीक्षण (आरसीटी) भी कहा जाता है। पत्रिका डी+सी डेवलपमेंट एंड कोऑपरेशन में अमेरिकन इवैल्यूएशन एसोसिएशन के पूर्व प्रतिनिधि जिम रफ के साथ एक साक्षात्कार के अनुसार, यह विधि जटिल, बहुपरत मामलों के लिए काम नहीं करती है। एकल अंतर अनुमानक अंत-पंक्ति पर माध्य परिणामों की तुलना करता है और वह मान्य होता है जहां उपचार और नियंत्रण समूहों के आधार रेखा पर समान परिणाम मान होते हैं। अंतर-में-अंतर (या दोहरा अंतर) अनुमानक उपचार और तुलना समूहों के लिए समय के साथ परिणाम में परिवर्तन में अंतर की गणना करता है, इस प्रकार दोनों समूहों के लिए आधार रेखा पर एकत्र किए गए डेटा का उपयोग करता है और अंत-रेखा पर एकत्र किए गए डेटा का दूसरा दौर होता है। हस्तक्षेप के कार्यान्वयन के बाद, जो वर्षों बाद हो सकता है।<ref>{{cite journal |last1=Rugh |first1=Jim |title=कीलों की तलाश में हथौड़ा|journal=D+C Development and Cooperation |date=June 22, 2012 |volume=2012 |issue=7 |page=300 |url=https://www.dandc.eu/en/article/narrowly-defined-evaluation-methods-are-hammer-search-nails}}</ref> | ||
लाभार्थी भागीदारी (जिसे 'अनुपालन' या 'अनुपालन' भी कहा जाता है) के बावजूद उपचार समूह में औसत परिणामों की तुलना करने के लिए | लाभार्थी भागीदारी (जिसे 'अनुपालन' या 'अनुपालन' भी कहा जाता है) के बावजूद उपचार समूह में औसत परिणामों की तुलना करने के लिए प्रभावशाली मूल्यांकन, तुलना समूह में परिणामों को इरादा-से-उपचार (आईटीटी) विश्लेषण के रूप में संदर्भित किया जाता है। अन्य लेखक प्रभावशाली मूल्यांकन और प्रभावशाली मूल्यांकन के बीच अंतर करते हैं। प्रभावशाली मूल्यांकन जो नियंत्रण समूह में परिणामों के लिए उपचार समूह में हस्तक्षेप का अनुपालन या पालन करने वाले लाभार्थियों के बीच परिणामों की तुलना करते हैं, उपचार-पर-इलाज (टीओटी) विश्लेषण के रूप में संदर्भित होते हैं। इसलिए आईटीटी प्रभावशाली का एक निम्न-बाध्य अनुमान प्रदान करता है, लेकिन यकीनन स्वैच्छिक कार्यक्रमों के विश्लेषण में टीओटी की तुलना में अधिक नीतिगत प्रासंगिकता है।<ref>[http://www.eric.ed.gov/PDFS/ED493363.pdf Bloom, H. (2006) The core analytics of randomized experiments for social research. MDRC Working Papers on Research Methodology. MDRC, New York]</ref> | ||
| Line 100: | Line 100: | ||
== वाद-विवाद == | == वाद-विवाद == | ||
जबकि | जबकि प्रभावशाली मूल्यांकन के महत्व पर सहमति है, और प्रतितथ्यात्मक मूल्यांकन विधियों के उपयोग के बारे में एक आम सहमति उभर रही है, हाल के वर्षों में प्रभावशाली मूल्यांकन की परिभाषा और उपयुक्त तरीकों के उपयोग दोनों पर व्यापक वाद विवाद हुई है (व्हाइट 2009 देखें)<ref>{{Cite web |url=http://www.3ieimpact.org/en/evaluation/working-papers/working-paper-1/ |title=White, H. (2009) Some reflections on current debates in impact evaluation, Working paper 1, International Initiative for Impact Evaluation, New Delhi |access-date=2012-10-29 |archive-url=https://web.archive.org/web/20130108142658/http://www.3ieimpact.org/en/evaluation/working-papers/working-paper-1/ |archive-date=2013-01-08 |url-status=dead }}</ref> सिंहावलोकन के लिए)। | ||
=== परिभाषाएँ === | === परिभाषाएँ === | ||
प्रभावशाली मूल्यांकन के लिए अंतर्राष्ट्रीय पहल (3ie) कठोर प्रभावशाली मूल्यांकन को इस प्रकार परिभाषित करता है: विश्लेषण जो किसी विशेष समूह के लोगों के लिए परिणामों में शुद्ध परिवर्तन को मापता है जिसे मूल्यांकन प्रश्न के लिए उपलब्ध सर्वोत्तम पद्धति, व्यवहार्य और उपयुक्त का उपयोग करके एक विशिष्ट कार्यक्रम के लिए जिम्मेदार ठहराया जा सकता है। जिसकी जांच की जा रही है और विशिष्ट संदर्भ में।<ref>{{cite web|url=http://www.3ieimpact.org/media/filer/2012/04/20/principles-for-impact-evaluation.pdf|title=लॉग इन करें|access-date=16 January 2017}}</ref> | |||
विश्व बैंक की डीआईएमई पहल के अनुसार, | विश्व बैंक की डीआईएमई पहल के अनुसार, प्रभावशाली मूल्यांकन एक कार्यक्रम के परिणामों की तुलना एक प्रतितथ्यात्मक के खिलाफ करता है जो दर्शाता है कि कार्यक्रम के बिना लाभार्थियों का क्या हुआ होगा। मूल्यांकन के अन्य रूपों के विपरीत, वे प्रायोगिक और अर्ध-प्रायोगिक डिजाइनों का पालन करके मूल्यांकन किए जा रहे कार्यक्रम के परिणामों में देखे गए परिवर्तनों के आरोपण की अनुमति देते हैं।<ref>[http://siteresources.worldbank.org/INTDEVIMPEVAINI/Resources/DIME_project_document-rev.pdf World Bank (n.d.) The Development IMpact Evaluation (DIME) Initiative, Project Document, World Bank, Washington, D.C.]</ref> | ||
इसी तरह, यूएस [[यूनाइडेट स्टेट्स पर्यावरणीय संरक्षण एजेंसी]] के अनुसार | इसी तरह, यूएस [[यूनाइडेट स्टेट्स पर्यावरणीय संरक्षण एजेंसी]] के अनुसार प्रभावशाली मूल्यांकन मूल्यांकन का एक रूप है जो कार्यक्रम के परिणामों की तुलना करके कार्यक्रम के शुद्ध प्रभावशाली का आकलन करता है कि कार्यक्रम की अनुपस्थिति में क्या हुआ होगा।<ref>[http://www.epa.gov/evaluate/glossary/i-esd.htm US Environmental Protection Agency Program Evaluation Glossary], accessed on January 6, 2008</ref> | ||
विश्व बैंक के [[स्वतंत्र मूल्यांकन समूह]] (आईईजी) के अनुसार, | विश्व बैंक के [[स्वतंत्र मूल्यांकन समूह]] (आईईजी) के अनुसार, प्रभावशाली मूल्यांकन सकारात्मक या नकारात्मक प्रभावों की व्यवस्थित पहचान है, व्यक्तिगत घरों, संस्थानों और किसी दिए गए विकास गतिविधि जैसे कार्यक्रम या परियोजना के कारण होने वाले पर्यावरण पर नहीं है।<ref>[http://www.worldbank.org/ieg/ie/ World Bank Independent Evaluation Group], accessed on January 6, 2008</ref> | ||
पिछले कुछ दशकों में | पिछले कुछ दशकों में प्रभावशाली मूल्यांकन को अलग तरह से परिभाषित किया गया है।<ref name="worldbank.org" />प्रभावशाली मूल्यांकन की अन्य व्याख्याओं में सम्मिलित हैं: | ||
*एक मूल्यांकन जो अंतिम कल्याण परिणामों पर एक हस्तक्षेप के | *एक मूल्यांकन जो अंतिम कल्याण परिणामों पर एक हस्तक्षेप के प्रभावशाली को देखता है, न कि केवल परियोजना के आउटपुट पर, या एक प्रक्रिया मूल्यांकन जो कार्यान्वयन पर केंद्रित है; | ||
*हस्तक्षेप पूरा होने के कुछ समय बाद (पांच से दस साल) एक मूल्यांकन किया जाता है ताकि | *हस्तक्षेप पूरा होने के कुछ समय बाद (पांच से दस साल) एक मूल्यांकन किया जाता है ताकि प्रभावशाली प्रकट होने के लिए समय मिल सके; और | ||
*किसी दिए गए क्षेत्र या भौगोलिक क्षेत्र के अंतर्गत सभी हस्तक्षेपों पर विचार करते हुए एक मूल्यांकन। | *किसी दिए गए क्षेत्र या भौगोलिक क्षेत्र के अंतर्गत सभी हस्तक्षेपों पर विचार करते हुए एक मूल्यांकन। | ||
अन्य लेखक | अन्य लेखक प्रभावशाली मूल्यांकन और प्रभावशाली मूल्यांकन के बीच अंतर करते हैं। प्रभावशाली मूल्यांकन हस्तक्षेपों और उनके सांख्यिकीय महत्व के प्रभावों का अनुमान लगाने के लिए अनुभवजन्य तकनीकों का उपयोग करता है, जबकि प्रभावशाली मूल्यांकन में विधियों का एक व्यापक सेट सम्मिलित है, जिसमें संरचनात्मक सिमुलेशन और अन्य दृष्टिकोण सम्मिलित हैं जो सांख्यिकीय महत्व के लिए परीक्षण नहीं कर सकते हैं।<ref name=":0" /> | ||
मूल्यांकन में प्रयुक्त 'प्रभाव' की सामान्य परिभाषाएं सामान्यतः जीवन की गुणवत्ता के परिणामों पर हस्तक्षेप से जुड़े दीर्घकालिक परिणामों की समग्रता को संदर्भित करती हैं। उदाहरण के लिए, आर्थिक सहयोग और विकास संगठन की विकास सहायता समिति (ओईसीडी-डीएसी) सकारात्मक और नकारात्मक, प्राथमिक और द्वितीयक दीर्घकालिक प्रभावों के रूप में | मूल्यांकन में प्रयुक्त 'प्रभाव' की सामान्य परिभाषाएं सामान्यतः जीवन की गुणवत्ता के परिणामों पर हस्तक्षेप से जुड़े दीर्घकालिक परिणामों की समग्रता को संदर्भित करती हैं। उदाहरण के लिए, आर्थिक सहयोग और विकास संगठन की विकास सहायता समिति (ओईसीडी-डीएसी) सकारात्मक और नकारात्मक, प्राथमिक और द्वितीयक दीर्घकालिक प्रभावों के रूप में प्रभावशाली को प्रत्यक्ष या अप्रत्यक्ष रूप से, इच्छित या अनपेक्षित रूप से विकास के हस्तक्षेप से उत्पन्न करता है।<ref>[http://www.oecd.org/dataoecd/8/43/40501129.pdf OECD-DAC (2002) Glossary of Key Terms in Evaluation and Results-Based Management Proposed Harmonized Terminology, OECD, Paris]</ref> कई अंतरराष्ट्रीय एजेंसियों ने भी प्रभावशाली की इस परिभाषा को अपनाया है। उदाहरण के लिए, यूनिसेफ प्रभावशाली को एक कार्यक्रम के दीर्घकालिक परिणामों के रूप में परिभाषित करता है - तकनीकी, आर्थिक, सामाजिक-सांस्कृतिक, संस्थागत, पर्यावरण या अन्य - चाहे इरादा हो या अनपेक्षित। इच्छित प्रभावशाली कार्यक्रम के लक्ष्य के अनुरूप होना चाहिए।<ref>[http://www.unicef.org/evaldatabase/files/UNICEF_Eval_Report_Standards.pdf UNICEF (2004) UNICEF Evaluation Report Standards, Evaluation Office, UNICEF NYHQ, New York]</ref> इसी तरह, Evaluationwiki.org प्रभावशाली मूल्यांकन को एक ऐसे मूल्यांकन के रूप में परिभाषित करता है जो नीतियों, निर्देशों या सेवाओं के तत्काल परिणामों से परे दिखता है ताकि दीर्घकालिक और साथ ही अनपेक्षित कार्यक्रम प्रभावों की पहचान की जा सके।<ref>{{cite web|url=http://www.evaluationwiki.org/index.php/Evaluation_Definition:_What_is_Evaluation%3F#Impact_Evaluations|title=Evaluation Definition: What is Evaluation? - EvaluationWiki|access-date=16 January 2017}}</ref> | ||
तकनीकी रूप से, एक प्रतितथ्यात्मक संदर्भ के बिना यहां परिभाषित 'प्रभाव' का आकलन करने के लिए एक मूल्यांकन किया जा सकता है। हालाँकि, अधिकांश मौजूदा साहित्य (उदाहरण के लिए, | तकनीकी रूप से, एक प्रतितथ्यात्मक संदर्भ के बिना यहां परिभाषित 'प्रभाव' का आकलन करने के लिए एक मूल्यांकन किया जा सकता है। अन्य लेखक प्रभावशाली मूल्यांकन और प्रभावशाली मूल्यांकन के बीच अंतर करते हैं। हालाँकि, अधिकांश मौजूदा साहित्य (उदाहरण के लिए, प्रभावशाली मूल्यांकन पर एनओएनआईई दिशानिर्देश<ref name="worldbank.org1">{{cite web|url=http://www.worldbank.org/ieg/nonie/guidance.html|title=पृष्ठ नहीं मिला|access-date=16 January 2017}}</ref> आवश्यक रूप से प्रतितथ्यात्मक विश्लेषण के आधार पर एक हस्तक्षेप के प्रभावशाली को श्रेय देने के लिए उपयोग की जाने वाली तकनीकों का संदर्भ देते हुए प्रभावशाली की ओईसीडी-डीएसी परिभाषा को अपनाता है। | ||
शब्द 'प्रभाव' मूल्यांकन से जो गायब है वह 'प्रभाव' दीर्घकालिक दिखाता है। उदाहरण के लिए, अधिकांश | शब्द 'प्रभाव' मूल्यांकन से जो गायब है वह 'प्रभाव' दीर्घकालिक दिखाता है। उदाहरण के लिए, अधिकांश जाँच करने और मूल्यांकन 'तार्किक रूपरेखा' योजनाओं में इनपुट-आउटपुट-परिणाम और... प्रभावशाली होते हैं। जबकि पहले तीन परियोजना अवधि के समय ही दिखाई देते हैं, प्रभावशाली होने में अधिक समय लगता है। उदाहरण के लिए, 5-वर्षीय कृषि परियोजना में, बीज इनपुट हैं, किसानों को हमारे उत्पादों का उपयोग करने के लिए प्रशिक्षित किया जाता है, परिणाम में बीजों को ठीक से लगाए जाने के परिणामस्वरूप फसल की पैदावार में परिवर्तन होता है और समय के साथ परिवारों का अधिक स्थायी रूप से भोजन सुरक्षित होना एक प्रभाव। अन्य लेखक प्रभावशाली मूल्यांकन और प्रभावशाली मूल्यांकन के बीच अंतर करते हैं। ऐसे [http://valuingvoices.com/sustained-impact-post-project-ex-post-little-proof-at-3ie/ पोस्ट-प्रोजेक्ट प्रभावशाली मूल्यांकन] बहुत दुर्लभ हैं। उन्हें पूर्व-पोस्ट मूल्यांकन भी कहा जाता है या हम इस शब्द को गढ़ रहे हैं [http://valuingvoices.com/what-happens-after-the-project-ends-lessons-from-post-project-sustained-impact-evaluations-part -1/सतत प्रभावशाली मूल्यांकन]। जबकि सैकड़ों-हजारों दस्तावेज़ों की आवश्यकता होती है, दानदाताओं के पास यह देखने के लिए वापस लौटने के लिए फंडिंग लचीलापन - या रुचि - शायद ही होती है कि परियोजना के बंद होने के बाद, संसाधनों को वापस लेने के बाद हमारे हस्तक्षेप कितने टिकाऊ और टिकाऊ बने रहे। डिजाइन, कार्यान्वयन के लिए सीखने के लिए कई [http://valuingvoices.com/what-happens-after-the-project-ends-lessons-from-post-project-sustained-impact-evaluations-part-1/ पाठ हैं , एम एंड ई] और कैसे बढ़ावा दें [http://valuingvoices.com/what-happens-after-the-project-ends-country-national-ownership-lessons-from-post-project-sustained-impact-evaluations-part- 2/ देश-स्वामित्व]। | ||
=== कार्यप्रणाली संबंधी वाद विवाद === | === कार्यप्रणाली संबंधी वाद विवाद === | ||
एक तरफ प्रयोगात्मक तरीकों के समर्थकों और दूसरी तरफ अधिक सामान्य तरीकों के समर्थकों के बीच | एक तरफ प्रयोगात्मक तरीकों के समर्थकों और दूसरी तरफ अधिक सामान्य तरीकों के समर्थकों के बीच प्रभावशाली मूल्यांकन के लिए उपयुक्त पद्धतियों के आसपास अकादमिक हलकों में गहन वाद विवाद चल रही है। विलियम ईस्टरली ने इसे [http://aidwatchers.com/2009/12/the-civil-war-in-Development- अर्थशास्त्र/ 'द सिविल वॉर इन डेवलपमेंट इकोनॉमिक्स'] के रूप में संदर्भित किया है। प्रायोगिक डिजाइन के समर्थक, जिन्हें कभी-कभी 'रैंडोमिस्टस' कहा जाता है,<ref name="auto"/>तर्कहीन चयन पूर्वाग्रह को सुनिश्चित करने के लिए रैंडमाइजेशन का एकमात्र साधन है, और यह कि प्रायोगिक प्रायोगिक साक्ष्य आधार का निर्माण प्राथमिकता के रूप में विकसित किया जाना चाहिए।<ref>{{cite web|url=http://www.mdgoals.net/wp-content/uploads/banerjee.pdf|title=Banerjee, A. V. (2007) 'Making Aid Work' Cambridge, Boston Review Book, MIT Press, MA|access-date=16 January 2017}}{{Dead link|date=January 2020 |bot=InternetArchiveBot |fix-attempted=yes }}</ref> इसके विपरीत, दूसरों का तर्क है कि यादृच्छिक समनुदेशन विकास हस्तक्षेपों के लिए शायद ही कभी उपयुक्त होता है और जब ऐसा होता है, तब भी प्रयोग हमें एक विशिष्ट संदर्भ में लागू एक विशिष्ट हस्तक्षेप के परिणामों के बारे में जानकारी प्रदान करते हैं, और बाहरी प्रासंगिकता बहुत कम होती है।<ref>[http://www.eric.ed.gov/ERICWebPortal/custom/portlets/recordDetails/detailmini.jsp?_nfpb=true&_&ERICExtSearch_SearchValue_0=EJ800319&ERICExtSearch_SearchType_0=no&accno=EJ800319 Bamberger, M. and White, H. (2007) Using Strong Evaluation Designs in Developing Countries: Experience and Challenges, Journal of MultiDisciplinary Evaluation, Volume 4, Number 8, 58-73]</ref> मूल्यांकन निकायों और अन्य लोगों की ओर से आलोचना की गई है कि कुछ दाताओं और शिक्षाविदों ने प्रभावशाली मूल्यांकन के लिए पसंदीदा तरीकों पर अधिक बल दिया है,<ref>http://www.europeanevaluation.org/download/?noGzip=1&id=1969403{{Dead link|date=January 2020 |bot=InternetArchiveBot |fix-attempted=yes }} EES Statement on the importance of a methodologically diverse approach to impact evaluation</ref> और यह वास्तव में सीखने और उत्तरदायित्व को बाधित कर सकता है।<ref>http://www.odi.org.uk/resources/odi-publications/opinions/127-impact-evaluation.pdf The 'gold standard' is not a silver bullet for evaluation</ref> इसके अतिरिक्त , प्रभावशाली मूल्यांकन के अंतर्गत गुणात्मक तरीकों की उपयुक्त भूमिका के बारे में वाद विवाद हुई है।<ref>{{Cite web | url=https://www.odi.org/publications/430-aid-effectiveness-role-qualitative-research-impact-evaluation | title=Aid effectiveness: The role of qualitative research in impact evaluation| date=27 June 2014}}</ref><ref>{{Cite journal | doi=10.1177/146499341201300104|title = विकास सहायता की गुणवत्ता में सुधार| journal=Progress in Development Studies| volume=13| pages=51–61|year = 2013|last1 = Prowse|first1 = Martin| last2=Camfield| first2=Laura|s2cid = 44482662}}</ref> | ||
=== सिद्धांत आधारित | === सिद्धांत आधारित प्रभावशाली मूल्यांकन === | ||
जबकि प्रभावशीलता का ज्ञान महत्वपूर्ण है, प्रभावशीलता के कारणों और उन परिस्थितियों को समझना भी महत्वपूर्ण है जिनके अनुसार परिणामों को दोहराने की संभावना है। 'ब्लैक बॉक्स' | जबकि प्रभावशीलता का ज्ञान महत्वपूर्ण है, प्रभावशीलता के कारणों और उन परिस्थितियों को समझना भी महत्वपूर्ण है जिनके अनुसार परिणामों को दोहराने की संभावना है। 'ब्लैक बॉक्स' प्रभावशाली मूल्यांकन दृष्टिकोण के विपरीत, जो केवल उपचार और तुलना समूहों के बीच परिणामों में अंतर की रिपोर्ट करता है, सिद्धांत-आधारित प्रभावशाली मूल्यांकन में इनपुट से परिणाम तक कारण श्रृंखला को मैप करना और अंतर्निहित मान्यताओं का प्रभावशाली और परीक्षण करना सम्मिलित है।<ref name="3ieimpact.org">{{Cite web |url=http://www.3ieimpact.org/en/evaluation/working-papers/working-paper-3/ |title=White, H. (2009b) Theory-based impact evaluation: Principles and practice, Working Paper 3, International Initiative for Impact Evaluation, New Delhi |access-date=2012-10-29 |archive-url=https://web.archive.org/web/20121106074931/http://www.3ieimpact.org/en/evaluation/working-papers/working-paper-3/ |archive-date=2012-11-06 |url-status=dead }}</ref><ref name="worldbank.org1"/>सार्वजनिक नीति के दायरे में अधिकांश हस्तक्षेप स्वैच्छिक (कानूनी रूप से आवश्यक) प्रकृति के अतिरिक्त स्वैच्छिक हैं। इसके अतिरिक्त , हस्तक्षेप अधिकांशतः निष्क्रिय के अतिरिक्त सक्रिय होते हैं, जिसके लिए लाभार्थियों के बीच कम भागीदारी की अतिरिक्त अधिक भागीदारी की आवश्यकता होती है और इसलिए प्रभावशीलता के लिए पूर्व-आवश्यकता के रूप में व्यवहार परिवर्तन होता है। इसलिए सार्वजनिक नीति इस हद तक सफल होगी कि लोगों को अपने व्यवहार को अनुकूल रूप से बदलने के लिए प्रोत्साहित किया जाएगा। एक सिद्धांत-आधारित दृष्टिकोण नीति-निर्माताओं को कार्यक्रम की भागीदारी के विभिन्न स्तरों ('अनुपालन' या 'अनुपालन' के रूप में संदर्भित) और व्यवहार परिवर्तन को निर्धारित करने वाली प्रक्रियाओं के कारणों को समझने में सक्षम बनाता है। सिद्धांत-आधारित दृष्टिकोण मात्रात्मक और गुणात्मक डेटा संग्रह दोनों का उपयोग करते हैं, और उत्तरार्द्ध अनुपालन के कारणों को समझने में विशेष रूप से उपयोगी हो सकता है और इसलिए अन्य सेटिंग्स में हस्तक्षेप को कैसे और कैसे दोहराया जा सकता है। गुणात्मक डेटा संग्रह के तरीकों में फोकस समूह, गहन साक्षात्कार, भागीदारी ग्रामीण मूल्यांकन (पीआरए) और क्षेत्र का दौरा, साथ ही मानवशास्त्रीय और राजनीतिक साहित्य पढ़ना सम्मिलित है। | ||
सफेद (2009 बी)<ref name="3ieimpact.org"/>सिद्धांत-आधारित दृष्टिकोण के छह प्रमुख सिद्धांतों को रेखांकित करते हुए | सफेद (2009 बी)<ref name="3ieimpact.org"/>सिद्धांत-आधारित दृष्टिकोण के छह प्रमुख सिद्धांतों को रेखांकित करते हुए प्रभावशाली मूल्यांकन की नीतिगत प्रासंगिकता में सुधार के साधन के रूप में मूल्यांकन को प्रभावित करने के लिए एक सिद्धांत-आधारित दृष्टिकोण के अधिक व्यापक अनुप्रयोग की वकालत करता है: | ||
# कार्य-कारण श्रृंखला (कार्यक्रम सिद्धांत) को मानचित्रित करें जो यह बताती है कि हस्तक्षेप से इच्छित परिणामों की ओर कैसे ले जाने की उम्मीद की जाती है, और कारण लिंक की अंतर्निहित मान्यताओं का परीक्षण करने के लिए डेटा एकत्र करें। | # कार्य-कारण श्रृंखला (कार्यक्रम सिद्धांत) को मानचित्रित करें जो यह बताती है कि हस्तक्षेप से इच्छित परिणामों की ओर कैसे ले जाने की उम्मीद की जाती है, और कारण लिंक की अंतर्निहित मान्यताओं का परीक्षण करने के लिए डेटा एकत्र करें। | ||
# हस्तक्षेप की सामाजिक, राजनीतिक और आर्थिक सेटिंग सहित संदर्भ को समझें। | # हस्तक्षेप की सामाजिक, राजनीतिक और आर्थिक सेटिंग सहित संदर्भ को समझें। | ||
# उप-समूहों की पहचान करने और विश्लेषण में उपयोग किए जाने वाले डिसएग्रीगेशन के स्तरों के लिए नमूना आकार को समायोजित करने में मदद करने के लिए विषमता का अनुमान लगाएं। | # उप-समूहों की पहचान करने और विश्लेषण में उपयोग किए जाने वाले डिसएग्रीगेशन के स्तरों के लिए नमूना आकार को समायोजित करने में मदद करने के लिए विषमता का अनुमान लगाएं। | ||
# एक विश्वसनीय प्रतितथ्यात्मक (जैसा कि ऊपर चर्चा की गई है) का उपयोग करके | # एक विश्वसनीय प्रतितथ्यात्मक (जैसा कि ऊपर चर्चा की गई है) का उपयोग करके प्रभावशाली का कठोर मूल्यांकन। | ||
# कारण श्रृंखला में कड़ियों का कठोर तथ्यात्मक विश्लेषण। | # कारण श्रृंखला में कड़ियों का कठोर तथ्यात्मक विश्लेषण। | ||
# मिश्रित विधियों (मात्रात्मक और गुणात्मक विधियों का संयोजन) का उपयोग करें। | # मिश्रित विधियों (मात्रात्मक और गुणात्मक विधियों का संयोजन) का उपयोग करें। | ||
| Line 143: | Line 143: | ||
== उदाहरण == | == उदाहरण == | ||
जबकि 1980 के दशक के बाद से विकासशील देशों में पोषण और पानी और स्वच्छता हस्तक्षेपों का आकलन करने के लिए प्रायोगिक | जबकि 1980 के दशक के बाद से विकासशील देशों में पोषण और पानी और स्वच्छता हस्तक्षेपों का आकलन करने के लिए प्रायोगिक प्रभावशाली मूल्यांकन पद्धतियों का उपयोग किया गया है, बड़े पैमाने के विकास कार्यक्रम के लिए प्रायोगिक तरीकों का पहला और सबसे प्रसिद्ध अनुप्रयोग सशर्त नकद हस्तांतरण का मूल्यांकन है ( सीसीटी) कार्यक्रम प्रोग्रेसा (जिसे अब [[अवसर]] कहा जाता है) मेक्सिको में, जिसने स्कूली शिक्षा, टीकाकरण दर और बाल कार्य सहित कई विकास परिणामों की जांच की।<ref>[http://www.ifpri.org/sites/default/files/publications/gertler_health.pdf Gertler, P. (2000) Final Report: The Impact of PROGRESA on Health. International Food Policy Research Institute, Washington, D.C.]</ref><ref>{{cite web|url=http://athena.sas.upenn.edu/~petra/papers/trans18.pdf|title=शीर्षक विहीन दस्तावेज़|access-date=16 January 2017}}</ref> लैटिन अमेरिका और अन्य जगहों पर कई सरकारों द्वारा सीसीटी कार्यक्रमों को लागू किया गया है, और विश्व बैंक द्वारा फरवरी 2009 में जारी एक रिपोर्ट में बीस देशों में सीसीटी के प्रभावशाली की जांच की गई है।इसलिए सार्वजनिक नीति इस हद तक सफल होगी कि लोगों को अपने व्यवहार को अनुकूल रूप से बदलने के लिए प्रोत्साहित किया जाएगा।<ref>Fiszbein, A. and Schady, N. (2009) Conditional Cash Transfers: Reducing present and future poverty: A World Bank Policy Research Report, World Bank, Washington, D.C.</ref> | ||
हाल ही में, सामाजिक और उत्पादक क्षेत्रों में हस्तक्षेपों की एक श्रृंखला के लिए | हाल ही में, सामाजिक और उत्पादक क्षेत्रों में हस्तक्षेपों की एक श्रृंखला के लिए प्रभावशाली मूल्यांकन लागू किया गया है। 3ie ने एक ऑनलाइन [http://www.3ieimpact.org/database_of_impact_evaluations.html प्रभावशाली मूल्यांकन का डेटाबेस] लॉन्च किया है जिसमें कम और मध्यम आय वाले देशों में किए गए अध्ययन सम्मिलित हैं। प्रभावशाली मूल्यांकन प्रकाशित करने वाले अन्य संगठनों में सम्मिलित हैं [http://poverty-action.org/work/publications गरीबी कार्रवाई के लिए नवाचार], विश्व बैंक की [http://www.worldbank.org/dime डीआईएमई पहल] और [http:// www.worldbank.org/ieg/nonie/papers.html एनओएनआईई ]। मूल्यांकन में प्रयुक्त 'प्रभाव' की सामान्य परिभाषाएं सामान्यतः जीवन की गुणवत्ता के परिणामों पर हस्तक्षेप से जुड़े दीर्घकालिक परिणामों की समग्रता को संदर्भित करती हैं। विश्व बैंक के स्वतंत्र मूल्यांकन समूह ने पिछले 20 वर्षों में किए गए विभिन्न क्षेत्रों में विकास कार्यक्रमों के दस प्रभावशाली मूल्यांकन के अनुभव का व्यवस्थित रूप से आकलन और सारांश किया है।<ref>[http://lnweb18.worldbank.org/oed/oeddoclib.nsf/DocUNIDViewForJavaSearch/35BC420995BF58F8852571E00068C6BD/$file/impact_evaluation.pdf Impact Evaluation: The Experience of the Independent Evaluation Group of the World Bank, 2006]</ref> | ||
== विकास हस्तक्षेपों के | == विकास हस्तक्षेपों के प्रभावशाली मूल्यांकन को बढ़ावा देने वाले संगठन == | ||
2006 में, इवैल्यूएशन गैप वर्किंग ग्रुप<ref>{{cite web|url=https://www.cgdev.org/publication/when-will-we-ever-learn-improving-lives-through-impact-evaluation|title=When Will We Ever Learn? Improving Lives Through Impact Evaluation|access-date=16 January 2017}}</ref> विकास हस्तक्षेपों पर सबूतों में एक बड़े अंतर के लिए तर्क दिया, और विशेष रूप से एक स्वतंत्र निकाय के लिए जो निम्न और मध्यम आय वाले देशों में धन और कठोर | 2006 में, इवैल्यूएशन गैप वर्किंग ग्रुप<ref>{{cite web|url=https://www.cgdev.org/publication/when-will-we-ever-learn-improving-lives-through-impact-evaluation|title=When Will We Ever Learn? Improving Lives Through Impact Evaluation|access-date=16 January 2017}}</ref> विकास हस्तक्षेपों पर सबूतों में एक बड़े अंतर के लिए तर्क दिया, और विशेष रूप से एक स्वतंत्र निकाय के लिए जो निम्न और मध्यम आय वाले देशों में धन और कठोर प्रभावशाली मूल्यांकन की वकालत करके अंतर को पाटने के लिए स्थापित किया गया। इस रिपोर्ट के जवाब में [http://www.3ieimpact.org इंटरनेशनल इनिशिएटिव फॉर इंपैक्ट इवैल्यूएशन (3ie)] की स्थापना की गई थी। 3ie कम और मध्यम आय वाले देशों में गरीब लोगों के जीवन को बेहतर बनाने का प्रयास करता है, जो कि क्या काम करता है, कब, क्यों और कितना काम करता है, इसका सारांश प्रदान करता है। 3ie एक अनुदान कार्यक्रम संचालित करता है, निम्न और मध्यम आय वाले देशों में प्रभावशाली अध्ययन का वित्तपोषण करता है और नए साक्ष्य के रूप में अपडेट किए गए मौजूदा साक्ष्य की सिंथेटिक समीक्षा करता है, और इसकी गुणवत्ता आश्वासन सेवाओं के माध्यम से गुणवत्ता प्रभावशाली मूल्यांकन का समर्थन करता है। | ||
प्रभावों के मूल्यांकन के लिए समर्पित एक अन्य पहल है [https://web.archive.org/web/20101108212501/http://www.sustainablecommodities.org/COSA सस्टेनेबिलिटी असेसमेंट पर समिति (सीओएसए)]। सीओएसए संस्थानों का एक गैर-लाभकारी वैश्विक संघ है, जो [[सतत विकास के लिए अंतर्राष्ट्रीय संस्थान]] (आईआईएसडी) [[सस्टेनेबल कमोडिटी इनिशिएटिव]], [[व्यापार एवं विकास पर संयुक्त राष्ट्र का सम्मेलन]] (यूएनसीटीएडी), और यूनाइटेड नेशंस [[ अंतर्राष्ट्रीय व्यापार केंद्र |अंतर्राष्ट्रीय व्यापार केंद्र]] (आईटीसी) के साथ साझेदारी में कायम है। . सीओएसए कृषि प्रथाओं के विशिष्ट सामाजिक, पर्यावरणीय और आर्थिक प्रभावों का विश्लेषण करने के लिए एक स्वतंत्र माप उपकरण विकसित और लागू कर रहा है, और विशेष रूप से विशिष्ट स्थिरता कार्यक्रमों (ऑर्गेनिक, [[ निष्पक्ष व्यापार |निष्पक्ष व्यापार]] आदि) के कार्यान्वयन से जुड़े हैं। पहल का फोकस वैश्विक संकेतकों और माप उपकरणों को स्थापित करना है, जिसका उपयोग किसान, नीति-निर्माता और उद्योग विभिन्न फसलों या कृषि क्षेत्रों के साथ अपनी स्थिरता को समझने और सुधारने के लिए कर सकते हैं। सीओएसए का उद्देश्य किसी दी गई स्थिरता पहल में सम्मिलित होने की सापेक्ष लागतों और लाभों की सही गणना करने में सक्षम बनाकर इसे सुविधाजनक बनाना है। | प्रभावों के मूल्यांकन के लिए समर्पित एक अन्य पहल है [https://web.archive.org/web/20101108212501/http://www.sustainablecommodities.org/COSA सस्टेनेबिलिटी असेसमेंट पर समिति (सीओएसए)]। सीओएसए संस्थानों का एक गैर-लाभकारी वैश्विक संघ है, जो [[सतत विकास के लिए अंतर्राष्ट्रीय संस्थान]] (आईआईएसडी) [[सस्टेनेबल कमोडिटी इनिशिएटिव]], [[व्यापार एवं विकास पर संयुक्त राष्ट्र का सम्मेलन]] (यूएनसीटीएडी), और यूनाइटेड नेशंस [[ अंतर्राष्ट्रीय व्यापार केंद्र |अंतर्राष्ट्रीय व्यापार केंद्र]] (आईटीसी) के साथ साझेदारी में कायम है। . सीओएसए कृषि प्रथाओं के विशिष्ट सामाजिक, पर्यावरणीय और आर्थिक प्रभावों का विश्लेषण करने के लिए एक स्वतंत्र माप उपकरण विकसित और लागू कर रहा है, और विशेष रूप से विशिष्ट स्थिरता कार्यक्रमों (ऑर्गेनिक, [[ निष्पक्ष व्यापार |निष्पक्ष व्यापार]] आदि) के कार्यान्वयन से जुड़े हैं। पहल का फोकस वैश्विक संकेतकों और माप उपकरणों को स्थापित करना है, जिसका उपयोग किसान, नीति-निर्माता और उद्योग विभिन्न फसलों या कृषि क्षेत्रों के साथ अपनी स्थिरता को समझने और सुधारने के लिए कर सकते हैं। सीओएसए का उद्देश्य किसी दी गई स्थिरता पहल में सम्मिलित होने की सापेक्ष लागतों और लाभों की सही गणना करने में सक्षम बनाकर इसे सुविधाजनक बनाना है। | ||
विश्व स्तर पर | विश्व स्तर पर प्रभावशाली मूल्यांकन को बढ़ावा देने के लिए कई अतिरिक्त संगठन स्थापित किए गए हैं, जिनमें [http://poverty-action.org/ इनोवेशन फॉर पॉवर्टी एक्शन], [http://www.worldbank.org/en/programs/sief- । ट्रस्ट-फंड विश्व बैंक का सामरिक प्रभावशाली मूल्यांकन कोष (एसआईईएफ)], विश्व बैंक का विकास प्रभावशाली मूल्यांकन (डाइम) पहल, [https://web.archive.org/web/20100716204207/http://www.cgiar-ilac .org/ इंस्टीट्यूशनल लर्निंग एंड चेंज (आईएलएसी) इनिशिएटिव] ऑफ द सीजीआईएआर, और [http://www.worldbank.org/ieg/nonie/ टवर्क ऑफ नेटवर्क्स ऑन इंपैक्ट इवैल्यूएशन (एनओएनआईई) की पहल (एनओएनआईई )][http://www.worldbank.org/en/programs/sief- सम्मिलित हैं] | ||
== | == प्रभावशाली साक्ष्य की [[व्यवस्थित समीक्षा]] == | ||
व्यवस्थित समीक्षाओं के उत्पादन के समन्वय के लिए कई संगठन काम कर रहे हैं। व्यवस्थित समीक्षाओं का उद्देश्य किसी विशेष विषय पर मौजूदा साक्ष्यों की सीमा का आकलन करके और एक सुलभ प्रारूप में जानकारी प्रस्तुत करके अनुसंधान-नीति विभाजन को पाटना है। कठोर | व्यवस्थित समीक्षाओं के उत्पादन के समन्वय के लिए कई संगठन काम कर रहे हैं। व्यवस्थित समीक्षाओं का उद्देश्य किसी विशेष विषय पर मौजूदा साक्ष्यों की सीमा का आकलन करके और एक सुलभ प्रारूप में जानकारी प्रस्तुत करके अनुसंधान-नीति विभाजन को पाटना है। कठोर प्रभावशाली मूल्यांकन की तरह, वे एक अध्ययन प्रोटोकॉल से विकसित होते हैं जो अध्ययन समावेशन, खोज और संश्लेषण के तरीकों के लिए प्राथमिकता मानदंड निर्धारित करता है। व्यवस्थित समीक्षाओं में पाँच प्रमुख चरण सम्मिलित हैं: सम्मिलित किए जाने वाले हस्तक्षेपों, जनसंख्या, परिणामों और अध्ययन डिज़ाइनों का निर्धारण; प्रकाशित और अप्रकाशित साहित्य की पहचान करने के लिए खोज, और अध्ययन समावेशन मानदंड (हस्तक्षेप, जनसंख्या, परिणाम और अध्ययन डिजाइन से संबंधित) के आवेदन, जैसा कि अध्ययन प्रोटोकॉल में निर्धारित किया गया है; अध्ययन से जानकारी का कोडिंग; वन भूखंडों का उपयोग करके हस्तक्षेप प्रभावशीलता पर मात्रात्मक अनुमानों की प्रस्तुति और, जहां हस्तक्षेपों को उचित रूप से सजातीय के रूप में निर्धारित किया जाता है, मेटा-विश्लेषण का उपयोग करके पूल किए गए सारांश अनुमान की गणना; अंत में, व्यवस्थित समीक्षाओं को समय-समय पर अद्यतन किया जाना चाहिए क्योंकि नए सबूत सामने आते हैं। व्यवस्थित समीक्षाओं में गुणात्मक जानकारी का संश्लेषण भी सम्मिलित हो सकता है, उदाहरण के लिए, हस्तक्षेप प्रभावशीलता की बाधाओं, या सुगमकर्ताओं से संबंधित इत्यादि। | ||
== यह भी देखें == | == यह भी देखें == | ||
* [[अर्थमिति]] | * [[अर्थमिति]] | ||
* [[प्रभाव आकलन]] | * [[प्रभाव आकलन|प्रभावशाली आकलन]] | ||
* [[परिणाम सिद्धांत]] | * [[परिणाम सिद्धांत]] | ||
* भागीदारी | * भागीदारी प्रभावशाली मार्गों का विश्लेषण | ||
* [[पालिसी विश्लेषण]] | * [[पालिसी विश्लेषण]] | ||
* [[नीति अध्ययन]] | * [[नीति अध्ययन]] | ||
| Line 179: | Line 179: | ||
* [http://www.worldbank.org/ieg/ie/ विश्व बैंक स्वतंत्र मूल्यांकन समूह] या विकिपीडिया स्वतंत्र मूल्यांकन समूह में | * [http://www.worldbank.org/ieg/ie/ विश्व बैंक स्वतंत्र मूल्यांकन समूह] या विकिपीडिया स्वतंत्र मूल्यांकन समूह में | ||
* बेकर, जूडी। 2000. [http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/EXTISPMA/0,,contentMDK:20194198~menuPK:451260~pagePK:148956~piPK:216618~theSitePK:384329,00.html मूल्यांकन गरीबी पर विकास परियोजनाओं का प्रभाव: चिकित्सकों के लिए एक पुस्तिका।] विकास में दिशा-निर्देश, विश्व बैंक, वाशिंगटन, डी.सी. | * बेकर, जूडी। 2000. [http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/EXTISPMA/0,,contentMDK:20194198~menuPK:451260~pagePK:148956~piPK:216618~theSitePK:384329,00.html मूल्यांकन गरीबी पर विकास परियोजनाओं का प्रभाव: चिकित्सकों के लिए एक पुस्तिका।] विकास में दिशा-निर्देश, विश्व बैंक, वाशिंगटन, डी.सी. | ||
* [http://www.3ieimpact.org | * [http://www.3ieimpact.org प्रभावशाली मूल्यांकन के लिए अंतर्राष्ट्रीय पहल] | ||
* [http://poverty-action.org/ इनोवेशन फॉर पॉवर्टी एक्शन] | * [http://poverty-action.org/ इनोवेशन फॉर पॉवर्टी एक्शन] | ||
*[https://web.archive.org/web/20101108212501/http://www.sustainablecommodities.org/COSA सस्टेनेबिलिटी असेसमेंट पर समिति (सीओएसए)] | *[https://web.archive.org/web/20101108212501/http://www.sustainablecommodities.org/COSA सस्टेनेबिलिटी असेसमेंट पर समिति (सीओएसए)] | ||
Revision as of 11:21, 17 May 2023
 | This article's use of external links may not follow Wikipedia's policies or guidelines. (जून 2017) (Learn how and when to remove this template message) |
प्रभावशाली मूल्यांकन उन परिवर्तनों का आकलन करता है जिन्हें किसी विशेष हस्तक्षेप के लिए जिम्मेदार ठहराया जा सकता है, जैसे कि एक परियोजना, कार्यक्रम या नीति, दोनों इच्छित और साथ ही आदर्श रूप से अनपेक्षितइत्यादि।[1] परिणाम की जाँच करने के विपरीत, जो जांच करता है कि लक्ष्यों को प्राप्त किया गया है या नहीं, प्रभावशाली मूल्यांकन को प्रश्न का उत्तर देने के लिए संरचित किया गया है: यदि हस्तक्षेप नहीं किया गया होता तो प्रतिभागियों की भलाई जैसे परिणाम कैसे बदल जाते? इसमें प्रतितथ्यात्मक विश्लेषण सम्मिलित है, अर्थात्, वास्तव में क्या हुआ और हस्तक्षेप की अनुपस्थिति में क्या हुआ होगा, के बीच तुलना किया जाता है।[2] प्रभावशाली मूल्यांकन कारण और प्रभावशाली प्रश्नों का उत्तर देना चाहता है। दूसरे शब्दों में, वे परिणामों में उन परिवर्तनों की तलाश करते हैं जो सीधे तौर पर किसी कार्यक्रम के लिए जिम्मेदार होते हैं।[3]
प्रभावशाली मूल्यांकन लोगों को साक्ष्य-आधारित नीति निर्माण के लिए महत्वपूर्ण सवालों के जवाब देने में मदद करता है:जैसे क्या काम करता है, क्या नहीं, कहाँ, क्यों और कितना? विकसित और विकासशील दोनों देशों के संदर्भ में हाल के वर्षों में नीति निर्माण में इस पर अधिक ध्यान दिया गया है।[4] यह मूल्यांकन उपकरणों और दृष्टिकोणों के शस्त्रागार का एक महत्वपूर्ण घटक है और जीवन स्तर में सुधार लाने के लिए सहायता वितरण और सार्वजनिक व्यय की प्रभावशीलता में सुधार के लिए वैश्विक प्रयासों का अभिन्न अंग है। मूल रूप से विकासशील देशों में सामाजिक क्षेत्र के कार्यक्रमों के मूल्यांकन की ओर अधिक उन्मुख, विशेष रूप से सशर्त नकद हस्तांतरण, प्रभावशाली मूल्यांकन अब कृषि, ऊर्जा और परिवहन जैसे अन्य क्षेत्रों में तेजी से लागू किया जा रहा है।
प्रतितथ्यात्मक मूल्यांकन डिजाइन
प्रतितथ्यात्मक सशर्त विश्लेषण मूल्यांकनकर्ताओं को हस्तक्षेपों और परिणामों के बीच कारण और प्रभावशाली को श्रेय देने में सक्षम बनाता है। 'प्रतितथ्यात्मक' मापन करता है कि हस्तक्षेप के अभाव में लाभार्थियों के साथ क्या हुआ होगा, और हस्तक्षेप के अनुसार देखे गए प्रतितथ्यात्मक परिणामों की तुलना करके प्रभावशाली का अनुमान लगाया जाता है। प्रभावशाली मूल्यांकन में मुख्य चुनौती यह है कि प्रतितथ्यात्मक को प्रत्यक्ष रूप से नहीं देखा जा सकता है और इसे एक तुलना समूह के संदर्भ में अनुमानित किया जाना चाहिए। संभावित (प्रत्याशित) या पूर्वव्यापी (पूर्वव्यापी) मूल्यांकन डिजाइन का उपयोग करते हुए, प्रतितथ्यात्मक विश्लेषण के लिए एक उपयुक्त तुलना समूह का निर्धारण करने के लिए स्वीकृत दृष्टिकोणों की एक श्रृंखला है। संभावित मूल्यांकन हस्तक्षेप के डिजाइन चरण के समय शुरू होते हैं, जिसमें हस्तक्षेप लाभार्थियों ('उपचार समूह') और गैर-लाभार्थियों ('तुलना समूह') से आधार रेखा और अंतिम-पंक्ति डेटा का संग्रह सम्मिलित है; वे उपचार और तुलना समूहों में व्यक्तियों या समुदायों के चयन को सम्मिलित कर सकते हैं। पूर्वव्यापी मूल्यांकन सामान्यतः कार्यान्वयन चरण के बाद आयोजित किए जाते हैं और मौजूदा सर्वेक्षण डेटा का फायदा उठा सकते हैं, हालांकि हस्तक्षेप और तुलना समूहों की तुलनात्मकता सुनिश्चित करने के लिए सबसे अच्छा मूल्यांकन यथासंभव आधार रेखा के करीब डेटा एकत्र करेगा।
आंतरिक वैधता (अध्ययन डिजाइन) और बाहरी वैधता (सामान्यता) से संबंधित पांच प्रमुख सिद्धांत हैं जो कठोर प्रभावशाली मूल्यांकन को संबोधित करना चाहिए:जैसे जटिल कारक, चयन पूर्वाग्रह, अधिप्लावन प्रभाव, संदूषण और प्रभावशाली विषमता इत्यादि।[5]
- भ्रम तब होता है जब कुछ कारक, विशेष रूप से सामाजिक आर्थिक स्थिति से संबंधित, हस्तक्षेप के जोखिम के साथ सहसंबद्ध होते हैं और, जोखिम से स्वतंत्र, ब्याज के परिणाम से कारणात्मक रूप से संबंधित होते हैं। इसलिए उलझाने वाले कारक हस्तक्षेप और परिणाम के बीच देखे गए (संभवतः नकली) संबंध के लिए वैकल्पिक व्याख्याएं हैं।
- चयन पूर्वाग्रह, भ्रम का एक विशेष स्थिति होता है, जहां हस्तक्षेप प्रतिभागियों को लाभार्थी आबादी से गैर-यादृच्छिक रूप से खींचा जाता है, और चयन का निर्धारण करने वाले मानदंड परिणामों से संबंधित होते हैं। गैर-अवलोकित विषमता, जो हस्तक्षेप तक पहुंच या भागीदारी से जुड़ी हैं, और ब्याज के परिणाम से कारणात्मक रूप से संबंधित हैं, यदि बेहिसाब हो तो हस्तक्षेप और परिणाम के बीच एक नकली संबंध हो सकता है। स्व-चयन तब होता है, उदाहरण के लिए, अधिक सक्षम या संगठित व्यक्ति या समुदाय, जिनके हित के बेहतर परिणाम होने की अधिक संभावना होती है, उनके हस्तक्षेप में भाग लेने की भी अधिक संभावना होती है। अंतर्जात कार्यक्रम का चयन वहां होता है जहां व्यक्तियों या समुदायों को भाग लेने के लिए चुना जाता है क्योंकि उन्हें हस्तक्षेप से लाभान्वित होने की अधिक संभावना दिखाई देती है। भ्रमित करने वाले कारकों को अनदेखा करने से छोड़े गए चर पूर्वाग्रह की समस्या हो सकती है। चयन पूर्वाग्रह के विशेष प्रकरण में, चयन चर की अंतर्जातता एक साथ पूर्वाग्रह उत्त्पन कर सकती है।
- अधिप्लावन (प्रायोगिक मूल्यांकन के प्रकरण में छूत के रूप में संदर्भित) तब होता है जब तुलना (नियंत्रण) समूह के सदस्य हस्तक्षेप से प्रभावित होते हैं।
- संदूषण तब होता है जब उपचार और/या तुलना समूहों के सदस्यों के पास अन्य हस्तक्षेप तक पहुंच होती है जो ब्याज के परिणाम को भी प्रभावित करता है।
- प्रभावशाली विषमता लाभार्थी प्रकार और संदर्भ के कारण प्रभावशाली में अंतर को दर्शाता है। उच्च गुणवत्ता प्रभावशाली मूल्यांकन इस बात का आकलन करेगा कि किसी हस्तक्षेप से विभिन्न समूहों (जैसे, वंचित) को किस हद तक लाभ होता है और साथ ही प्रभावशाली पर संदर्भ के संभावित प्रभावशाली का भी। जिस डिग्री के परिणाम सामान्य होते हैं, वह अन्य संदर्भों में हस्तक्षेप के लिए सीखे गए पाठों की प्रयोज्यता को निर्धारित करेगा।
प्रभावशाली मूल्यांकन डिजाइनों की पहचान प्रतितथ्यात्मक उत्पन्न करने के लिए उपयोग की जाने वाली विधियों के प्रकार से की जाती है और इसे मोटे तौर पर तीन श्रेणियों में वर्गीकृत किया जा सकता है - प्रायोगिक, अर्ध-प्रायोगिक और गैर-प्रायोगिक डिज़ाइन - जो डिजाइन के समय या कार्यान्वयन चरण के बाद हस्तक्षेप, और चयन पूर्वाग्रह की डिग्री व्यवहार्यता, लागत, भागीदारी में भिन्न होते हैं। सफेद (2006)[6] और रैवेलियन (2008)[7] वैकल्पिक प्रभावशाली मूल्यांकन दृष्टिकोणों पर चर्चा करें।
प्रायोगिक दृष्टिकोण
प्रयोगात्मक मूल्यांकन के अनुसार उपचार और तुलना समूहों को बेतरतीब ढंग से चुना जाता है और हस्तक्षेप से अलग किया जाता है, साथ ही किसी भी हस्तक्षेप से जो ब्याज के परिणाम को प्रभावित कर सकता है। इन मूल्यांकन डिजाइनों को यादृच्छिक नियंत्रित परीक्षण (आरसीटी) कहा जाता है। प्रायोगिक मूल्यांकन में तुलना समूह को नियंत्रण समूह कहा जाता है। जब हस्तक्षेप द्वारा बिना किसी संक्रमण के पर्याप्त रूप से बड़े नमूने पर यादृच्छिककरण लागू किया जाता है, तो औसतन उपचार और नियंत्रण समूहों के बीच एकमात्र अंतर यह है कि बाद वाले को हस्तक्षेप प्राप्त नहीं होता है। यादृच्छिक नमूना सर्वेक्षण, जिसमें मूल्यांकन के लिए नमूना यादृच्छिक रूप से चुना जाता है, प्रयोगात्मक मूल्यांकन डिजाइनों के साथ भ्रमित नहीं होना चाहिए, जिसके लिए उपचार के यादृच्छिक समनुदेशन की आवश्यकता होती है।
प्रायोगिक दृष्टिकोण को अधिकांशतः मूल्यांकन के 'सोने के मानक' के रूप में रखा जाता है। यह एकमात्र मूल्यांकन डिजाइन है जो हस्तक्षेप और परिणामों के बीच एक कारण संबंध को प्रदर्शित करने में चयन पूर्वाग्रह के लिए निर्णायक रूप से जिम्मेदार हो सकता है। यादृच्छिकरण और हस्तक्षेपों से अलगाव सामाजिक नीति के दायरे में व्यावहारिक नहीं हो सकता है और बचाव के लिए नैतिक रूप से कठिन हो सकता है,[8] हालांकि प्राकृतिक प्रयोगों का उपयोग करने के अवसर हो सकते हैं। भ्रमित करने वाले कारकों को अनदेखा करने से छोड़े गए चर पूर्वाग्रह की समस्या हो सकती है। बामबर्गर एंड व्हाइट (2007)[9] विकास हस्तक्षेपों पर आरसीटी लागू करने की कुछ सीमाओं पर प्रकाश डाल सकेंगे। स्क्रिप्वेन (2008) द्वारा पद्धतिगत समालोचना की गई है[10] प्रस्तुत किए गए पूर्वाग्रहों के कारण सामाजिक हस्तक्षेपों को पूरी तरह से अंधा प्रयोग नहीं किया जा सकता है, और डिएटन (2009)[11] ने इंगित किया है कि आरसीटी के अभ्यास विश्लेषण में प्रतिगमन-आधारित दृष्टिकोणों पर वापस आ जाता है जिससे वे बचना चाहते हैं और इसलिए समान संभावित पूर्वाग्रहों के अधीन हैं। अन्य समस्याओं में हस्तक्षेपों के अधिकांशतः विषम और बदलते संदर्भ, तार्किक और व्यावहारिक चुनौतियाँ, जाँच करने सेवा वितरण में कठिनाइयाँ, तुलना समूह द्वारा हस्तक्षेप तक पहुँच और समय के साथ चयन मानदंड और/या हस्तक्षेप में परिवर्तन सम्मिलित हैं। इस प्रकार, यह अनुमान लगाया गया है कि आरसीटी केवल 5 प्रतिशत विकास वित्त पर लागू होते हैं।[9]
यादृच्छिक नियंत्रण परीक्षण (आरसीटी)
आरसीटी एक नए हस्तक्षेप की प्रभावशीलता को मापने के लिए उपयोग किए जाने वाले अध्ययन हैं। वे अपने दम पर कार्य-कारण प्रमाणित करने की संभावना नहीं रखते हैं, हालांकि कारण-प्रभावशाली संबंधों की जांच के लिए एक उपकरण प्रदान करते हुए यादृच्छिककरण पूर्वाग्रह को कम करता है।[12] भ्रमित करने वाले कारकों को अनदेखा करने से छोड़े गए चर पूर्वाग्रह की समस्या हो सकती है। आरसीटी यादृच्छिक समनुदेशन पर भरोसा करते हैं, जिसका अर्थ है कि मूल्यांकन लगभग सदैव पहले से तैयार किया जाना चाहिए, क्योंकि यह दुर्लभ है कि किसी परियोजना का प्राकृतिक समनुदेशन यादृच्छिक आधार पर होगा।[13] आरसीटी डिजाइन करते समय, पांच प्रमुख प्रश्न पूछे जाने की आवश्यकता होती है: किस उपचार का परीक्षण किया जा रहा है, कितने उपचार समूह होंगे, समनुदेशन की इकाई क्या होगी, कितने बड़े नमूने की आवश्यकता होगी, परीक्षण कैसे होगा यादृच्छिक होना।[13] एक अच्छी तरह से आयोजित आरसीटी एक विशिष्ट जनसंख्या या समनुदेशन की इकाई के अंतर्गत औसत उपचार प्रभावशाली के बारे में एक विश्वसनीय अनुमान देगा।[14] आरसीटी की एक खामी 'परिवहन समस्या' है, यह रेखांकित करते हुए कि एक आबादी के अंतर्गत जो काम करता है वह जरूरी नहीं कि दूसरी आबादी के अंतर्गत भी काम करे, जिसका अर्थ है कि औसत उपचार प्रभावशाली समनुदेशन की अलग-अलग इकाइयों पर लागू नहीं होता है।[14]
प्राकृतिक प्रयोग
प्राकृतिक प्रयोगों का उपयोग किया जाता है क्योंकि ये विधियां अंतर्निहित तनाव अनियंत्रित क्षेत्र और नियंत्रित प्रयोगशाला डेटा संग्रह दृष्टिकोण को आराम देती हैं।[15] आंतरिक वैधता के लिए कई खतरों को संबोधित करने के लिए प्राकृतिक प्रयोग शोधकर्ताओं और विषयों के नियंत्रण के बाहर की घटनाओं का लाभ उठाते हैं, जटिल तत्वों की संभावना को कम करते हैं, जबकि क्षेत्र डेटा की कुछ विशेषताओं का त्याग करते हैं, जैसे उपचार प्रभावों की अधिक प्राकृतिक सीमा और उपस्थिति व्यवस्थित रूप से निर्मित संदर्भ।[15]प्राकृतिक प्रयोगों के साथ एक मुख्य समस्या प्रतिकृति की समस्या है। प्रयोगशाला कार्य, जब ठीक से वर्णित और दोहराया जाता है, समान परिणाम उत्पन्न करने में सक्षम होना चाहिए। प्राकृतिक प्रयोगों की विशिष्टता के कारण, प्रतिकृति अधिकांशतः एक समान घटना से वैकल्पिक डेटा के विश्लेषण तक ही सीमित होती है।[15]
गैर-प्रयोगात्मक दृष्टिकोण
अर्ध-प्रयोगात्मक डिजाइन
अर्ध-प्रयोगात्मक दृष्टिकोण वेधशालाओं पर चयन से उत्पन्न होने वाले पूर्वाग्रह को दूर कर सकते हैं और जहां पैनल डेटा उपलब्ध हैं, समय अपरिवर्तनीय अप्राप्य हैं। अर्ध-प्रायोगिक तरीकों में मिलान, अंतर, वाद्य चर और पाइपलाइन दृष्टिकोण सम्मिलित हैं; वे सामान्यतः बहुभिन्नरूपी प्रतिगमन विश्लेषण द्वारा किए जाते हैं।
यदि चयन विशेषताओं को जाना और देखा जाता है, तो पूर्वाग्रह को दूर करने के लिए उन्हें नियंत्रित किया जा सकता है। मिलान में देखी गई चयन विशेषताओं के आधार पर गैर-प्रतिभागियों के साथ कार्यक्रम के प्रतिभागियों की तुलना करना सम्मिलित है। प्रवृत्ति स्कोर मिलान (पीएसएम) अवलोकन योग्य विशेषताओं के एक सेट के आधार पर भाग लेने की संभावना की गणना करने के लिए एक सांख्यिकीय मॉडल का उपयोग करता है और समान संभावना स्कोर वाले प्रतिभागियों और गैर-प्रतिभागियों से मेल खाता है। प्रतिगमन विच्छेदन डिजाइन एक निर्णय नियम का उपयोग करता है कि इस कट-ऑफ के दोनों ओर के परिणामों की तुलना करने के लिए हस्तक्षेप कौन करता है और कौन नहीं करता है।
अंतर या दोहरे अंतर में अंतर, जो हस्तक्षेप और तुलना समूहों के लिए आधार रेखा और अंत-रेखा पर एकत्र किए गए डेटा का उपयोग करते हैं, चयन पूर्वाग्रह के खाते में इस धारणा के अनुसार उपयोग किया जा सकता है कि चयन का निर्धारण करने वाले अप्राप्य कारक समय (समय अपरिवर्तनीय) के साथ तय होते हैं।
इंस्ट्रुमेंटल वेरिएबल एस्टीमेशन उन कारकों ('उपकरणों ') का उपयोग करके चयन पूर्वाग्रह के लिए खाता है जो चयन के साथ सहसंबद्ध हैं लेकिन परिणाम नहीं हैं, इस प्रकार कार्यक्रम की भागीदारी के पहलुओं को अलग करते हैं जिन्हें बहिर्जात के रूप में माना जा सकता है। ये पूर्वाग्रह कार्यक्रम के प्रभावों को बढ़ा-चढ़ाकर या कम करने की भूमिका निभाते हैं।
पाइपलाइन दृष्टिकोण (स्टेप्ड-वेज ट्रायल स्टेप्ड-वेज डिजाइन) तुलना समूह के रूप में बाद के चरण में एक परियोजना में भाग लेने के लिए पहले से चुने गए लाभार्थियों का उपयोग करता है। धारणा यह है कि जैसा कि उन्हें भविष्य में हस्तक्षेप प्राप्त करने के लिए चुना गया है, वे उपचार समूह के समान हैं, और इसलिए ब्याज के परिणाम चर के संदर्भ में तुलनीय हैं। हालाँकि, व्यवहार में, यह गारंटी नहीं दी जा सकती है कि उपचार और तुलना समूह तुलनीय हैं और तुलनात्मकता को सत्यापित करने के लिए मिलान की कुछ विधि लागू करने की आवश्यकता होगी।
गैर-प्रयोगात्मक डिजाइन
गैर-प्रयोगात्मक प्रभावशाली मूल्यांकन तथाकथित हैं क्योंकि उनमें एक तुलना समूह सम्मिलित नहीं है जिसकी हस्तक्षेप तक पहुंच नहीं है। गैर-प्रयोगात्मक मूल्यांकन में उपयोग की जाने वाली विधि हस्तक्षेप के कार्यान्वयन से पहले और बाद में हस्तक्षेप समूहों की तुलना करना है। हस्तक्षेप बाधित समय-श्रृंखला (ITS) मूल्यांकन में हस्तक्षेप से पहले और बाद में उपचारित व्यक्तियों पर कई डेटा बिंदुओं की आवश्यकता होती है, जबकि पहले बनाम बाद में (या पूर्व-परीक्षण के बाद) डिज़ाइनों को पहले और बाद में केवल एक डेटा बिंदु की आवश्यकता होती है। परीक्षण के बाद के विश्लेषण में केवल हस्तक्षेप समूह के हस्तक्षेप के बाद के डेटा सम्मिलित हैं। गैर-प्रायोगिक डिजाइन सबसे निष्क्रिय मूल्यांकन डिजाइन हैं, क्योंकि हस्तक्षेप और परिणामों के बीच एक कारण संबंध को दृढ़ता से दिखाने के लिए, मूल्यांकन को यह प्रदर्शित करना चाहिए कि परिणामों के लिए संभावित वैकल्पिक स्पष्टीकरण अप्रासंगिक हैं। हालांकि, ऐसे अनुप्रयोग हैं जिनके लिए यह डिज़ाइन प्रासंगिक है, उदाहरण के लिए, हस्तक्षेप से समय-बचत की गणना करने में जो सुविधाओं तक पहुंच में सुधार करता है। इसके अतिरिक्त , ऐसे प्रकरण भी हो सकते हैं जहां गैर-प्रायोगिक डिजाइन एकमात्र व्यवहार्य प्रभावशाली मूल्यांकन डिजाइन हैं, जैसे कि सार्वभौमिक रूप से कार्यान्वित कार्यक्रम या राष्ट्रीय नीति सुधार जिसमें कोई पृथक तुलना समूह सम्मलित होने की संभावना नहीं है।
कार्यक्रम के प्रभावों का अनुमान लगाने में पक्षपात
कार्यक्रम के प्रभावशाली का आकलन करने के लिए यादृच्छिक क्षेत्र प्रयोग सबसे मजबूत शोध डिजाइन हैं। इस विशेष शोध डिजाइन को सामान्यतः पसंद का डिजाइन कहा जाता है जब यह व्यवहार्य होता है क्योंकि यह कार्यक्रम के वास्तविक प्रभावों (रॉसी, लिप्से और फ्रीमैन, 2004) के निष्पक्ष और सटीक अनुमान की अनुमति देता है।
उस के साथ, यादृच्छिक क्षेत्र प्रयोग सदैव करने के लिए संभव नहीं होते हैं और इन स्थितियों में वैकल्पिक अनुसंधान डिजाइन होते हैं जो एक मूल्यांकनकर्ता के निपटान में होते हैं। मुख्य समस्या हालांकि यह है कि एक मूल्यांकनकर्ता चाहे जो भी डिजाइन चुनता है, वे एक आम समस्या से ग्रस्त हैं: भले ही डिजाइन के माध्यम से कितनी अच्छी तरह से सोचा या अच्छी तरह से लागू किया गया हो, प्रत्येक डिजाइन कार्यक्रम प्रभावों के पक्षपातपूर्ण अनुमानों के अधीन है। ये पूर्वाग्रह कार्यक्रम के प्रभावों को बढ़ा-चढ़ाकर या कम करने की भूमिका निभाते हैं। इतना ही नहीं, (रॉसी एट अल।, 2004) लेकिन पूर्वाग्रह किस दिशा में ले जा सकता है, यह सामान्यतः पहले से ज्ञात नहीं किया जा सकता है। ये पक्षपात हितधारक के हित को प्रभावित करते हैं। इसके अतिरिक्त , यह संभव है कि कार्यक्रम के प्रतिभागियों को नुकसान हो, अगर पूर्वाग्रह इस तरह से है कि यह एक अप्रभावी या हानिकारक कार्यक्रम को प्रभावी बनाने में योगदान देता है। इस बात की भी संभावना है कि पक्षपात एक प्रभावी कार्यक्रम को अप्रभावी या यहां तक कि हानिकारक भी बना सकता है। यह संभवतः कार्यक्रम की उपलब्धियों को छोटा या महत्वहीन भी बना सकता है इसलिए कर्मियों को मजबूर कर सकता है और यहां तक कि (रॉसी एट अल।, 2004) कार्यक्रम के प्रायोजकों को कार्यक्रम के लिए धन को कम करने या समाप्त करने का कारण भी बना सकता है ।
यह कहना सुरक्षित है कि यदि एक अपर्याप्त डिजाइन पूर्वाग्रह उत्त्पन करता है, तो कार्यक्रम के वित्तपोषण के लिए बड़े पैमाने पर जिम्मेदार हितधारक सबसे अधिक चिंतित होंगे; मूल्यांकन के परिणाम हितधारकों को यह तय करने में मदद करते हैं कि कार्यक्रम को वित्त पोषण जारी रखना है या नहीं क्योंकि अंतिम निर्णय फंडर्स और प्रायोजकों के पास है। इसे चयन पूर्वाग्रह (रॉसी एट अल।, 2004) के रूप में जाना जाता है। न केवल हितधारक अधिकतर चिंतित हैं, बल्कि जो कार्यक्रम में भाग ले रहे हैं या जिन कार्यक्रमों को सकारात्मक रूप से प्रभावित करने का इरादा है, वे चुने गए डिज़ाइन और उस चुने हुए डिज़ाइन द्वारा प्रदान किए गए परिणाम से प्रभावित होंगे। इसलिए, (रॉसी एट अल।, 2004) मूल्यांकनकर्ता की चिंता कार्यक्रम प्रभावों के आकलन में पूर्वाग्रह की मात्रा को कम करना है।
पूर्वाग्रह सामान्यतः दो स्थितियों में दिखाई देते हैं: जब प्रोग्राम एक्सपोज़र के साथ परिणाम का मापन या प्रोग्राम एक्सपोज़र के बिना परिणाम क्या होता, इसका अनुमान संबंधित सही मान (p267) से अधिक या कम होता है। दुर्भाग्य से (रॉसी एट अल।, 2004), सभी प्रकार के पूर्वाग्रह स्पष्ट नहीं हैं जो प्रभावशाली मूल्यांकन से समझौता कर सकते हैं ।
प्रभावशाली मूल्यांकन डिजाइन का सबसे आम रूप व्यक्तियों या अन्य इकाइयों के दो समूहों की तुलना कर रहा है, एक हस्तक्षेप समूह जो कार्यक्रम प्राप्त करता है और एक नियंत्रण समूह जो नहीं करता है।(रॉसी एट अल।, 2004) कार्यक्रम के प्रभावशाली का अनुमान तब उपयुक्त परिणाम माप पर समूहों के बीच अंतर पर आधारित होता है । कार्यक्रम और नियंत्रण समूहों के लिए व्यक्तियों का यादृच्छिक समनुदेशन निरंतर समानता की धारणा बनाने की अनुमति देता है। यादृच्छिकीकरण के माध्यम से नहीं बनाई गई समूह तुलनाओं को गैर-समतुल्य तुलना डिजाइन (रॉसी एट अल।, 2004) के रूप में जाना जाता है।
चयन पूर्वाग्रह
जब तुल्यता की धारणा का अभाव होता है, तो समूहों के बीच परिणाम में अंतर, जो बिना परवाह किए हुआ होता, कार्यक्रम प्रभावों के अनुमान में पूर्वाग्रह का एक रूप बनाता है। इसे चयन पूर्वाग्रह (रॉसी एट अल।, 2004) के रूप में जाना जाता है। यह एक गैर-समतुल्य समूह तुलना डिजाइन का उपयोग करके किसी भी प्रभावशाली मूल्यांकन में कार्यक्रम प्रभावशाली अनुमान की वैधता के लिए खतरा उत्त्पन करता है और उन स्थितियों में प्रकट होता है जहां प्रभावशाली के लिए जिम्मेदार कुछ प्रक्रिया जो पूरी तरह से ज्ञात नहीं हैं, चयन करती है कि कौन से व्यक्ति समूह के अतिरिक्त किस समूह में होंगे। शुद्ध अवसर द्वारा निर्धारित किए जा रहे समूहों को समनुदेशन (रॉसी एट अल।, 2004) यह प्रतिभागी स्व-चयन के कारण हो सकता है, या यह प्रोग्राम प्लेसमेंट (प्लेसमेंट पूर्वाग्रह) के कारण हो सकता है।[16]
चयन पूर्वाग्रह प्राकृतिक या जानबूझकर प्रक्रियाओं के माध्यम से हो सकता है जो पहले से ही गठित हस्तक्षेप और नियंत्रण समूहों के सदस्यों के लिए परिणाम डेटा के नुकसान का कारण बनता है। इसे एट्रिशन के रूप में जाना जाता है और यह दो तरीकों से आ सकता है (रॉसी एट अल।, 2004): हस्तक्षेप या नियंत्रण समूह से बाहर होने वाले लक्ष्यों तक नहीं पहुंचा जा सकता है या लक्ष्य माप में सहयोग करने से इनकार करते हैं। डिफरेंशियल एट्रिशन तब माना जाता है जब एट्रिशन स्पष्ट मौका प्रक्रिया (रॉसी एट अल।, 2004) के अतिरिक्त किसी चीज के परिणामस्वरूप होता है। अन्य लेखक प्रभावशाली मूल्यांकन और प्रभावशाली मूल्यांकन के बीच अंतर करते हैं। इसे चयन पूर्वाग्रह (रॉसी एट अल।, 2004) के रूप में जाना जाता है। ये पूर्वाग्रह कार्यक्रम के प्रभावों को बढ़ा-चढ़ाकर या कम करने की भूमिका निभाते हैं। इसका तात्पर्य यह है कि वे व्यक्ति जो हस्तक्षेप समूह से थे, जिनके परिणाम डेटा गायब हैं, उन्हें नियंत्रण समूह के समान परिणाम-प्रासंगिक विशेषताओं के रूप में नहीं माना जा सकता है, जिनके परिणाम डेटा गायब हैं (रॉसी एट अल।, 2004, p271)। हालांकि, यादृच्छिक समनुदेशन डिजाइन चयन पूर्वाग्रह से सुरक्षित नहीं हैं जो कि संघर्षण (रॉसी एट अल।, 2004) से प्रेरित है।
पूर्वाग्रह के अन्य रूप
ऐसे अन्य कारक हैं जो प्रभावशाली मूल्यांकन के परिणामों में पक्षपात के लिए जिम्मेदार हो सकते हैं। ये सामान्यतः हस्तक्षेप के समय होने वाले कार्यक्रम को प्राप्त करने के अतिरिक्त अन्य घटनाओं या अनुभवों से संबंधित होते हैं। इन पूर्वाग्रहों में (रॉसी एट अल।, 2004) धर्मनिरपेक्ष रुझान, हस्तक्षेप करने वाली घटनाएं और परिपक्वता सम्मिलित हैं ।
सेक्युलर रुझान या सेक्युलर बहाव
धर्मनिरपेक्ष प्रवृत्तियों को समुदाय, क्षेत्र या देश में अपेक्षाकृत दीर्घकालिक प्रवृत्तियों के रूप में परिभाषित किया जा सकता है। इन्हें धर्मनिरपेक्ष बहाव भी कहा जाता है और ऐसे परिवर्तन उत्पन्न कर सकते हैं जो एक हस्तक्षेप के स्पष्ट प्रभावों को बढ़ाते या छिपाते हैं (रॉसी एट अल।, 2004)। क्योंकि उस गिरावट की प्रवृत्ति से उपजी पूर्वाग्रह (रॉसी एट अल।, 2004, पृ.273) उदाहरण के लिए, जब एक समुदाय की जन्म दर घट रही है, तो प्रजनन क्षमता को कम करने का कार्यक्रम प्रभावी दिखाई दे सकता है।
दखल देने वाली घटनाएं
हस्तक्षेप करने वाली घटनाएँ धर्मनिरपेक्ष प्रवृत्तियों के समान हैं; इस प्रकरण में यह अल्पकालिक घटनाएँ हैं जो परिवर्तन उत्पन्न कर सकती हैं जो कार्यक्रम के प्रभावशाली के अनुमानों में पूर्वाग्रह का परिचय दे सकती हैं, जैसे कि बिजली कटौती संचार को बाधित करना या भोजन की खुराक के वितरण में बाधा डालना पोषण कार्यक्रम (रॉसी 2004, पृ.273 और अन्य) के साथ हस्तक्षेप कर सकता है।
परिपक्वता
प्रभावशाली मूल्यांकन को इस तथ्य को समायोजित करने की आवश्यकता है कि प्राकृतिक परिपक्व और विकासात्मक प्रक्रियाएं कार्यक्रम से स्वतंत्र रूप से काफी परिवर्तन ला सकती हैं। कार्यक्रम प्रभावों के अनुमानों में इन परिवर्तनों को सम्मिलित करने से पक्षपात अनुमानों का परिणाम होगा। पूर्वाग्रह के इस रूप का एक उदाहरण (रॉसी एट अल।, 2004, पी 273) वयस्कों के बीच निवारक स्वास्थ्य प्रथाओं में सुधार करने के लिए एक कार्यक्रम होगा जो अप्रभावी लग सकता है क्योंकि स्वास्थ्य सामान्यतः उम्र के साथ कम हो जाता है।
यादृच्छिक समनुदेशन और परिणाम माप के बीच कार्यक्रम और नियंत्रण समूहों के लिए तुलनीय परिस्थितियों का सावधानीपूर्वक रखरखाव, समूहों पर अन्य अंतर अनुभवों या घटनाओं के प्रभावशाली से पूर्वाग्रह को रोकना चाहिए। यदि इन शर्तों में से कोई भी डिजाइन(रॉसी एट अल।, 2004, पृ 274)से अनुपस्थित है, तो कार्यक्रम प्रभावशाली के अनुमानों में पूर्वाग्रह की संभावना है।
अनुमान के तरीके
अनुमान के तरीके मोटे तौर पर मूल्यांकन डिजाइन का पालन करते हैं। प्रतितथ्यात्मक से कल्याण में परिवर्तन को मापने के लिए अलग-अलग डिज़ाइनों को अलग-अलग आकलन विधियों की आवश्यकता होती है। प्रायोगिक और अर्ध-प्रायोगिक मूल्यांकन में, हस्तक्षेप के अनुमानित प्रभावशाली की गणना उपचार समूह (हस्तक्षेप प्राप्त करने वाले) और नियंत्रण या तुलना समूह (जो नहीं करते हैं) के बीच औसत परिणामों में अंतर के रूप में की जाती है। इस पद्धति को यादृच्छिक नियंत्रण परीक्षण (आरसीटी) भी कहा जाता है। पत्रिका डी+सी डेवलपमेंट एंड कोऑपरेशन में अमेरिकन इवैल्यूएशन एसोसिएशन के पूर्व प्रतिनिधि जिम रफ के साथ एक साक्षात्कार के अनुसार, यह विधि जटिल, बहुपरत मामलों के लिए काम नहीं करती है। एकल अंतर अनुमानक अंत-पंक्ति पर माध्य परिणामों की तुलना करता है और वह मान्य होता है जहां उपचार और नियंत्रण समूहों के आधार रेखा पर समान परिणाम मान होते हैं। अंतर-में-अंतर (या दोहरा अंतर) अनुमानक उपचार और तुलना समूहों के लिए समय के साथ परिणाम में परिवर्तन में अंतर की गणना करता है, इस प्रकार दोनों समूहों के लिए आधार रेखा पर एकत्र किए गए डेटा का उपयोग करता है और अंत-रेखा पर एकत्र किए गए डेटा का दूसरा दौर होता है। हस्तक्षेप के कार्यान्वयन के बाद, जो वर्षों बाद हो सकता है।[17]
लाभार्थी भागीदारी (जिसे 'अनुपालन' या 'अनुपालन' भी कहा जाता है) के बावजूद उपचार समूह में औसत परिणामों की तुलना करने के लिए प्रभावशाली मूल्यांकन, तुलना समूह में परिणामों को इरादा-से-उपचार (आईटीटी) विश्लेषण के रूप में संदर्भित किया जाता है। अन्य लेखक प्रभावशाली मूल्यांकन और प्रभावशाली मूल्यांकन के बीच अंतर करते हैं। प्रभावशाली मूल्यांकन जो नियंत्रण समूह में परिणामों के लिए उपचार समूह में हस्तक्षेप का अनुपालन या पालन करने वाले लाभार्थियों के बीच परिणामों की तुलना करते हैं, उपचार-पर-इलाज (टीओटी) विश्लेषण के रूप में संदर्भित होते हैं। इसलिए आईटीटी प्रभावशाली का एक निम्न-बाध्य अनुमान प्रदान करता है, लेकिन यकीनन स्वैच्छिक कार्यक्रमों के विश्लेषण में टीओटी की तुलना में अधिक नीतिगत प्रासंगिकता है।[18]
वाद-विवाद
जबकि प्रभावशाली मूल्यांकन के महत्व पर सहमति है, और प्रतितथ्यात्मक मूल्यांकन विधियों के उपयोग के बारे में एक आम सहमति उभर रही है, हाल के वर्षों में प्रभावशाली मूल्यांकन की परिभाषा और उपयुक्त तरीकों के उपयोग दोनों पर व्यापक वाद विवाद हुई है (व्हाइट 2009 देखें)[19] सिंहावलोकन के लिए)।
परिभाषाएँ
प्रभावशाली मूल्यांकन के लिए अंतर्राष्ट्रीय पहल (3ie) कठोर प्रभावशाली मूल्यांकन को इस प्रकार परिभाषित करता है: विश्लेषण जो किसी विशेष समूह के लोगों के लिए परिणामों में शुद्ध परिवर्तन को मापता है जिसे मूल्यांकन प्रश्न के लिए उपलब्ध सर्वोत्तम पद्धति, व्यवहार्य और उपयुक्त का उपयोग करके एक विशिष्ट कार्यक्रम के लिए जिम्मेदार ठहराया जा सकता है। जिसकी जांच की जा रही है और विशिष्ट संदर्भ में।[20]
विश्व बैंक की डीआईएमई पहल के अनुसार, प्रभावशाली मूल्यांकन एक कार्यक्रम के परिणामों की तुलना एक प्रतितथ्यात्मक के खिलाफ करता है जो दर्शाता है कि कार्यक्रम के बिना लाभार्थियों का क्या हुआ होगा। मूल्यांकन के अन्य रूपों के विपरीत, वे प्रायोगिक और अर्ध-प्रायोगिक डिजाइनों का पालन करके मूल्यांकन किए जा रहे कार्यक्रम के परिणामों में देखे गए परिवर्तनों के आरोपण की अनुमति देते हैं।[21]
इसी तरह, यूएस यूनाइडेट स्टेट्स पर्यावरणीय संरक्षण एजेंसी के अनुसार प्रभावशाली मूल्यांकन मूल्यांकन का एक रूप है जो कार्यक्रम के परिणामों की तुलना करके कार्यक्रम के शुद्ध प्रभावशाली का आकलन करता है कि कार्यक्रम की अनुपस्थिति में क्या हुआ होगा।[22]
विश्व बैंक के स्वतंत्र मूल्यांकन समूह (आईईजी) के अनुसार, प्रभावशाली मूल्यांकन सकारात्मक या नकारात्मक प्रभावों की व्यवस्थित पहचान है, व्यक्तिगत घरों, संस्थानों और किसी दिए गए विकास गतिविधि जैसे कार्यक्रम या परियोजना के कारण होने वाले पर्यावरण पर नहीं है।[23]
पिछले कुछ दशकों में प्रभावशाली मूल्यांकन को अलग तरह से परिभाषित किया गया है।[6]प्रभावशाली मूल्यांकन की अन्य व्याख्याओं में सम्मिलित हैं:
- एक मूल्यांकन जो अंतिम कल्याण परिणामों पर एक हस्तक्षेप के प्रभावशाली को देखता है, न कि केवल परियोजना के आउटपुट पर, या एक प्रक्रिया मूल्यांकन जो कार्यान्वयन पर केंद्रित है;
- हस्तक्षेप पूरा होने के कुछ समय बाद (पांच से दस साल) एक मूल्यांकन किया जाता है ताकि प्रभावशाली प्रकट होने के लिए समय मिल सके; और
- किसी दिए गए क्षेत्र या भौगोलिक क्षेत्र के अंतर्गत सभी हस्तक्षेपों पर विचार करते हुए एक मूल्यांकन।
अन्य लेखक प्रभावशाली मूल्यांकन और प्रभावशाली मूल्यांकन के बीच अंतर करते हैं। प्रभावशाली मूल्यांकन हस्तक्षेपों और उनके सांख्यिकीय महत्व के प्रभावों का अनुमान लगाने के लिए अनुभवजन्य तकनीकों का उपयोग करता है, जबकि प्रभावशाली मूल्यांकन में विधियों का एक व्यापक सेट सम्मिलित है, जिसमें संरचनात्मक सिमुलेशन और अन्य दृष्टिकोण सम्मिलित हैं जो सांख्यिकीय महत्व के लिए परीक्षण नहीं कर सकते हैं।[16]
मूल्यांकन में प्रयुक्त 'प्रभाव' की सामान्य परिभाषाएं सामान्यतः जीवन की गुणवत्ता के परिणामों पर हस्तक्षेप से जुड़े दीर्घकालिक परिणामों की समग्रता को संदर्भित करती हैं। उदाहरण के लिए, आर्थिक सहयोग और विकास संगठन की विकास सहायता समिति (ओईसीडी-डीएसी) सकारात्मक और नकारात्मक, प्राथमिक और द्वितीयक दीर्घकालिक प्रभावों के रूप में प्रभावशाली को प्रत्यक्ष या अप्रत्यक्ष रूप से, इच्छित या अनपेक्षित रूप से विकास के हस्तक्षेप से उत्पन्न करता है।[24] कई अंतरराष्ट्रीय एजेंसियों ने भी प्रभावशाली की इस परिभाषा को अपनाया है। उदाहरण के लिए, यूनिसेफ प्रभावशाली को एक कार्यक्रम के दीर्घकालिक परिणामों के रूप में परिभाषित करता है - तकनीकी, आर्थिक, सामाजिक-सांस्कृतिक, संस्थागत, पर्यावरण या अन्य - चाहे इरादा हो या अनपेक्षित। इच्छित प्रभावशाली कार्यक्रम के लक्ष्य के अनुरूप होना चाहिए।[25] इसी तरह, Evaluationwiki.org प्रभावशाली मूल्यांकन को एक ऐसे मूल्यांकन के रूप में परिभाषित करता है जो नीतियों, निर्देशों या सेवाओं के तत्काल परिणामों से परे दिखता है ताकि दीर्घकालिक और साथ ही अनपेक्षित कार्यक्रम प्रभावों की पहचान की जा सके।[26]
तकनीकी रूप से, एक प्रतितथ्यात्मक संदर्भ के बिना यहां परिभाषित 'प्रभाव' का आकलन करने के लिए एक मूल्यांकन किया जा सकता है। अन्य लेखक प्रभावशाली मूल्यांकन और प्रभावशाली मूल्यांकन के बीच अंतर करते हैं। हालाँकि, अधिकांश मौजूदा साहित्य (उदाहरण के लिए, प्रभावशाली मूल्यांकन पर एनओएनआईई दिशानिर्देश[27] आवश्यक रूप से प्रतितथ्यात्मक विश्लेषण के आधार पर एक हस्तक्षेप के प्रभावशाली को श्रेय देने के लिए उपयोग की जाने वाली तकनीकों का संदर्भ देते हुए प्रभावशाली की ओईसीडी-डीएसी परिभाषा को अपनाता है।
शब्द 'प्रभाव' मूल्यांकन से जो गायब है वह 'प्रभाव' दीर्घकालिक दिखाता है। उदाहरण के लिए, अधिकांश जाँच करने और मूल्यांकन 'तार्किक रूपरेखा' योजनाओं में इनपुट-आउटपुट-परिणाम और... प्रभावशाली होते हैं। जबकि पहले तीन परियोजना अवधि के समय ही दिखाई देते हैं, प्रभावशाली होने में अधिक समय लगता है। उदाहरण के लिए, 5-वर्षीय कृषि परियोजना में, बीज इनपुट हैं, किसानों को हमारे उत्पादों का उपयोग करने के लिए प्रशिक्षित किया जाता है, परिणाम में बीजों को ठीक से लगाए जाने के परिणामस्वरूप फसल की पैदावार में परिवर्तन होता है और समय के साथ परिवारों का अधिक स्थायी रूप से भोजन सुरक्षित होना एक प्रभाव। अन्य लेखक प्रभावशाली मूल्यांकन और प्रभावशाली मूल्यांकन के बीच अंतर करते हैं। ऐसे पोस्ट-प्रोजेक्ट प्रभावशाली मूल्यांकन बहुत दुर्लभ हैं। उन्हें पूर्व-पोस्ट मूल्यांकन भी कहा जाता है या हम इस शब्द को गढ़ रहे हैं -1/सतत प्रभावशाली मूल्यांकन। जबकि सैकड़ों-हजारों दस्तावेज़ों की आवश्यकता होती है, दानदाताओं के पास यह देखने के लिए वापस लौटने के लिए फंडिंग लचीलापन - या रुचि - शायद ही होती है कि परियोजना के बंद होने के बाद, संसाधनों को वापस लेने के बाद हमारे हस्तक्षेप कितने टिकाऊ और टिकाऊ बने रहे। डिजाइन, कार्यान्वयन के लिए सीखने के लिए कई पाठ हैं , एम एंड ई और कैसे बढ़ावा दें 2/ देश-स्वामित्व।
कार्यप्रणाली संबंधी वाद विवाद
एक तरफ प्रयोगात्मक तरीकों के समर्थकों और दूसरी तरफ अधिक सामान्य तरीकों के समर्थकों के बीच प्रभावशाली मूल्यांकन के लिए उपयुक्त पद्धतियों के आसपास अकादमिक हलकों में गहन वाद विवाद चल रही है। विलियम ईस्टरली ने इसे अर्थशास्त्र/ 'द सिविल वॉर इन डेवलपमेंट इकोनॉमिक्स' के रूप में संदर्भित किया है। प्रायोगिक डिजाइन के समर्थक, जिन्हें कभी-कभी 'रैंडोमिस्टस' कहा जाता है,[8]तर्कहीन चयन पूर्वाग्रह को सुनिश्चित करने के लिए रैंडमाइजेशन का एकमात्र साधन है, और यह कि प्रायोगिक प्रायोगिक साक्ष्य आधार का निर्माण प्राथमिकता के रूप में विकसित किया जाना चाहिए।[28] इसके विपरीत, दूसरों का तर्क है कि यादृच्छिक समनुदेशन विकास हस्तक्षेपों के लिए शायद ही कभी उपयुक्त होता है और जब ऐसा होता है, तब भी प्रयोग हमें एक विशिष्ट संदर्भ में लागू एक विशिष्ट हस्तक्षेप के परिणामों के बारे में जानकारी प्रदान करते हैं, और बाहरी प्रासंगिकता बहुत कम होती है।[29] मूल्यांकन निकायों और अन्य लोगों की ओर से आलोचना की गई है कि कुछ दाताओं और शिक्षाविदों ने प्रभावशाली मूल्यांकन के लिए पसंदीदा तरीकों पर अधिक बल दिया है,[30] और यह वास्तव में सीखने और उत्तरदायित्व को बाधित कर सकता है।[31] इसके अतिरिक्त , प्रभावशाली मूल्यांकन के अंतर्गत गुणात्मक तरीकों की उपयुक्त भूमिका के बारे में वाद विवाद हुई है।[32][33]
सिद्धांत आधारित प्रभावशाली मूल्यांकन
जबकि प्रभावशीलता का ज्ञान महत्वपूर्ण है, प्रभावशीलता के कारणों और उन परिस्थितियों को समझना भी महत्वपूर्ण है जिनके अनुसार परिणामों को दोहराने की संभावना है। 'ब्लैक बॉक्स' प्रभावशाली मूल्यांकन दृष्टिकोण के विपरीत, जो केवल उपचार और तुलना समूहों के बीच परिणामों में अंतर की रिपोर्ट करता है, सिद्धांत-आधारित प्रभावशाली मूल्यांकन में इनपुट से परिणाम तक कारण श्रृंखला को मैप करना और अंतर्निहित मान्यताओं का प्रभावशाली और परीक्षण करना सम्मिलित है।[34][27]सार्वजनिक नीति के दायरे में अधिकांश हस्तक्षेप स्वैच्छिक (कानूनी रूप से आवश्यक) प्रकृति के अतिरिक्त स्वैच्छिक हैं। इसके अतिरिक्त , हस्तक्षेप अधिकांशतः निष्क्रिय के अतिरिक्त सक्रिय होते हैं, जिसके लिए लाभार्थियों के बीच कम भागीदारी की अतिरिक्त अधिक भागीदारी की आवश्यकता होती है और इसलिए प्रभावशीलता के लिए पूर्व-आवश्यकता के रूप में व्यवहार परिवर्तन होता है। इसलिए सार्वजनिक नीति इस हद तक सफल होगी कि लोगों को अपने व्यवहार को अनुकूल रूप से बदलने के लिए प्रोत्साहित किया जाएगा। एक सिद्धांत-आधारित दृष्टिकोण नीति-निर्माताओं को कार्यक्रम की भागीदारी के विभिन्न स्तरों ('अनुपालन' या 'अनुपालन' के रूप में संदर्भित) और व्यवहार परिवर्तन को निर्धारित करने वाली प्रक्रियाओं के कारणों को समझने में सक्षम बनाता है। सिद्धांत-आधारित दृष्टिकोण मात्रात्मक और गुणात्मक डेटा संग्रह दोनों का उपयोग करते हैं, और उत्तरार्द्ध अनुपालन के कारणों को समझने में विशेष रूप से उपयोगी हो सकता है और इसलिए अन्य सेटिंग्स में हस्तक्षेप को कैसे और कैसे दोहराया जा सकता है। गुणात्मक डेटा संग्रह के तरीकों में फोकस समूह, गहन साक्षात्कार, भागीदारी ग्रामीण मूल्यांकन (पीआरए) और क्षेत्र का दौरा, साथ ही मानवशास्त्रीय और राजनीतिक साहित्य पढ़ना सम्मिलित है।
सफेद (2009 बी)[34]सिद्धांत-आधारित दृष्टिकोण के छह प्रमुख सिद्धांतों को रेखांकित करते हुए प्रभावशाली मूल्यांकन की नीतिगत प्रासंगिकता में सुधार के साधन के रूप में मूल्यांकन को प्रभावित करने के लिए एक सिद्धांत-आधारित दृष्टिकोण के अधिक व्यापक अनुप्रयोग की वकालत करता है:
- कार्य-कारण श्रृंखला (कार्यक्रम सिद्धांत) को मानचित्रित करें जो यह बताती है कि हस्तक्षेप से इच्छित परिणामों की ओर कैसे ले जाने की उम्मीद की जाती है, और कारण लिंक की अंतर्निहित मान्यताओं का परीक्षण करने के लिए डेटा एकत्र करें।
- हस्तक्षेप की सामाजिक, राजनीतिक और आर्थिक सेटिंग सहित संदर्भ को समझें।
- उप-समूहों की पहचान करने और विश्लेषण में उपयोग किए जाने वाले डिसएग्रीगेशन के स्तरों के लिए नमूना आकार को समायोजित करने में मदद करने के लिए विषमता का अनुमान लगाएं।
- एक विश्वसनीय प्रतितथ्यात्मक (जैसा कि ऊपर चर्चा की गई है) का उपयोग करके प्रभावशाली का कठोर मूल्यांकन।
- कारण श्रृंखला में कड़ियों का कठोर तथ्यात्मक विश्लेषण।
- मिश्रित विधियों (मात्रात्मक और गुणात्मक विधियों का संयोजन) का उपयोग करें।
उदाहरण
जबकि 1980 के दशक के बाद से विकासशील देशों में पोषण और पानी और स्वच्छता हस्तक्षेपों का आकलन करने के लिए प्रायोगिक प्रभावशाली मूल्यांकन पद्धतियों का उपयोग किया गया है, बड़े पैमाने के विकास कार्यक्रम के लिए प्रायोगिक तरीकों का पहला और सबसे प्रसिद्ध अनुप्रयोग सशर्त नकद हस्तांतरण का मूल्यांकन है ( सीसीटी) कार्यक्रम प्रोग्रेसा (जिसे अब अवसर कहा जाता है) मेक्सिको में, जिसने स्कूली शिक्षा, टीकाकरण दर और बाल कार्य सहित कई विकास परिणामों की जांच की।[35][36] लैटिन अमेरिका और अन्य जगहों पर कई सरकारों द्वारा सीसीटी कार्यक्रमों को लागू किया गया है, और विश्व बैंक द्वारा फरवरी 2009 में जारी एक रिपोर्ट में बीस देशों में सीसीटी के प्रभावशाली की जांच की गई है।इसलिए सार्वजनिक नीति इस हद तक सफल होगी कि लोगों को अपने व्यवहार को अनुकूल रूप से बदलने के लिए प्रोत्साहित किया जाएगा।[37]
हाल ही में, सामाजिक और उत्पादक क्षेत्रों में हस्तक्षेपों की एक श्रृंखला के लिए प्रभावशाली मूल्यांकन लागू किया गया है। 3ie ने एक ऑनलाइन प्रभावशाली मूल्यांकन का डेटाबेस लॉन्च किया है जिसमें कम और मध्यम आय वाले देशों में किए गए अध्ययन सम्मिलित हैं। प्रभावशाली मूल्यांकन प्रकाशित करने वाले अन्य संगठनों में सम्मिलित हैं गरीबी कार्रवाई के लिए नवाचार, विश्व बैंक की डीआईएमई पहल और [http:// www.worldbank.org/ieg/nonie/papers.html एनओएनआईई ]। मूल्यांकन में प्रयुक्त 'प्रभाव' की सामान्य परिभाषाएं सामान्यतः जीवन की गुणवत्ता के परिणामों पर हस्तक्षेप से जुड़े दीर्घकालिक परिणामों की समग्रता को संदर्भित करती हैं। विश्व बैंक के स्वतंत्र मूल्यांकन समूह ने पिछले 20 वर्षों में किए गए विभिन्न क्षेत्रों में विकास कार्यक्रमों के दस प्रभावशाली मूल्यांकन के अनुभव का व्यवस्थित रूप से आकलन और सारांश किया है।[38]
विकास हस्तक्षेपों के प्रभावशाली मूल्यांकन को बढ़ावा देने वाले संगठन
2006 में, इवैल्यूएशन गैप वर्किंग ग्रुप[39] विकास हस्तक्षेपों पर सबूतों में एक बड़े अंतर के लिए तर्क दिया, और विशेष रूप से एक स्वतंत्र निकाय के लिए जो निम्न और मध्यम आय वाले देशों में धन और कठोर प्रभावशाली मूल्यांकन की वकालत करके अंतर को पाटने के लिए स्थापित किया गया। इस रिपोर्ट के जवाब में इंटरनेशनल इनिशिएटिव फॉर इंपैक्ट इवैल्यूएशन (3ie) की स्थापना की गई थी। 3ie कम और मध्यम आय वाले देशों में गरीब लोगों के जीवन को बेहतर बनाने का प्रयास करता है, जो कि क्या काम करता है, कब, क्यों और कितना काम करता है, इसका सारांश प्रदान करता है। 3ie एक अनुदान कार्यक्रम संचालित करता है, निम्न और मध्यम आय वाले देशों में प्रभावशाली अध्ययन का वित्तपोषण करता है और नए साक्ष्य के रूप में अपडेट किए गए मौजूदा साक्ष्य की सिंथेटिक समीक्षा करता है, और इसकी गुणवत्ता आश्वासन सेवाओं के माध्यम से गुणवत्ता प्रभावशाली मूल्यांकन का समर्थन करता है।
प्रभावों के मूल्यांकन के लिए समर्पित एक अन्य पहल है सस्टेनेबिलिटी असेसमेंट पर समिति (सीओएसए)। सीओएसए संस्थानों का एक गैर-लाभकारी वैश्विक संघ है, जो सतत विकास के लिए अंतर्राष्ट्रीय संस्थान (आईआईएसडी) सस्टेनेबल कमोडिटी इनिशिएटिव, व्यापार एवं विकास पर संयुक्त राष्ट्र का सम्मेलन (यूएनसीटीएडी), और यूनाइटेड नेशंस अंतर्राष्ट्रीय व्यापार केंद्र (आईटीसी) के साथ साझेदारी में कायम है। . सीओएसए कृषि प्रथाओं के विशिष्ट सामाजिक, पर्यावरणीय और आर्थिक प्रभावों का विश्लेषण करने के लिए एक स्वतंत्र माप उपकरण विकसित और लागू कर रहा है, और विशेष रूप से विशिष्ट स्थिरता कार्यक्रमों (ऑर्गेनिक, निष्पक्ष व्यापार आदि) के कार्यान्वयन से जुड़े हैं। पहल का फोकस वैश्विक संकेतकों और माप उपकरणों को स्थापित करना है, जिसका उपयोग किसान, नीति-निर्माता और उद्योग विभिन्न फसलों या कृषि क्षेत्रों के साथ अपनी स्थिरता को समझने और सुधारने के लिए कर सकते हैं। सीओएसए का उद्देश्य किसी दी गई स्थिरता पहल में सम्मिलित होने की सापेक्ष लागतों और लाभों की सही गणना करने में सक्षम बनाकर इसे सुविधाजनक बनाना है।
विश्व स्तर पर प्रभावशाली मूल्यांकन को बढ़ावा देने के लिए कई अतिरिक्त संगठन स्थापित किए गए हैं, जिनमें इनोवेशन फॉर पॉवर्टी एक्शन, । ट्रस्ट-फंड विश्व बैंक का सामरिक प्रभावशाली मूल्यांकन कोष (एसआईईएफ), विश्व बैंक का विकास प्रभावशाली मूल्यांकन (डाइम) पहल, .org/ इंस्टीट्यूशनल लर्निंग एंड चेंज (आईएलएसी) इनिशिएटिव ऑफ द सीजीआईएआर, और टवर्क ऑफ नेटवर्क्स ऑन इंपैक्ट इवैल्यूएशन (एनओएनआईई) की पहल (एनओएनआईई )सम्मिलित हैं
प्रभावशाली साक्ष्य की व्यवस्थित समीक्षा
व्यवस्थित समीक्षाओं के उत्पादन के समन्वय के लिए कई संगठन काम कर रहे हैं। व्यवस्थित समीक्षाओं का उद्देश्य किसी विशेष विषय पर मौजूदा साक्ष्यों की सीमा का आकलन करके और एक सुलभ प्रारूप में जानकारी प्रस्तुत करके अनुसंधान-नीति विभाजन को पाटना है। कठोर प्रभावशाली मूल्यांकन की तरह, वे एक अध्ययन प्रोटोकॉल से विकसित होते हैं जो अध्ययन समावेशन, खोज और संश्लेषण के तरीकों के लिए प्राथमिकता मानदंड निर्धारित करता है। व्यवस्थित समीक्षाओं में पाँच प्रमुख चरण सम्मिलित हैं: सम्मिलित किए जाने वाले हस्तक्षेपों, जनसंख्या, परिणामों और अध्ययन डिज़ाइनों का निर्धारण; प्रकाशित और अप्रकाशित साहित्य की पहचान करने के लिए खोज, और अध्ययन समावेशन मानदंड (हस्तक्षेप, जनसंख्या, परिणाम और अध्ययन डिजाइन से संबंधित) के आवेदन, जैसा कि अध्ययन प्रोटोकॉल में निर्धारित किया गया है; अध्ययन से जानकारी का कोडिंग; वन भूखंडों का उपयोग करके हस्तक्षेप प्रभावशीलता पर मात्रात्मक अनुमानों की प्रस्तुति और, जहां हस्तक्षेपों को उचित रूप से सजातीय के रूप में निर्धारित किया जाता है, मेटा-विश्लेषण का उपयोग करके पूल किए गए सारांश अनुमान की गणना; अंत में, व्यवस्थित समीक्षाओं को समय-समय पर अद्यतन किया जाना चाहिए क्योंकि नए सबूत सामने आते हैं। व्यवस्थित समीक्षाओं में गुणात्मक जानकारी का संश्लेषण भी सम्मिलित हो सकता है, उदाहरण के लिए, हस्तक्षेप प्रभावशीलता की बाधाओं, या सुगमकर्ताओं से संबंधित इत्यादि।
यह भी देखें
- अर्थमिति
- प्रभावशाली आकलन
- परिणाम सिद्धांत
- भागीदारी प्रभावशाली मार्गों का विश्लेषण
- पालिसी विश्लेषण
- नीति अध्ययन
- कार्यक्रम के मूल्यांकन
संदर्भ
- ↑ World Bank Poverty Group on Impact Evaluation, accessed on January 6, 2008
- ↑ "White, H. (2006) Impact Evaluation: The Experience of the Independent Evaluation Group of the World Bank, World Bank, Washington, D.C., p. 3" (PDF). Archived from the original (PDF) on 2018-02-19. Retrieved 2010-01-07.
- ↑ "Gertler, Martinez, Premand, Rawlings and Vermeersch (2011) Impact Evaluation in Practice, Washington, DC:The World Bank". Archived from the original on 2011-07-17. Retrieved 2010-12-15.
- ↑ "लॉग इन करें" (PDF). Retrieved 16 January 2017.
- ↑ "लॉग इन करें" (PDF). Retrieved 16 January 2017.
- ↑ 6.0 6.1 "White, H. (2006) Impact Evaluation: The Experience of the Independent Evaluation Group of the World Bank, World Bank, Washington, D.C." (PDF). Archived from the original (PDF) on 2018-02-19. Retrieved 2010-01-07.
- ↑ Ravallion, M. (2008) Evaluating Anti-Poverty Programs
- ↑ 8.0 8.1 Martin, Ravallion (1 January 2009). "Should the Randomistas Rule?". 6 (2): 1–5. Retrieved 16 January 2017 – via RePEc - IDEAS.
{{cite journal}}: Cite journal requires|journal=(help) - ↑ 9.0 9.1 Bamberger, M. and White, H. (2007) Using Strong Evaluation Designs in Developing Countries: Experience and Challenges, Journal of MultiDisciplinary Evaluation, Volume 4, Number 8, 58-73
- ↑ Scriven (2008) A Summative Evaluation of RCT Methodology: & An Alternative Approach to Causal Research, Journal of MultiDisciplinary Evaluation, Volume 5, Number 9, 11-24
- ↑ Deaton, Angus (1 January 2009). "Instruments of Development: Randomization in the Tropics, and the Search for the Elusive Keys to Economic Development". SSRN 1335715.
{{cite journal}}: Cite journal requires|journal=(help) - ↑ Hariton, Eduardo; Locascio, Joseph J. (December 2018). "Randomised controlled trials—the gold standard for effectiveness research". BJOG: An International Journal of Obstetrics and Gynaecology. 125 (13): 1716. doi:10.1111/1471-0528.15199. ISSN 1470-0328. PMC 6235704. PMID 29916205.
- ↑ 13.0 13.1 White, Howard (8 March 2013). "विकास हस्तक्षेपों का मूल्यांकन करने के लिए यादृच्छिक नियंत्रण परीक्षणों के उपयोग का परिचय". Journal of Development Effectiveness. 5: 30–49. doi:10.1080/19439342.2013.764652. S2CID 51812043.
- ↑ 14.0 14.1 Deaton, Angus; Cartwright, Nancy (2016-11-09). "यादृच्छिक नियंत्रित परीक्षणों की सीमाएँ". VoxEU.org. Retrieved 2020-10-26.
- ↑ 15.0 15.1 15.2 Roe, Brian E.; Just, David R. (December 2009). "Internal and External Validity in Economics Research: Tradeoffs between Experiments, Field Experiments, Natural Experiments, and Field Data". American Journal of Agricultural Economics. 91 (5): 1266–1271. doi:10.1111/j.1467-8276.2009.01295.x. ISSN 0002-9092.
- ↑ 16.0 16.1 White, Howard; Raitzer, David (2017). Impact Evaluation of Development Interventions: A Practical Guide (PDF). Manila: Asian Development Bank. ISBN 978-92-9261-059-3.
- ↑ Rugh, Jim (June 22, 2012). "कीलों की तलाश में हथौड़ा". D+C Development and Cooperation. 2012 (7): 300.
- ↑ Bloom, H. (2006) The core analytics of randomized experiments for social research. MDRC Working Papers on Research Methodology. MDRC, New York
- ↑ "White, H. (2009) Some reflections on current debates in impact evaluation, Working paper 1, International Initiative for Impact Evaluation, New Delhi". Archived from the original on 2013-01-08. Retrieved 2012-10-29.
- ↑ "लॉग इन करें" (PDF). Retrieved 16 January 2017.
- ↑ World Bank (n.d.) The Development IMpact Evaluation (DIME) Initiative, Project Document, World Bank, Washington, D.C.
- ↑ US Environmental Protection Agency Program Evaluation Glossary, accessed on January 6, 2008
- ↑ World Bank Independent Evaluation Group, accessed on January 6, 2008
- ↑ OECD-DAC (2002) Glossary of Key Terms in Evaluation and Results-Based Management Proposed Harmonized Terminology, OECD, Paris
- ↑ UNICEF (2004) UNICEF Evaluation Report Standards, Evaluation Office, UNICEF NYHQ, New York
- ↑ "Evaluation Definition: What is Evaluation? - EvaluationWiki". Retrieved 16 January 2017.
- ↑ 27.0 27.1 "पृष्ठ नहीं मिला". Retrieved 16 January 2017.
- ↑ "Banerjee, A. V. (2007) 'Making Aid Work' Cambridge, Boston Review Book, MIT Press, MA" (PDF). Retrieved 16 January 2017.[permanent dead link]
- ↑ Bamberger, M. and White, H. (2007) Using Strong Evaluation Designs in Developing Countries: Experience and Challenges, Journal of MultiDisciplinary Evaluation, Volume 4, Number 8, 58-73
- ↑ http://www.europeanevaluation.org/download/?noGzip=1&id=1969403[permanent dead link] EES Statement on the importance of a methodologically diverse approach to impact evaluation
- ↑ http://www.odi.org.uk/resources/odi-publications/opinions/127-impact-evaluation.pdf The 'gold standard' is not a silver bullet for evaluation
- ↑ "Aid effectiveness: The role of qualitative research in impact evaluation". 27 June 2014.
- ↑ Prowse, Martin; Camfield, Laura (2013). "विकास सहायता की गुणवत्ता में सुधार". Progress in Development Studies. 13: 51–61. doi:10.1177/146499341201300104. S2CID 44482662.
- ↑ 34.0 34.1 "White, H. (2009b) Theory-based impact evaluation: Principles and practice, Working Paper 3, International Initiative for Impact Evaluation, New Delhi". Archived from the original on 2012-11-06. Retrieved 2012-10-29.
- ↑ Gertler, P. (2000) Final Report: The Impact of PROGRESA on Health. International Food Policy Research Institute, Washington, D.C.
- ↑ "शीर्षक विहीन दस्तावेज़" (PDF). Retrieved 16 January 2017.
- ↑ Fiszbein, A. and Schady, N. (2009) Conditional Cash Transfers: Reducing present and future poverty: A World Bank Policy Research Report, World Bank, Washington, D.C.
- ↑ Impact Evaluation: The Experience of the Independent Evaluation Group of the World Bank, 2006
- ↑ "When Will We Ever Learn? Improving Lives Through Impact Evaluation". Retrieved 16 January 2017.
स्रोत और बाहरी लिंक
- गर्टलर, मार्टिनेज, प्रेमांड, रॉलिंग्स और वर्मीरश (2011) इम्पैक्ट इवैल्यूएशन इन प्रैक्टिस, वाशिंगटन, डीसी: विश्व बैंक
- विश्व बैंक गरीबी समूह विश्व बैंक गरीबी समूह
- विश्व बैंक स्वतंत्र मूल्यांकन समूह या विकिपीडिया स्वतंत्र मूल्यांकन समूह में
- बेकर, जूडी। 2000. मूल्यांकन गरीबी पर विकास परियोजनाओं का प्रभाव: चिकित्सकों के लिए एक पुस्तिका। विकास में दिशा-निर्देश, विश्व बैंक, वाशिंगटन, डी.सी.
- प्रभावशाली मूल्यांकन के लिए अंतर्राष्ट्रीय पहल
- इनोवेशन फॉर पॉवर्टी एक्शन
- सस्टेनेबिलिटी असेसमेंट पर समिति (सीओएसए)
- सतत विकास के लिए अंतर्राष्ट्रीय संस्थान (आईआईएसडी)
- यूएन इंटरनेशनल ट्रेड सेंटर (आईटीसी)
श्रेणी:प्रभाव आकलन
श्रेणी:विज्ञान का दर्शन
श्रेणी:शैक्षिक मूल्यांकन के तरीके
श्रेणी:अवलोकन संबंधी अध्ययन
श्रेणी:प्रबंधन साइबरनेटिक्स
