बिग डेटा: Difference between revisions

बिग डेटा विश्लेषण प्रक्रियाओं के व्यवसायी सामान्य रूप से मंद साझा भंडारण के प्रति विपरीत होते हैं,<ref>{{cite web |title=स्टोरेज एरिया नेटवर्क को लागू करने की आवश्यकता नहीं है|author=CNET News |date=1 April 2011 |url=http://news.cnet.com/8301-21546_3-20049693-10253464.html |access-date=17 April 2013 |archive-date=18 October 2013 |archive-url=https://web.archive.org/web/20131018042918/http://news.cnet.com/8301-21546_3-20049693-10253464.html |url-status=live }}</ref> प्रत्यक्ष-संलग्न भंडारण ([[SSD|डीएएस]]) को इसके विभिन्न रूपों (एसएसडी) से उच्च क्षमता वाले क्रमिक उन्नत प्रौद्योगिकी अनुलग्नक डिस्क में पैरेलल प्रसंस्करण नोड्स के अंदर निर्धारित करना पसंद करते हैं। साझा भंडारण संरचना- भंडारण क्षेत्र नेटवर्क (एसएएन) और नेटवर्क से जुड़ा संग्रहण (एनएएस) की धारणा यह है कि वे अपेक्षाकृत धीमे, जटिल और कीमती हैं। ये गुण बड़े डेटा विश्लेषिकी सिस्टम के अनुरूप नहीं हैं जो सिस्टम के प्रदर्शन, कमोडिटी आधारिक संरचना और कम कीमत पर वृद्धि करते हैं।

विकास के लिए सूचना और संचार प्रौद्योगिकियों के प्रभावी उपयोग पर शोध (जिसे आईसीटी4डी के रूप में भी जाना जाता है) से पता चलता है कि बड़ी डेटा तकनीक महत्वपूर्ण योगदान दे सकती है, लेकिन अंतर्राष्ट्रीय विकास के लिए अद्वितीय चुनौतियाँ भी प्रस्तुत करती है।<ref>{{cite web | url=http://www.unglobalpulse.org/projects/BigDataforDevelopment | title=White Paper: Big Data for Development: Opportunities & Challenges (2012) – United Nations Global Pulse | website=Unglobalpulse.org | access-date=13 April 2016 | archive-date=1 June 2020 | archive-url=https://web.archive.org/web/20200601215207/https://www.unglobalpulse.org/document/big-data-for-development-opportunities-and-challenges-white-paper// | url-status=live }}</ref><ref>{{cite web| title=WEF (World Economic Forum), & Vital Wave Consulting. (2012). Big Data, Big Impact: New Possibilities for International Development| work=World Economic Forum| access-date=24 August 2012| url=http://www.weforum.org/reports/big-data-big-impact-new-possibilities-international-development| archive-date=1 June 2020| archive-url=https://web.archive.org/web/20200601215225/https://www.weforum.org/reports/big-data-big-impact-new-possibilities-international-development/| url-status=live}}</ref> बिग डेटा विश्लेषण में प्रगति स्वास्थ्य देखभाल, नियोजन, [[आर्थिक उत्पादकता]], अपराध, सुरक्षा और प्राकृतिक आपदा और संसाधन प्रबंधन जैसे महत्वपूर्ण विकास क्षेत्रों में निर्णय लेने में संशोधन के लिए कीमत प्रभावी अवसर प्रदान करती है।<ref name="HilbertBigData2013" /><ref>{{cite web|url=http://blogs.worldbank.org/ic4d/four-ways-to-talk-about-big-data/|title=ऐलेना क्वोचको, बिग डेटा के बारे में बात करने के चार तरीके (विकास श्रृंखला के लिए सूचना संचार प्रौद्योगिकी)|publisher=worldbank.org|access-date=30 May 2012|date=4 December 2012|archive-date=15 December 2012|archive-url=https://web.archive.org/web/20121215132444/http://blogs.worldbank.org/ic4d/four-ways-to-talk-about-big-data|url-status=live}}</ref><ref>{{cite web| title=Daniele Medri: Big Data & Business: An on-going revolution| url=http://www.statisticsviews.com/details/feature/5393251/Big-Data--Business-An-on-going-revolution.html| publisher=Statistics Views| date=21 October 2013| access-date=21 June 2015| archive-date=17 June 2015| archive-url=https://web.archive.org/web/20150617211645/http://www.statisticsviews.com/details/feature/5393251/Big-Data--Business-An-on-going-revolution.html| url-status=dead}}</ref> इसके अतिरिक्त, उपयोगकर्ता-जनित डेटा अस्पष्ट प्रयोग के नए अवसर प्रदान करता है।<ref>{{cite web|title=डेटा का जिम्मेदार उपयोग|author=Tobias Knobloch and Julia Manske|work=D+C, Development and Cooperation|date=11 January 2016|url=http://www.dandc.eu/en/article/opportunities-and-risks-user-generated-and-automatically-compiled-data|access-date=11 January 2017|archive-date=13 January 2017|archive-url=https://web.archive.org/web/20170113111907/http://www.dandc.eu/en/article/opportunities-and-risks-user-generated-and-automatically-compiled-data|url-status=live}}</ref> हालाँकि, विकासशील क्षेत्रों के लिए लंबे समय से चली आ रही चुनौतियाँ जैसे कि अपर्याप्त तकनीकी आधारभूत संरचना और आर्थिक और मानव संसाधन की कमी, बिग डेटा जैसे गोपनीयता, अपूर्ण कार्यप्रणाली और अंतर्संचालनीयता के समस्याओ के साथ सम्मिलित समस्याओ को बढ़ाती है।<ref name="HilbertBigData2013" /> विकास के लिए बिग डेटा की चुनौती<ref name="HilbertBigData2013" />वर्तमान में यंत्र अधिगम के माध्यम से इस डेटा के एप्लीकेशन की ओर विकसित हो रहा है, जिसे विकास के लिए कृत्रिम बुद्धिमत्ता (एआई4डी) के रूप में जाना जाता है।<ref>Mann, S., & Hilbert, M. (2020). AI4D: Artificial Intelligence for Development. International Journal of Communication, 14(0), 21. https://www.martinhilbert.net/ai4d-artificial-intelligence-for-development/ {{Webarchive|url=https://web.archive.org/web/20210422113444/https://www.martinhilbert.net/ai4d-artificial-intelligence-for-development/ |date=22 April 2021 }}</ref>

1) प्रसंस्करण में शीघ्रता लाने और 2) आंतरिक रूप से और वित्तीय संस्थानों के ग्राहकों के लिए बेहतर, अधिक सूचित संदर्भ प्रदान करने के लिए बिग डेटा को वित्त में शीघ्रता से अपनाया जा रहा है।<ref>{{Cite book |last=Aldridge |first=Irene |url=https://www.worldcat.org/oclc/972292212 |title=Real-Time Risk : What Investors Should Know about FinTech, High-Frequency Trading, and Flash Crashes. |date=2016 |publisher=John Wiley & Sons, Incorporated |others=Steven Krawciw |isbn=978-1-119-31906-1 |location=Somerset |oclc=972292212}}</ref>.. बिग डेटा के वित्तीय अनुप्रयोगों में निवेश के फैसले और व्यापार (उपलब्ध मूल्य डेटा की प्रसंस्करण मात्रा, सीमित ऑर्डर बुक, आर्थिक डेटा और अधिक, सभी एक ही समय में), पोर्टफोलियो प्रबंधन (वित्तीय उपकरणों की एक बड़ी बड़ी सरणी पर अनुकूलन) सम्मिलित हैं। , संभावित रूप से विभिन्न परिसंपत्ति वर्गों से चयनित), जोखिम प्रबंधन (विस्तारित जानकारी के आधार पर क्रेडिट रेटिंग), और कोई अन्य पहलू जहां डेटा इनपुट बड़े हैं।<ref>{{Cite book |last=Aldridge |first=Irene |url=https://www.worldcat.org/oclc/1184122216 |title=वित्त में बड़ा डेटा विज्ञान|date=2021 |others=Marco Avellaneda |isbn=978-1-119-60297-2 |location=Hoboken, New Jersey |oclc=1184122216}}</ref>

=== हेल्थकेयर ===

बिग डेटा विश्लेषिकी का उपयोग व्यक्तिगत दवा और निर्देशात्मक विश्लेषण, नैदानिक ​​जोखिम हस्तक्षेप और  भविष्यसूचक विश्लेषण, अपशिष्ट और देखभाल परिवर्तनशीलता में कमी, रोगी डेटा की स्वचालित बाहरी और आंतरिक रिपोर्टिंग, मानकीकृत चिकित्सा शर्तों और रोगी रजिस्ट्रियों को प्रदान करके स्वास्थ्य सेवा में किया गया था।<ref name="ref135">{{cite journal | vauthors = Huser V, Cimino JJ | title = बिग डेटा के उपयोग के लिए आसन्न चुनौतियाँ| journal = International Journal of Radiation Oncology, Biology, Physics | volume = 95 | issue = 3 | pages = 890–894 | date = July 2016 | pmid = 26797535 | pmc = 4860172 | doi = 10.1016/j.ijrobp.2015.10.060 }}</ref><ref>{{Cite book|title=बायोमेडिकल बिग डेटा के लिए सिग्नल प्रोसेसिंग और मशीन लर्निंग।|others=Sejdić, Ervin, Falk, Tiago H.|isbn=9781351061216|location=[Place of publication not identified]|oclc=1044733829|last1 = Sejdic|first1 = Ervin|last2 = Falk|first2 = Tiago H.|date = 4 July 2018}}</ref><ref>{{cite journal | vauthors = Raghupathi W, Raghupathi V | title = Big data analytics in healthcare: promise and potential | journal = Health Information Science and Systems | volume = 2 | issue = 1 | pages = 3 | date = December 2014 | pmid = 25825667 | pmc = 4341817 | doi = 10.1186/2047-2501-2-3 }}</ref><ref>{{cite journal | vauthors = Viceconti M, Hunter P, Hose R | title = Big data, big knowledge: big data for personalized healthcare | journal = IEEE Journal of Biomedical and Health Informatics | volume = 19 | issue = 4 | pages = 1209–15 | date = July 2015 | pmid = 26218867 | doi = 10.1109/JBHI.2015.2406883 | s2cid = 14710821 | url = http://eprints.whiterose.ac.uk/89104/1/pap%20JBHI%20BigData%20in%20VPH%20revision%20v2.pdf | doi-access = free | access-date = 21 September 2019 | archive-date = 23 July 2018 | archive-url = https://web.archive.org/web/20180723201503/http://eprints.whiterose.ac.uk/89104/1/pap%20JBHI%20BigData%20in%20VPH%20revision%20v2.pdf | url-status = live }}</ref> संशोधन के कुछ क्षेत्र वास्तव में कार्यान्वित किए जाने की तुलना में अधिक आकांक्षी हैं। [[स्वास्थ्य प्रणाली]] के अंदर उत्पन्न डेटा का स्तर तुच्छ नहीं है। एमहेल्थ, ईहेल्थ और पहनने योग्य तकनीकों को अपनाने से डेटा की मात्रा में वृद्धि जारी रहेगी। इसमें [[इलेक्ट्रॉनिक स्वास्थ्य रिकॉर्ड]] डेटा, इमेजिंग डेटा, रोगी जनित डेटा, सेंसर डेटा और डेटा को प्रोसेस करने में मुश्किल के अन्य रूप सम्मिलित हैं। डेटा और सूचना की गुणवत्ता पर अधिक ध्यान देने के लिए ऐसे वातावरण की अब और भी अधिक आवश्यकता है।<ref>{{cite journal|title=Data Management Within mHealth Environments: Patient Sensors, Mobile Devices, and Databases |first1=John| last1=O'Donoghue |first2=John|last2=Herbert|s2cid=2318649|date=1 October 2012|volume=4|issue=1|pages=5:1–5:20| doi=10.1145/2378016.2378021 |journal=Journal of Data and Information Quality}}</ref> बिग डेटा का अर्थ प्रायः '[[गंदा डेटा]]' होता है और डेटा की मात्रा में वृद्धि के साथ डेटा की अशुद्धियों का अंश बढ़ जाता है। बिग डेटा पैमाने पर मानव निरीक्षण असंभव है और सटीकता और विश्वसनीयता नियंत्रण और छूटी हुई जानकारी को संभालने के लिए बुद्धिमान उपकरणों के लिए स्वास्थ्य सेवा में सख्त आवश्यकता है।<ref name="Mirkes2016">{{cite journal | vauthors = Mirkes EM, Coats TJ, Levesley J, Gorban AN | title = Handling missing data in large healthcare dataset: A case study of unknown trauma outcomes | journal = Computers in Biology and Medicine | volume = 75 | pages = 203–16 | date = August 2016 | pmid = 27318570 | doi = 10.1016/j.compbiomed.2016.06.004 | arxiv = 1604.00627 | bibcode = 2016arXiv160400627M | s2cid = 5874067 }}</ref> जबकि स्वास्थ्य सेवा में व्यापक जानकारी अब इलेक्ट्रॉनिक है, यह बिग डेटा छत्र के नीचे फिट बैठता है क्योंकि अधिकांश असंरचित और उपयोग करने में कठिन है।<ref>{{cite journal | vauthors = Murdoch TB, Detsky AS | title = स्वास्थ्य देखभाल के लिए बड़े डेटा का अपरिहार्य अनुप्रयोग| journal = JAMA | volume = 309 | issue = 13 | pages = 1351–2 | date = April 2013 | pmid = 23549579 | doi = 10.1001/jama.2013.393 }}</ref> स्वास्थ्य सेवा में बिग डेटा के उपयोग ने व्यक्तिगत अधिकारों, गोपनीयता और [[स्वायत्तता]] के जोखिमों से लेकर पारदर्शिता और विश्वास तक की महत्वपूर्ण नैतिक चुनौतियाँ खड़ी की हैं।<ref>{{cite journal | vauthors = Vayena E, Salathé M, Madoff LC, Brownstein JS | title = सार्वजनिक स्वास्थ्य में बड़े डेटा की नैतिक चुनौतियाँ| journal = PLOS Computational Biology | volume = 11 | issue = 2 | pages = e1003904 | date = February 2015 | pmid = 25664461 | pmc = 4321985 | doi = 10.1371/journal.pcbi.1003904 | bibcode = 2015PLSCB..11E3904V }}</ref>

स्वास्थ्य अनुसंधान में बिग डेटा विशेष रूप से खोजपूर्ण जैव चिकित्सा अनुसंधान के संदर्भ में आशाजनक है, क्योंकि डेटा-संचालित विश्लेषण परिकल्पना-संचालित अनुसंधान की तुलना में अधिक तेज़ी से आगे बढ़ सकता है।<ref>{{Cite journal|last=Copeland|first=CS|date=Jul–Aug 2017|title=डेटा ड्राइविंग डिस्कवरी|url=http://claudiacopeland.com/uploads/3/5/5/6/35560346/_hjno_data_driving_discovery_2pv.pdf|journal=Healthcare Journal of New Orleans|pages=22–27|access-date=5 December 2019|archive-date=5 December 2019|archive-url=https://web.archive.org/web/20191205195456/http://claudiacopeland.com/uploads/3/5/5/6/35560346/_hjno_data_driving_discovery_2pv.pdf|url-status=live}}</ref> फिर, डेटा विश्लेषण में देखे गए रुझानों का परीक्षण पारंपरिक, परिकल्पना-चालित अनुवर्ती जैविक अनुसंधान और अंततः नैदानिक ​​अनुसंधान में किया जा सकता है।

मैकिन्से एंड कंपनी के एक अध्ययन में 1.5 मिलियन उच्च प्रशिक्षित डेटा पेशेवरों और प्रबंधकों की कमी पाई गई<ref name="McKinsey"/>और कई विश्वविद्यालय<ref>{{cite web

}}</ref>{{better source needed|date=November 2018|reason=www.forbes.com/sites by contributors rather than staff are blogs, not reliable sources for facts.}} [[टेनेसी विश्वविद्यालय]] और यूसी बर्कले सहित, ने इस मांग को पूरा करने के लिए मास्टर्स प्रोग्राम बनाए हैं। निजी बूट शिविरों ने उस मांग को पूरा करने के लिए प्रोग्राम भी विकसित किए हैं, जिसमें द [[डेटा इनक्यूबेटर]] जैसे मुफ्त प्रोग्राम या [[साधारण सभा]] जैसे भुगतान प्रोग्राम सम्मिलित हैं।<ref>{{cite news

}}</ref> विपणन के विशिष्ट क्षेत्र में, वेसल और कन्नन द्वारा बल दी गई समस्याओं में से एक है<ref>{{cite journal|last=Wedel|first=Michel|author2=Kannan, PK|title= डेटा-समृद्ध वातावरण के लिए मार्केटिंग एनालिटिक्स|journal=Journal of Marketing|year=2016|volume=80|issue=6|doi= 10.1509/jm.15.0413|pages=97–121|s2cid=168410284}}</ref> यह है कि मार्केटिंग के कई उप डोमेन हैं (जैसे, विज्ञापन, प्रचार,

उत्पाद विकास, ब्रांडिंग) जो सभी विभिन्न प्रकार के डेटा का उपयोग करते हैं।

* प्रिस्क्रिप्शन दवाओं पर डेटा: मूल, स्थान और प्रत्येक नुस्खे के समय को जोड़कर, एक शोध इकाई किसी भी दवा की रिहाई और राष्ट्रीय स्वास्थ्य संस्थान के यूके-व्यापी अनुकूलन के बीच काफी देरी का उदाहरण और जांच करने में सक्षम थी। और देखभाल उत्कृष्टता दिशानिर्देश। इससे पता चलता है कि नई या सबसे अद्यतित दवाएं सामान्य रोगी के माध्यम से फ़िल्टर करने में कुछ समय लेती हैं।{{citation needed|date=January 2021}}<ref>{{Cite journal|last=Singh, Gurparkash, Duane Schulthess, Nigel Hughes, Bart Vannieuwenhuyse, and Dipak Kalra|title=क्लिनिकल रिसर्च और ड्रग डेवलपमेंट के लिए रियल वर्ल्ड बिग डेटा|journal=Drug Discovery Today|year=2018|volume=23|issue=3|pages=652–660|doi=10.1016/j.drudis.2017.12.002|pmid=29294362|doi-access=free}}</ref>

* [[23andme]] [[डीएनए डेटाबेस]] में विश्व में 1,000,000 से अधिक लोगों की आनुवंशिक जानकारी सम्मिलित है।<ref>{{cite web|title=23andMe – Ancestry|url=https://www.23andme.com/en-int/ancestry/|website=23andme.com|access-date=29 December 2016|archive-date=18 December 2016|archive-url=https://web.archive.org/web/20161218134337/https://www.23andme.com/en-int/ancestry/|url-status=live}}</ref> यदि रोगी अपनी सहमति देते हैं तो कंपनी अनुसंधान उद्देश्यों के लिए अन्य शोधकर्ताओं और दवा कंपनियों को गुमनाम एकत्रित आनुवंशिक डेटा बेचने की पड़ताल करती है।<ref name=verge1>{{cite web|last1=Potenza|first1=Alessandra|title=23andMe wants researchers to use its kits, in a bid to expand its collection of genetic data|url=https://www.theverge.com/2016/7/13/12166960/23andme-genetic-testing-database-genotyping-research|website=The Verge|access-date=29 December 2016|date=13 July 2016|archive-date=29 December 2016|archive-url=https://web.archive.org/web/20161229171240/http://www.theverge.com/2016/7/13/12166960/23andme-genetic-testing-database-genotyping-research|url-status=live}}</ref><ref>{{cite magazine|title=यह स्टार्टअप आपके डीएनए को सीक्वेंस करेगा, जिससे आप मेडिकल रिसर्च में योगदान दे सकते हैं|url=https://www.fastcompany.com/3066775/innovation-agents/this-startup-will-sequence-your-dna-so-you-can-contribute-to-medical-resea|magazine=[[Fast Company]]|access-date=29 December 2016|date=23 December 2016|archive-date=29 December 2016|archive-url=https://web.archive.org/web/20161229102128/https://www.fastcompany.com/3066775/innovation-agents/this-startup-will-sequence-your-dna-so-you-can-contribute-to-medical-resea|url-status=live}}</ref><ref>{{cite magazine|last1=Seife|first1=Charles|title=23andMe Is Terrifying, but Not for the Reasons the FDA Thinks|url=https://www.scientificamerican.com/article/23andme-is-terrifying-but-not-for-the-reasons-the-fda-thinks/|magazine=[[Scientific American]]|access-date=29 December 2016|archive-date=29 December 2016|archive-url=https://web.archive.org/web/20161229170606/https://www.scientificamerican.com/article/23andme-is-terrifying-but-not-for-the-reasons-the-fda-thinks/|url-status=live}}</ref><ref>{{cite web|last1=Zaleski|first1=Andrew|title=यह बायोटेक स्टार्ट-अप शर्त लगा रहा है कि आपके जीन अगली अद्भुत दवा का उत्पादन करेंगे|url=https://www.cnbc.com/2016/06/22/23andme-thinks-your-genes-are-the-key-to-blockbuster-drugs.html|publisher=CNBC|access-date=29 December 2016|date=22 June 2016|archive-date=29 December 2016|archive-url=https://web.archive.org/web/20161229101419/http://www.cnbc.com/2016/06/22/23andme-thinks-your-genes-are-the-key-to-blockbuster-drugs.html|url-status=live}}</ref><ref>{{cite magazine|last1=Regalado|first1=Antonio|title=How 23andMe turned your DNA into a $1 billion drug discovery machine|url=https://www.technologyreview.com/s/601506/23andme-sells-data-for-drug-search/|magazine=[[MIT Technology Review]]|access-date=29 December 2016|archive-date=29 December 2016|archive-url=https://web.archive.org/web/20161229100618/https://www.technologyreview.com/s/601506/23andme-sells-data-for-drug-search/|url-status=live}}</ref> [[ड्यूक विश्वविद्यालय]] में मनोविज्ञान और तंत्रिका विज्ञान के प्रोफेसर अहमद हरीरी, जो 2009 से अपने शोध में 23andMe का उपयोग कर रहे हैं, कहते हैं कि कंपनी की नई सेवा का सबसे महत्वपूर्ण पहलू यह है कि यह आनुवंशिक अनुसंधान को वैज्ञानिकों के लिए सुलभ और अपेक्षाकृत सस्ता बनाती है।<ref name=verge1/>एक अध्ययन जिसने 23andMe के डेटाबेस में डिप्रेशन से जुड़ी 15 जीनोम साइटों की पहचान की, पेपर के प्रकाशन के बाद दो सप्ताह में डिप्रेशन डेटा तक पहुंचने के लिए लगभग 20 अनुरोधों के साथ 23andMe फील्डिंग के साथ भंडार तक पहुंचने की मांग में वृद्धि हुई।<ref>{{cite web|title =23andMe reports jump in requests for data in wake of Pfizer depression study {{!}} FierceBiotech|url =http://www.fiercebiotech.com/it/23andme-reports-jump-requests-for-data-wake-pfizer-depression-study|website =fiercebiotech.com|date =22 August 2016|access-date =29 December 2016|archive-date =29 December 2016|archive-url =https://web.archive.org/web/20161229102058/http://www.fiercebiotech.com/it/23andme-reports-jump-requests-for-data-wake-pfizer-depression-study|url-status =live}}</ref>

*[[कम्प्यूटेशनल तरल सक्रिय]] (कम्प्यूटेशनल फ्लुइड डायनेमिक्स) और हाइड्रोडायनामिक [[ अशांति ]] रिसर्च बड़े पैमाने पर डेटा सेट उत्पन्न करते हैं। जॉन्स हॉपकिन्स टर्बुलेंस डेटाबेस ([http://turbulence.pha.jhu.edu JHTDB]) में विभिन्न अशांत प्रवाहों के प्रत्यक्ष संख्यात्मक सिमुलेशन से 350 से अधिक टेराबाइट्स स्पोटियोटेम्पोरल क्षेत्र सम्मिलित हैं। फ्लैट सिम