असंरचित डेटा

From Vigyanwiki

असंरचित डेटा (या असंरचित जानकारी) वह जानकारी है जिसमें या तो पूर्व-परिभाषित डेटा प्रतिरूप नहीं होता है या पूर्व-निर्धारित तरीके से व्यवस्थित नहीं होता है। असंरचित जानकारी सामान्यतः विशिष्ट रूप से टेक्स्ट-हैवी होती है, लेकिन इसमें दिनांक, संख्या और तथ्य जैसे डेटा भी सम्मिलित हो सकते हैं। इसके परिणामस्वरूप अनियमितताएं और अस्पष्टताएं उत्पन्न होती हैं, जिससे डेटाबेस या डॉक्यूमेंट में एनोटेट (शब्दार्थतः चिन्हित) में क्षेत्र किए गए डेटा की तुलना में पारंपरिक कार्यक्रमों का उपयोग करना समझना कठिन हो जाता है।

1998 में, मेरिल लिंच ने कहा कि असंरचित डेटा में किसी संगठन में पाए जाने वाले अधिकांश डेटा सम्मिलित होते हैं, कुछ अनुमान 80% तक पहुँचते हैं। [1] यह स्पष्ट नहीं है कि इस संख्या का स्रोत क्या है, लेकिन फिर भी कुछ लोग इसे स्वीकार करते हैं। [2] अन्य स्रोतों ने असंरचित डेटा के समान या उच्च प्रतिशत की सूचना दी है। [3][4][5]

As of 2012, अंतर्राष्ट्रीय डेटा निगम और डेल ईएमसी का अनुमान है कि 2020 तक डेटा 40 ज़ेटाबाइट्स तक बढ़ जाएगा, जिसके परिणामस्वरूप 2010 के प्रारम्भ से 50 गुना वृद्धि होगी। [6] अभी हाल ही में, आईडीसी और सीगेट प्रौद्योगिकी ने भविष्यवाणी की है कि वैश्विक डेटास्फेयर 2025 तक 163 ज़ेटाबाइट्स तक बढ़ जाएगा [7] और उसका अधिकांश भाग असंरचित होगा। कंप्यूटर वर्ल्ड मैगज़ीन का कहना है कि असंरचित जानकारी संगठनों के सभी डेटा का 70-80% से अधिक हो सकती है। [1]

पृष्ठभूमि

व्यापारिक सूचना में प्रारम्भिक शोध संख्यात्मक डेटा के स्थान पर असंरचित पाठ्य डेटा पर केंद्रित था। [8] 1958 के प्रारम्भ में, हंस पीटर लुहान जैसे कंप्यूटर विज्ञान शोधकर्ता विशेष रूप से असंरचित पाठ के निष्कर्षण और वर्गीकरण से चिंतित थे।[8] हालाँकि, सदी के प्रारम्भ के बाद से ही प्रौद्योगिकी ने अनुसंधान की रुचि को पकड़ लिया है। 2004 में, एसएएस संस्थान ने एसएएस (सॉफ्टवेयर) टेक्स्ट माइनर विकसित किया, जो कि अधिक कुशल मशीन-विश्लेषण के लिए आयामी विश्लेषण हाइपर-डायमेंशनल टेक्स्टुअल स्पेस (गणित) को छोटे आयामों में कम करने के लिए विलक्षण मान अपघटन (एसवीडी) का उपयोग करता है। [9] यंत्र अधिगम टेक्स्ट विश्लेषण से उत्पन्न गणितीय और तकनीकी प्रगति ने कई व्यवसायों को अनुप्रयोगों पर शोध करने के लिए प्रेरित किया, जिससे भावना विश्लेषण, VOC खनन और कॉल सेंटर अनुकूलन जैसे क्षेत्रों का विकास हुआ। [10] 2000 के दशक के उत्तरार्ध में बिग डाटा के उद्भव के कारण भविष्य कहने वाला विश्लेषण और मूल कारण विश्लेषण जैसे समकालीन क्षेत्रों में असंरचित डेटा विश्लेषण के अनुप्रयोगों में रुचि बढ़ गई। [11]


शब्दावली के विषय

यह शब्द कई कारणों से सटीक नहीं है:

  1. संरचना, हालांकि औपचारिक रूप से परिभाषित नहीं है, फिर भी निहित हो सकती है।
  2. किसी प्रकार की संरचना वाले डेटा को अभी भी असंरचित माना जा सकता है यदि इसकी संरचना उपस्थिता प्रसंस्करण कार्य के लिए सहायक नहीं है।
  3. असंरचित जानकारी में कुछ संरचना (अर्ध-संरचित डेटा) हो सकती है या अत्यधिक संरचित भी हो सकती है, लेकिन अप्रत्याशित या अघोषित तरीके से हो सकती है।

असंरचित डेटा से निपटना

डेटा खनन, प्राकृतिक भाषा प्रसंस्करण (एनएलपी), और पाठ विश्लेषण जैसी तकनीकें इस जानकारी में प्रतिरूप पहचानने या अन्यथा व्याख्या करने के लिए अलग-अलग तरीके प्रदान करती हैं। टेक्स्ट को संरचित करने की सामान्य तकनीकों में सामान्यतः आगे के टेक्स्ट माइनिंग-आधारित संरचना के लिए मैन्युअल टैग (मेटाडेटा) या पार्ट-ऑफ़-स्पीच टैगिंग सम्मिलित होती है। यूआईएमए (यूआईएमए) मानक ने अर्थ निकालने और जानकारी के बारे में संरचित डेटा बनाने के लिए इस जानकारी को संसाधित करने के लिए एक सामान्य ढांचा प्रदान किया है। [12]

सॉफ्टवेयर जो मशीन-प्रक्रिया योग्य संरचना बनाता है, वह भाषाई, श्रवण और दृश्य संरचना का उपयोग कर सकता है जो मानव संचार के सभी रूपों में उपस्थित है। [13] कलन विधि पाठ से इस अंतर्निहित संरचना का अनुमान लगा सकते हैं, उदाहरण के लिए, शब्द आकृति विज्ञान (भाषाविज्ञान), वाक्य वाक्यविन्यास और अन्य छोटे और बड़े मापक्रम के प्रतिरूप की जांच करके अनुमान लगा सकते हैं। फिर असंरचित जानकारी को समृद्ध किया जा सकता है और अस्पष्टताओं और प्रासंगिकता-आधारित तकनीकों को संबोधित करने के लिए टैग किया जा सकता है और फिर खोज को सुविधाजनक बनाने के लिए उपयोग किया जा सकता है। असंरचित डेटा के उदाहरणों में किताबें, जर्नल, डॉक्यूमेंट, मेटा डेटा, स्वास्थ्य रिकॉर्ड, ध्वनि, वीडियो, एनालॉग डिवाइस, छवियां, फ़ाइलें और असंरचित पाठ जैसे ईमेल संदेश का मुख्य भाग, वेब पृष्ठ या शब्द संसाधक डॉक्यूमेंट सम्मिलित हो सकते हैं। हालाँकि संप्रेषित की जाने वाली मुख्य विषय सूची में कोई परिभाषित संरचना नहीं होती है, यह सामान्यतः वस्तुओं में संविष्ट की जाती है (उदाहरण के लिए फ़ाइलों या दस्तावेजों में, ...) जिनकी स्वयं संरचना होती है और इस प्रकार संरचित और असंरचित डेटा का मिश्रण होता है, लेकिन सामूहिक रूप से यह अभी भी है असंरचित डेटा के रूप में जाना जाता है। [14] उदाहरण के लिए, एक एचटीएमएल वेब पेज टैग किया गया है, लेकिन एचटीएमएल मार्क-अप सामान्यतः केवल रेंडरिंग के लिए काम करता है। यह टैग किए गए तत्वों के अर्थ या कार्य को उन तरीकों से कैप्चर नहीं करता है जो पृष्ठ की सूचना विषय सूची के स्वचालित प्रसंस्करण का समर्थन करते हैं। एक्सएचटीएमएल टैगिंग तत्वों की मशीन प्रसंस्करण की अनुमति देती है, हालांकि यह सामान्यतः टैग किए गए शब्दों के अर्थपूर्ण अर्थ को कैप्चर या व्यक्त नहीं करती है।

चूंकि असंरचित डेटा सामान्यतः इलेक्ट्रॉनिक डॉक्यूमेंट में होता है, इसलिए विषय सूची प्रबंधन या डॉक्यूमेंट प्रबंधन प्रणाली का उपयोग जो संपूर्ण डॉक्यूमेंट को वर्गीकृत कर सकता है, प्रायः डॉक्यूमेंट के भीतर से डेटा स्थानांतरण और हेरफेर की तुलना में पसंद किया जाता है। डॉक्यूमेंट प्रबंधन इस प्रकार संरचना को पाठ कोष पर संप्रेषित करने का साधन प्रदान करता है।

खोज इंजन ऐसे डेटा, विशेषकर पाठ को अनुक्रमित करने और खोजने के लिए लोकप्रिय उपकरण बन गए हैं।

प्राकृतिक भाषा प्रसंस्करण में दृष्टिकोण

पाठ डॉक्यूमेंट में उपस्थित असंरचित डेटा पर संरचना थोपने के लिए विशिष्ट कम्प्यूटेशनल वर्कफ़्लो विकसित किए गए हैं। ये वर्कफ़्लो सामान्यतः हजारों या लाखों डॉक्यूमेंट के सम्मुच्चय को संभालने के लिए अभिकल्पित किए जाते हैं, या टिप्पणी के लिए मैन्युअल दृष्टिकोण की अनुमति से कहीं अधिक हो सकता है। इनमें से कई दृष्टिकोण ऑनलाइन विश्लेषणात्मक प्रसंस्करण, या ओएलएपी की अवधारणा पर आधारित हैं, और टेक्स्ट क्यूब्स जैसे डेटा प्रतिरूप द्वारा समर्थित हो सकते हैं। [15] एक बार जब डॉक्यूमेंट मेटाडेटा डेटा प्रतिरूप के माध्यम से उपलब्ध हो जाता है, तो डॉक्यूमेंट के उपसम्मुच्चय (यानी, टेक्स्ट क्यूब के भीतर कोशिकाएं) का सारांश उत्पन्न करना वाक्यांश-आधारित दृष्टिकोण के साथ किया जा सकता है। [16]


चिकित्सा और जैव चिकित्सा अनुसंधान में दृष्टिकोण

जैव चिकित्सा अनुसंधान असंरचित डेटा का एक प्रमुख स्रोत उत्पन्न करता है क्योंकि शोधकर्ता प्रायः विद्वान पत्रिकाओं में अपने निष्कर्ष प्रकाशित करते हैं। यद्यपि इन दस्तावेजों में भाषा से संरचनात्मक तत्वों को प्राप्त करना चुनौतीपूर्ण है (उदाहरण के लिए, इसमें उपस्थित जटिल तकनीकी शब्दावली और टिप्पणियों को पूरी तरह से प्रासंगिक बनाने के लिए आवश्यक कार्यछेत्र ज्ञान के कारण), इन गतिविधियों के परिणाम तकनीकी और चिकित्सा अध्ययनों के बीच संबंध और नए रोग उपचारों के संबंध में प्रमाण उत्पन्न कर सकते हैं। [17] [18] जैव चिकित्सा डॉक्यूमेंट पर संरचना लागू करने के हालिया प्रयासों में डॉक्यूमेंट के बीच विषयों की पहचान करने के लिए स्व-संगठित मानचित्र दृष्टिकोण सम्मिलित हैं, [19] सामान्य प्रयोजन अप्रशिक्षित शिक्षा, [20] और साहित्य में प्रोटीन नामों और हृदय रोग विषयों के बीच संबंध निर्धारित करने के लिए केसओएलएपी वर्कफ़्लो का एक अनुप्रयोग है।[16] [21] केसओएलएपी वाक्यांश-श्रेणी संबंधों को सटीक (रिश्तों की पहचान करता है), सुसंगत (अत्यधिक प्रतिलिपि प्रस्तुत करने योग्य) और कुशल तरीके से परिभाषित करता है। यह प्लेटफ़ॉर्म उन्नत पहुंच प्रदान करता है और व्यापक जैव चिकित्सा अनुसंधान अनुप्रयोगों के लिए वाक्यांश-खनन उपकरणों के साथ जैव चिकित्सा समुदाय को सशक्त बनाता है। [21]


डेटा गोपनीयता नियमों में असंरचित का उपयोग

स्वीडन (ईयू) में, 2018 से पहले, कुछ डेटा गोपनीयता नियम लागू नहीं होते थे यदि प्रश्न में डेटा को असंरचित के रूप में पुष्टि की गई थी। [22] यह शब्दावली, असंरचित डेटा, 2018 में जीडीपीआर लागू होने के बाद यूरोपीय संघ में संभवतः ही कभी उपयोग की जाती है। जीडीपीआर असंरचित डेटा का न तो उल्लेख करता है और न ही उसे परिभाषित करता है। यह संरचित शब्द का उपयोग इस प्रकार करता है (इसे परिभाषित किए बिना);

  • जीडीपीआर रिसिटल 15 के भाग, प्राकृतिक व्यक्तियों की सुरक्षा व्यक्तिगत डेटा के प्रसंस्करण पर लागू होनी चाहिए ... यदि ... एक फाइलिंग सिस्टम में निहित है।
  • जीडीपीआर अनुच्छेद 4, 'फाइलिंग सिस्टम' का अर्थ व्यक्तिगत डेटा का कोई भी संरचित सम्मुच्चय है जो विशिष्ट मानदंडों के अनुसार पहुंच योग्य है ...

फाइलिंग सिस्टम को क्या परिभाषित करता है उस पर जीडीपीआर केस-कानून; विशिष्ट मानदंड और विशिष्ट रूप जिसमें उपदेश देने वाले प्रत्येक सदस्य द्वारा एकत्र किए गए व्यक्तिगत डेटा का सम्मुच्चय वास्तव में संरचित है, अप्रासंगिक है, जब तक कि डेटा का वह सम्मुच्चय किसी विशिष्ट व्यक्ति से संबंधित डेटा के लिए इसे संभव बनाता है जिसके पास है आसानी से पुनर्प्राप्त करने के लिए संपर्क किया गया है, हालांकि मुख्य कार्यवाही में मामले की सभी परिस्थितियों के आलोक में यह पता लगाना संबंधित अदालत का काम है। (कोर्ट_ऑफ_जस्टिस_ऑफ_द_यूरोपियन_यूनियन, टोडिस्टाजट बनाम टिएटोसुओजावल्टुटेट्टू, जेहोवन, पैराग्राफ 61)।

यदि व्यक्तिगत डेटा आसानी से पुनर्प्राप्त किया जाता है - तो यह एक फाइलिंग सिस्टम है और - फिर यह संरचित या असंरचित होने की परवाह किए बिना जीडीपीआर के दायरे में है। आज अधिकांश इलेक्ट्रॉनिक सिस्टम, एक्सेस और एप्लाइड सॉफ़्टवेयर के अधीन, डेटा की आसान पुनर्प्राप्ति की अनुमति दे सकते हैं।

यह भी देखें

टिप्पणियाँ

  1. ^ Today's Challenge in Government: What to do with Unstructured Information and Why Doing Nothing Isn't An Option, Noel Yuhanna, Principal Analyst, Forrester Research, Nov 2010


संदर्भ

  1. ↑ Shilakes, Christopher C.; Tylman, Julie (16 Nov 1998). "उद्यम सूचना पोर्टल" (PDF). Merrill Lynch. Archived from the original (PDF) on 24 July 2011.
  2. ↑ Grimes, Seth (1 August 2008). "Unstructured Data and the 80 Percent Rule". Breakthrough Analysis - Bridgepoints. Clarabridge.
  3. ↑ Gandomi, Amir; Haider, Murtaza (April 2015). "Beyond the hype: Big data concepts, methods, and analytics". International Journal of Information Management. 35 (2): 137–144. doi:10.1016/j.ijinfomgt.2014.10.007. ISSN 0268-4012.
  4. ↑ "सबसे बड़ी डेटा चुनौतियाँ जिनके बारे में आपको शायद पता भी न हो - वॉटसन". Watson (in English). 2016-05-25. Retrieved 2018-10-02.
  5. ↑ "संरचित बनाम असंरचित डेटा". www.datamation.com (in English). Retrieved 2018-10-02.
  6. ↑ "EMC News Press Release: New Digital Universe Study Reveals Big Data Gap: Less Than 1% of World's Data is Analyzed; Less Than 20% is Protected". www.emc.com. EMC Corporation. December 2012.
  7. ↑ "Trends | Seagate US". Seagate.com (in English). Retrieved 2018-10-01.
  8. ↑ 8.0 8.1 Grimes, Seth. "टेक्स्ट एनालिटिक्स का संक्षिप्त इतिहास". B Eye Network. Retrieved June 24, 2016.
  9. ↑ Albright, Russ. "एसवीडी के साथ पाठ को नियंत्रित करना" (PDF). SAS. Archived from the original (PDF) on 2016-09-30. Retrieved June 24, 2016.
  10. ↑ Desai, Manish (2009-08-09). "टेक्स्ट एनालिटिक्स के अनुप्रयोग". My Business Analytics @ Blogspot. Retrieved June 24, 2016.
  11. ↑ Chakraborty, Goutam. "Analysis of Unstructured Data: Applications of Text Analytics and Sentiment Mining" (PDF). SAS. Retrieved June 24, 2016.
  12. ↑ Holzinger, Andreas; Stocker, Christof; Ofner, Bernhard; Prohaska, Gottfried; Brabenetz, Alberto; Hofmann-Wellenhof, Rainer (2013). "Combining HCI, Natural Language Processing, and Knowledge Discovery – Potential of IBM Content Analytics as an Assistive Technology in the Biomedical Field". In Holzinger, Andreas; Pasi, Gabriella (eds.). जटिल, असंरचित, बड़े डेटा में मानव-कंप्यूटर इंटरैक्शन और ज्ञान की खोज. Lecture Notes in Computer Science. Springer. pp. 13–24. doi:10.1007/978-3-642-39146-0_2. ISBN 978-3-642-39146-0. S2CID 39461100.
  13. ↑ "Structure, Models and Meaning: Is "unstructured" data merely unmodeled?". InformationWeek (in English). March 1, 2005.
  14. ↑ Malone, Robert (April 5, 2007). "असंरचित डेटा की संरचना करना". Forbes (in English).
  15. ↑ Lin, Cindy Xide; Ding, Bolin; Han, Jiawei; Zhu, Feida; Zhao, Bo (December 2008). Text Cube: Computing IR Measures for Multidimensional Text Database Analysis. CiteSeerX 10.1.1.215.3177. doi:10.1109/icdm.2008.135. ISBN 9780769535029. S2CID 1522480. {{cite book}}: |journal= ignored (help)
  16. ↑ 16.0 16.1 Tao, Fangbo; Zhuang, Honglei; Yu, Chi Wang; Wang, Qi; Cassidy, Taylor; Kaplan, Lance; Voss, Clare; Han, Jiawei (2016). "टेक्स्ट क्यूब्स में बहु-आयामी, वाक्यांश-आधारित सारांश" (PDF).
  17. ↑ Collier, Nigel; Nazarenko, Adeline; Baud, Robert; Ruch, Patrick (June 2006). "बायोमेडिकल अनुप्रयोगों के लिए प्राकृतिक भाषा प्रसंस्करण में हालिया प्रगति". International Journal of Medical Informatics. 75 (6): 413–417. doi:10.1016/j.ijmedinf.2005.06.008. ISSN 1386-5056. PMID 16139564. S2CID 31449783.
  18. ↑ Gonzalez, Graciela H.; Tahsin, Tasnia; Goodale, Britton C.; Greene, Anna C.; Greene, Casey S. (January 2016). "बायोमेडिकल डिस्कवरी के लिए टेक्स्ट और डेटा माइनिंग में हालिया प्रगति और उभरते अनुप्रयोग". Briefings in Bioinformatics. 17 (1): 33–42. doi:10.1093/bib/bbv087. ISSN 1477-4054. PMC 4719073. PMID 26420781.
  19. ↑ Skupin, André; Biberstine, Joseph R.; Börner, Katy (2013). "Visualizing the topical structure of the medical sciences: a self-organizing map approach". PLOS ONE. 8 (3): e58779. Bibcode:2013PLoSO...858779S. doi:10.1371/journal.pone.0058779. ISSN 1932-6203. PMC 3595294. PMID 23554924.
  20. ↑ Kiela, Douwe; Guo, Yufan; Stenius, Ulla; Korhonen, Anna (2015-04-01). "बायोमेडिकल दस्तावेज़ों में सूचना संरचना की अनियंत्रित खोज". Bioinformatics. 31 (7): 1084–1092. doi:10.1093/bioinformatics/btu758. ISSN 1367-4811. PMID 25411329.
  21. ↑ 21.0 21.1 Liem, David A.; Murali, Sanjana; Sigdel, Dibakar; Shi, Yu; Wang, Xuan; Shen, Jiaming; Choi, Howard; Caufield, John H.; Wang, Wei; Ping, Peipei; Han, Jiawei (Oct 1, 2018). "हृदय रोग में बाह्य कोशिकीय मैट्रिक्स प्रोटीन पैटर्न का विश्लेषण करने के लिए पाठ्य डेटा का वाक्यांश खनन". American Journal of Physiology. Heart and Circulatory Physiology. 315 (4): H910–H924. doi:10.1152/ajpheart.00175.2018. ISSN 1522-1539. PMC 6230912. PMID 29775406.
  22. ↑ "Swedish data privacy regulations discontinue separation of "unstructured" and "structured"".


बाहरी संबंध

Retrieved from ‘https://www.vigyanwiki.in/index.php?title=असंरचित_डेटा&oldid=217593’