डेटा माइनिंग

डेटा माइनिंग मशीन सीखने, सांख्यिकी और डेटा बेस प्रणालियों के प्रतिच्छेदन पर विधियों से संबंधित बड़े डेटा सेटों में पैटर्न निकालने और खोजने की प्रक्रिया होती है। डेटा माइनिंग कंप्यूटर विज्ञान और सांख्यिकी का एक अंतःविषय उपक्षेत्र है, जिसका समग्र लक्ष्य एक डेटा सेट से जानकारी (बुद्धिमान विधियों के साथ) निकालना और सूचना को आगे उपयोग के लिए एक सुगम संरचना में बदलने का लक्ष्य रखा गया है।   डाटा माइनिंग डाटाबेस प्रक्रिया या केडीडी में नॉलेज डिस्कवरी का विश्लेषण चरण है। अनिर्मित विश्लेषण कदम के अलावा, इसमें डेटाबेस और डेटा प्रबंधन पहलू, डेटा पूर्व-प्रसंस्करण, सांख्यिकीय मॉडल और सांख्यिकीय निष्कर्ष विचार, रुचि और अनुमान मीट्रिक, संगणनात्मक जटिलता सिद्धांत विचार, की खोजी गई संरचनाओं डेटा प्री-प्रोसेसिंग, डेटा  दृश्यकरण और ऑनलाइन  कलन विधि  भी सम्मिलित।

डेटा माइनिंग शब्द एक मिथ्या नाम है क्योंकि लक्ष्य बड़ी मात्रा में डेटा से नमूना और ज्ञान का निष्कर्षण है न कि डेटा का निष्कर्षण खनन है। यह भी एक मुहावरा है और अक्सर बड़े पैमाने पर डेटा या सूचना प्रसंस्करण (संग्रह, निष्कर्षण, भंडारण, विश्लेषण और सांख्यिकी) के किसी भी रूप में और कृत्रिम बुद्धि (जैसे, मशीन सीखने) और व्यापार खुफिया सहित कंप्यूटर निर्णय समर्थन प्रणाली के किसी भी अनुप्रयोग पर लागू होता है।.पुस्तक डेटा माइनिंग, जावा (प्रोग्रामिंग भाषा) हैं। (जिसमें ज्यादातर मशीन लर्निंग सामग्री को कवर करता है) व्यावहारिक मशीन सीखने के उपकरण और तकनीक मूल रूप से व्यावहारिक मशीन सीखने के लिए नाम दिया गया था और डेटा माइनिंग शब्द को केवल मार्केटिंग कारणों से जोड़ा गया था। अक्सर अधिक सामान्य शब्द (बड़े पैमाने पर) डेटा विश्लेषण और विश्लेषण या वास्तविक तरीकों, कृत्रिम बुद्धिमत्ता और मशीन सीखने के संदर्भ में अधिक उपयुक्त होते हैं।

वास्तविक डेटा खनन कार्य, पहले अज्ञात, दिलचस्प प्रतिरूपों जैसे डेटा रिकॉर्ड के समूह (क्लस्टर विश्लेषण), असामान्य रिकॉर्ड (विसंगति संसूचन), और निर्भरता (संगठन नियम माइनिंग, अनुक्रमिक पैटर्न माइनिंग) को निकालने के लिए डेटा की बड़ी मात्रा का अर्ध-स्वचालित या स्वचालित विश्लेषण है.यह आमतौर पर स्थानिक सूचकांक जैसे डेटाबेस तकनीक का उपयोग करना सम्मिलित होता है। तब इन प्रतिरूपों को इनपुट डेटा के सारांश के रूप में देखा जा सकता है और इन्हें आगे के विश्लेषण में प्रयोग किया जा सकता है या, उदाहरण के लिए, मशीनी अध्ययन और प्राख्यान विश्लेषण में प्रयोग किया जाता है। उदाहरण के लिए, डेटा माइनिंग चरण में डेटा में कई समूहों की पहचान हो सकती है, जिन्हें निर्णय समर्थन प्रणाली द्वारा अधिक सटीक पूर्वानुमान परिणाम प्राप्त करने के लिए उपयोग किया जा सकता है,.न तो डेटा संग्रहण, डेटा तैयार करना, न ही परिणाम व्याख्या और रिपोर्टिंग डेटा माइनिंग चरण का हिस्सा है, हालांकि ये संपूर्ण केडीडी प्रक्रिया का हिस्सा हैं, जैसे कि अतिरिक्त चरण से संबंधित हैं।

डेटा विश्लेषण और डेटा माइनिंग के बीच का अंतर यह है कि डेटा विश्लेषण का उपयोग डेटासेट पर मॉडल और परिकल्पना का परीक्षण करने के लिए किया जाता है, उदाहरण के लिए, डेटा की मात्रा की परवाह किए बिना, मार्केटिंग अभियान की प्रभावशीलता का विश्लेषण करना होता है। इसके विपरीत, डेटा माइनिंग बड़ी मात्रा में डेटा में गुप्त या छिपे हुए पैटर्न को उजागर करने के लिए मशीन लर्निंग और सांख्यिकीय मॉडल का उपयोग करता है।

संबंधित शब्द डेटा ड्रेजिंग, डेटा फिशिंग और डेटा स्नूपिंग एक बड़ी जनसंख्या डेटा सेट के नमूना भागों के लिए डेटा माइनिंग विधियों के उपयोग को संदर्भित किया जाता है जो विश्वसनीय सांख्यिकीय अनुमानों के लिए अत्यधिक छोटा होता है। तथापि, इन विधियों का प्रयोग बड़ी संख्या वाली जनसंख्या के विरुद्ध परीक्षण के लिए नई परिकल्पनाओं के सृजन में किया जा सकता है।

व्युत्पत्ति
1960 के दशक में सांख्यिकीविदों और अर्थशास्त्रियों ने डेटा मछली पकड़ने या आंकड़े निकालने जैसे शब्दों का इस्तेमाल, उन्हें प्राथमिकता परिकल्पना के बिना आंकड़ों के विश्लेषण की बुरी अभ्यास के रूप में मानते थे।1983 में आर्थिक अध्ययनों की समीक्षा में प्रकाशित एक लेख में अर्थशास्त्री  माइकल लवेल ने इसी प्रकार की आलोचनात्मक दृष्टि से "डेटा माइनिंग" शब्द का इस्तेमाल किया था।  लवेल इंगित करता है कि अभ्यास किये जा रहे विभिन्न एलीसेस में मास्कवर की प्रक्रिया, जिसमें फिशिंग (पॉजिटिव) या स्नूपिंग नकारात्मक तक सम्मिलित की जाती है।

डेटा माइनिंग शब्द 1990 के आसपास डेटाबेस समुदाय में सामान्तया सकारात्मक अर्थों के साथ दिखाई दिया। 1980 के दशक में थोड़े समय के लिए, एक वाक्यांश डेटाबेस माइनिंग™ का उपयोग किया गया था, लेकिन चूंकि यह एचएनसी, एक सैन डिएगोआधारित कंपनी द्वारा ट्रेडमार्क किया गया था, ताकि उनके डेटाबेस माइनिंग वर्कस्टेशन को व्यापार के लिए उपयोग किया जा सके; शोधकर्ताओं ने परिणामस्वरूप डेटा माइनिंग में बदल दिया। अन्य शब्दों में डेटा पुरातत्व, सूचना संचयन, सूचना खोज, ज्ञान निष्कर्षण आदि सम्मिलित हैं। ग्रेगरी पियाट्स्की-शापीरो ने पहली बार कार्यशाला (केडीडी-1989) के लिए नॉलेज डिस्कवरी शब्द का प्रयोग किया और यह शब्द एअर इंडिया और मशीनी शिक्षण के क्षेत्र में लोकप्रिय हो गया। लेकिन डेटा माइनिंग शब्द व्यापार और प्रेस समुदायों में अधिक लोकप्रिय हो गया। वर्तमान में, डेटा माइनिंग और नॉलेज डिस्कवरी का उपयोग परस्पर विनिमय के लिए किया जाता है।

शैक्षिक समुदाय में प्रमुख अनुसंधान मंचों की शुरुआत 1995 में हुई जब डेटा माइनिंग और नॉलेज डिस्कवरी पर प्रथम अंतर्राष्ट्रीय सम्मेलन एएएआई प्रायोजन के तहत मांट्रियल में शुरू किया गया। इसकी सह-अध्यक्षता उस्मा फ़य्याद और रामासामी उथुरुसामी ने की थी। इसके एक साल बाद, 1996 में, उसामा फय्यद ने डेटा माइनिंग एंड नॉलेज डिस्कवरी नामक वोल्टर्स क्लूवर द्वारा इसके संस्थापक संपादक-इन-चीफ के रूप में पत्रिका लॉन्च की। बाद में उन्होंने एसआईजीकेडीडी समाचारपत्र एसआईजीकेडीडी अन्वेषण की शुरुआत की। केडीडी अंतर्राष्ट्रीय सम्मेलन 18% से कम के अनुसंधान पत्र प्रस्तुति की स्वीकृति दर से डाटा माइनिंग में प्राथमिक उच्चतम स्तरीय सम्मेलन बन गया। जर्नल डेटा माइनिंग और नॉलेज डिस्कवरी क्षेत्र की प्राथमिक शोध पत्रिका है।

पृष्ठभूमि
डेटा से पैटर्न का मैन्युअल निष्कर्षण सदियों से हुआ है। डेटा में पैटर्न की पहचान करने के शुरुआती तरीकों में बेयस प्रमेय (1700s) और प्रतिगमन विश्लेषण (1800s) में सम्मिलित होता है। कंप्यूटर प्रौद्योगिकी के प्रसार, सर्वव्यापकता और बढ़ती शक्ति ने नाटकीय रूप से डेटा संग्रह, भंडारण और नियंत्रण करने की क्षमता को बढ़ा दिया है। जैसे-जैसे डेटा सेट आकार और जटिलता में बढ़ता गया है, प्रत्यक्ष व्यावहारिक डेटा विश्लेषण को अप्रत्यक्ष, स्वचालित डेटा प्रोसेसिंग के साथ तेजी से बढ़ाया गया है। और कंप्यूटर विज्ञान में अन्य खोजों की सहायता से, विशेष रूप से मशीन अध्ययन, क्लस्टर विश्लेषण, आनुवंशिक  कलन विधि, (1950 के दशक), निर्णय वृक्ष और निर्णय नियम (1960 के दशक), और समर्थन वेक्टर मशीनों (1990) में वृद्धि हुई है। डेटा माइनिंग गुप्त पैटर्न को उजागर करने के इरादे से इन तरीकों को लागू करने की प्रक्रिया है। बड़े डेटा सेटों में यह अनुप्रयुक्त सांख्यिकी और कृत्रिम बुद्धि के अंतराल को पाटता है, जो सामान्तया गणितीय पृष्ठभूमि प्रदान करता है। डेटाबेस प्रबंधन के लिए जिस तरह डेटा संग्रहित और डेटाबेस में अनुक्रमित वास्तविक अधिगम और खोज कलन विधि के निष्पादन के लिए करता है, जो ऐसे उपायों को अक्षरतापूर्वक डेटा सेट में लागू करने की अनुमति देते हैं.

प्रक्रिया
डेटाबेस (केडीडी) प्रक्रिया में नॉलेज डिस्कवरी को आमतौर पर चरणों के साथ परिभाषित किया जाता है:


 * 1) चयन
 * 2) प्री-प्रोसेसिंग
 * 3) परिवर्तन
 * 4) डेटा माइनिंग
 * 5) व्याख्या / मूल्यांकन।

चूँकि, यह इस विषय पर कई रूपों में मौजूद है, डाटा माइनिंग के लिए क्रॉस-इंडस्ट्री मानक प्रक्रिया (क्रिस्प-डीएम) जो छह चरणों को परिभाषित करता है।


 * 1) व्यापार की समझ
 * 2) डेटा समझ
 * 3) डेटा तैयारी
 * 4) मॉडलिंग
 * 5) मूल्यांकन
 * 6) सिस्टम परिनियोजन

या एक सरलीकृत प्रक्रिया जैसे (1) प्री-प्रोसेसिंग, (2) डेटा माइनिंग, और (3) परिणाम सत्यापन।

2002, 2004, 2007 और 2014 में आयोजित चुनाव दर्शाते हैं कि क्रिस-डीएम पद्धति डेटा खनिकों द्वारा प्रयोग की जाने वाली प्रमुख कार्यप्रणाली है। इन चुनावों में नामांकित एकमात्र अन्य डेटा माइनिंग मानक सेम्मा था। चूँकि, 3-4 गुना अधिक लोगों ने क्रिस्प-डीएम का उपयोग करने की सूचना दी। शोधकर्ताओं की कई टीमों ने डाटा माइनिंग प्रक्रिया मॉडल की समीक्षा प्रकाशित की है और अजेवेदो और सैंटोस ने 2008 में क्रिस्प-डीएम और सेम्मा की तुलना की थी।

प्री-प्रोसेसिंग
डेटा माइनिंग कलन विधि के प्रयोग के पहले एक लक्ष्य डेटा सेट अवश्य रखना चाहिए। चूंकि डेटा माइनिंग डेटा में वास्तव में उपस्थित पैटर्नों को उजागर कर सकती है, इसलिए लक्ष्य डेटा सेट इतना बड़ा होना चाहिए कि वह इन पैटर्नों को नियंत्रित कर सके जबकि एक स्वीकार्य समय सीमा के भीतर माइनिंग करने के लिए पर्याप्त संक्षिप्त होना चाहिए। डेटा के लिए एक आम स्रोत डेटा मार्ट या डेटा वेयरहाउस है, डेटा माइनिंग से पहले बहुभिन्नरूपी डेटा सेटों का विश्लेषण करने के लिए प्री सेट को तब साफ किया जाता है। आँकड़ा सफाई सांख्यिकीय शोरर युक्त टिप्पणियों तथा अनुपस्थित डाटा वाले टिप्पणियों को हटा देती है।

डाटा माइनिंग
डेटा माइनिंग में कार्यों के छह सामान्य वर्ग सम्मिलित होते हैं।
 * विसंगति का पता लगाना (बाह्य / परिवर्तन / विचलन का पता लगाना) असामान्य डेटा रिकॉर्ड की पहचान, जो कि दिलचस्प या डेटा त्रुटियां हो सकती हैं जिनके लिए आगे की जांच की आवश्यकता होती है।
 * संगठन नियम सीखना (निर्भरता मॉडलिंग) - वेरिएबल्स के बीच संबंधों की खोज करता है। उदाहरण के लिए, एक सुपरमार्केट ग्राहक को खरीदारी की आदतों पर डेटा एकत्र कर सकता है। संगठन रूल लर्निंग का उपयोग करते हुए, सुपरमार्केट यह निर्धारित कर सकता है कि कौन से उत्पाद अक्सर एक साथ खरीदे जाते हैं और इस जानकारी का उपयोग मार्केटिंग उद्देश्यों के लिए करते हैं। इसे कभी-कभी मार्केट बास्केट विश्लेषण के रूप में जाना जाता है।
 * क्लस्टर विश्लेषण - डेटा में ज्ञात संरचनाओं का उपयोग किए बिना, डेटा में समूहों और संरचनाओं की खोज करने का कार्य है, जो किसी न किसी रूप में या अन्य समान हैं।
 * सांख्यिकीय वर्गीकरण - नए डेटा पर लागू करने के लिए ज्ञात संरचना को सामान्य बनाने का कार्य है। उदाहरण के लिए, एक ई-मेल प्रोग्राम किसी ई-मेल को वैध या स्पैम के रूप में वर्गीकृत करने का प्रयास कर सकता है।
 * प्रतिगमन विश्लेषण - एक फलन खोजने का प्रयास करता है जो डेटा या डेटासेट के बीच संबंधों का अनुमान लगाने के लिए डेटा को कम से कम त्रुटि के साथ मॉडल करता है।
 * स्वचालित सारांश - प्रत्योक्षकरण और रिपोर्ट जनरेशन सहित डेटा सेट का अधिक कॉम्पैक्ट प्रतिनिधित्व प्रदान करना।

परिणाम सत्यापन
डेटा खनन का अनजाने में दुरुपयोग किया जा सकता है, उन परिणामों का उत्पादन जो महत्वपूर्ण प्रतीत होते हैं लेकिन जिन पर वास्तव में भविष्य के व्यवहार की भविष्यवाणी नहीं की जाती और उन्हें डेटा के एक नए नमूने पर नहीं पेश किया जा सकता है, इसलिए इसका बहुत कम उपयोग होता है।.यह कभी कभी कई परिकल्पनाओं की जांच के कारण होता है और उचित सांख्यिकीय परिकल्पना परीक्षण नहीं के कारण होता है। मशीन लर्निंग की इस समस्या के सरल संस्करण को ओवरफिटिंग के रूप में जाना जाता है, लेकिन यह एक ही समस्या प्रक्रिया के विभिन्न चरणों में खड़ी हो सकती है और इस प्रकार सभी पर लागू हो जाने पर एक ट्रेन/टेस्ट स्प्लिट जब भी लागू हो इसे होने से रोकने के लिए पर्याप्त नहीं हो सकता है।

डेटा से नॉलेज डिस्कवरी का अंतिम चरण यह सत्यापित करना है कि डेटा माइनिंग  कलन विधि  द्वारा निर्मित पैटर्न व्यापक डेटा सेट में घटित होती है। कलन विधि  द्वारा पाए गए सभी पैटर्न आवश्यक रूप से मान्य नहीं हैं। डेटा माइनिंग  कलन विधि  के लिए प्रशिक्षण सेट में ऐसे पैटर्न ढूंढना आम बात है जो सामान्य डेटा सेट में मौजूद नहीं हैं। इसे ओवरफिटिंग कहा जाता है। इसे दूर करने के लिए, मूल्यांकन डेटा के एक परीक्षण सेट का उपयोग करता है जिस पर डेटा माइनिंग कलन विधि  को प्रशिक्षित नहीं किया गया था। सीखे गए पैटर्न इस परीक्षण सेट पर लागू होते हैं, और परिणामस्वरूप आउटपुट की तुलना वांछित आउटपुट से की जाती है। उदाहरण के लिए, डेटा माइनिंग कलन विधि जो "स्पैम" को वैध "ई-मेल से अलग करने की कोशिश करता है, उसे नमूना ई-मेल के प्रशिक्षण सेट पर प्रशिक्षित किया जाएगा। एक बार प्रशिक्षित होने के बाद, सीखे हुए पैटर्न को उन ई-मेल के परीक्षण सेट पर लागू किया जाएगा जिन पर उसे प्रशिक्षित नहीं किया गया था। पैटर्न की सटीकता को तब मापा जा सकता है कि वे कितने ई-मेल को सही ढंग से वर्गीकृत करते हैं।  कलन विधि  का मूल्यांकन करने के लिए कई सांख्यिकीय विधियों का उपयोग किया जा सकता है, जैसे रिसीवर ऑपरेटिंग विशेषता।

यदि सीखे गए पैटर्न वांछित मानकों को पूरा नहीं करते हैं, तो पूर्व-प्रसंस्करण और डेटा माइनिंग चरणों का पुनर्मूल्यांकन और परिवर्तन करना आवश्यक है। यदि सीखे हुए पैटर्न वांछित मानकों को पूरा करते हैं, तो अंतिम चरण सीखे गए पैटर्न की व्याख्या करना और उन्हें ज्ञान में बदलना है।

अनुसंधान
नॉलेज डिस्कवरी एंड डेटा माइनिंग (SIGKDD) पर संगणक तंत्र संस्था (ACM) स्पेशल इंटरेस्ट ग्रुप (SIG) इस क्षेत्र की प्रमुख पेशेवर संस्था है। 1989 से, इस ACM SIG ने एक वार्षिक अंतर्राष्ट्रीय सम्मेलन की मेजबानी की है और इसकी कार्यवाही प्रकाशित की है, और 1999 से इसने SIGKDD एक्सप्लोरेशन नामक द्विवार्षिक अकादमिक पत्रिका प्रकाशित की है। डाटा माइनिंग पर कंप्यूटर विज्ञान सम्मेलनों में शामिल हैं:


 * CIKM सम्मेलन - सूचना और ज्ञान प्रबंधन पर ACM सम्मेलन
 * मशीन लर्निंग और डेटाबेस में ज्ञान खोज के सिद्धांतों और अभ्यास पर यूरोपीय सम्मेलन
 * केडीडी सम्मेलन - ज्ञान खोज और डेटा खनन पर एसीएम एसआईजीकेडीडी सम्मेलन

कंप्यूटर विज्ञान सम्मेलनों की कई सूची #डेटा प्रबंधन|डेटा प्रबंधन/डेटाबेस सम्मेलनों जैसे ICDE सम्मेलन, SIGMOD और बहुत बड़े डेटा बेस पर अंतर्राष्ट्रीय सम्मेलन में डेटा माइनिंग विषय भी मौजूद हैं।

मानक
डेटा माइनिंग प्रक्रिया के लिए मानकों को परिभाषित करने के कुछ प्रयास किए गए हैं, उदाहरण के लिए, 1999 यूरोपियन डाटा माइनिंग के लिए क्रॉस इंडस्ट्री स्टैंडर्ड प्रक्रिया (CRISP-DM 1.0) और 2004 Java डेटा माइनिंग स्टैंडर्ड (JDM 1.0)। इन प्रक्रियाओं के उत्तराधिकारियों पर विकास (CRISP-DM 2.0 और JDM 2.0) 2006 में सक्रिय था लेकिन तब से रुका हुआ है। JDM 2.0 को अंतिम मसौदे पर पहुंचे बिना वापस ले लिया गया।

निकाले गए मॉडलों का आदान-प्रदान करने के लिए- विशेष रूप से भविष्यवाणिय विश्लेषिकी में उपयोग के लिए- मुख्य मानक भविष्यवाणी मॉडल मार्कअप लैंग्वेज (पीएमएमएल) है, जावा डाटा माइनिंग ग्रुप (डीएमजी) द्वारा विकसित एक एक्सएमएल-आधारित भाषा है और कई लोगों द्वारा विनिमय प्रारूप के रूप में समर्थित है। डेटा खनन अनुप्रयोगों। जैसा कि नाम से पता चलता है, यह केवल भविष्यवाणी मॉडल, व्यावसायिक अनुप्रयोगों के लिए उच्च महत्व के एक विशेष डेटा खनन कार्य को कवर करता है। हालांकि, कवर करने के लिए विस्तार (उदाहरण के लिए) सबस्पेस क्लस्टरिंग डीएमजी से स्वतंत्र रूप से प्रस्तावित किया गया है।

उल्लेखनीय उपयोग
आज जहाँ भी डिजिटल डेटा उपलब्ध है, डेटा माइनिंग का उपयोग किया जाता है। डाटा माइनिंग के उल्लेखनीय उदाहरण पूरे व्यापार, चिकित्सा, विज्ञान और निगरानी में पाए जा सकते हैं।

गोपनीयता चिंताएं और नैतिकता
जबकि डेटा माइनिंग शब्द का कोई नैतिक प्रभाव नहीं हो सकता है, यह अक्सर उपयोगकर्ता व्यवहार विश्लेषण (नैतिक और अन्यथा) के संबंध में जानकारी के खनन से जुड़ा होता है। जिन तरीकों से डेटा माइनिंग का उपयोग किया जा सकता है, वे कुछ मामलों और संदर्भों में गोपनीयता, वैधता और नैतिकता के संबंध में प्रश्न उठा सकते हैं। विशेष रूप से, राष्ट्रीय सुरक्षा या कानून प्रवर्तन उद्देश्यों के लिए डेटा माइनिंग सरकार या वाणिज्यिक डेटा सेट, जैसे कुल सूचना जागरूकता कार्यक्रम या ADVISE में, ने गोपनीयता संबंधी चिंताओं को उठाया है। डेटा माइनिंग के लिए डेटा तैयार करने की आवश्यकता होती है जो गोपनीयता और डेटा गोपनीयता दायित्वों से समझौता करने वाली जानकारी या पैटर्न को उजागर करता है। ऐसा होने का एक सामान्य तरीका समग्र कार्य के माध्यम से होता है। डेटा एकत्रीकरण में डेटा को एक साथ जोड़ना (संभवतः विभिन्न स्रोतों से) एक तरह से होता है जो विश्लेषण की सुविधा देता है (लेकिन यह निजी, व्यक्तिगत-स्तर के डेटा की पहचान या अन्यथा स्पष्ट भी हो सकता है)। यह डेटा माइनिंग नहीं है, बल्कि विश्लेषण से पहले और उद्देश्यों के लिए डेटा तैयार करने का परिणाम है। किसी व्यक्ति की गोपनीयता के लिए खतरा तब सामने आता है जब डेटा, एक बार संकलित हो जाने के बाद, डेटा माइनर, या कोई भी व्यक्ति जिसके पास नए संकलित डेटा सेट तक पहुंच होती है, विशिष्ट व्यक्तियों की पहचान करने में सक्षम हो जाता है, खासकर जब डेटा मूल रूप से गुमनाम था। इसकी सलाह दी जाती है डेटा एकत्र करने से पहले निम्नलिखित के बारे में जागरूक होना: * डेटा संग्रह और किसी भी (ज्ञात) डेटा माइनिंग प्रोजेक्ट का उद्देश्य।
 * डेटा का उपयोग कैसे किया जाएगा।
 * जो डेटा को माइन करने और डेटा और उनके डेरिवेटिव का उपयोग करने में सक्षम होंगे।
 * डेटा तक पहुंच के आसपास सुरक्षा की स्थिति।
 * एकत्रित डेटा को कैसे अपडेट किया जा सकता है।

डेटा को गुमनाम बनाने के लिए संशोधित भी किया जा सकता है, ताकि व्यक्तियों की आसानी से पहचान न हो सके। हालांकि, यहां तक ​​कि डेटा गुमनामी डेटा सेट में संभावित रूप से व्यक्तियों की पहचान की अनुमति देने के लिए पर्याप्त जानकारी हो सकती है, जैसा कि तब हुआ जब पत्रकार खोज इतिहास के एक सेट के आधार पर कई व्यक्तियों को खोजने में सक्षम थे जो अनजाने में एओएल द्वारा जारी किए गए थे। प्रदाता के लिए अग्रणी व्यक्तिगत रूप से पहचान योग्य जानकारी का अनजाने प्रकटीकरण उचित सूचना प्रथाओं का उल्लंघन करता है। यह अविवेक वित्तीय कारण बन सकता है, संकेतित व्यक्ति को भावनात्मक, या शारीरिक नुकसान। निजता के उल्लंघन के एक उदाहरण में, Walgreens के संरक्षकों ने 2011 में कंपनी के खिलाफ बेचने के लिए मुकदमा दायर किया डेटा माइनिंग कंपनियों को प्रिस्क्रिप्शन जानकारी जो बदले में डेटा प्रदान करती हैं दवा कंपनियों को।

यूरोप में स्थिति
यूरोपीय संघ में काफी मजबूत गोपनीयता कानून हैं, और उपभोक्ताओं के अधिकारों को और मजबूत करने के प्रयास चल रहे हैं। हालांकि, इंटरनेशनल सेफ हार्बर प्राइवेसी प्रिंसिपल्स|यू.एस.-ई.यू. 1998 और 2000 के बीच विकसित सेफ हार्बर सिद्धांत, वर्तमान में अमेरिकी कंपनियों द्वारा यूरोपीय उपयोगकर्ताओं को गोपनीयता के शोषण के लिए प्रभावी रूप से उजागर करते हैं। एड्वर्ड स्नोडेन के वैश्विक निगरानी प्रकटीकरण के परिणामस्वरूप, इस समझौते को रद्द करने की चर्चा बढ़ गई है, क्योंकि विशेष रूप से डेटा पूरी तरह से राष्ट्रीय सुरक्षा एजेंसी के सामने आ जाएगा, और संयुक्त राज्य अमेरिका के साथ एक समझौते तक पहुंचने के प्रयास विफल हो गए हैं। विशेष रूप से यूनाइटेड किंगडम में ऐसे मामले सामने आए हैं जब निगमों ने डेटा माइनिंग का उपयोग ग्राहकों के कुछ समूहों को लक्षित करने के लिए किया, जिससे उन्हें अनुचित रूप से उच्च कीमतों का भुगतान करने के लिए मजबूर होना पड़ा। ये समूह निम्न सामाजिक-आर्थिक स्थिति के लोग होते हैं जो डिजिटल मार्केट स्थानों में उनका शोषण करने के तरीकों से परिचित नहीं होते हैं।

संयुक्त राज्य अमेरिका में स्थिति
संयुक्त राज्य अमेरिका में, स्वास्थ्य बीमा सुवाह्यता और जवाबदेही अधिनियम (HIPAA) जैसे नियामक नियंत्रणों के पारित होने के माध्यम से अमेरिकी कांग्रेस द्वारा गोपनीयता चिंताओं को संबोधित किया गया है। HIPAA के लिए व्यक्तियों को उनके द्वारा प्रदान की जाने वाली जानकारी और इसके इच्छित वर्तमान और भविष्य के उपयोगों के बारे में सूचित सहमति देना आवश्यक है। एएएचसी का कहना है कि बायोटेक बिजनेस वीक में एक लेख के अनुसार, '[i] एन अभ्यास, एचआईपीएए अनुसंधान क्षेत्र में लंबे समय से चल रहे नियमों की तुलना में अधिक सुरक्षा प्रदान नहीं कर सकता है।' इससे भी महत्वपूर्ण बात यह है कि सूचित सहमति के माध्यम से सुरक्षा का नियम का लक्ष्य औसत व्यक्तियों के लिए समझ से बाहर का स्तर है। यह डेटा एकत्रीकरण और खनन प्रथाओं में डेटा गुमनामी की आवश्यकता को रेखांकित करता है।

अमेरिकी सूचना गोपनीयता कानून जैसे HIPAA और पारिवारिक शैक्षिक अधिकार और गोपनीयता अधिनियम (FERPA) केवल उन विशिष्ट क्षेत्रों पर लागू होते हैं जो ऐसे प्रत्येक कानून को संबोधित करते हैं। यू.एस. में अधिकांश व्यवसायों द्वारा डेटा खनन का उपयोग किसी भी कानून द्वारा नियंत्रित नहीं किया जाता है।

यूरोप में स्थिति
यूरोपीय संघ के कॉपीराइट कानून और डेटाबेस निर्देशों के तहत, कॉपीराइट स्वामी की अनुमति के बिना इन-कॉपीराइट कार्यों (जैसे वेब खनन द्वारा) का खनन कानूनी नहीं है। जहां डेटाबेस यूरोप में शुद्ध डेटा है, हो सकता है कि कोई कॉपीराइट न हो- लेकिन डेटाबेस अधिकार मौजूद हो सकते हैं, इसलिए डेटा खनन बौद्धिक संपदा मालिकों के अधिकारों के अधीन हो जाता है जो डेटाबेस डायरेक्टिव द्वारा संरक्षित हैं। हार्ग्रेव्स समीक्षा की सिफारिश पर, इसने ब्रिटेन सरकार को 2014 में अपने कॉपीराइट कानून में संशोधन करने के लिए सामग्री खनन को एक सीमा और कॉपीराइट के अपवाद के रूप में अनुमति देने के लिए प्रेरित किया। जापान के बाद ऐसा करने वाला यूके दुनिया का दूसरा देश था, जिसने 2009 में डेटा माइनिंग के लिए एक अपवाद पेश किया था। हालांकि, सूचना सोसायटी निर्देश (2001) के प्रतिबंध के कारण, यूके अपवाद केवल गैर-वाणिज्यिक उद्देश्यों के लिए सामग्री खनन की अनुमति देता है। यूके कॉपीराइट कानून भी इस प्रावधान को संविदात्मक नियमों और शर्तों द्वारा ओवरराइड करने की अनुमति नहीं देता है। 2020 से भी स्विट्ज़रलैंड डेटा खनन को कला द्वारा निर्धारित कुछ शर्तों के तहत अनुसंधान क्षेत्र में अनुमति देकर विनियमित कर रहा है। स्विस कॉपीराइट अधिनियम के 24d। यह नया लेख 1 अप्रैल 2020 को लागू हुआ। यूरोपीय आयोग ने यूरोप के लिए लाइसेंस के शीर्षक के तहत 2013 में पाठ और डेटा खनन पर हितधारक चर्चा की सुविधा प्रदान की। इस कानूनी मुद्दे के समाधान पर ध्यान, जैसे कि सीमाओं और अपवादों के बजाय लाइसेंसिंग, ने मई 2013 में विश्वविद्यालयों, शोधकर्ताओं, पुस्तकालयों, नागरिक समाज समूहों और खुला एक्सेस प्रकाशकों के प्रतिनिधियों को हितधारक संवाद छोड़ने के लिए प्रेरित किया।

संयुक्त राज्य अमेरिका में स्थिति
संयुक्त राज्य अमेरिका का कॉपीराइट कानून, और विशेष रूप से उचित उपयोग के लिए इसका प्रावधान, अमेरिका और अन्य उचित उपयोग वाले देशों जैसे इज़राइल, ताइवान और दक्षिण कोरिया में सामग्री खनन की वैधता को कायम रखता है। जैसा कि सामग्री खनन परिवर्तनकारी है, अर्थात यह मूल कार्य को प्रतिस्थापित नहीं करता है, इसे उचित उपयोग के तहत वैध माना जाता है। उदाहरण के लिए, Google पुस्तक खोज निपटान अनुबंध के भाग के रूप में मामले के पीठासीन न्यायाधीश ने निर्णय दिया कि कॉपीराइट पुस्तकों की Google की डिजिटाइज़ेशन परियोजना वैध थी, आंशिक रूप से परिवर्तनकारी उपयोगों के कारण जो डिजिटाइज़ेशन प्रोजेक्ट प्रदर्शित करता है—एक टेक्स्ट और डेटा माइनिंग है.

मुफ्त ओपनएनएन-सोर्स डेटा माइनिंग सॉफ्टवेयर और एप्लिकेशन
नि:शुल्क/ओपन-सोर्स लाइसेंस के तहत निम्नलिखित एप्लिकेशन उपलब्ध हैं। एप्लिकेशन स्रोत कोड तक सार्वजनिक पहुंच भी उपलब्ध है।
 * Carrot2: पाठ और खोज परिणाम क्लस्टरिंग फ्रेमवर्क।
 * Chemicalize.org: एक रासायनिक संरचना माइनर और वेब सर्च इंजन।
 * ELKI: जावा (प्रोग्रामिंग भाषा) भाषा में लिखे गए उन्नत क्लस्टर विश्लेषण और विसंगति का पता लगाने के तरीकों के साथ एक विश्वविद्यालय अनुसंधान परियोजना।
 * टेक्स्ट इंजीनियरिंग के लिए सामान्य वास्तुकला: एक प्राकृतिक भाषा प्रसंस्करण और भाषा इंजीनियरिंग उपकरण।
 * KNIME: Konstanz Information Miner, एक उपयोगकर्ता के अनुकूल और व्यापक डेटा एनालिटिक्स फ्रेमवर्क।
 * एमओए (मैसिव ऑनलाइन एनालिसिस) | मैसिव ऑनलाइन एनालिसिस (एमओए): जावा (प्रोग्रामिंग लैंग्वेज) प्रोग्रामिंग लैंग्वेज में कॉन्सेप्ट ड्रिफ्ट टूल के साथ रियल-टाइम बिग डेटा स्ट्रीम माइनिंग।
 * बहु अभिव्यक्ति प्रोग्रामिंग: जेनेटिक प्रोग्रामिंग वेरिएंट के आधार पर रिग्रेशन और वर्गीकरण समस्याओं के लिए क्रॉस-प्लेटफ़ॉर्म टूल।
 * mlpack: C++ भाषा में लिखे गए रेडी-टू-यूज़ मशीन लर्निंग कलन विधि  का संग्रह।
 * एनएलटीके (प्राकृतिक भाषा टूलकिट): पायथन (प्रोग्रामिंग भाषा) भाषा के लिए प्रतीकात्मक और सांख्यिकीय प्राकृतिक भाषा प्रसंस्करण (एनएलपी) के लिए पुस्तकालयों और कार्यक्रमों का एक सूट।
 * OpenNN: ओपन न्यूरल नेटवर्क लाइब्रेरी।
 * ऑरेंज (सॉफ्टवेयर): एक घटक-आधारित डेटा माइनिंग और मशीन लर्निंग सॉफ्टवेयर सूट जो पायथन (प्रोग्रामिंग लैंग्वेज) भाषा में लिखा गया है।
 * PSPP: SPSS के समान जीएनयू परियोजना के तहत डेटा माइनिंग और स्टैटिस्टिक्स सॉफ़्टवेयर
 * आआर (प्रोग्रामिंग भाषा): सांख्यिकी कंप्यूटिंग, डेटा माइनिंग और ग्राफिक्स के लिए एक प्रोग्रामिंग लैंग्वेज नारंगी (सॉफ्टवेयर) वातावरण। यह GNU प्रोजेक्ट का हिस्सा है।
 * Scikit-सीखें: पायथन प्रोग्रामिंग लैंग्वेज के लिए एक ओपन-सोर्स मशीन लर्निंग लाइब्रेरी
 * टॉर्च (मशीन लर्निंग): एक ओपन सोर्स मॉडल | लुआ (प्रोग्रामिंग भाषा) प्रोग्रामिंग लैंग्वेज और मशीन लर्निंग कलन विधि  के लिए व्यापक समर्थन के साथ वैज्ञानिक कंप्यूटिंग फ्रेमवर्क के लिए ओपन-सोर्स ध्यान लगा के पढ़ना या सीखना लाइब्रेरी।
 * यूआईएमए: यूआईएमए (अनस्ट्रक्चर्ड इंफॉर्मेशन मैनेजमेंट आर्किटेक्चर) मूल रूप से आईबीएम द्वारा विकसित पाठ, ऑडियो और वीडियो जैसी असंरचित सामग्री का विश्लेषण करने के लिए एक घटक ढांचा है।
 * वीका (मशीन लर्निंग): जावा (प्रोग्रामिंग लैंग्वेज) प्रोग्रामिंग लैंग्वेज में लिखे गए मशीन लर्निंग सॉफ्टवेयर एप्लिकेशन का एक सूट।

मालिकाना डेटा-खनन सॉफ्टवेयर और अनुप्रयोग
निम्नलिखित एप्लिकेशन मालिकाना लाइसेंस के तहत उपलब्ध हैं।


 * एंगॉस नॉलेजस्टूडियो: डेटा माइनिंग टूल
 * LIONsolver: डेटा माइनिंग, बिजनेस इंटेलिजेंस और मॉडलिंग के लिए एक एकीकृत सॉफ्टवेयर एप्लिकेशन जो लर्निंग एंड इंटेलिजेंट ऑप्टिमाइजेशन (LION) दृष्टिकोण को लागू करता है।
 * बहुविश्लेषक: मेगाप्यूटर इंटेलिजेंस द्वारा डेटा और टेक्स्ट माइनिंग सॉफ्टवेयर।
 * [[Microsoft विश्लेषण सेवाएँ]]: Microsoft द्वारा प्रदान किया गया डेटा माइनिंग सॉफ़्टवेयर।
 * NetOwl: बहुभाषी टेक्स्ट और एंटिटी एनालिटिक्स उत्पादों का सूट जो डेटा माइनिंग को सक्षम बनाता है।
 * Oracle डेटा माइनिंग: Oracle Corporation द्वारा डेटा माइनिंग सॉफ़्टवेयर।
 * PSeven: DATADVANCE द्वारा प्रदान किया गया इंजीनियरिंग सिमुलेशन और विश्लेषण, बहु-विषयक अनुकूलन और डेटा खनन के स्वचालन के लिए मंच।
 * क्लोकोर ओमिक्स एक्सप्लोरर: डेटा माइनिंग सॉफ्टवेयर।
 * रैपिडमाइनर: मशीन लर्निंग और डेटा माइनिंग प्रयोगों के लिए एक वातावरण।
 * एसएएस (सॉफ्टवेयर) # घटक: एसएएस संस्थान द्वारा प्रदान किया गया डेटा माइनिंग सॉफ्टवेयर।
 * एसपीएसएस मॉडलर: आईबीएम द्वारा प्रदान किया गया डाटा माइनिंग सॉफ्टवेयर।
 * आंकड़े डेटा माइनर: स्टेटसॉफ्ट द्वारा प्रदान किया गया डेटा माइनिंग सॉफ्टवेयर।
 * तनाग्रा (मशीन लर्निंग): विज़ुअलाइज़ेशन-ओरिएंटेड डेटा माइनिंग सॉफ़्टवेयर, शिक्षण के लिए भी।
 * वर्टिका: हेवलेट पैकर्ड द्वारा प्रदान किया गया डेटा माइनिंग सॉफ्टवेयर।
 * Google क्लाउड प्लेटफ़ॉर्म: Google द्वारा प्रबंधित स्वचालित कस्टम ML मॉडल।
 * Amazon SageMaker: कस्टम ML मॉडल बनाने और उत्पादन करने के लिए Amazon.com द्वारा प्रदान की जाने वाली प्रबंधित सेवा।

यह भी देखें
• Agent mining
 * तरीकों

• Anomaly/outlier/change detection

• Association rule learning

• Bayesian networks

• Classification

• Cluster analysis

• Decision trees

• Ensemble learning

• Factor analysis

• Genetic algorithms

• Intention mining

• Learning classifier system

• Multilinear subspace learning

• Neural networks

• Regression analysis

• Sequence mining

• Structured data analysis

• Support vector machines

• Text mining

• Time series analysis • Analytics
 * एप्लिकेशन डोमेन

• Behavior informatics

• Big data

• Bioinformatics

• Business intelligence

• Data analysis

• Data warehouse

• Decision support system

• Domain driven data mining

• Drug discovery

• Exploratory data analysis

• Predictive analytics

• Web mining
 * आवेदन के उदाहरण

• Automatic number plate recognition in the United Kingdom

• Customer analytics

• Educational data mining

• National Security Agency

• Quantitative structure–activity relationship

• Surveillance / Mass surveillance (e.g., Stellar Wind)
 * संबंधित विषय

डेटा से जानकारी निकालने के बारे में अधिक जानकारी के लिए (डेटा का विश्लेषण करने के विपरीत), देखें: • Data integration

• Data transformation

• Electronic discovery

• Information extraction

• Information integration

• Named-entity recognition

• Profiling (information science)

• Psychometrics

• Social media mining

• Surveillance capitalism

• Web scraping
 * अन्य संसाधन
 * डेटा वेयरहाउसिंग और खनन का अंतर्राष्ट्रीय जर्नल

अग्रिम पठन

 * Cabena, Peter; Hadjnian, Pablo; Stadler, Rolf; Verhees, Jaap; Zanasi, Alessandro (1997); Discovering Data Mining: From Concept to Implementation, Prentice Hall, ISBN 0-13-743980-6
 * M.S. Chen, J. Han, P.S. Yu (1996) "Data mining: an overview from a database perspective". Knowledge and data Engineering, IEEE Transactions on 8 (6), 866–883
 * Feldman, Ronen; Sanger, James (2007); The Text Mining Handbook, Cambridge University Press, ISBN 978-0-521-83657-9
 * Guo, Yike; and Grossman, Robert (editors) (1999); High Performance Data Mining: Scaling Algorithms, Applications and Systems, Kluwer Academic Publishers
 * Han, Jiawei, Micheline Kamber, and Jian Pei. Data mining: concepts and techniques. Morgan kaufmann, 2006.
 * Hastie, Trevor, Tibshirani, Robert and Friedman, Jerome (2001); The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Springer, ISBN 0-387-95284-5
 * Liu, Bing (2007, 2011); Web Data Mining: Exploring Hyperlinks, Contents and Usage Data, Springer, ISBN 3-540-37881-2
 * Nisbet, Robert; Elder, John; Miner, Gary (2009); Handbook of Statistical Analysis & Data Mining Applications, Academic Press/Elsevier, ISBN 978-0-12-374765-5
 * Poncelet, Pascal; Masseglia, Florent; and Teisseire, Maguelonne (editors) (October 2007); "Data Mining Patterns: New Methods and Applications", Information Science Reference, ISBN 978-1-59904-162-9
 * Tan, Pang-Ning; Steinbach, Michael; and Kumar, Vipin (2005); Introduction to Data Mining, ISBN 0-321-32136-7
 * Theodoridis, Sergios; and Koutroumbas, Konstantinos (2009); Pattern Recognition, 4th Edition, Academic Press, ISBN 978-1-59749-272-0
 * Weiss, Sholom M.; and Indurkhya, Nitin (1998); Predictive Data Mining, Morgan Kaufmann
 * (See also Free Weka software)
 * Ye, Nong (2003); The Handbook of Data Mining, Mahwah, NJ: Lawrence Erlbaum
 * Ye, Nong (2003); The Handbook of Data Mining, Mahwah, NJ: Lawrence Erlbaum

इस पेज में लापता आंतरिक लिंक की सूची

 * आंकड़े
 * डाटा प्रबंधन
 * मूलमंत्र
 * डेटा वेयरहाउस
 * कृत्रिम होशियारी
 * सूचना प्रक्रम
 * आंकड़ा संग्रहण
 * विपणनअभियान
 * एनालिटिक्स
 * संगठन नियम खनन
 * असंगति का पता लगाये
 * भविष्य बतानेवाला विश्लेषक
 * एक प्राथमिक संभावना
 * जानकारी
 * तंत्रिका - तंत्र
 * एप्लाईड स्टैटस्टिक्स
 * आंकड़ों का बाजार
 * लापता आँकड़े
 * reproducibility
 * प्राप्तकर्ता परिचालन विशेषता
 * अकादमिक जर्नल
 * सीआईकेएम सम्मेलन
 * नॉलेज डिस्कवरी और डेटा माइनिंग पर सम्मेलन
 * मशीन लर्निंग एंड प्रिंसिपल्स एंड प्रैक्टिस ऑफ नॉलेज डिस्कवरी इन डेटाबेस में यूरोपीय सम्मेलन
 * सूचना और ज्ञान प्रबंधन पर सम्मेलन
 * प्रिडिक्टिव मॉडल मार्कअप लैंग्वेज
 * डेटा माइनिंग के उदाहरण
 * आचार विचार
 * कानून स्थापित करने वाली संस्था
 * कुल समारोह
 * डाटा प्राइवेसी
 * गोपनीयता का उल्लंघन
 * व्यक्तिगत पहचान की जानकारी
 * कॉपीराइट की सीमाएं और अपवाद
 * हरग्रेव्स समीक्षा
 * यूरोपीय संघ का कॉपीराइट कानून
 * Google पुस्तक खोज निपटान समझौता
 * एमओए (व्यापक ऑनलाइन विश्लेषण)
 * ओरेकल डाटा माइनिंग
 * Google क्लाउड प्लेटफ़ॉर्म
 * डेटा वेयरहाउसिंग और माइनिंग का अंतर्राष्ट्रीय जर्नल