पत्राचार समस्या

पत्राचार समस्या (कॉरेस्पोंडेंस प्रॉब्लम) यह सुनिश्चित करने की समस्या को संदर्भित करती है कि एक छवि के कौन से हिस्से दूसरी छवि के किन हिस्सों से मेल खाते हैं, जहां अंतर कैमरे की गति, समय बीतने और/या तस्वीरों में वस्तुओं की गति के कारण होता है।

कंप्यूटर दृष्टि में पत्राचार एक मूलभूत समस्या है - प्रभावशाली कंप्यूटर विज़न शोधकर्ता ताकेओ कनाडे ने एक बार प्रसिद्ध रूप से कहा था कि कंप्यूटर विज़न की तीन मूलभूत समस्याएं हैं: "पत्राचार, पत्राचार और पत्राचार!" वास्तव में, कई संबंधित अनुप्रयोगों में पत्राचार निश्चित रूप से महत्वपूर्ण निर्माण खंड है: ऑप्टिकल प्रवाह (जिसमें दो छवियां समय में बाद की होती हैं), सघन कंप्यूटर स्टीरियो विज़न (जिसमें दो छवियां एक स्टीरियो कैमरा जोड़ी से होती हैं), गति से संरचना (एसएफएम) और दृश्य एक साथ स्थानीयकरण और मैपिंग (जिसमें छवियां एक दृश्य के अलग-अलग लेकिन आंशिक रूप से ओवरलैपिंग दृश्यों से होती हैं), और क्रॉस-सीन पत्राचार (जिसमें छवियां पूरी तरह से अलग-अलग दृश्यों से होती हैं)।

अवलोकन

अलग-अलग दृष्टिकोण से ली गई एक ही 3डी दृश्य की दो या दो से अधिक छवियों को देखते हुए, पत्राचार समस्या एक छवि में बिंदुओं के एक सेट को खोजने के कार्य को संदर्भित करती है, जिसे दूसरी छवि में समान बिंदुओं के रूप में पहचाना जा सकता है। ऐसा करने के लिए, एक छवि के बिंदुओं या विशेषताओं का दूसरी छवि के बिंदुओं या विशेषताओं के साथ मिलान किया जाता है, इस प्रकार संबंधित बिंदुओं या संबंधित विशेषताओं की स्थापना की जाती है, जिन्हें समजात बिंदु या समजात विशेषताएं भी कहा जाता है। छवियों को अलग-अलग दृष्टिकोण से, अलग-अलग समय पर, या कैमरे के सापेक्ष सामान्य गति में दृश्य में वस्तुओं के साथ लिया जा सकता है।

पत्राचार समस्या एक स्टीरियो स्थिति में हो सकती है जब एक ही दृश्य की दो छवियों का उपयोग किया जाता है या इसे एन-व्यू पत्राचार समस्या के लिए सामान्यीकृत किया जा सकता है। बाद के मामले में, छवियां या तो एक ही समय में फोटो खींच रहे अलग-अलग कैमरों से आ सकती हैं या एक कैमरे से आ सकती हैं जो दृश्य के सापेक्ष घूम रहा है। समस्या तब और अधिक कठिन हो जाती है जब दृश्य में वस्तुएँ कैमरे के सापेक्ष गति में हों।

पत्राचार समस्या का एक विशिष्ट अनुप्रयोग पैनोरमा निर्माण या छवि सिलाई में होता है - जब दो या दो से अधिक छवियां जिनमें केवल एक छोटा सा ओवरलैप होता है, उन्हें एक बड़ी समग्र छवि में सिला जाना होता है। इस मामले में, एक छवि के परिवर्तन की गणना करके इसे दूसरी छवि पर जोड़ने के लिए छवियों की एक जोड़ी में संबंधित बिंदुओं के एक सेट की पहचान करने में सक्षम होना आवश्यक है।

बुनियादी तरीके

वीडियो फ़्रेमों के बीच पत्राचार दिखाने वाला मोशन अनुमान

दो छवियों के बीच पत्राचार खोजने के दो बुनियादी तरीके हैं।

सहसंबंध-आधारित - यह जांचना कि क्या एक छवि में एक स्थान दूसरी छवि में दूसरे जैसा दिखता/लगता है।

फ़ीचर-आधारित - छवि में फ़ीचर ढूँढना और देखना कि क्या फ़ीचर के सबसेट का लेआउट दो छवियों में समान है। एपर्चर समस्या से बचने के लिए एक अच्छे फीचर में दो दिशाओं में स्थानीय भिन्नता होनी चाहिए।

उपयोग

कंप्यूटर विज़न में पत्राचार समस्या का अध्ययन उस स्थिति के लिए किया जाता है जब कंप्यूटर को इनपुट के रूप में केवल छवियों के साथ इसे स्वचालित रूप से हल करना चाहिए। एक बार पत्राचार समस्या हल हो जाने के बाद, छवि बिंदुओं का एक सेट तैयार हो जाता है जो पत्राचार में हैं, दृश्य में संबंधित 3डी बिंदुओं की स्थिति, गति और/या रोटेशन को 3डी पुनर्निर्माण के लिए इस सेट पर अन्य तरीकों को लागू किया जा सकता है।

पत्राचार समस्या कण छवि वेलोसिमेट्री माप तकनीक का भी आधार है, जिसका आजकल द्रव गति को मात्रात्मक रूप से मापने के लिए द्रव यांत्रिकी क्षेत्र में व्यापक रूप से उपयोग किया जाता है।

सरल उदाहरण

सेट A [1,2,3,4,5] और सेट B [3,4,5,6,7] के बीच पत्राचार का पता लगाने के लिए पता लगाएं कि वे कहां ओवरलैप होते हैं और एक सेट दूसरे से कितनी दूर है। यहां हम देखते हैं कि सेट A में अंतिम तीन संख्याएं सेट B में पहले तीन संख्याओं के अनुरूप हैं। इससे पता चलता है कि B बाईं ओर ऑफसेट 2 है।

सरल सहसंबंध-आधारित उदाहरण

एक सरल विधि संशोधित छवियों के बीच छोटे पैच की तुलना करना है। यह लगभग एक ही दृष्टिकोण से और एक ही समय में ली गई छवियों के साथ सबसे अच्छा काम करता है या छवि कैप्चर के बीच दृश्य में बहुत कम या कोई हलचल नहीं होती है, जैसे कि स्टीरियो छवियां।

एक छोटी सी विंडो को एक छवि में कई स्थानों से गुजारा जाता है। प्रत्येक स्थिति की जाँच यह देखने के लिए की जाती है कि वह दूसरी छवि में उसी स्थान से कितनी अच्छी तरह तुलना करती है। एक छवि में वस्तुओं के लिए आस-पास के कई स्थानों की तुलना की जाती है जो दूसरी छवि में बिल्कुल उसी छवि स्थान पर नहीं हो सकते हैं। यह संभव है कि कोई फिट पर्याप्त रूप से अच्छा न हो। इसका तात्पर्य यह हो सकता है कि यह सुविधा दोनों छवियों में मौजूद नहीं है, यह आपकी खोज से कहीं अधिक आगे बढ़ गई है, यह बहुत अधिक बदल गई है या छवि के अन्य हिस्सों द्वारा छिपाई जा रही है।

यह भी देखें

• स्टीरियोस्कोपी
• लंबन
• फोटोग्रामेट्री
• गहराई की समझ
• स्टीरियोप्सिस
• कंप्यूटर दृष्टि
• मौलिक मैट्रिक्स (कंप्यूटर विज़न)
• जेसीबीबी
• एपिपोलर ज्यामिति
• छवि पंजीकरण
• बिर्चफील्ड-टोमासी असमानता
• स्केल-अपरिवर्तनीय सुविधा परिवर्तन (SIFT)

संदर्भ

• D. Scharstein and R. Szeliski. A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms. (PDF)

बाहरी संबंध

• Middlebury Stereo Vision page