इवेंट कैमरा: Difference between revisions
From Vigyanwiki
(→प्रकार) |
No edit summary |
||
| Line 1: | Line 1: | ||
{{short description|Type of imaging sensor}}इवेंट कैमरा, जिसे तंत्रिकाप्रभावी कैमरा के रूप में भी जाना जाता है,<ref>{{cite journal |last1=Li |first1=Hongmin |last2=Liu |first2=Hanchao |last3=Ji |first3=Xiangyang |last4=Li |first4=Guoqi |last5=Shi |first5=Luping |title=CIFAR10-DVS: An Event-Stream Dataset for Object Classification |journal=Frontiers in Neuroscience |date=2017 |volume=11 |page=309 |doi=10.3389/fnins.2017.00309 |pmid=28611582 |language=English |issn=1662-453X|pmc=5447775 |doi-access=free }}</ref> सिलिकॉन रेटिना<ref>{{cite journal |last1=Sarmadi |first1=Hamid |last2=Muñoz-Salinas |first2=Rafael |last3=Olivares-Mendez |first3=Miguel A. |last4=Medina-Carnicer |first4=Rafael |title=एक इवेंट कैमरा का उपयोग करके बाइनरी स्क्वायर फिडुशियल मार्कर का पता लगाना|journal=IEEE Access |date=2021 |volume=9 |pages=27813–27826 |doi=10.1109/ACCESS.2021.3058423 |url=https://ieeexplore.ieee.org/document/9351958 |issn=2169-3536|arxiv=2012.06516 |s2cid=228375825 }}</ref> या गतिशील दृष्टि संवेदक,<ref>{{cite book |last1=Liu |first1=Min |last2=Delbruck |first2=Tobi |title=2017 IEEE International Symposium on Circuits and Systems (ISCAS) |chapter=Block-matching optical flow for dynamic vision sensors: Algorithm and FPGA implementation |date=May 2017 |pages=1–4 |doi=10.1109/ISCAS.2017.8050295 |arxiv=1706.05415 |isbn=978-1-4673-6853-7 |s2cid=2283149 |url=https://ieeexplore.ieee.org/document/8050295 |access-date=27 June 2021}}</ref> एक [[छवि संवेदक]] है जो | {{short description|Type of imaging sensor}}इवेंट कैमरा, जिसे तंत्रिकाप्रभावी कैमरा के रूप में भी जाना जाता है,<ref>{{cite journal |last1=Li |first1=Hongmin |last2=Liu |first2=Hanchao |last3=Ji |first3=Xiangyang |last4=Li |first4=Guoqi |last5=Shi |first5=Luping |title=CIFAR10-DVS: An Event-Stream Dataset for Object Classification |journal=Frontiers in Neuroscience |date=2017 |volume=11 |page=309 |doi=10.3389/fnins.2017.00309 |pmid=28611582 |language=English |issn=1662-453X|pmc=5447775 |doi-access=free }}</ref> सिलिकॉन रेटिना<ref>{{cite journal |last1=Sarmadi |first1=Hamid |last2=Muñoz-Salinas |first2=Rafael |last3=Olivares-Mendez |first3=Miguel A. |last4=Medina-Carnicer |first4=Rafael |title=एक इवेंट कैमरा का उपयोग करके बाइनरी स्क्वायर फिडुशियल मार्कर का पता लगाना|journal=IEEE Access |date=2021 |volume=9 |pages=27813–27826 |doi=10.1109/ACCESS.2021.3058423 |url=https://ieeexplore.ieee.org/document/9351958 |issn=2169-3536|arxiv=2012.06516 |s2cid=228375825 }}</ref> या गतिशील दृष्टि संवेदक,<ref>{{cite book |last1=Liu |first1=Min |last2=Delbruck |first2=Tobi |title=2017 IEEE International Symposium on Circuits and Systems (ISCAS) |chapter=Block-matching optical flow for dynamic vision sensors: Algorithm and FPGA implementation |date=May 2017 |pages=1–4 |doi=10.1109/ISCAS.2017.8050295 |arxiv=1706.05415 |isbn=978-1-4673-6853-7 |s2cid=2283149 |url=https://ieeexplore.ieee.org/document/8050295 |access-date=27 June 2021}}</ref> एक [[छवि संवेदक]] है जो दीप्तता में स्थानीय परिवर्तनों पर प्रतिक्रिया करता है। ईवेंट कैमरे कैमरा कपाट (फ़ोटोग्राफ़ी) का उपयोग करके छवियों को अधिकृत नहीं करते हैं जैसा कि [[पारंपरिक (फ़्रेम) कैमरे]] करते हैं। इसके अतिरिक्त, एक इवेंट कैमरे के अंदर प्रत्येक चित्रांश स्वतंत्र रूप से और अतुल्यकालिक रूप से संचालित होता है, दीप्तता में होने वाले परिवर्तनों की प्रतिवेदन करता है, और अन्यथा निष्क्रिय रहता है। | ||
== कार्यात्मक विवरण == | == कार्यात्मक विवरण == | ||
इवेंट कैमरा चित्रांश स्वतंत्र रूप से दीप्तता में होने वाले परिवर्तनों का प्रतिक्रिया दिखाते हैं।<ref name=":2" />प्रत्येक चित्रांश एक संदर्भ दीप्तता स्तर संग्रहीत करता है, और निरंतर इसकी तुलना वर्तमान दीप्तता (चमक) स्तर से करता है। यदि दीप्तता में अंतर एक सीमा से अधिक है, तो वह चित्रांश अपने संदर्भ स्तर को पुनः स्थापित करता है और एक इवेंट उत्पन्न करता है: एक असतत पैकेट जिसमें चित्रांश पता और टाइमस्टैम्प होता है। घटनाओं में दीप्तता परिवर्तन की ध्रुवीयता (वृद्धि या कमी), या रोशनी के स्तर का तात्कालिक माप भी हो सकता है।<ref name=":3" /> इस प्रकार, इवेंट कैमरे दृश्य रोशनी में परिवर्तन से प्रवर्तित होने वाली घटनाओं की एक अतुल्यकालिक वर्ग का उत्पादन करते हैं।[[File:Event camera comparison.jpg|thumb|इवेंट कैमरा और पारंपरिक कैमरा द्वारा तैयार किए गए डेटा की तुलना।]]इवेंट कैमरों में माइक्रोसेकंड समतुल्यकालिक विभेदन ,फ्रेम कैमरों की तुलना में 120 dB गतिक परिसर और कम अतिप्रभावाधीन (फ़ोटोग्राफ़ी) कम/ अतिप्रभावाधीन और [[ धीमी गति |धीमी गति]] होता है<ref name=":2" /><ref>{{Cite web|last=Longinotti|first=Luca|title=उत्पाद की विशेषताएं|url=https://inivation.com/support/product-specifications/|access-date=2019-04-21|website=iniVation}}</ref> । यह उन्हें उद्देश्य और कैमरा गतिविधि ([[ ऑप्टिकल प्रवाह |प्रकाशीय प्रवाह]]) को अधिक सटीक रूप से पथानुसरण करने की अनुमति देता है। वे ग्रे-स्केल जानकारी देते हैं। प्रारंभ में (2014), विभेदन 100 चित्रांश तक सीमित था। बाद की प्रविष्टि 2019 में 640x480 विभेदन तक पहुंच गई। क्योंकि व्यक्तिगत चित्रांश स्वतंत्र रूप से प्रदीप्ति करते हैं, इवेंट कैमरे अतुल्यकालिक अभिकलन संरचना जैसे [[न्यूरोमॉर्फिक इंजीनियरिंग|तंत्रिकाप्रभावी इंजीनियरिंग]] के साथ एकीकरण के लिए उपयुक्त दिखाई देते हैं। चित्रांश स्वतंत्रता इन कैमरों को उन दृश्यों के साथ मेल जोल बिठाने की अनुमति देती है, उन क्षेत्रों में औसत किए बिना उज्ज्वल और मंद रोशनी वाले क्षेत्रों के दृश्यों का सामना करने की अनुमति देता है।<ref name=":7">{{Cite news|date=2022-01-29|title=एक नए प्रकार का कैमरा|newspaper=The Economist|url=https://www.economist.com/science-and-technology/a-new-type-of-camera/21807384|access-date=2022-02-02|issn=0013-0613}}</ref> | |||
{| class="wikitable" | {| class="wikitable" | ||
|+विशिष्ट छवि संवेदक विशेषताएं | |+विशिष्ट छवि संवेदक विशेषताएं | ||
| Line 53: | Line 53: | ||
== प्रकार == | == प्रकार == | ||
समतुल्यकालिक विभेदन संवेदक (जैसे डीवीएस<ref name=":2" /> ( | समतुल्यकालिक विभेदन संवेदक (जैसे डीवीएस<ref name=":2" /> (सक्रिय दृष्टि संवेदक) या एसडीवीएस<ref name=":20" /> (संवेदनशील-डीवीएस)) ऐसी घटनाओं का उत्पादन करते हैं जो ध्रुवीयता (दीप्तता में वृद्धि या कमी) का संकेत देते हैं, जबकि अस्थायी छवि संवेदक <ref name=":3" />प्रत्येक इवेंट के साथ तात्कालिक [[विकिरण]] का संकेत दें। डेविस<ref name=":0">{{Cite journal|last1=Brandli|first1=C.|last2=Berner|first2=R.|last3=Yang|first3=M.|last4=Liu|first4=S.|last5=Delbruck|first5=T.|date=October 2014|title=A 240 × 180 130 dB 3 µs Latency Global Shutter Spatiotemporal Vision Sensor|journal=IEEE Journal of Solid-State Circuits|volume=49|issue=10|pages=2333–2341|doi=10.1109/JSSC.2014.2342715|issn=0018-9200|bibcode=2014IJSSC..49.2333B|doi-access=free}}</ref> (सक्रिय और एक्टिव-चित्रांश दृष्टि संवेदक ) में सक्रिय दृष्टि संवेदक (डीवीएस ) के अतिरिक्त एक ग्लोबल कैमरा कपाट [[सक्रिय पिक्सेल सेंसर|सक्रिय चित्रांश]] संवेदक (एपीएस) होता है जो समान प्रकाशसंवेदी ऐरे को साझा करता है। इस प्रकार, यह घटनाओं के साथ-साथ छवि फ़्रेम बनाने की क्षमता रखता है। कई इवेंट कैमरों में एक जड़त्वीय माप इकाई (आईएमयू) भी होती है। | ||
{| class="wikitable" | {| class="wikitable" | ||
|+इवेंट कैमरे | |+इवेंट कैमरे | ||
!नाम | !नाम | ||
! | !इवेंट उत्पादन | ||
!छवि फ्रेम | !छवि फ्रेम | ||
!रंग | !रंग | ||
| Line 200: | Line 200: | ||
|1280x720 | |1280x720 | ||
|- | |- | ||
|IMX637<ref>{{Cite web |title=Sony® Launches the new IMX636 and IMX637 Event-Based Vision Sensors |url=https://www.framos.com/en/news/sony-launches-the-new-imx636-and-imx637-event-based-vision-sensors |access-date=2022-05-17 |website=FRAMOS |language=en-US}}</ref> | |IMX637<ref>{{Cite web |title=Sony® Launches the new IMX636 and IMX637 Event-Based Vision Sensors |url=https://www.framos.com/en/news/sony-launches-the-new-imx636-and-imx637-event-based-vision-sensors |access-date=2022-05-17 |website=FRAMOS |language=en-US}}</ref> sensor | ||
|ध्रुवीयता | |ध्रुवीयता | ||
|हाँ | |हाँ | ||
| Line 223: | Line 223: | ||
== रेटिनोमॉर्फिक संवेदक == | == रेटिनोमॉर्फिक संवेदक == | ||
{{Main|रेटिनोमॉर्फिक सेंसर}} | {{Main|रेटिनोमॉर्फिक सेंसर}} | ||
[[File:Retinomorphic Sensor.jpg|thumb|Left: फोटोसेंसिटिव | [[File:Retinomorphic Sensor.jpg|thumb|Left: फोटोसेंसिटिव संधारित्र का योजनाबद्ध क्रॉस-सेक्शनल आरेख। केंद्र: [[रेटिनोमॉर्फिक सेंसर|रेटिनोमॉर्फिक]] संवेदक का परिपथ आरेख, शीर्ष पर प्रकाशसंवेदी संधारित्र के साथ। दाएं: निरंतर रोशनी के अनुप्रयोग के लिए रेटिनोमॉर्फिक संवेदक की अपेक्षित क्षणिक प्रतिक्रिया।]]इवेंट संवेदक का एक अन्य वर्ग इस नाम का रेटिनोमॉर्फिक संवेदक है। जबकि रेटिनोमॉर्फिक शब्द का प्रयोग सामान्यतः इवेंट संवेदकों का वर्णन करने के लिए किया गया है,<ref>{{Cite journal|last=Boahen|first=K.|date=1996|title=रेटिनोमॉर्फिक दृष्टि प्रणाली|url=https://ieeexplore.ieee.org/document/493766|journal=Proceedings of Fifth International Conference on Microelectronics for Neural Networks|pages=2–14|doi=10.1109/MNNFS.1996.493766|isbn=0-8186-7373-7|s2cid=62609792}}</ref><ref>{{Cite journal|last1=Posch|first1=Christoph|last2=Serrano-Gotarredona|first2=Teresa|last3=Linares-Barranco|first3=Bernabe|last4=Delbruck|first4=Tobi|date=2014|title=Retinomorphic Event-Based Vision Sensors: Bioinspired Cameras With Spiking Output|url=https://ieeexplore.ieee.org/document/6887319|journal=Proceedings of the IEEE|volume=102|issue=10|pages=1470–1484|doi=10.1109/JPROC.2014.2346153|hdl=11441/102353|s2cid=11513955|issn=1558-2256}}</ref> 2020 में इसे श्रृंखला में एक प्रतिरोधी और साधारण [[संधारित्र]] के आधार पर एक विशिष्ट संवेदक डिज़ाइन के नाम के रूप में अपनाया गया था।<ref>{{Cite journal|last1=Trujillo Herrera|first1=Cinthya|last2=Labram|first2=John G.|date=2020-12-07|title=एक पेरोसाइट रेटिनोमॉर्फिक सेंसर|url=https://aip.scitation.org/doi/abs/10.1063/5.0030097|journal=Applied Physics Letters|volume=117|issue=23|pages=233501|doi=10.1063/5.0030097|bibcode=2020ApPhL.117w3501T|s2cid=230546095|issn=0003-6951}}</ref> ये संधारित्र प्रकाशीय संधारित्र से भिन्न होते हैं, जिनका उपयोग [[सौर ऊर्जा]] को स्टोर करने के लिए किया जाता है,<ref>{{Cite journal|last1=Miyasaka|first1=Tsutomu|last2=Murakami|first2=Takurou N.|date=2004-10-25|title=The photocapacitor: An efficient self-charging capacitor for direct storage of solar energy|url=https://aip.scitation.org/doi/10.1063/1.1810630|journal=Applied Physics Letters|volume=85|issue=17|pages=3932–3934|doi=10.1063/1.1810630|bibcode=2004ApPhL..85.3932M|issn=0003-6951}}</ref> और इसके अतिरिक्त रोशनी के अनुसार धारिता को बदलने के लिए डिज़ाइन किया गया है। धारिता बदलने पर वे थोड़ा आवेशित/अनावेशित होते हैं, लेकिन संतुलन में रहते हैं। जब एक साधारण संधारित्र को एक [[अवरोध]]क के साथ श्रृंखला में रखा जाता है, और परिपथ में एक इनपुट वोल्टेज लगाया जाता है, तो परिणाम एक संवेदक होता है जो प्रकाश की तीव्रता में परिवर्तन होने पर वोल्टेज को आउटपुट करता है, अन्यथा नहीं करता है। | ||
अन्य इवेंट संवेदक (सामान्यतः एक फोटोडायोड और कुछ अन्य | अन्य इवेंट संवेदक (सामान्यतः एक फोटोडायोड और कुछ अन्य परिपथ तत्व) के विपरीत, ये संवेदक स्वाभाविक रूप से सिग्नल उत्पन्न करते हैं। इसलिए उन्हें एक एकल उपकरण माना जा सकता है जो अन्य इवेंट कैमरों में एक छोटे परिपथ के समान परिणाम उत्पन्न करता है। रेटिनोमॉर्फिक संवेदक का आज तक केवल एक शोध वातावरण में अध्ययन किया गया है।<ref>{{Cite web|date=2021-01-18|title=Perovskite सेंसर मानव आँख की तरह अधिक देखता है|url=https://physicsworld.com/perovskite-sensor-sees-more-like-the-human-eye/|access-date=2021-10-28|website=Physics World|language=en-GB}}</ref><ref>{{Cite web|title=साधारण आंखों की तरह सेंसर एआई सिस्टम को और अधिक कुशल बना सकते हैं|url=https://insidescience.org/news/simple-eyelike-sensors-could-make-ai-systems-more-efficient|access-date=2021-10-28|website=Inside Science|language=en}}</ref><ref name=":6">{{Cite web|last=Hambling|first=David|title=एआई विजन को सेंसर से बेहतर बनाया जा सकता है जो मानव आंखों की नकल करता है|url=https://www.newscientist.com/article/2259491-ai-vision-could-be-improved-with-sensors-that-mimic-human-eyes/|access-date=2021-10-28|website=New Scientist|language=en-US}}</ref><ref>{{Cite web|title=An eye for an AI: Optic device mimics human retina|url=https://www.sciencefocus.com/news/an-eye-for-an-ai-optic-device-mimics-human-retina/|access-date=2021-10-28|website=BBC Science Focus Magazine|language=en}}</ref> | ||
| Line 235: | Line 235: | ||
=== स्थानिक दृढ़ संकल्प === | === स्थानिक दृढ़ संकल्प === | ||
स्थानिक घटना-संचालित कनवल्शन की अवधारणा को 1999 में पोस्ट किया गया था<ref name=":21">{{Cite journal|last1=Serrano-Gotarredona|first1=T.|last2=Andreou|first2=A.|last3=Linares-Barranco|first3=B.|date=Sep 1999|title=विजन प्रोसेसिंग सिस्टम के लिए एईआर इमेज फिल्टरिंग आर्किटेक्चर|journal= IEEE Transactions on Circuits and Systems I: Fundamental Theory and Applications|volume=46|issue=9|pages=1064–1071|doi=10.1109/81.788808|hdl=11441/76405|issn=1057-7122|hdl-access=free}}</ref> (डीवीएस से पहले), लेकिन बाद में ईयू प्रोजेक्ट कैवियार के समय सामान्यीकृत किया गया<ref name=":22">{{Cite journal|last1=Serrano-Gotarredona|first1=R.|last2=et|first2=al|date=Sep 2009|title=CAVIAR: A 45k-Neuron, 5M-Synapse, 12G-connects/sec AER Hardware Sensory-Processing-Learning-Actuating System for High Speed Visual Object Recognition and Tracking|journal= IEEE Transactions on Neural Networks|volume=20|issue=9|pages=1417–1438|doi=10.1109/TNN.2009.2023653|pmid=19635693|issn=1045-9227|hdl=10261/86527|s2cid=6537174|hdl-access=free}}</ref> (जिसके समय | स्थानिक घटना-संचालित कनवल्शन की अवधारणा को 1999 में पोस्ट किया गया था<ref name=":21">{{Cite journal|last1=Serrano-Gotarredona|first1=T.|last2=Andreou|first2=A.|last3=Linares-Barranco|first3=B.|date=Sep 1999|title=विजन प्रोसेसिंग सिस्टम के लिए एईआर इमेज फिल्टरिंग आर्किटेक्चर|journal= IEEE Transactions on Circuits and Systems I: Fundamental Theory and Applications|volume=46|issue=9|pages=1064–1071|doi=10.1109/81.788808|hdl=11441/76405|issn=1057-7122|hdl-access=free}}</ref> (डीवीएस से पहले), लेकिन बाद में ईयू प्रोजेक्ट कैवियार के समय सामान्यीकृत किया गया<ref name=":22">{{Cite journal|last1=Serrano-Gotarredona|first1=R.|last2=et|first2=al|date=Sep 2009|title=CAVIAR: A 45k-Neuron, 5M-Synapse, 12G-connects/sec AER Hardware Sensory-Processing-Learning-Actuating System for High Speed Visual Object Recognition and Tracking|journal= IEEE Transactions on Neural Networks|volume=20|issue=9|pages=1417–1438|doi=10.1109/TNN.2009.2023653|pmid=19635693|issn=1045-9227|hdl=10261/86527|s2cid=6537174|hdl-access=free}}</ref> (जिसके समय डीवीएस का आविष्कार किया गया था) घटना-दर-इवेंट को प्रोजेक्ट करके इवेंट के चारों ओर एक मनमाना [[कनवल्शन]] इंटीग्रेटेड-एंड-फायर पिक्सल की एक सरणी में समन्वयित करता है।<ref name=":23">{{Cite journal|last1=Serrano-Gotarredona|first1=R.|last2=Serrano-Gotarredona|first2=T.|last3=Acosta-Jimenez|first3=A.|last4=Linares-Barranco|first4=B.|date=Dec 2006|title=स्पाइक-आधारित इवेंट प्रोसेसिंग विजन सिस्टम के लिए एक न्यूरोमॉर्फिक कॉर्टिकल-लेयर माइक्रोचिप|journal= IEEE Transactions on Circuits and Systems I: Regular Papers|volume=53|issue=12|pages=2548–2566|doi=10.1109/TCSI.2006.883843|issn=1549-8328|hdl=10261/7823|s2cid=8287877|hdl-access=free}}</ref> मल्टी-कर्नेल इवेंट-संचालित कनवल्शन का विस्तार<ref name=":24">{{Cite journal|last1=Camuñas-Mesa|first1=L.|last2=et|first2=al|date=Feb 2012|title=इवेंट-ड्रिवेन विजन सेंसर के लिए एक इवेंट-ड्रिवेन मल्टी-कर्नेल कनवॉल्यूशन प्रोसेसर मॉड्यूल|journal=IEEE Journal of Solid-State Circuits|volume=47|issue=2|pages=504–517|doi=10.1109/JSSC.2011.2167409|bibcode=2012IJSSC..47..504C|hdl=11441/93004|s2cid=23238741|issn=0018-9200|hdl-access=free}}</ref> घटना-संचालित गहरे [[दृढ़ तंत्रिका नेटवर्क]] के लिए अनुमति देता है।<ref name=":25">{{Cite journal|last1=Pérez-Carrasco|first1=J.A.|last2=Zhao|first2=B.|last3=Serrano|first3=C.|last4=Acha|first4=B.|last5=Serrano-Gotarredona|first5=T.|last6=Chen|first6=S.|last7=Linares-Barranco|first7=B.|date=November 2013|title=लो-रेट रेट-कोडिंग और कॉन्सीडेंस प्रोसेसिंग द्वारा फ्रेम-ड्रिवेन से फ्रेम-फ्री इवेंट-ड्रिवेन विजन सिस्टम में मैपिंग। फीड-फॉरवर्ड कन्वनेट के लिए आवेदन|journal= IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=35|issue=11|pages=2706–2719|doi=10.1109/TPAMI.2013.71|pmid=24051730|hdl=11441/79657|s2cid=170040|issn=0162-8828|url=http://www.imse-cnm.csic.es/~bernabe/tpami2013_AdditionalMaterialVideo.wmv}}</ref> | ||
Revision as of 10:54, 24 May 2023
इवेंट कैमरा, जिसे तंत्रिकाप्रभावी कैमरा के रूप में भी जाना जाता है,[1] सिलिकॉन रेटिना[2] या गतिशील दृष्टि संवेदक,[3] एक छवि संवेदक है जो दीप्तता में स्थानीय परिवर्तनों पर प्रतिक्रिया करता है। ईवेंट कैमरे कैमरा कपाट (फ़ोटोग्राफ़ी) का उपयोग करके छवियों को अधिकृत नहीं करते हैं जैसा कि पारंपरिक (फ़्रेम) कैमरे करते हैं। इसके अतिरिक्त, एक इवेंट कैमरे के अंदर प्रत्येक चित्रांश स्वतंत्र रूप से और अतुल्यकालिक रूप से संचालित होता है, दीप्तता में होने वाले परिवर्तनों की प्रतिवेदन करता है, और अन्यथा निष्क्रिय रहता है।
कार्यात्मक विवरण
इवेंट कैमरा चित्रांश स्वतंत्र रूप से दीप्तता में होने वाले परिवर्तनों का प्रतिक्रिया दिखाते हैं।[4]प्रत्येक चित्रांश एक संदर्भ दीप्तता स्तर संग्रहीत करता है, और निरंतर इसकी तुलना वर्तमान दीप्तता (चमक) स्तर से करता है। यदि दीप्तता में अंतर एक सीमा से अधिक है, तो वह चित्रांश अपने संदर्भ स्तर को पुनः स्थापित करता है और एक इवेंट उत्पन्न करता है: एक असतत पैकेट जिसमें चित्रांश पता और टाइमस्टैम्प होता है। घटनाओं में दीप्तता परिवर्तन की ध्रुवीयता (वृद्धि या कमी), या रोशनी के स्तर का तात्कालिक माप भी हो सकता है।[5] इस प्रकार, इवेंट कैमरे दृश्य रोशनी में परिवर्तन से प्रवर्तित होने वाली घटनाओं की एक अतुल्यकालिक वर्ग का उत्पादन करते हैं।
इवेंट कैमरों में माइक्रोसेकंड समतुल्यकालिक विभेदन ,फ्रेम कैमरों की तुलना में 120 dB गतिक परिसर और कम अतिप्रभावाधीन (फ़ोटोग्राफ़ी) कम/ अतिप्रभावाधीन और धीमी गति होता है[4][6] । यह उन्हें उद्देश्य और कैमरा गतिविधि (प्रकाशीय प्रवाह) को अधिक सटीक रूप से पथानुसरण करने की अनुमति देता है। वे ग्रे-स्केल जानकारी देते हैं। प्रारंभ में (2014), विभेदन 100 चित्रांश तक सीमित था। बाद की प्रविष्टि 2019 में 640x480 विभेदन तक पहुंच गई। क्योंकि व्यक्तिगत चित्रांश स्वतंत्र रूप से प्रदीप्ति करते हैं, इवेंट कैमरे अतुल्यकालिक अभिकलन संरचना जैसे तंत्रिकाप्रभावी इंजीनियरिंग के साथ एकीकरण के लिए उपयुक्त दिखाई देते हैं। चित्रांश स्वतंत्रता इन कैमरों को उन दृश्यों के साथ मेल जोल बिठाने की अनुमति देती है, उन क्षेत्रों में औसत किए बिना उज्ज्वल और मंद रोशनी वाले क्षेत्रों के दृश्यों का सामना करने की अनुमति देता है।[7]
| सेंसर | गतिशील
रेंज (डीबी) |
समान
फ्रैमरेट * (एफपीएस) |
स्थानिक
रेजोल्यूशन (एमपी) |
शक्ति
खपत (एमडब्ल्यू) |
|---|---|---|---|---|
| मानव नेत्र | 30-40 | 200-300 | - | 10[8] |
| हाई-एंड डीएसएलआर कैमरा (निकॉन डी850) | 44.6[9] | 120 | 2-8 | - |
| अल्ट्राहाई-स्पीड कैमरा (फैंटम v2640)[10] | 64 | 12,500 | 0.3–4 | - |
| इवेंट कैमरा[11] | 120 | 1,000,000 | 0.1–0.2 | 30 |
*अस्थायी समाधान का संकेत देता है क्योंकि मानव आंखें और इवेंट कैमरे फ्रेम को आउटपुट नहीं करते हैं।
प्रकार
समतुल्यकालिक विभेदन संवेदक (जैसे डीवीएस[4] (सक्रिय दृष्टि संवेदक) या एसडीवीएस[12] (संवेदनशील-डीवीएस)) ऐसी घटनाओं का उत्पादन करते हैं जो ध्रुवीयता (दीप्तता में वृद्धि या कमी) का संकेत देते हैं, जबकि अस्थायी छवि संवेदक [5]प्रत्येक इवेंट के साथ तात्कालिक विकिरण का संकेत दें। डेविस[13] (सक्रिय और एक्टिव-चित्रांश दृष्टि संवेदक ) में सक्रिय दृष्टि संवेदक (डीवीएस ) के अतिरिक्त एक ग्लोबल कैमरा कपाट सक्रिय चित्रांश संवेदक (एपीएस) होता है जो समान प्रकाशसंवेदी ऐरे को साझा करता है। इस प्रकार, यह घटनाओं के साथ-साथ छवि फ़्रेम बनाने की क्षमता रखता है। कई इवेंट कैमरों में एक जड़त्वीय माप इकाई (आईएमयू) भी होती है।
| नाम | इवेंट उत्पादन | छवि फ्रेम | रंग | आईएमयू | निर्माता | व्यावसायिक तौर पर उपलब्ध | रेजोल्यूशन |
|---|---|---|---|---|---|---|---|
| DVS128[4] | ध्रुवीयता | नहीं | नहीं | नहीं | इनीवेशन | नहीं | 128x128 |
| sDVS128[12] | ध्रुवीयता | नहीं | नहीं | नहीं | सीएसआईसी | नहीं | 128x128 |
| DAVIS240[13] | ध्रुवीयता | हाँ | नहीं | हाँ | इनीवेशन | नहीं | 240x180 |
| DAVIS346[14] | ध्रुवीयता | हाँ | नहीं | हाँ | इनीवेशन | हाँ | 346 x 260 |
| DVXplorer[15] | ध्रुवीयता | नहीं | नहीं | हाँ | इनीवेशन | हाँ | 640 x 480 |
| SEES[16] | ध्रुवीयता | हाँ | नहीं | हाँ | अंतर्दृष्टि | हाँ | |
| मेटाविज़न पैकेज्ड जेनरेशन 3 सेंसर[17] | ध्रुवीयता | नहीं | नहीं | नहीं | प्रोफेसी | हाँ | 640x480 |
| SilkyEvCam कैमरा (प्रोफेसी जेन 3)[18] | ध्रुवीयता | नहीं | नहीं | नहीं | सेंचुरी आर्क्स / प्रोफेसी | हाँ | 640×480 |
| VisionCamEB कैमरा (Prophesee Gen 3) [19] | ध्रुवीयता | नहीं | नहीं | नहीं | इमागो टेक्नोलॉजीज / प्रोफेसी | हाँ | 640×480 |
| सैमसंग डीवीएस[20] | ध्रुवीयता | नहीं | नहीं | हाँ | सैमसंग | हाँ | 640×480 |
| ऑनबोर्ड [5] | ध्रुवीयता | नहीं | नहीं | हाँ | प्रोफेसी | नहीं | 640×480 |
| Celex[21] | तीव्रता | हाँ | नहीं | हाँ | सेलेपिक्सल | हाँ | 64x64 |
| IMX636[22] सेंसर | ध्रुवीयता | हाँ | नहीं | नहीं | सोनी / प्रोफेसी | हाँ | 1280x720 |
| EVK3[23] कैमरा (IMX636 ES/ Prophesee Gen 3.1) | ध्रुवीयता | नहीं | नहीं | नहीं | प्रोफेसी | हाँ | 1280x720 / 640×480 |
| EVK4[24] कैमरा (IMX636 ES) | ध्रुवीयता | नहीं | नहीं | नहीं | प्रोफेसी | हाँ | 1280x720 |
| IMX637[25] sensor | ध्रुवीयता | हाँ | नहीं | नहीं | सोनी / प्रोफेसी | नहीं | 640x512 |
रेटिनोमॉर्फिक संवेदक
Left: फोटोसेंसिटिव संधारित्र का योजनाबद्ध क्रॉस-सेक्शनल आरेख। केंद्र: रेटिनोमॉर्फिक संवेदक का परिपथ आरेख, शीर्ष पर प्रकाशसंवेदी संधारित्र के साथ। दाएं: निरंतर रोशनी के अनुप्रयोग के लिए रेटिनोमॉर्फिक संवेदक की अपेक्षित क्षणिक प्रतिक्रिया।
इवेंट संवेदक का एक अन्य वर्ग इस नाम का रेटिनोमॉर्फिक संवेदक है। जबकि रेटिनोमॉर्फिक शब्द का प्रयोग सामान्यतः इवेंट संवेदकों का वर्णन करने के लिए किया गया है,[26][27] 2020 में इसे श्रृंखला में एक प्रतिरोधी और साधारण संधारित्र के आधार पर एक विशिष्ट संवेदक डिज़ाइन के नाम के रूप में अपनाया गया था।[28] ये संधारित्र प्रकाशीय संधारित्र से भिन्न होते हैं, जिनका उपयोग सौर ऊर्जा को स्टोर करने के लिए किया जाता है,[29] और इसके अतिरिक्त रोशनी के अनुसार धारिता को बदलने के लिए डिज़ाइन किया गया है। धारिता बदलने पर वे थोड़ा आवेशित/अनावेशित होते हैं, लेकिन संतुलन में रहते हैं। जब एक साधारण संधारित्र को एक अवरोधक के साथ श्रृंखला में रखा जाता है, और परिपथ में एक इनपुट वोल्टेज लगाया जाता है, तो परिणाम एक संवेदक होता है जो प्रकाश की तीव्रता में परिवर्तन होने पर वोल्टेज को आउटपुट करता है, अन्यथा नहीं करता है।
अन्य इवेंट संवेदक (सामान्यतः एक फोटोडायोड और कुछ अन्य परिपथ तत्व) के विपरीत, ये संवेदक स्वाभाविक रूप से सिग्नल उत्पन्न करते हैं। इसलिए उन्हें एक एकल उपकरण माना जा सकता है जो अन्य इवेंट कैमरों में एक छोटे परिपथ के समान परिणाम उत्पन्न करता है। रेटिनोमॉर्फिक संवेदक का आज तक केवल एक शोध वातावरण में अध्ययन किया गया है।[30][31][32][33]
एल्गोरिदम
एक पैदल यात्री रात में कार की हेडलाइट्स के सामने दौड़ता है। बाएं: एक पारंपरिक कैमरे से ली गई छवि गंभीर मोशन ब्लर और अंडरएक्सपोजर दिखाती है। दाएँ: किसी ईवेंट कैमरे से ईवेंट के साथ बाईं छवि को संयोजित करके छवि का पुनर्निर्माण किया गया।[34]
छवि पुनर्निर्माण
घटनाओं से छवि पुनर्निर्माण में उच्च गतिशील सीमा , उच्च अस्थायी विभेदन और कम मोशन ब्लर के साथ चित्र और वीडियो बनाने की क्षमता है। समतुल्यकालिक स्मूथिंग का उपयोग करके छवि पुनर्निर्माण प्राप्त किया जा सकता है, उदा। उच्च पास फिल्टर ,हाई-पास या पूरक फिल्टर और ढाल अनुमान[35] इसके बाद ग्रेडिएंट-डोमेन इमेज प्रोसेसिंग[34]वैकल्पिक तरीकों में गणितीय अनुकूलन सम्मिलित है[36]।
स्थानिक दृढ़ संकल्प
स्थानिक घटना-संचालित कनवल्शन की अवधारणा को 1999 में पोस्ट किया गया था[37] (डीवीएस से पहले), लेकिन बाद में ईयू प्रोजेक्ट कैवियार के समय सामान्यीकृत किया गया[38] (जिसके समय डीवीएस का आविष्कार किया गया था) घटना-दर-इवेंट को प्रोजेक्ट करके इवेंट के चारों ओर एक मनमाना कनवल्शन इंटीग्रेटेड-एंड-फायर पिक्सल की एक सरणी में समन्वयित करता है।[39] मल्टी-कर्नेल इवेंट-संचालित कनवल्शन का विस्तार[40] घटना-संचालित गहरे दृढ़ तंत्रिका नेटवर्क के लिए अनुमति देता है।[41]
मोशन डिटेक्शन और ट्रैकिंग
एक इवेंट कैमरा द्वारा देखी गई छवि विभाजन और चलती वस्तु का पता लगाना एक तुच्छ कार्य लग सकता है, क्योंकि यह संवेदक ऑन-चिप द्वारा किया जाता है। हालाँकि, ये कार्य कठिन हैं, क्योंकि घटनाओं में बहुत कम जानकारी होती है[42] और इसमें बनावट और रंग जैसी उपयोगी दृश्य विशेषताएं सम्मिलित नहीं हैं।[43] चलते कैमरे को देखते हुए ये कार्य और चुनौतीपूर्ण हो जाते हैं,[42]क्योंकि घटनाओं को छवि तल पर हर जगह प्रवर्तित किया जाता है, जो चलती वस्तुओं और स्थिर दृश्य (जिसकी स्पष्ट गति कैमरे की अहं-गति से प्रे