डीप लर्निंग सुपर सैंपलिंग

डीप लर्निंग सुपर सैंपलिंग (डीएलएसएस) NVIDIA द्वारा विकसित रीयल-टाइम कंप्यूटिंग  | रियल-टाइम  यंत्र अधिगम  इमेज एन्हांसमेंट और  छवि स्केलिंग  तकनीकों का एक परिवार है जो  चित्रोपमा पत्रक  की एनवीडिया आरटीएक्स लाइन के लिए विशिष्ट हैं, और कई वीडियो गेम में उपलब्ध है। इन तकनीकों का लक्ष्य अधिकांश ग्राफिक्स पाइपलाइन को बेहतर प्रदर्शन के लिए कम प्रदर्शन रिज़ॉल्यूशन पर चलने की अनुमति देना है, और फिर इससे एक उच्च रिज़ॉल्यूशन की छवि का अनुमान लगाना है जिसमें समान स्तर का विवरण होता है जैसे कि इस पर छवि प्रस्तुत की गई थी। उच्च संकल्प। यह उपयोगकर्ता वरीयता के आधार पर दिए गए आउटपुट रिज़ॉल्यूशन के लिए उच्च ग्राफिकल सेटिंग्स और/या फ्रेम दर की अनुमति देता है। सितंबर 2022 तक, डीएलएसएस की पहली और दूसरी पीढ़ी एनवीडिया के सभी आरटीएक्स ब्रांडेड कार्डों पर समर्थित शीर्षकों में उपलब्ध है, जबकि एनवीडिया के जीटीसी 2022 इवेंट में अनावरण की गई तीसरी पीढ़ी एडा लवलेस (माइक्रोआर्किटेक्चर) पीढ़ी के आरटीएक्स 4000 श्रृंखला ग्राफिक्स कार्ड के लिए विशिष्ट है। एनवीडिया ने डीप लर्निंग डायनेमिक सुपर रेजोल्यूशन (डीएलडीएसआर) भी पेश किया है, जो एक संबंधित और विपरीत तकनीक है, जहां ग्राफिक्स को उच्च रिज़ॉल्यूशन पर प्रस्तुत किया जाता है, फिर एआई-असिस्टेड डाउनसैंपलिंग एल्गोरिदम का उपयोग करके मूल प्रदर्शन रिज़ॉल्यूशन में डाउनसैंपल किया जाता है ताकि रेंडरिंग की तुलना में उच्च छवि गुणवत्ता प्राप्त की जा सके। देशी संकल्प।

इतिहास
Nvidia ने DLSS को GeForce 20 श्रृंखला कार्ड की एक प्रमुख विशेषता के रूप में विज्ञापित किया जब उन्होंने सितंबर 2018 में लॉन्च किया। उस समय, परिणाम कुछ वीडियो गेम तक ही सीमित थे (अर्थात् युद्धक्षेत्र वी और मेट्रो पलायन ) क्योंकि एल्गोरिथ्म को विशेष रूप से प्रत्येक गेम पर प्रशिक्षित किया जाना था, जिस पर इसे लागू किया गया था और परिणाम आमतौर पर साधारण रिज़ॉल्यूशन अपस्केलिंग के रूप में अच्छे नहीं थे। 2019 में, वीडियो गेम नियंत्रण (वीडियो गेम)  को  किरण अनुरेखण (ग्राफिक्स)  और डीएलएसएस के एक उन्नत संस्करण के साथ भेज दिया गया, जिसमें टेंसर कोर का उपयोग नहीं किया गया था। अप्रैल 2020 में, Nvidia ने डिवाइस ड्राइवर संस्करण 445.75 के साथ DLSS 2.0 नामक DLSS के उन्नत संस्करण का विज्ञापन और शिप किया। DLSS 2.0 नियंत्रण (वीडियो गेम) और वोल्फेंस्टीन सहित कुछ मौजूदा खेलों के लिए उपलब्ध था: यंगब्लड, और बाद में कई नए जारी किए गए गेम और खेल यंत्र जैसे अवास्तविक इंजन में जोड़ा जाएगा। और एकता (गेम इंजन)। इस बार Nvidia ने कहा कि उसने फिर से Tensor Cores का उपयोग किया, और AI को प्रत्येक खेल पर विशेष रूप से प्रशिक्षित करने की आवश्यकता नहीं थी। DLSS ब्रांडिंग को साझा करने के बावजूद, DLSS के दो पुनरावृत्तियों में काफी भिन्नता है और वे पश्च-संगत नहीं हैं।

डीएलएसएस 1.0
डीएलएसएस का पहला पुनरावृति दो चरणों के साथ मुख्य रूप से स्थानिक छवि अपस्केकर है, दोनों संवादात्मक [[तंत्रिका नेटवर्क]] ऑटोएन्कोडर|ऑटो-एनकोडर न्यूरल नेटवर्क पर निर्भर हैं। पहला चरण एक इमेज एन्हांसमेंट नेटवर्क है जो किनारा एनहांसमेंट और स्थानिक एंटी-अलियासिंग करने के लिए वर्तमान फ्रेम और मोशन वैक्टर का उपयोग करता है। दूसरा चरण एक इमेज अपस्केलिंग चरण है जो छवि को वांछित आउटपुट रिज़ॉल्यूशन तक बढ़ाने के लिए एकल कच्चे, कम-रिज़ॉल्यूशन फ़्रेम का उपयोग करता है। अपस्केलिंग के लिए केवल एक फ्रेम का उपयोग करने का अर्थ है कि उच्च रिज़ॉल्यूशन आउटपुट का उत्पादन करने के लिए तंत्रिका नेटवर्क को स्वयं बड़ी मात्रा में नई जानकारी उत्पन्न करनी चाहिए, इसके परिणामस्वरूप मामूली मतिभ्रम हो सकता है जैसे पत्ते जो स्रोत सामग्री की शैली में भिन्न होते हैं।

तंत्रिका नेटवर्क प्रति पिक्सेल 64 नमूनों के साथ-साथ प्रत्येक फ्रेम के लिए गति वैक्टर के लिए पारंपरिक supersampling  का उपयोग करके एक आदर्श फ्रेम उत्पन्न करके प्रति-गेम के आधार पर प्रशिक्षित किया जाता है। एकत्र किया गया डेटा जितना संभव हो उतना व्यापक होना चाहिए, जिसमें यथासंभव कई स्तर, दिन का समय, चित्रमय सेटिंग्स, रिज़ॉल्यूशन आदि शामिल हैं। यह डेटा परीक्षण डेटा को सामान्य बनाने में मदद करने के लिए रोटेशन, रंग परिवर्तन और यादृच्छिक शोर जैसे सामान्य संवर्द्धन का उपयोग करके डेटा वृद्धि भी है। प्रशिक्षण एनवीडिया के सैटर्न वी सुपरकंप्यूटर पर किया जाता है। इस पहले पुनरावृत्ति को मिश्रित प्रतिक्रिया मिली, जिसमें कई बार नरम उपस्थिति और कुछ स्थितियों में कलाकृतियों की आलोचना की गई; तंत्रिका नेटवर्क के लिए केवल एक फ्रेम इनपुट का उपयोग करने से सीमित डेटा का साइड इफेक्ट हो सकता है जिसे सभी परिदृश्यों और किनारे का मामला | एज-केस में बेहतर प्रदर्शन करने के लिए प्रशिक्षित नहीं किया जा सकता है।

एनवीडिया ने ऑटो-एनकोडर नेटवर्क के लिए क्षेत्र की गहराई को फिर से बनाने की क्षमता सीखने की क्षमता का भी प्रदर्शन किया। डेप्थ-ऑफ-फील्ड और धीमी गति, हालांकि इस कार्यक्षमता को सार्वजनिक रूप से जारी किए गए उत्पाद में कभी शामिल नहीं किया गया है।

डीएलएसएस 2.0
डीएलएसएस 2.0 एक अस्थायी एंटी-अलियासिंग upsampling (टीएएयू) कार्यान्वयन है, जो बारीक विवरण को हल करने और एलियासिंग को कम करने के लिए सब-पिक्सेल जिटरिंग के माध्यम से बड़े पैमाने पर पिछले फ्रेम से डेटा का उपयोग करता है। DLSS 2.0 द्वारा एकत्र किए गए डेटा में निम्न शामिल हैं: अपरिष्कृत निम्न-रिज़ॉल्यूशन इनपुट, गति वेक्टर, z-बफरिंग, और एक्सपोज़र वैल्यू/ब्राइटनेस जानकारी। इसे एक सरल TAA कार्यान्वयन के रूप में भी इस्तेमाल किया जा सकता है, जहाँ छवि को DLSS द्वारा अपसैंपल किए जाने के बजाय 100% रिज़ॉल्यूशन पर प्रस्तुत किया जाता है, Nvidia इसे डीप लर्निंग एंटी-अलियासिंग | DLAA (डीप लर्निंग एंटी-अलियासिंग) के रूप में ब्रांड करता है। TAA(U) का उपयोग कई आधुनिक वीडियो गेम और गेम इंजन में किया जाता है, हालांकि पिछले सभी कार्यान्वयनों ने घोस्टिंग (टेलीविजन) और झिलमिलाहट (प्रकाश) जैसी लौकिक कलाकृतियों को रोकने के लिए मैन्युअल रूप से लिखे गए अनुमानों के कुछ रूपों का उपयोग किया है। इसका एक उदाहरण पड़ोस की क्लैम्पिंग है जो पिछले फ़्रेमों में एकत्र किए गए नमूनों को नए फ़्रेमों में आस-पास के पिक्सेल की तुलना में बहुत अधिक विचलित होने से रोकता है। यह कई लौकिक कलाकृतियों की पहचान करने और उन्हें ठीक करने में मदद करता है, लेकिन जानबूझकर इस तरह से बारीक विवरण हटाना बॉक्स ब्लर लगाने के समान है, और इस प्रकार इस पद्धति का उपयोग करते समय अंतिम छवि धुंधली दिखाई दे सकती है।

DLSS 2.0 एक संवादी तंत्रिका नेटवर्क Autoencoder|auto-encoder तंत्रिका नेटवर्क का उपयोग करता है जैसा कि ऊपर उल्लेख किया गया है, मैन्युअल रूप से प्रोग्राम किए गए ह्यूरिस्टिक्स के बजाय अस्थायी कलाकृतियों को पहचानने और ठीक करने के लिए प्रशिक्षित। इस वजह से, DLSS 2.0 आमतौर पर अन्य TAA और TAAU कार्यान्वयनों की तुलना में बेहतर तरीके से विवरण को हल कर सकता है, जबकि अधिकांश अस्थायी कलाकृतियों को भी हटा सकता है। यही कारण है कि डीएलएसएस 2.0 कभी-कभी पारंपरिक टीएए का उपयोग करते हुए उच्च, या मूल संकल्पों की तुलना में एक तेज छवि उत्पन्न कर सकता है। हालांकि, कोई भी अस्थायी समाधान सटीक नहीं है, और डीएलएसएस 2.0 का उपयोग करते समय कुछ परिदृश्यों में कलाकृतियां (विशेष रूप से भूत) अभी भी दिखाई दे रही हैं।

क्योंकि अधिकांश कला शैलियों और परिवेशों में लौकिक कलाकृतियाँ मोटे तौर पर एक ही तरह से होती हैं, तंत्रिका नेटवर्क जो DLSS 2.0 को शक्ति प्रदान करता है, को अलग-अलग खेलों में उपयोग किए जाने पर फिर से प्रशिक्षित करने की आवश्यकता नहीं होती है। इसके बावजूद, एनवीडिया नियमित रूप से नए शीर्षकों के साथ डीएलएसएस 2.0 के नए छोटे संशोधन भेजती है, इसलिए यह सुझाव दे सकता है कि कुछ मामूली प्रशिक्षण अनुकूलन खेल जारी होने के साथ-साथ किए जा सकते हैं, हालांकि इसकी पुष्टि करने के लिए एनवीडिया इन मामूली संशोधनों के लिए चेंजलॉग प्रदान नहीं करता है।

DLSS 1.0 की तुलना में मुख्य प्रगति में शामिल हैं: उल्लेखनीय रूप से बेहतर विवरण प्रतिधारण, एक सामान्यीकृत तंत्रिका नेटवर्क जिसे प्रति-गेम फिर से प्रशिक्षित करने की आवश्यकता नहीं है, और ~2x कम ओवरहेड (~1-2 ms बनाम ~2-4 ms)।

यह भी ध्यान दिया जाना चाहिए कि TAAU के रूप जैसे DLSS 2.0 उसी अर्थ में वीडियो स्केलर नहीं हैं जैसे कि ESRGAN या DLSS 1.0 जैसी तकनीकें, जो कम-रिज़ॉल्यूशन स्रोत से नई जानकारी बनाने का प्रयास करती हैं; इसके बजाय TAAU नया डेटा बनाने के बजाय पिछले फ़्रेमों से डेटा पुनर्प्राप्त करने का काम करता है। व्यवहार में, इसका मतलब है कि वर्तमान TAAU तकनीकों का उपयोग करते समय खेलों में कम रिज़ॉल्यूशन बनावट मानचित्रण अभी भी कम-रिज़ॉल्यूशन दिखाई देगा। यही कारण है कि एनवीडिया ने सिफारिश की है कि गेम डेवलपर्स डीएलएसएस 2.0 सक्षम होने पर एक एमआईपी-मैप पूर्वाग्रह लागू करके किसी दिए गए रेंडरिंग रिज़ॉल्यूशन के लिए सामान्य रूप से उच्च रिज़ॉल्यूशन बनावट का उपयोग करें।

डीएलएसएस 3.0
ऑप्टिकल प्रवाह|ऑप्टिकल-फ्लो फ्रेम जनरेशन तकनीक का उपयोग करके DLSS 2.0 को बढ़ाता है। DLSS फ्रेम जेनरेशन एल्गोरिथम रेंडरिंग पाइपलाइन से दो रेंडर किए गए फ्रेम लेता है, और एक नया फ्रेम उत्पन्न करता है जो उनके बीच आसानी से संक्रमण करता है। इसलिए प्रत्येक फ्रेम के लिए, एक अतिरिक्त फ्रेम उत्पन्न होता है। DLSS 3.0 Ada Lovelace जनरेशन RTX GPU में शामिल नई पीढ़ी के ऑप्टिकल फ्लो एक्सेलेरेटर (OFA) का उपयोग करता है। नया ओएफए पिछले ट्यूरिंग और एम्पीयर आरटीएक्स जीपीयू में पहले से उपलब्ध ओएफए की तुलना में अधिक तेज और सटीक है। इसके परिणामस्वरूप डीएलएसएस 3.0 आरटीएक्स 4000 सीरीज के लिए विशिष्ट है।

रिलीज़ के समय, DLSS 3.0 VR डिस्प्ले के लिए काम नहीं करता है।

एंटी-अलियासिंग
DLSS को अपनी स्वयं की एंटी-अलियासिंग पद्धति की आवश्यकता होती है और इसे लागू करता है।

यह TAA के समान सिद्धांतों पर काम करता है। TAA की तरह, यह वर्तमान फ़्रेम का निर्माण करने के लिए पिछले फ़्रेमों की जानकारी का उपयोग करता है। टीएए के विपरीत, डीएलएसएस प्रत्येक फ्रेम में प्रत्येक पिक्सेल का नमूना नहीं लेता है। इसके बजाय, यह अलग-अलग फ़्रेमों में अलग-अलग पिक्सेल का नमूना लेता है और मौजूदा फ़्रेम में अनमूनाकृत पिक्सेल भरने के लिए पिछले फ़्रेम में सैंपल किए गए पिक्सेल का उपयोग करता है। डीएलएसएस वर्तमान फ्रेम और पिछले फ्रेम में नमूनों को संयोजित करने के लिए मशीन लर्निंग का उपयोग करता है, और इसे उपलब्ध टेंसर कोर द्वारा संभव किए गए एक उन्नत और बेहतर टीएए कार्यान्वयन के रूप में सोचा जा सकता है।

एनवीडिया डीप लर्निंग एंटी-अलियासिंग | डीप लर्निंग एंटी-अलियासिंग (DLAA) प्रदान करता है। DLAA समान AI-संचालित एंटी-अलियासिंग DLSS उपयोग प्रदान करता है, लेकिन बिना किसी अपस्केलिंग या डाउनस्केलिंग कार्यक्षमता के।

वास्तु
नियंत्रण में कार्यान्वित शेडर-कोर संस्करण के अपवाद के साथ, DLSS केवल GeForce 20 श्रृंखला, GeForce 30 श्रृंखला, GeForce 40 श्रृंखला, और Quadro#Quadro RTX वीडियो कार्ड की श्रृंखला पर उपलब्ध है, जो 'टेन्सर कोर' नामक समर्पित AI त्वरक का उपयोग करता है। Tensor Cores Nvidia Volta ( microआर्किटेक्चर ) ग्राफ़िक्स प्रोसेसिंग युनिट  माइक्रोआर्किटेक्चर के बाद से उपलब्ध हैं, जिसका उपयोग पहली बार उत्पादों की Nvidia Tesla लाइन पर किया गया था। उनका उपयोग मल्टीप्लाई-एक्यूमुलेट ऑपरेशन करने के लिए किया जाता है। फ़्यूज्ड मल्टीप्ली-ऐड (FMA) ऑपरेशंस जो न्यूरल नेटवर्क कैलकुलेशन में बड़े पैमाने पर वज़न पर मल्टीप्लीकेशन की एक बड़ी श्रृंखला को लागू करने के लिए उपयोग किया जाता है, इसके बाद एक बायस को जोड़ा जाता है। टेंसर कोर FP16, INT8, INT4 और INT1 डेटा प्रकारों पर काम कर सकता है। प्रत्येक कोर प्रति घड़ी 1024 बिट्स FMA संचालन कर सकता है, इसलिए 1024 INT1, 256 INT4, 128 INT8, और 64 FP16 संचालन प्रति घड़ी प्रति टेंसर कोर, और अधिकांश ट्यूरिंग GPU में कुछ सौ टेंसर कोर होते हैं। Tensor Cores अपने समानांतर आर्किटेक्चर का लाभ उठाने के लिए 32 समानांतर धागों पर CUDA Warp (CUDA)-लेवल प्रिमिटिव का उपयोग करते हैं। एक ताना 32 थ्रेड (कंप्यूटिंग) का एक सेट है जो एक ही निर्देश को निष्पादित करने के लिए कॉन्फ़िगर किया गया है।

यह भी देखें

 * GPUOpen#FidelityFX सुपर रेजोल्यूशन - एएमडी से प्रतिस्पर्धी अपसैंपलिंग तकनीक
 * XeSS, Intel की AI- संवर्धित अपस्केलिंग तकनीक
 * डीप लर्निंग एंटी-अलियासिंग - डीएलएसएस 2.0 एंटी-अलियासिंग एल्गोरिदम पर बिना किसी अपस्केलिंग के आधारित

बाहरी संबंध

 * DLSS on official Nvidia developer website
 * DLSS on official Nvidia developer website