डीप लर्निंग सुपर सैंपलिंग

डीप लर्निंग सुपर सैंपलिंग (डीएलएसएस) एनवीडिया (NVIDIA) द्वारा विकसित वास्तविक समय कम्प्यूटिंग यंत्र अधिगम छवि उन्नीतकरण एवं छवि स्केलिंग प्रविधियों का सदस्य है जो चित्रोपमा पत्रक की एनवीडिया आरटीएक्स लाइन के लिए विशिष्ट हैं, एवं कई वीडियो खेल में उपलब्ध है। इन प्रविधियों का लक्ष्य अधिकांश ग्राफिक्स पाइपलाइन को उत्तम प्रदर्शन के लिए अल्प प्रदर्शन पर चलने की अनुमति देता है, एवं तत्पश्चात इससे उच्च संकल्प की छवि का अनुमान लगाया है जिसमें समान स्तर का विवरण होता है जैसे कि इस पर छवि प्रस्तुत की गई थी। उच्च संकल्प, यह उपयोगकर्ता वरीयता के आधार पर दिए गए आउटपुट संकल्प के लिए उच्च ग्राफिकल स्थिर एवं फ्रेम दर की अनुमति देता है। सितंबर 2022 तक, डीएलएसएस की प्रथम एवं दूसरी पीढ़ी एनवीडिया के सभी आरटीएक्स ब्रांडेड कार्डों पर समर्थित शीर्षकों में उपलब्ध है, जबकि एनवीडिया के जीटीसी 2022 आयोजन में अनावरण की गई तीसरी पीढ़ी एडा लवलेस (सूक्ष्म वास्तुकला) के आरटीएक्स 4000 श्रृंखला ग्राफिक्स कार्ड के लिए विशिष्ट है। एनवीडिया ने डीप लर्निंग डायनेमिक उत्तम संकल्प (डीएलडीएसआर) भी प्रस्तुत किया है, जो संबंधित एवं विपरीत प्रविधि है, जहां ग्राफिक्स को उच्च संकल्प पर प्रस्तुत किया जाता है, तत्पश्चात एआई-असिस्टेड डाउनसैंपलिंग एल्गोरिदम का उपयोग करके मूल प्रदर्शन संकल्प में डाउनसैंपल किया जाता है जिससे रेंडरिंग की तुलना में उच्च छवि गुणवत्ता प्राप्त की जा सके।

इतिहास
एनवीडिया ने डीएलएसएस को जीई शक्ति 20 श्रृंखला कार्ड की प्रमुख विशेषता के रूप में विज्ञापित किया I जब उन्होंने सितंबर 2018 में प्रारम्भ किया। तो उस समय, परिणाम कुछ वीडियो खेल तक ही सीमित थे (अर्थात् युद्धक्षेत्र वी एवं मेट्रो पलायन ) क्योंकि एल्गोरिथ्म को विशेष रूप से प्रत्येक खेल पर प्रशिक्षित किया जाना था, जिस पर इसे प्रारम्भ किया गया था एवं परिणाम सामान्यतः साधारण संकल्प आकार बढ़ाए जाने के रूप में उत्तम नहीं थे।  2019 में, वीडियो खेल नियंत्रण (वीडियो खेल) को किरण अनुरेखण (ग्राफिक्स) एवं डीएलएसएस के उन्नत संस्करण के साथ भेज दिया गया, जिसमें टेंसर कोर का उपयोग नहीं किया गया था। अप्रैल 2020 में, एनवीडिया ने डिवाइस ड्राइवर संस्करण 445.75 के साथ डीएलएसएस 2.0 नामक डीएलएसएस के उन्नत संस्करण का विज्ञापन किया। डीएलएसएस 2.0 नियंत्रण (वीडियो खेल) एवं वोल्फेंस्टीन सहित कुछ उपस्थित खेलों के लिए उपलब्ध था I यंगब्लड, एवं त्पश्चात में कई नए प्रारम्भ किए गए खेल यंत्र जैसे अवास्तविक इंजन में सम्मिलित किया जाएगा।  इस बार एनवीडिया ने कहा कि उसने तत्पश्चात टेंसर कोर का उपयोग किया, एवं एआई को प्रत्येक खेल पर विशेष रूप से प्रशिक्षित करने की आवश्यकता नहीं थी। डीएलएसएस ब्रांडिंग को भागित करने के त्पश्चात, डीएलएसएस के दो पुनरावृत्तियों में अधिक भिन्नता होती है एवं वे पश्च-संगत नहीं होते हैं।

डीएलएसएस 1.0
डीएलएसएस का प्रथम पुनरावृति दो चरणों के साथ मुख्य रूप से स्थानिक छवि अपस्केकर है, दोनों संवादात्मक तंत्रिका नेटवर्क ऑटोएन्कोडर न्यूरल नेटवर्क पर निर्भर हैं। प्रथम चरण छवि वृद्धि नेटवर्क है जो  पर्यन्त वृद्धि एवं स्थानिक एंटी-अलियासिंग करने के लिए वर्तमान फ्रेम एवं गति वैक्टर का उपयोग करता है। दूसरा चरण छवि के आकार को बढ़ाए जाने का चरण है जो छवि को वांछित आउटपुट संकल्प तक बढ़ाने के लिए एकल कच्चे, अल्प-संकल्प फ़्रेम का उपयोग करता है। आकार बढ़ाए जाने के लिए केवल फ्रेम का उपयोग करने का अर्थ है कि उच्च संकल्प आउटपुट का उत्पादन करने के लिए तंत्रिका नेटवर्क को स्वयं बड़ी मात्रा में नई जानकारी उत्पन्न करनी चाहिए, इसके परिणाम स्वरूप साधारण मतिभ्रम हो सकता है जैसे पत्ते जो स्रोत सामग्री की शैली में भिन्न होते हैं।

तंत्रिका नेटवर्क प्रति पिक्सेल 64 प्रतिरूपो के साथ-साथ प्रत्येक फ्रेम के लिए गति वैक्टर के लिए पारंपरिक सुपरसैंपलिंग का उपयोग करके आदर्श फ्रेम उत्पन्न करके प्रति-खेल के आधार पर प्रशिक्षित किया जाता है। एकत्र किया गया डेटा जितना संभव हो उतना व्यापक होना चाहिए, जिसमें यथासंभव कई स्तर, दिन का समय, चित्रमय समायोजन, संकल्प आदि सम्मिलित हैं। यह डेटा परीक्षण डेटा को सामान्य बनाने में सहायता करने के लिए घुमाव, रंग परिवर्तन एवं यादृच्छिक ध्वनि जैसे सामान्य संवर्द्धन का उपयोग करके डेटा वृद्धि भी है। प्रशिक्षण एनवीडिया के सैटर्न वी सुपरकंप्यूटर पर किया जाता है। इस प्रथम पुनरावृत्ति को मिश्रित प्रतिक्रिया की उपस्थिति में एवं कुछ स्थितियों में कलाकृतियों की आलोचना की गई; तंत्रिका नेटवर्क के लिए केवल फ्रेम इनपुट का उपयोग करने से सीमित डेटा का अतिरिक्त प्रभाव हो सकता है जिसे सभी परिदृश्यों एवं एज-केस में उत्तम प्रदर्शन करने के लिए प्रशिक्षित नहीं किया जा सकता है।

एनवीडिया ने ऑटो-एनकोडर नेटवर्क के लिए क्षेत्र की गहराई को तत्पश्चात बनाने की क्षमता, सीखने की क्षमता का भी प्रदर्शन किया। डेप्थ-ऑफ-फील्ड एवं मंद गति, चूँकि इस कार्यक्षमता को सार्वजनिक रूप से निर्धारित किए गए उत्पाद में कभी सम्मिलित नहीं किया गया है।

डीएलएसएस 2.0
डीएलएसएस 2.0 अस्थायी एंटी-अलियासिंग अपसैंपलिंग (टीएएयू) कार्यान्वयन है, जो विवरण का निवारण करने एवं एलियासिंग को अल्प करने के लिए सब-पिक्सेल जिटरिंग के माध्यम से बड़े स्तर पर पूर्व फ्रेम से डेटा का उपयोग करता है। डीएलएसएस 2.0 द्वारा एकत्र किए गए डेटा में निम्न सम्मिलित हैं अपरिष्कृत निम्न-संकल्प इनपुट, गति वेक्टर, z-बफरिंग, एवं ब्राइटनेस जानकारी, इसे सरल टीएए कार्यान्वयन के रूप में भी उपयोग किया जा सकता है, जहाँ छवि को डीएलएसएस द्वारा अपसैंपल किए जाने के अतिरिक्त 100% संकल्प पर प्रस्तुत किया जाता हैI एनवीडिया इसे डीप लर्निंग एंटी-अलियासिंग (डीएलएए) के रूप में प्रारम्भ करता है। टीएए (U) का उपयोग कई आधुनिक वीडियो खेल एवं खेल इंजन में किया जाता है, चूँकि पूर्व सभी कार्यान्वयनों ने प्रतिछाया (टेलीविजन) एवं प्रकाश जैसी लौकिक कलाकृतियों को बाधित करने के लिए नियमावली रूप से लिखे गए अनुमानों के कुछ रूपों का उपयोग किया है। इसका उदाहरण निकट की क्लैम्पिंग है जो पूर्व फ़्रेमों में एकत्र किए गए प्रतिरूपो को नए फ़्रेमों में निकट के पिक्सेल की तुलना में अधिक विचलित होने से बाधित करता है। यह कई लौकिक कलाकृतियों की पहचान करने एवं उन्हें संशोधित करने में सहायता करता है, किन्तु निश्चयपूर्वक इस प्रकार से विवरण विस्थापित करने एवं बॉक्स ब्लर करने के समान है, एवं इस प्रकार इस पद्धति का उपयोग करते समय अंतिम छवि धुंधली दिखाई दे सकती है।

डीएलएसएस 2.0 संवादी नेटवर्क ऑटोएनकोडर तंत्रिका नेटवर्क का उपयोग करता है जैसा कि ऊपर उल्लेख किया गया है, नियमावली रूप से प्रोग्राम किए गए ह्यूरिस्टिक्स के अतिरिक्त अस्थायी कलाकृतियों को पहचानने एवं संशोधित करने के लिए प्रशिक्षित इस कारण से, डीएलएसएस 2.0 सामान्यतः अन्य टीएए एवं टीएएयू कार्यान्वयनों की तुलना में उत्तम प्रविधी से विवरण का निवारण कर सकता है, जबकि अधिकांश अस्थायी कलाकृतियों को भी विस्थापित कर सकता है। यही कारण है कि डीएलएसएस 2.0 कभी-कभी पारंपरिक टीएए का उपयोग करते हुए उच्च, या मूल संकल्पों की तुलना में तीव्र छवि उत्पन्न कर सकता है। चूँकि, कोई भी अस्थायी समाधान स्थिर नहीं है, एवं डीएलएसएस 2.0 का उपयोग करते समय कुछ परिदृश्यों में कलाकृतियां (विशेष रूप से भूत) अभी भी दिखाई दे रही हैं।

क्योंकि अधिकांश कला शैलियों एवं परिवेशों में लौकिक कलाकृतियाँ सामान्य प्रकार से होती हैं, तंत्रिका नेटवर्क जो डीएलएसएस 2.0 को शक्ति प्रदान करता है, एवं भिन्न-भिन्न खेलों में उपयोग किए जाने पर प्रशिक्षित करने की आवश्यकता नहीं होती है। इसके अतिरिक्त, एनवीडिया नियमित रूप से नए शीर्षकों के साथ डीएलएसएस 2.0 के नए अल्प संशोधन भेजती है, इसलिए यह विचार प्रकट कर सकता है कि कुछ साधारण प्रशिक्षण अनुकूलन खेल निरंतर होने के साथ-साथ किए जा सकते हैं, चूँकि इसकी पुष्टि करने के लिए एनवीडिया इन साधारण संशोधनों के लिए चेंजलॉग प्रदान नहीं करता है।

डीएलएसएस 1.0 की तुलना में मुख्य प्रगति में सम्मिलित हैं: उल्लेखनीय रूप से उत्तम विवरण प्रतिधारण, सामान्यीकृत तंत्रिका नेटवर्क जिसे प्रति-खेल प्रशिक्षित करने की आवश्यकता नहीं है, एवं ~2x अल्प ओवरहेड (~1-2 एमएस किसी के प्रति ~2-4 एमएस) होते है।

यह भी ध्यान दिया जाना चाहिए कि टीएएयू के रूप जैसे डीएलएसएस 2.0 उसी अर्थ में वीडियो स्केलर नहीं हैं जैसे कि डीएलएसएस 1.0 कि प्रविधियां, जो अल्प-संकल्प स्रोत से नई जानकारी बनाने का प्रयास करती हैं; इसके अतिरिक्त टीएएयू नया डेटा बनाने के अतिरिक्त पूर्व फ़्रेमों से डेटा पुनर्प्राप्त करने का कार्य करता है। व्यवहार में, इसका अर्थ है कि वर्तमान टीएएयू प्रविधियों का उपयोग करते समय खेलों में मानचित्रण अभी भी अल्प-संकल्प दिखाई देता है। यही कारण है कि एनवीडिया ने संस्तुति की है कि खेल विकास डीएलएसएस 2.0 सक्षम होने पर एमआईपी-मैप पूर्वाग्रह प्रारम्भ करके किसी दिए गए रेंडरिंग संकल्प के लिए सामान्य रूप से उच्च संकल्प बनावट का उपयोग करें।

डीएलएसएस 3.0
ऑप्टिकल प्रवाह फ्रेम पीढ़ी प्रौद्योगिकी का उपयोग करके डीएलएसएस 2.0 को बढ़ाता है। डीएलएसएस फ्रेम पीढ़ी एल्गोरिथम रेंडरिंग पाइपलाइन से दो रेंडर किए गए फ्रेम लेता है, एवं नया फ्रेम उत्पन्न करता है जो उनके मध्य सरलता से संक्रमण करता है। इसलिए प्रत्येक फ्रेम के लिए, उत्पन्न होता है। डीएलएसएस 3.0 एडा लवलेस पीढ़ी आरटीएक्स जीपीयू में सम्मिलित नई पीढ़ी के ऑप्टिकल फ्लो एक्सेलेरेटर (ओएफए) का उपयोग करता है। नया ओएफए पूर्व ट्यूरिंग एवं एम्पीयर आरटीएक्स जीपीयू में पूर्व से उपलब्ध ओएफए की तुलना में अधिक तीव्र एवं स्थिर होती है। इसके परिणामस्वरूप डीएलएसएस 3.0 आरटीएक्स 4000 शृंखला के लिए विशिष्ट है।

प्रस्तावित के समय, डीएलएसएस 3.0 वीआर प्रदर्शन के लिए कार्य नहीं करता है।

एंटी-अलियासिंग
डीएलएसएस को स्वयं की एंटी-अलियासिंग पद्धति की आवश्यकता होती है एवं इसे प्रारम्भ करता है।

यह टीएए के समान सिद्धांतों पर कार्य करता है। टीएए के जैसे, यह वर्तमान फ़्रेम का निर्माण करने के लिए पूर्व फ़्रेमों की जानकारी का उपयोग करता है। टीएए के विपरीत, डीएलएसएस प्रत्येक फ्रेम में पिक्सेल का प्रतिरूप नहीं लेता है। इसके अतिरिक्त, यह फ़्रेमों में भिन्न-भिन्न पिक्सेल का प्रतिरूप लेता है एवं उपस्थित फ़्रेम में अप्रतिरूप पिक्सेल भरने के लिए पूर्व फ़्रेम में सैंपल किए गए पिक्सेल का उपयोग करता है। डीएलएसएस वर्तमान फ्रेम एवं पूर्व फ्रेम में प्रतिरूपो को संयोजित करने के लिए मशीन लर्निंग का उपयोग करता है, एवं इसे उपलब्ध टेंसर कोर द्वारा संभव किए गए उन्नत एवं उत्तम टीएए कार्यान्वयन के रूप में विचार किया जा सकता है।

एनवीडिया डीप लर्निंग एंटी-अलियासिंग (DLAA) प्रदान करता है। डीएलएए समान एआई-संचालित एंटी-अलियासिंग डीएलएसएस बिना किसी अपस्केलिंग या डाउनस्केलिंग कार्यक्षमता का उपयोग प्रदान करता है।

वास्तु
नियंत्रण में कार्यान्वित शेडर-कोर संस्करण के अपवाद के साथ, डीएलएसएस केवल जीईफ़ोर्स 20 श्रृंखला, जीईफ़ोर्स 30 श्रृंखला, जीईफ़ोर्स 40 श्रृंखला, एवं क्वाड्रो आरटीएक्स वीडियो कार्ड की श्रृंखला पर उपलब्ध है, जो 'टेन्सर कोर' नामक समर्पित एआई त्वरक का उपयोग करता है। टेंसर कोर एनवीडिया वोल्टा ग्राफ़िक्स प्रोसेसिंग युनिट सूक्ष्म वास्तुकला के पश्चात से उपलब्ध हैं, जिसका उपयोग प्रथम बार उत्पादों की एनवीडिया टेस्ला लाइन पर किया गया था। उनका उपयोग मल्टीप्लाई-एक्यूमुलेट ऑपरेशन करने के लिए किया जाता है। फ़्यूज्ड मल्टीप्ली-ऐड (FMA) ऑपरेशंस जो न्यूरल नेटवर्क कैलकुलेशन में बड़े स्तर पर भार पर बहुलीकरण की बड़ी श्रृंखला को प्रारम्भ करने के लिए उपयोग किया जाता है, इसके पश्चात बायस को जोड़ा जाता है। टेंसर कोर एफपी 16, आईएनटी 8, आईएनटी 4 एवं आईएनटी 1 डेटा प्रकारों पर कार्य कर सकता है। प्रत्येक कोर प्रति घड़ी 1024 बिट्स एफएमए संचालन कर सकता है, इसलिए 1024 आईएनटी 1, 256 आईएनटी 4, 128 आईएनटी 8, एवं 64 एफपी 16 संचालन प्रति घड़ी प्रति टेंसर कोर, एवं अधिकांश ट्यूरिंग जीपीयू में कुछ सौ टेंसर कोर होते हैं। टेंसर कोर अपने समानांतर वास्तुकला का लाभ उठाने के लिए 32 समानांतर थ्रेड पर सीयूडीए अनियमता(CUDA)स्तर प्रिमिटिव का उपयोग करते हैं। 32 थ्रेड (कंप्यूटिंग) का समुच्चय है जो निर्देश को निष्पादित करने के लिए कॉन्फ़िगर किया गया है।

यह भी देखें

 * जीपीयू एफएक्स सुपर संकल्पन- एएमडी से प्रतिस्पर्धी अपसैंपलिंग प्रविधी
 * एक्सईएसएस, इंटेल की एआई- संवर्धित अपस्केलिंग प्रविधी
 * डीप लर्निंग एंटी-अलियासिंग- डीएलएसएस 2.0 एंटी-अलियासिंग एल्गोरिदम पर बिना किसी अपस्केलिंग के आधारित

बाहरी संबंध

 * Official Website
 * डीएलएसएस on official Nvidia developer website