उच्च बैंडविड्थ मेमोरी



उच्च बैंडविड्थ मेमोरी (HBM) त्रि-आयामी एकीकृत सर्किट के लिए एक उच्च गति वाला स्मृति  इंटरफ़ेस है। शुरुआत में सैमसंग इलेक्ट्रॉनिक्स, उन्नत माइक्रो डिवाइसेस और SK Hynix से 3D-स्टैक्ड सिंक्रोनस डायनेमिक रैंडम-एक्सेस मेमोरी (SDRAM) है। इसका उपयोग उच्च-प्रदर्शन ग्राफिक्स त्वरक, नेटवर्क उपकरणों, उच्च-प्रदर्शन डेटासेंटर AI ASICs और FPGAs और कुछ सुपर कंप्यूटरों (जैसे NEC SX-Aurora TSUBASA और Fujitsu A64FX) में किया जाता है। 2013 में SK Hynix द्वारा पहली HBM मेमोरी चिप का निर्माण किया गया था। और एचबीएम का उपयोग करने वाले पहले डिवाइस 2015 में AMD Radeon Rx 300 Series|AMD फिजी जीपीयू थे। JEDEC द्वारा अक्टूबर 2013 में एक उद्योग मानक के रूप में उच्च बैंडविड्थ मेमोरी को अपनाया गया है। दूसरी पीढ़ी, HBM2, JEDEC द्वारा जनवरी में स्वीकार की गई थी 2016.

प्रौद्योगिकी
DDR4 SDRAM या GDDR5 की तुलना में काफी छोटे फॉर्म फैक्टर में कम बिजली का उपयोग करते हुए HBM उच्च बैंडविड्थ (कंप्यूटिंग) प्राप्त करता है। यह आठ डायनेमिक रैंडम-एक्सेस मेमोरी डाई (एकीकृत सर्किट) और एक वैकल्पिक बेस डाई तक ढेर करके प्राप्त किया जाता है जिसमें बफर सर्किटरी और टेस्ट लॉजिक शामिल हो सकते हैं। स्टैक अक्सर ग्राफ़िक्स प्रोसेसिंग युनिट  या सेंट्रल प्रोसेसिंग यूनिट पर एक सब्सट्रेट के माध्यम से मेमोरी कंट्रोलर से जुड़ा होता है, जैसे कि सिलिकॉन  जड़ना ।  वैकल्पिक रूप से, मेमोरी डाई को सीधे CPU या GPU चिप पर स्टैक किया जा सकता है। स्टैक के भीतर डाई थ्रू-सिलिकॉन वियास (TSVs) और  microbump ्स द्वारा लंबवत रूप से जुड़े हुए हैं। एचबीएम तकनीक सैद्धांतिक रूप से समान है लेकिन  माइक्रोन प्रौद्योगिकी  द्वारा विकसित हाइब्रिड मेमोरी क्यूब (एचएमसी) इंटरफेस के साथ असंगत है। DDR4 या GDDR5 जैसी अन्य DRAM मेमोरी की तुलना में HBM मेमोरी बस बहुत विस्तृत है। चार DRAM का एक HBM स्टैक मर जाता है (4हाय) में दो 128 हैं{{nbhyph}कुल 8 चैनलों के लिए प्रति डाई बिट चैनल और कुल मिलाकर 1024 बिट की चौड़ाई। चार के साथ एक ग्राफिक्स कार्ड/जीपीयू 4हाय एचबीएम स्टैक में 4096 बिट की चौड़ाई वाली एक मेमोरी बस होगी। इसकी तुलना में, GDDR मेमोरी की बस चौड़ाई 32 बिट्स है, जिसमें 512 ग्राफिक्स कार्ड के लिए 16 चैनल हैं।{{nbhyph}बिट मेमोरी इंटरफ़ेस। एचबीएम प्रति पैकेज 4 जीबी तक का समर्थन करता है।

DDR4 या GDDR5 की तुलना में मेमोरी से कनेक्शन की बड़ी संख्या के लिए, HBM मेमोरी को GPU (या अन्य प्रोसेसर) से कनेक्ट करने के लिए एक नई विधि की आवश्यकता होती है। एएमडी और एनवीडिया दोनों ने मेमोरी और जीपीयू को जोड़ने के लिए उद्देश्य से निर्मित सिलिकॉन चिप्स का इस्तेमाल किया है, जिसे इंटरपोजर कहा जाता है। इस इंटरपोजर के पास मेमोरी और प्रोसेसर को शारीरिक रूप से बंद करने, कम करने वाले मेमोरी पथों की आवश्यकता का अतिरिक्त लाभ है। हालांकि, मुद्रित सर्किट बोर्ड निर्माण की तुलना में अर्धचालक उपकरण निर्माण निर्माण काफी महंगा है, इससे अंतिम उत्पाद की लागत बढ़ जाती है।

इंटरफ़ेस
HBM DRAM एक वितरित इंटरफ़ेस के साथ होस्ट कंप्यूट डाई से कसकर जुड़ा हुआ है। इंटरफ़ेस स्वतंत्र चैनलों में बांटा गया है। चैनल एक दूसरे से पूरी तरह से स्वतंत्र हैं और जरूरी नहीं कि वे एक दूसरे के समकालिक हों। HBM DRAM हाई-स्पीड, लो-पावर ऑपरेशन को प्राप्त करने के लिए एक वाइड-इंटरफ़ेस आर्किटेक्चर का उपयोग करता है। HBM DRAM 500 मेगाहर्ट्ज विभेदक संकेतन  क्लॉक CK_t / CK_c का उपयोग करता है (जहां प्रत्यय _t डिफरेंशियल पेयर के सही या सकारात्मक घटक को दर्शाता है, और _c पूरक को दर्शाता है)। CK_t, CK_c के बढ़ते किनारे पर कमांड पंजीकृत हैं। प्रत्येक चैनल इंटरफ़ेस 128 बनाए रखता है{{nbhyph}बिट डेटा बस डबल डेटा दर (DDR) पर काम कर रही है। HBM 1 GT/s प्रति पिन (1 बिट ट्रांसफर) की स्थानांतरण दरों का समर्थन करता है, जिससे 128 GB/s का समग्र पैकेज बैंडविड्थ प्राप्त होता है।

एचबीएम2
उच्च बैंडविड्थ मेमोरी, HBM2 की दूसरी पीढ़ी भी प्रति स्टैक आठ डाइस तक निर्दिष्ट करती है और 2 GT/s तक पिन स्थानांतरण दरों को दोगुना करती है। 1024 को बनाए रखनाबिट वाइड एक्सेस, HBM2 प्रति पैकेज 256 GB/s मेमोरी बैंडविड्थ तक पहुंचने में सक्षम है। HBM2 विनिर्देश प्रति पैकेज 8 जीबी तक की अनुमति देता है। HBM2 को आभासी वास्तविकता  जैसे प्रदर्शन-संवेदनशील उपभोक्ता अनुप्रयोगों के लिए विशेष रूप से उपयोगी होने की भविष्यवाणी की गई है। 19 जनवरी, 2016 को, SAMSUNG  ने प्रति स्टैक 8 GB तक HBM2 के शुरुआती बड़े पैमाने पर उत्पादन की घोषणा की।  SK Hynix ने अगस्त 2016 में 4 GB स्टैक की उपलब्धता की भी घोषणा की।

एचबीएम2ई
2018 के अंत में, JEDEC ने HBM2 विनिर्देशों के लिए एक अद्यतन की घोषणा की, जो बैंडविड्थ और क्षमताओं में वृद्धि प्रदान करता है। 307 GB/s प्रति स्टैक (2.5 Tbit/s प्रभावी डेटा दर) अब आधिकारिक विनिर्देश में समर्थित है, हालांकि इस गति से चलने वाले उत्पाद पहले से ही उपलब्ध थे। इसके अतिरिक्त, अद्यतन ने 12 के लिए समर्थन जोड़ाहाय स्टैक (12 डेज़) प्रति स्टैक 24 जीबी तक की क्षमता संभव बनाता है।

20 मार्च, 2019 को, सैमसंग ने अपने फ्लैशबोल्ट एचबीएम2ई की घोषणा की, जिसमें आठ डाई प्रति स्टैक, 3.2 जीटी/एस की अंतरण दर, कुल 16 जीबी और 410 जीबी/एस प्रति स्टैक प्रदान करता है। 12 अगस्त, 2019 को SK Hynix ने अपने HBM2E की घोषणा की, जिसमें प्रति स्टैक आठ डाइस, 3.6 GT/s की ट्रांसफर दर, कुल 16 GB और 460 GB/s प्रति स्टैक प्रदान करता है। 2 जुलाई 2020 को SK Hynix ने घोषणा की कि बड़े पैमाने पर उत्पादन शुरू हो गया है।

एचबीएम3
2020 के अंत में, माइक्रोन टेक्नोलॉजी ने अनावरण किया कि HBM2E मानक को अद्यतन किया जाएगा और इसके साथ ही उन्होंने HBMnext (बाद में इसका नाम बदलकर HBM3) के रूप में ज्ञात अगले मानक का अनावरण किया। यह HBM2 और HBM2E के प्रतिस्थापन से एक बड़ी पीढ़ीगत छलांग थी। यह नया वीआरएएम 2022 की चौथी तिमाही में बाजार में आ गया होगा। जैसा कि नाम से पता चलता है, यह संभवतः एक नई वास्तुकला पेश करेगा।

जबकि आर्किटेक्चर को ओवरहाल किया जा सकता है, लीक अद्यतन HBM2E मानक के समान प्रदर्शन की ओर इशारा करते हैं। इस रैम का ज्यादातर डेटा सेंटर जीपीयू में इस्तेमाल होने की संभावना है। 2021 के मध्य में, SK Hynix ने 5.2Gbit/s I/O स्पीड और 665GB/s प्रति पैकेज की बैंडविड्थ के साथ-साथ 16-उच्च 2.5D और 3D समाधानों के साथ HBM3 मानक के कुछ विनिर्देशों का अनावरण किया। 20 अक्टूबर 2021 को, HBM3 के लिए JEDEC मानक को अंतिम रूप दिए जाने से पहले, SK Hynix यह घोषणा करने वाला पहला मेमोरी विक्रेता था कि उसने HBM3 मेमोरी उपकरणों का विकास पूरा कर लिया है। SK Hynix के अनुसार, मेमोरी 6.4Gbps/pin जितनी तेज चलेगी, JEDEC-मानक HBM2E की डेटा दर दोगुनी होगी, जो औपचारिक रूप से 3.2Gbps/pin पर सबसे ऊपर है, या SK Hynix के अपने 3.6Gbps/pin HBM2E से 78% तेज है।. डिवाइस 6.4 GT/s की डेटा अंतरण दर का समर्थन करते हैं और इसलिए एक एकल HBM3 स्टैक 819 GB/s तक की बैंडविड्थ प्रदान कर सकता है। HBM3 के लिए मूल बस की चौड़ाई अपरिवर्तित रहती है, जिसमें मेमोरी का एक स्टैक 1024-बिट चौड़ा होता है। SK Hynix उनकी मेमोरी को दो क्षमताओं में पेश करेगा: 16GB और 24GB, क्रमशः 8-Hi और 12-Hi स्टैक के साथ। ढेर में 8 या 12 16 जीबी डीआरएएम होते हैं जो प्रत्येक 30 माइक्रोन मोटे होते हैं और सिलिकॉन वायस (टीएसवी) के माध्यम से जुड़े होते हैं। आनंदटेक के रेयान स्मिथ के अनुसार, SK Hynix पहली पीढ़ी की HBM3 मेमोरी में उनकी नवीनतम पीढ़ी की HBM2E मेमोरी के समान घनत्व है, जिसका अर्थ है कि डिवाइस विक्रेता जो अपने अगली पीढ़ी के पुर्जों के लिए अपनी कुल मेमोरी क्षमता बढ़ाना चाहते हैं, उन्हें 12 के साथ मेमोरी का उपयोग करने की आवश्यकता होगी। डाइस/लेयर्स, 8 लेयर स्टैक्स से ऊपर जो वे आमतौर पर तब तक इस्तेमाल करते थे। टॉम के हार्डवेयर के एंटोन शिलोव के अनुसार, उच्च-प्रदर्शन कंप्यूट जीपीयू या एफपीजीए आमतौर पर चार या छह एचबीएम स्टैक का उपयोग करते हैं, इसलिए एसके हाइनिक्स के एचबीएम3 24 जीबी स्टैक के साथ वे तदनुसार 3.2 टीबी/एस या 4.9 टीबी/एस मेमोरी बैंडविड्थ प्राप्त करेंगे। उन्होंने यह भी नोट किया कि SK Hynix के HBM3 चिप्स वर्गाकार हैं, HBM2 और HBM2E चिप्स की तरह आयताकार नहीं हैं। द रजिस्टर के क्रिस मेलर के अनुसार, JEDEC ने अभी तक अपने HBM3 मानक को विकसित नहीं किया है, इसका मतलब यह हो सकता है कि SK Hynix को अपने डिजाइन को भविष्य में और तेज करने की आवश्यकता होगी।

JEDEC ने आधिकारिक तौर पर 27 जनवरी, 2022 को HBM3 मानक की घोषणा की। HBM2e के साथ 128 बिट्स के 8 चैनलों से HBM3 के साथ 64 बिट्स के 16 चैनलों तक मेमोरी चैनलों की संख्या दोगुनी हो गई थी। इसलिए, इंटरफ़ेस के डेटा पिनों की कुल संख्या अभी भी 1024 है।

जून 2022 में, SK hynix ने घोषणा की कि उन्होंने Nvidia के H100 GPU के साथ उपयोग की जाने वाली उद्योग की पहली HBM3 मेमोरी का बड़े पैमाने पर उत्पादन शुरू कर दिया है, जिसके 2022 की तीसरी तिमाही में आने की उम्मीद है। मेमोरी H100 को 819 GB/s तक मेमोरी बैंडविड्थ प्रदान करेगी। रेफरी>

अगस्त 2022 में, एनवीडिया ने घोषणा की कि उसका हॉपर एच100 जीपीयू पांच सक्रिय एचबीएम3 साइटों (बोर्ड पर छह में से) के साथ शिप करेगा, जो 80 जीबी रैम और 3 टीबी/एस मेमोरी बैंडविड्थ (16 जीबी और 600 जीबी/एस प्रति साइट) की पेशकश करेगा। रेफरी>

एचबीएम-पीआईएम
फरवरी 2021 में, सैमसंग ने प्रोसेसिंग-इन-मेमोरी (पीआईएम) के साथ एचबीएम के विकास की घोषणा की। यह नई मेमोरी डेटा के बड़े पैमाने पर प्रसंस्करण को बढ़ाने के लिए एआई कंप्यूटिंग क्षमताओं को मेमोरी के अंदर लाती है। समानांतर प्रसंस्करण को सक्षम करने और डेटा आंदोलन को कम करने के लिए प्रत्येक मेमोरी बैंक के अंदर एक डीआरएएम-अनुकूलित एआई इंजन रखा गया है। सैमसंग का दावा है कि यह सिस्टम के प्रदर्शन को दोगुना कर देगा और ऊर्जा की खपत को 70% से अधिक कम कर देगा, जबकि बाकी सिस्टम में किसी भी हार्डवेयर या सॉफ्टवेयर बदलाव की आवश्यकता नहीं होगी।

पृष्ठभूमि
त्रि-आयामी एकीकृत सर्किट | डाइ-स्टैक्ड मेमोरी को प्रारंभ में फ्लैश मेमोरी उद्योग में व्यावसायीकरण किया गया था। तोशीबा  ने अप्रैल 2007 में आठ स्टैक्ड डाइज़ के साथ NAND फ्लैश मेमोरी चिप पेश की, सितंबर 2007 में Hynix सेमीकंडक्टर ने 24 स्टैक्ड डाइज़ के साथ NAND फ्लैश चिप पेश की। 3डी-स्टैक्ड रैंडम एक्सेस मेमोरी  (रैम) थ्रू-सिलिकॉन थ्रू (टीएसवी) तकनीक का उपयोग करके एल्पिडा मेमोरी द्वारा व्यावसायीकरण किया गया, जिसने पहले 8 विकसित किए{{nbsp}सितंबर 2009 में गिबिबाइट गतिशील रैम चिप (चार DDR3 SDRAM डाइस के साथ ढेर) और जून 2011 में इसे जारी किया। 2011 में, SK Hynix ने 16 पेश किए{{nbsp}जीबी डीडीआर3 मेमोरी (40 नैनोमीटर|40nm क्लास) TSV तकनीक का उपयोग करके, सैमसंग इलेक्ट्रॉनिक्स ने 3डी-स्टैक्ड 32 पेश किया{{nbsp}जीबी डीडीआर3 (32 नैनोमीटर|30nm क्लास) सितंबर में TSV पर आधारित थी, और फिर सैमसंग और माइक्रोन टेक्नोलॉजी ने अक्टूबर में TSV-आधारित हाइब्रिड मेमोरी क्यूब (HMC) तकनीक की घोषणा की। JEDEC ने सबसे पहले वाइड IO मेमोरी के लिए JESD229 मानक जारी किया, एचबीएम के पूर्ववर्ती ने कई वर्षों के काम के बाद दिसंबर 2011 में सिंगल डेटा रेट क्लॉकिंग के साथ चार 128 बिट चैनल पेश किए। पहला HBM मानक JESD235 अक्टूबर 2013 में अपनाया गया।

विकास
उच्च बैंडविड्थ मेमोरी का विकास 2008 में एएमडी में शुरू हुआ था ताकि लगातार बढ़ती बिजली के उपयोग और कंप्यूटर मेमोरी के फॉर्म फैक्टर की समस्या को हल किया जा सके। अगले कई वर्षों में, एएमडी ने सीनियर एएमडी फेलो ब्रायन ब्लैक के नेतृत्व वाली टीम के साथ डाई-स्टैकिंग समस्याओं को हल करने के लिए प्रक्रियाएं विकसित कीं। एएमडी को एचबीएम के अपने दृष्टिकोण को साकार करने में मदद करने के लिए, उन्होंने मेमोरी उद्योग से भागीदारों को सूचीबद्ध किया, विशेष रूप से कोरियाई कंपनी एसके हाइनिक्स, जिसे 3डी-स्टैक्ड मेमोरी के साथ पूर्व अनुभव था, साथ ही साथ इंटरपोजर उद्योग (ताइवान की कंपनी यूनाइटेड माइक्रोइलेक्ट्रॉनिक कॉर्पोरेशन) और  एकीकृत सर्किट पैकेजिंग  उद्योग (अमकोर प्रौद्योगिकी और  उन्नत सेमीकंडक्टर इंजीनियरिंग ) के साझेदार हैं।

HBM का विकास 2013 में पूरा हुआ, जब SK Hynix ने पहली HBM मेमोरी चिप का निर्माण किया। 2010 में AMD और SK Hynix के एक प्रस्ताव के बाद, अक्टूबर 2013 में JEDEC द्वारा HBM को उद्योग मानक JESD235 के रूप में अपनाया गया था। 2015 में Icheon, दक्षिण कोरिया में एक Hynix सुविधा में उच्च मात्रा में निर्माण शुरू हुआ।

HBM का उपयोग करने वाला पहला GPU AMD फिजी था जिसे जून 2015 में AMD Radeon R9 Fury X को पॉवर देने के लिए जारी किया गया था। जनवरी 2016 में, सैमसंग इलेक्ट्रॉनिक्स ने एचबीएम2 का प्रारंभिक बड़े पैमाने पर उत्पादन शुरू किया। उसी महीने, HBM2 को JEDEC ने मानक JESD235a के रूप में स्वीकार कर लिया। HBM2 का उपयोग करने वाली पहली GPU चिप Nvidia Tesla P100 है जिसे आधिकारिक तौर पर अप्रैल 2016 में घोषित किया गया था। जून 2016 में, Intel ने HBM के माइक्रोन के संस्करण HCDRAM के 8 स्टैक के साथ Xeon Phi प्रोसेसर का एक परिवार जारी किया। अगस्त 2016 में Hot Chips में, Samsung और Hynix दोनों ने एक नई पीढ़ी की HBM मेमोरी तकनीकों की घोषणा की। दोनों कंपनियों ने उच्च प्रदर्शन वाले उत्पादों की घोषणा की, जिनमें घनत्व में वृद्धि, बैंडविड्थ में वृद्धि और बिजली की कम खपत की उम्मीद थी। सैमसंग ने बड़े पैमाने पर बाजारों को लक्षित विकास के तहत एचबीएम के कम लागत वाले संस्करण की भी घोषणा की। बफर डाई को हटाना और कम लागत के माध्यम से थ्रू-सिलिकॉन की संख्या को कम करना, हालांकि कम समग्र बैंडविड्थ (200 जीबी/एस) की कीमत पर।

एनवीडिया ने 22 मार्च, 2022 को एनवीडिया हॉपर जीएच100 जीपीयू की घोषणा की, जो एचबीएम3 का उपयोग करने वाला दुनिया का पहला जीपीयू है।

यह भी देखें

 * ढेर घूंट
 * ईडीआरएएम
 * चिप स्टैक मल्टी-चिप मॉड्यूल
 * हाइब्रिड मेमोरी क्यूब (HMC): माइक्रोन टेक्नोलॉजी (2011) से स्टैक्ड मेमोरी मानक

बाहरी संबंध

 * High Bandwidth Memory (HBM) DRAM (JESD235), JEDEC, October 2013
 * HBM vs HBM2 vs GDDR5 vs GDDR5X Memory Comparison
 * HBM vs HBM2 vs GDDR5 vs GDDR5X Memory Comparison