انویدیا حافظه‌های هوش مصنوعی را متحول می‌کند! معرفی معماری NVHBM انویدیا با 30% پهنای باند بالاتر از HBM4E

انویدیا بار دیگر به‌جای اتکا به راهکارهای موجود در صنعت، در حال طراحی اجزای اختصاصی برای زیرساخت‌های هوش مصنوعی است. این شرکت در جدیدترین اقدام خود معماری سفارشی High Bandwidth Memory (HBM) با نام NVHBM را معرفی کرده است. به گفته انویدیا NVHBM می‌تواند در مقایسه با معماری متداول HBM4E، پهنای باند بسیار بیشتری ارائه دهد، مصرف انرژی را کاهش دهد و فضای قابل استفاده بیشتری را روی سیلیکون در اختیار طراحان شتاب‌دهنده‌ها و کارت گرافیک مناسب برای هوش مصنوعی قرار دهد. در ادامه با خبر معرفی معماری NVHBM انویدیا و تحلیل فالنیک از این معماری جدید حافظه‌های AI همراه باشید.

انویدیا حافظه NVHBM را تولید نمی‌کند

البته انویدیا قرار نیست خودش تراشه‌های حافظه NVHBM را تولید کند. این شرکت کارخانه تولید تراشه (Foundry) ندارد و ساخت حافظه نیز در حوزه تولید مستقیم آن قرار نمی‌گیرد. انتظار می‌رود یکی از سه تولیدکننده بزرگ حافظه، یعنی Micron، SK Hynix یا Samsung تراشه‌های مورد نیاز را تولید کند و انویدیا مسئولیت طراحی معماری آن را بر عهده داشته باشد.

این فناوری هم‌زمان با برگزاری جلسه اعلام نتایج مالی فصلی انویدیا و در قالب یک پست بلاگ انویدیا معرفی شد. NVHBM به‌عنوان توسعه‌ای از پلتفرم NVLink Fusion انویدیا مطرح شده است.

هدف اصلی NVHBM، شرکت‌های بزرگ ارائه‌دهنده خدمات ابری یا Hyperscalerها و شرکت‌های فعال در حوزه هوش مصنوعی هستند که در حال طراحی شتاب‌دهنده‌های سفارشی خود یا XPUها هستند. شرکت Annapurna Labs متعلق به Amazon، نخستین شریک اعلام‌شده برای همکاری با انویدیا روی این فناوری خواهد بود.

HBM چیست و چرا برای هوش مصنوعی اهمیت دارد؟

فناوری HBM به یکی از فناوری‌های مهم در سخت‌افزارهای هوش مصنوعی تبدیل شده است. برخلاف حافظه‌های DRAM معمولی که به‌صورت ماژول‌هایی روی مادربرد قرار می‌گیرند، تراشه‌های HBM در فاصله بسیار نزدیکی از Die مربوط به شتاب‌دهنده قرار می‌گیرند. این طراحی باعث می‌شود فاصله‌ای که داده‌ها برای جابه‌جایی میان حافظه و شتاب‌دهنده طی می‌کنند، به میزان قابل‌توجهی کاهش پیدا کند و در نتیجه Latency و زمان انتقال داده نیز کاهش یابد.

این ویژگی برای بارهای کاری هوش مصنوعی اهمیت زیادی دارد؛ زیرا شتاب‌دهنده‌های AI برای پردازش مدل‌های پیچیده به حجم بسیار زیادی از داده با سرعت بالا نیاز دارند.

تفاوت معماری NVHBM انویدیا با حافظه HBM معمولی چیست؟

یکی از مهم‌ترین تفاوت‌های معماری NVHBM انویدیا با پیاده‌سازی‌های معمول HBM، محل قرارگیری Memory Controller است. انویدیا در معماری جدید خود کنترلر حافظه را از XPU خارج کرده و آن را به Base Die موجود در استک حافظه HBM منتقل می‌کند.

در معماری‌های متداول HBM، کنترلر حافظه روی Compute Die اصلی شتاب‌دهنده قرار دارد. این طراحی به فضای قابل توجهی روی سیلیکون و همچنین تعداد زیادی اتصال I/O میان پردازنده و حافظه HBM نیاز دارد.

در معماری پیشنهادی انویدیا، یک کنترلر حافظه سفارشی به همراه رابط فیزیکی یا PHY (Physical Interface) روی Base Die حافظه HBM قرار می‌گیرد. انویدیا می‌گوید این تغییر باعث می‌شود مقدار مدارهای رابط مورد نیاز روی XPU کاهش پیدا کند و در نتیجه فضای بیشتری برای قرار دادن منابع پردازشی در اختیار طراحان قرار گیرد.

معماری NVHBM انویدیا چه میزان بهبود عملکردی ایجاد می‌کند؟

انویدیا برای معماری NVHBM مجموعه‌ای از بهبودهای قابل توجه را اعلام کرده است. طبق ادعای این شرکت، NVHBM می‌تواند موارد زیر را ارائه دهد:

• تا 30 درصد پهنای باند حافظه بیشتر نسبت به HBM4E استاندارد فعلی
• تا 15 درصد مصرف انرژی کمتر در بخش HBM
• تا 25 درصد فضای بیشتر روی Compute Die مربوط به XPU
• تا 67 درصد کاهش فضای مورد نیاز PHY و مدارهای رابط پشتیبان
• تا 80 درصد سیلیکون قابل استفاده بیشتر در کل Layout

این اعداد فقط به افزایش پهنای باند حافظه محدود نمی‌شوند. افزایش فضای آزاد روی سیلیکون می‌تواند برای طراحی شتاب‌دهنده‌های قدرتمندتر اهمیت بیشتری داشته باشد. با آزاد شدن فضای بیشتری روی Die، طراحان شتاب‌دهنده می‌توانند بدون افزایش ابعاد کلی پکیج، منابع پردازشی بیشتر، کش بزرگ‌تر، قابلیت‌های اختصاصی برای پردازش‌های AI یا مدارهای متناسب با بارهای کاری خاص اضافه کنند.

NVHBM بخشی از پلتفرم NVLink Fusion است

NVHBM به‌عنوان یک محصول مستقل حافظه عرضه نمی‌شود. انویدیا این فناوری را به‌عنوان یکی دیگر از اجزای NVLink Fusion معرفی کرده است. NVLink Fusion ابتکار انویدیا برای کمک به هایپراسکیلرها و شرکت‌های هوش مصنوعی است تا بتوانند تراشه‌های سفارشی خود را طراحی کنند و در عین حال این پردازنده‌ها را به زیرساخت گسترده‌تر و در مقیاس رک انویدیا متصل کنند. پیش‌تر در زمان رونمایی از فناوری Spectrum-XGS انویدیا نیز عنوان شده بود که این شرکت قصد دارد تا معماری‌های اختصاصی خود را بیشتر در اختیار تولید محصولات سفارشی قرار دارد.

انویدیا در پست وبلاگی خود اعلام کرده است که یک پیاده‌سازی استاندارد از NVHBM ایجاد می‌کند که توسط چندین تأمین‌کننده حافظه قابل ارائه خواهد بود. این رویکرد می‌تواند میزان کار مهندسی مورد نیاز برای یکپارچه‌سازی و اعتبارسنجی حافظه‌های تولیدشده توسط تأمین‌کنندگان مختلف را کاهش دهد و مسیر سریع‌تری را برای مشتریان NVLink Fusion جهت عرضه تراشه‌های سفارشی هوش مصنوعی به بازار فراهم کند.

ادعای انویدیا درباره افزایش 30 درصدی عملکرد XPU

انویدیا می‌گوید ترکیب تغییرات معماری ایجادشده در NVHBM می‌تواند در مجموع، حدود 30 درصد عملکرد بهتر در سطح End-to-End برای XPU ایجاد کند. این برآورد بر اساس ترکیب چند عامل انجام شده است: افزایش 30 درصدی پهنای باند حافظه، فضای پردازشی بیشتر روی Compute Die و کاهش 15 درصدی مصرف انرژی HBM.

بنابراین هدف NVHBM فقط ساخت حافظه‌ای با سرعت بالاتر نیست؛ بلکه انویدیا تلاش می‌کند با تغییر محل کنترلر حافظه و کاهش فضای اشغال‌شده توسط مدارهای رابط، معماری کلی شتاب‌دهنده‌های AI را بهینه‌تر کند.

تحلیل فالنیک؛ چرا معماری NVHBM انویدیا برای آینده زیرساخت AI مهم است؟

معرفی NVHBM را نباید صرفاً یک نسل جدید از حافظه‌های HBM در نظر گرفت. این فناوری بخشی از روند بزرگ‌تری است که در آن حافظه، پردازنده، شبکه و زیرساخت دیتاسنتر بیش از گذشته به‌صورت یکپارچه طراحی می‌شوند.

با رشد مدل‌های هوش مصنوعی، افزایش توان پردازشی GPUها به‌تنهایی کافی نیست. اگر پردازنده نتواند داده موردنیاز خود را با سرعت کافی از حافظه دریافت کند، بخشی از توان پردازشی آن بلااستفاده می‌ماند. به همین دلیل پهنای باند حافظه، زمان تأخیر، مصرف انرژی و مدیریت حرارت به عوامل تعیین‌کننده در طراحی نسل آینده زیرساخت‌های AI تبدیل شده‌اند.

در مجموع چند نکته درباره این خبر و معماری NVHBM انویدیا اهمیت ویژه‌ای دارد:

• گلوگاه حافظه در AI جدی‌تر می‌شود: هرچه مدل‌های AI بزرگ‌تر و پیچیده‌تر شوند، نیاز به پهنای باند بالاتر برای انتقال داده افزایش پیدا می‌کند. NVHBM یکی از تلاش‌ها برای کاهش این گلوگاه‌هاست.
• فضای سیلیکون به یک منبع ارزشمند تبدیل شده است: انتقال کنترلر حافظه به Base Die حافظه می‌تواند فضای بیشتری را روی Compute Die آزاد کند و این فضا برای افزایش توان پردازشی یا افزودن قابلیت‌های تخصصی AI قابل استفاده است.
• مصرف انرژی اهمیت فزاینده‌ای دارد: کاهش 15 درصدی مصرف انرژی HBM، اگر در مقیاس تعداد زیادی شتاب‌دهنده در یک دیتاسنتر محاسبه شود، می‌تواند روی مصرف برق و نیازهای خنک‌سازی تأثیر قابل توجهی داشته باشد.
• آینده AI به معماری‌های سفارشی نزدیک‌تر می‌شود: همکاری NVLink Fusion با شرکت‌هایی مانند Annapurna Labs نشان می‌دهد Hyperscalerها تمایل بیشتری به طراحی XPUهای اختصاصی دارند؛ بنابراین استانداردهای مشترک میان شتاب‌دهنده، حافظه و شبکه اهمیت بیشتری پیدا خواهند کرد.
• سرورهای AI فقط به GPU قوی‌تر نیاز ندارند: در طراحی زیرساخت‌های AI، انتخاب سرور، GPU/XPU، حافظه پرسرعت، شبکه، ذخیره‌سازی، برق و سیستم خنک‌کننده باید به‌صورت یکپارچه مورد بررسی قرار گیرد.

توصیه فالنیک به مدیران IT

برای مدیران IT و مدیران زیرساخت، پیام مهم رونمایی از معماری NVHBM انویدیا این است که معماری سرور هوش مصنوعی در حال تغییر است. در آینده معیار انتخاب یک زیرساخت AI فقط تعداد GPU یا ظرفیت حافظه نخواهد بود؛ بلکه پهنای باند حافظه، ارتباط میان پردازنده و حافظه، شبکه، مصرف انرژی و تراکم پردازشی نیز باید در کنار یکدیگر بررسی شوند.

بنابراین سازمان‌هایی که قصد توسعه زیرساخت AI یا ارتقای سرورهای پردازشی خود را دارند، بهتر است قبل از خرید تجهیزات، نیازهای واقعی بار کاری، ظرفیت پردازشی، پهنای باند حافظه، شبکه و استوریج را به‌صورت یکپارچه ارزیابی کنند.

فالنیک با ارائه راهکارهای سرور، شبکه، ذخیره‌سازی و زیرساخت دیتاسنتر می‌تواند در بررسی نیازها و انتخاب تجهیزات متناسب با بار کاری سازمان به شما کمک کند. در همین راستا می‌توانید از خدمات مشاوره شبکه فالنیک استفاده کنید تا سازگاری تجهیزات، نیازهای پردازشی و امکان توسعه آینده زیرساخت سازمان شما بررسی شود و بتوانید بهترین تصمیم را بگیرید.

با مشاوران شبکه فالنیک، کسب‌وکارتان را متحول کنید

با دریافت مشاوره شبکه از متخصصین کاربلد، شبکه‌ای می‌سازید که تا سال‌ها کسب‌و‌کارتان را بیمه می‌کند. در این مسیر سه دهه تجربه متخصصان فالنیک، همراه شماست. با کلیک روی لینک، اولین قدم برای ایجاد و رشد کسب و کارتان را بردارید.

درخواست مشاوره شبکهمشاوره رایگان