فناوری‌های اختصاصی GPU؛ CUDA، Tensor Core، NVLink، MIG و ROCm در سرورهای HPE

اگر تنها به مشخصاتی مانند تعداد هسته‌ها، ظرفیت حافظه یا توان پردازشی GPU نگاه کنیم، بخش مهمی از قابلیت‌های یک کارت شتاب‌دهنده را نادیده گرفته‌ایم. آنچه GPUهای مدرن را از نسل‌های قدیمی متمایز می‌کند، مجموعه‌ای از فناوری‌های سخت‌افزاری و نرم‌افزاری است که برای افزایش سرعت پردازش، کاهش تأخیر و بهینه‌سازی اجرای مدل‌های هوش مصنوعی توسعه یافته‌اند.

در سرورهای HPE، این فناوری‌ها نقش مهمی در استفاده از حداکثر توان کارت‌های NVIDIA و AMD دارند؛ به‌خصوص زمانی که چند GPU به‌صورت هم‌زمان برای هوش مصنوعی، پردازش‌های سنگین و HPC مورد استفاده قرار می‌گیرند.

اما برای درک بهتر این فناوری‌ها، ابتدا باید بدانیم GPU دقیقاً چیست و چه تفاوتی با یک کارت گرافیک یا GPU Accelerator دارد.

اگر هنوز تفاوت این دو برایتان کاملاً روشن نیست، پیشنهاد می‌کنیم ابتدا مقاله [تفاوت GPU و کارت گرافیک در سرورهای HPE؛ بررسی ساختار و کاربرد] را مطالعه کنید. در آن مقاله، تفاوت میان تراشه GPU و کارت شتاب‌دهنده و همچنین اجزای اصلی یک کارت مانند حافظه، مدار تغذیه، رابط PCIe و سیستم خنک‌کننده بررسی شده است.

از طرف دیگر، فناوری‌های GPU بدون درنظرگرفتن معماری آن‌ها قابل بررسی نیستند. نسل‌های مختلف NVIDIA و AMD از معماری‌های متفاوتی استفاده می‌کنند و همین تفاوت‌ها بر قابلیت‌هایی مانند Tensor Core، حافظه، پردازش AI و ارتباط میان GPUها تأثیر می‌گذارند.

برای آشنایی بیشتر با این موضوع، مقاله [معماری GPUهای NVIDIA و AMD؛ سیر تکامل، تفاوت‌ها و تأثیر معماری بر عملکرد] را نیز می‌توانید مطالعه کنید.

در ادامه، مهم‌ترین فناوری‌هایی را بررسی می‌کنیم که نقش مهمی در عملکرد GPUهای مدرن و استفاده از آن‌ها در سرورهای HPE دارند

CUDA؛ مهم‌ترین مزیت اکوسیستم NVIDIA

یکی از مهم‌ترین دلایل محبوبیت GPUهای NVIDIA در مراکز داده، پلتفرم CUDA (Compute Unified Device Architecture) است.

CUDA یک معماری نرم‌افزاری و مجموعه‌ای از کتابخانه‌ها، کامپایلرها و APIها است که به توسعه‌دهندگان اجازه می‌دهد برنامه‌های خود را مستقیماً روی GPU اجرا کنند.

این پلتفرم به بخش مهمی از اکوسیستم پردازش موازی و هوش مصنوعی تبدیل شده است.

امروزه بسیاری از فریم‌ورک‌ها و ابزارهای مطرح هوش مصنوعی از CUDA پشتیبانی می‌کنند، از جمله:

• TensorFlow
• PyTorch
• RAPIDS
• cuDNN
• TensorRT
• CUDA-X AI
• NVIDIA AI Enterprise

بسیاری از مدل‌ها و نرم‌افزارهای هوش مصنوعی ابتدا برای CUDA بهینه‌سازی می‌شوند و سپس نسخه‌های سازگار با سایر پلتفرم‌ها ارائه می‌گردند.

در نتیجه، هنگام انتخاب GPU NVIDIA برای سرور HPE، نباید فقط مشخصات سخت‌افزاری کارت را در نظر گرفت؛ اکوسیستم نرم‌افزاری آن نیز اهمیت زیادی دارد.

Tensor Core؛ موتور اختصاصی محاسبات هوش مصنوعی

یکی از مهم‌ترین نوآوری‌های NVIDIA، معرفی Tensor Core بود.

در حالی که CUDA Coreها برای انجام عملیات عمومی استفاده می‌شوند، Tensor Coreها برای اجرای بسیار سریع عملیات ماتریسی طراحی شده‌اند؛ عملیاتی که بخش مهمی از آموزش و اجرای شبکه‌های عصبی را تشکیل می‌دهند.

برای مثال، هنگام آموزش یک مدل زبانی بزرگ، میلیاردها عملیات ماتریسی در هر ثانیه انجام می‌شود. Tensor Coreها این عملیات را با کارایی بسیار بالاتری نسبت به هسته‌های معمولی اجرا می‌کنند.

GPUهایی مانند NVIDIA H100 و NVIDIA H200 به همین دلیل در پروژه‌های هوش مصنوعی عملکرد چشمگیری دارند.

بنابراین، هنگام بررسی عملکرد GPU برای AI Training یا AI Inference، تعداد هسته‌ها به‌تنهایی معیار مناسبی نیست و فناوری‌هایی مانند Tensor Core نیز باید مورد توجه قرار گیرند.

Transformer Engine؛ فناوری NVIDIA برای مدل‌های Transformer

با معرفی معماری Hopper، NVIDIA فناوری Transformer Engine را نیز ارائه کرد.

این موتور سخت‌افزاری به‌طور ویژه برای مدل‌های مبتنی بر معماری Transformer طراحی شده است؛ معماری‌ای که در مدل‌هایی مانند:

• GPT
• Llama
• Claude
• Gemini
• DeepSeek

استفاده می‌شود.

Transformer Engine با مدیریت هوشمند دقت محاسبات (Precision) می‌تواند سرعت آموزش و استنتاج مدل‌ها را افزایش دهد و در عین حال به حفظ دقت مدل کمک کند.

این قابلیت به‌خصوص در زیرساخت‌هایی که برای اجرای مدل‌های بزرگ هوش مصنوعی طراحی شده‌اند، اهمیت دارد.

NVLink؛ ارتباط مستقیم میان GPUها

در پروژه‌های بزرگ، معمولاً یک GPU به‌تنهایی کافی نیست و چندین کارت GPU به‌صورت هم‌زمان مورد استفاده قرار می‌گیرند. در چنین شرایطی، نحوه ارتباط GPUها با یکدیگر اهمیت زیادی دارد.

اگر GPUها تنها از طریق PCI Express با یکدیگر ارتباط داشته باشند، سرعت انتقال داده و نحوه تبادل اطلاعات میان کارت‌ها می‌تواند به یک محدودیت تبدیل شود.

برای رفع این محدودیت، NVIDIA فناوری NVLink را توسعه داده است.

NVLink یک ارتباط پرسرعت و مستقیم میان GPUها ایجاد می‌کند تا کارت‌ها بتوانند بدون وابستگی مستقیم به CPU، داده‌ها را با تأخیر بسیار کم میان خود مبادله کنند.

این فناوری در سرورهای پیشرفته HPE مانند خانواده Cray و برخی مدل‌های Apollo نقش مهمی در پروژه‌های پردازشی بزرگ و آموزش مدل‌های بسیار بزرگ دارد.

بنابراین، در یک سرور HPE مجهز به چند GPU، فقط قدرت هر کارت مهم نیست؛ نحوه ارتباط GPUها با یکدیگر نیز می‌تواند روی عملکرد نهایی زیرساخت تأثیر بگذارد.

NVSwitch؛ وقتی چندین GPU باید مانند یک سیستم واحد کار کنند

در ابررایانه‌ها و سامانه‌های هوش مصنوعی سازمانی، اتصال تنها دو یا چهار GPU ممکن است برای برخی بارهای کاری کافی نباشد.

در چنین شرایطی از NVSwitch استفاده می‌شود.

NVSwitch یک سوئیچ سخت‌افزاری پرسرعت است که ارتباط میان تعداد زیادی GPU را مدیریت می‌کند و آن‌ها را به یک شبکه داخلی با پهنای باند بسیار بالا متصل می‌سازد.

در نتیجه، نرم‌افزارهای هوش مصنوعی می‌توانند چندین GPU را به‌صورت یک مجموعه پردازشی هماهنگ مدیریت کنند.

این قابلیت برای زیرساخت‌هایی که با تعداد زیادی GPU کار می‌کنند اهمیت ویژه‌ای دارد؛ زیرا با افزایش تعداد GPUها، مدیریت ارتباط میان آن‌ها نیز پیچیده‌تر می‌شود.

Multi-Instance GPU یا MIG چیست؟

یکی از قابلیت‌های مهم معماری‌های Ampere و Hopper، فناوری Multi-Instance GPU یا MIG است.

MIG امکان تقسیم یک GPU فیزیکی به چند GPU منطقی و مستقل را فراهم می‌کند.

برای مثال، یک NVIDIA H100 می‌تواند به چند بخش مجزا تقسیم شود تا چند ماشین مجازی یا چند کاربر بتوانند به‌صورت هم‌زمان از منابع GPU استفاده کنند.

این قابلیت در محیط‌هایی که چند کاربر یا چند سرویس باید از یک GPU استفاده کنند، اهمیت زیادی دارد.

MIG در مواردی مانند:

• محیط‌های ابری
• سرویس‌دهندگان GPU
• زیرساخت‌های چندمستاجری (Multi-Tenant)
• مجازی‌سازی منابع GPU

کاربرد دارد.

در چنین محیط‌هایی، استفاده از MIG می‌تواند امکان استفاده بهینه‌تر از منابع یک GPU را فراهم کند.

GPUDirect؛ کاهش گلوگاه انتقال داده از طریق CPU

در بسیاری از بارهای کاری، داده‌ها ابتدا از شبکه وارد CPU شده و سپس به GPU منتقل می‌شوند. این مسیر می‌تواند باعث افزایش تأخیر و مصرف منابع پردازنده شود.

فناوری GPUDirect امکان انتقال مستقیم داده میان GPU و تجهیزات دیگر مانند کارت شبکه یا فضای ذخیره‌سازی را فراهم می‌کند.

نتیجه این فرایند می‌تواند شامل موارد زیر باشد:

• کاهش تأخیر انتقال داده
• کاهش بار پردازشی CPU
• افزایش سرعت پردازش داده‌های حجیم

این فناوری در سامانه‌های ذخیره‌سازی پرسرعت و شبکه‌های InfiniBand یا Ethernet با سرعت بالا کاربرد فراوانی دارد.

در زیرساخت‌های GPUمحور، کاهش زمان انتقال داده اهمیت زیادی دارد؛ زیرا قدرت پردازشی بالای GPU زمانی بیشترین ارزش را دارد که داده نیز بتواند با سرعت مناسب به آن برسد.

ROCm؛ پلتفرم AMD برای پردازش GPU

در سوی دیگر، AMD پلتفرم ROCm (Radeon Open Compute) را توسعه داده است.

ROCm مجموعه‌ای از ابزارها، کتابخانه‌ها و APIها برای اجرای برنامه‌های پردازش موازی روی GPUهای AMD محسوب می‌شود.

در سال‌های اخیر، بسیاری از فریم‌ورک‌های هوش مصنوعی از ROCm نیز پشتیبانی کرده‌اند و کارت‌هایی مانند AMD Instinct MI300X به گزینه‌ای جدی برای مراکز داده تبدیل شده‌اند.

بنابراین، در اکوسیستم AMD نیز علاوه بر مشخصات سخت‌افزاری GPU، پلتفرم نرم‌افزاری و ابزارهای توسعه نقش مهمی در استفاده از توان GPU دارند.

مقایسه فناوری‌های کلیدی NVIDIA و AMD

این مقایسه نشان می‌دهد که تفاوت میان GPUهای NVIDIA و AMD فقط به قدرت پردازشی یا ظرفیت حافظه محدود نمی‌شود. هر دو شرکت اکوسیستم سخت‌افزاری و نرم‌افزاری متفاوتی برای پردازش‌های موازی و هوش مصنوعی ارائه می‌کنند.

نقش فناوری‌های اختصاصی GPU در سرورهای HPE

وقتی یک سرور HPE به چند GPU مجهز می‌شود، عملکرد نهایی تنها به قدرت هر کارت وابسته نیست.

فناوری‌هایی مانند CUDA، Tensor Core، NVLink، NVSwitch، MIG و GPUDirect تعیین می‌کنند که GPUها تا چه اندازه بتوانند به‌صورت هماهنگ و کارآمد با یکدیگر، پردازنده‌های Xeon یا EPYC، حافظه و شبکه همکاری کنند.

هنگام طراحی زیرساخت‌های AI و HPC، انتخاب GPU باید همراه با بررسی قابلیت‌های نرم‌افزاری و فناوری‌های اختصاصی آن انجام شود، نه صرفاً بر اساس تعداد هسته‌ها یا ظرفیت حافظه.

در نهایت، یک کانفیگ GPU زمانی می‌تواند عملکرد مناسبی ارائه دهد که میان GPU، پردازنده، حافظه، شبکه و زیرساخت سرور HPE هماهنگی مناسبی وجود داشته باشد.

برای شناخت بهتر انواع GPU و کاربرد هرکدام، مطالعه مقاله [انواع کارت‌های GPU در سرورهای HPE؛ هر شتاب‌دهنده برای چه کاری ساخته شده است؟] نیز پیشنهاد می‌شود. در آن مقاله، GPUهای مختلف بر اساس کاربردهایی مانند CAD، VDI، AI Inference، AI Training و HPC بررسی شده‌اند.

آینده GPU در سرورهای HPE

روند توسعه GPUها نشان می‌دهد که نقش آن‌ها در مراکز داده هر سال پررنگ‌تر می‌شود.

نسل‌های جدید GPU با افزایش ظرفیت حافظه HBM، بهبود بهره‌وری انرژی، ارتباطات پرسرعت‌تر میان GPUها و پشتیبانی از قالب‌های عددی جدید، امکان اجرای مدل‌های هوش مصنوعی بزرگ‌تر را فراهم می‌کنند.

هم‌زمان، HPE نیز با توسعه خانواده‌های ProLiant، Apollo و Cray، زیرساخت‌های خود را برای پشتیبانی از این شتاب‌دهنده‌ها بهینه کرده است؛ از منابع تغذیه پرتوان و سیستم‌های خنک‌سازی پیشرفته گرفته تا پشتیبانی از PCIe Gen5، CXL و فناوری‌های ارتباطی پرسرعت.

با افزایش اندازه مدل‌های هوش مصنوعی و استفاده گسترده‌تر از پردازش GPU در مراکز داده، اهمیت ارتباط میان GPUها، ظرفیت حافظه و فناوری‌های اختصاصی نیز بیشتر خواهد شد.

سوالات متداول

CUDA چیست و چه نقشی در GPUهای NVIDIA دارد؟

CUDA یک معماری نرم‌افزاری و مجموعه‌ای از کتابخانه‌ها، کامپایلرها و APIها است که امکان اجرای برنامه‌ها روی GPUهای NVIDIA را فراهم می‌کند و یکی از بخش‌های مهم اکوسیستم NVIDIA در مراکز داده و هوش مصنوعی محسوب می‌شود.

Tensor Core چه تفاوتی با CUDA Core دارد؟

CUDA Core برای انجام عملیات عمومی استفاده می‌شود، در حالی که Tensor Core برای اجرای سریع عملیات ماتریسی طراحی شده است؛ عملیاتی که در آموزش و اجرای شبکه‌های عصبی اهمیت زیادی دارند.

Transformer Engine چه کاربردی دارد؟

Transformer Engine در معماری Hopper معرفی شده و برای مدل‌های مبتنی بر معماری Transformer طراحی شده است. این فناوری با مدیریت دقت محاسبات می‌تواند سرعت آموزش و استنتاج مدل‌ها را افزایش دهد.

NVLink چه کاربردی در سرورهای GPU دارد؟

NVLink ارتباط پرسرعت و مستقیم میان GPUها ایجاد می‌کند و امکان انتقال داده با تأخیر کم میان چند GPU را فراهم می‌سازد.

جمع‌بندی

قدرت واقعی یک GPU فقط به تعداد هسته‌ها یا ظرفیت حافظه آن محدود نمی‌شود. فناوری‌هایی مانند CUDA، Tensor Core، Transformer Engine، NVLink، NVSwitch، MIG و GPUDirect در کنار قابلیت‌های ROCm نقش مهمی در نحوه استفاده از توان پردازشی GPU و عملکرد آن در بارهای کاری مختلف دارند.

در سرورهای HPE نیز عملکرد نهایی یک زیرساخت GPU به همکاری میان GPU، پردازنده، حافظه و شبکه وابسته است. بنابراین، هنگام طراحی زیرساخت‌های AI و HPC باید علاوه بر مشخصات سخت‌افزاری، فناوری‌های اختصاصی و قابلیت‌های نرم‌افزاری GPU نیز مورد توجه قرار گیرند.

حالا با شناخت فناوری‌های اصلی GPU، مرحله بعدی انتخاب GPU مناسب برای سرور HPE است. در مقاله بعدی بررسی می‌کنیم که چگونه باید GPU را بر اساس Workload، نوع کاربرد، حجم پردازش، نیاز سازمان و سازگاری با سرور HPE انتخاب کرد.

⌊گردآورنده محتوا: عرفان مشعوف⌋     ⌊طراح گرافیک: سونیا کلانتری⌋      ⌊کارشناس محتوا و سئو: نیلوفرمنوچهری⌋