راه حل شتاب‌دهی آموزش هوش مصنوعی: ادغام DPU و خوشه‌های GPU Mellanox

رشد نمایی هوش مصنوعی، خواسته های بی سابقه ای را برای زیرساخت های محاسباتی ایجاد کرده است.به خصوص در محیط های آموزش توزیع شده که در آن هزاران GPU باید در هماهنگی کار کنندبه عنوان پارامترهای مدل به تریلیون ها مقیاس و مجموعه داده به پتا بایت گسترش می یابد، معماری های سرور سنتی با هزینه های ارتباطی، فشارهای حرکت داده،و استفاده ناکارآمد از منابع. این مقاله بررسی می کند که چگونهMellanox DPU(اتاق پردازش داده) تبدیل می شودآموزش هوش مصنوعیزیرساخت ها از طریق تخلیه شبکه های حیاتی، ذخیره سازی و عملکردهای امنیتی از میزبان های CPU، ایجاد بهینه سازی شدهشبکه گرافیکمحیط هایی که عملکرد و کارایی پیشرفته ای را برای حجم کار یادگیری ماشین در مقیاس بزرگ ارائه می دهند.

معماری سنتی مرکز داده در پشتیبانی از بار های کاری مدرن هوش مصنوعی به محدودیت خود رسیده است. در سیستم های معمولی، CPU های میزبان باید شبکه، ذخیره سازی،و پروتکل های امنیتی در کنار پردازش برنامه، ایجاد هزینه های قابل توجهی که باعث کاهش کارایی کلی سیستم می شود.آموزش هوش مصنوعیکلاسترها، این به GPUها انتظار داده، منابع تسریع کننده گران قیمت استفاده نشده و زمان آموزش طولانی تر ترجمه می شود. تجزیه و تحلیل صنعت نشان می دهد که در کلاسترهای معمول هوش مصنوعی،25-40٪ از چرخه های CPU میزبان توسط وظایف زیرساخت به جای محاسبات مصرف می شود، ایجاد یک تنگنایی قابل توجهی که بازده سرمایه گذاری در زیرساخت های GPU را محدود می کند. این ناکارآمدی به طور فزاینده ای با افزایش اندازه خوشه مشکل ساز می شود.ایجاد یک رویکرد معماری جدید برای پیشرفت مداوم در هوش مصنوعی ضروری است.

• هزینه های ارتباطی:آموزش توزیع شده نیاز به همگام سازی گرادینتی مداوم در صدها یا هزاران GPU دارد، فشار زیادی بر زیرساخت های شبکه ایجاد می کند که اغلب به خنک کننده اصلی تبدیل می شود.
• مشکلات پیش پردازش داده ها:تغذیه داده ها به فرآیندهای آموزش نیاز به عملیات I / O گسترده ای دارد که با وظایف محاسباتی برای منابع CPU و حافظه رقابت می کند.
• امنيت و چند مستاجر:محیط های تحقیقاتی مشترک نیاز به انزوا قوی بین پروژه ها و کاربران بدون از دست دادن عملکرد دارند.
• پیچیدگی مدیریت:سازماندهی هزاران GPU در چندین قفسه نیاز به قابلیت های پیشرفته تهیه، نظارت و عیب یابی دارد.
• بهره وری انرژی و هزینه:مصرف برق و محدودیت های فضایی به نگرانی های قابل توجهی در مقیاس تبدیل می شوند و نیاز به عملکرد بهینه در هر وات و در هر واحد قفسه دارند.

این چالش ها نیاز به یک تجدید نظر اساسی از معماری مرکز داده به طور خاص برایآموزش هوش مصنوعیحجم کار.

درMellanox DPUنشان دهنده یک تغییر پارادایم در معماری مرکز داده است، انتقال توابع زیرساخت از پردازنده های میزبان به پردازنده های تخصصی طراحی شده به طور خاص برای حرکت داده، امنیت،و عملیات ذخیره سازیاین رویکرد یک معماری تجزیه شده ایجاد می کند که در آن هر جزء در عملکرد بهینه خود تخصص دارد: GPU برای محاسبات، CPU برای منطق برنامه و DPU برای خدمات زیرساخت.

• شبکه ی تسریع شده توسط سخت افزار:درMellanox DPUشامل آداپتورهای پیشرفته شبکه ConnectX با تکنولوژی RDMA (Remote Direct Memory Access) ،امکان ارتباط مستقیم GPU به GPU در سراسر شبکه با حداقل مشارکت CPU و تاخیر بسیار کم.
• محاسبات درون شبکه:فناوری SHARP (پروتکل جمع آوری و کاهش سلسله مراتب مقیاس پذیر) عملیات ارتباطات جمعی (مانند MPI all-reduce) را از سرورها به سوئیچ های شبکه منتقل می کند.به طور چشمگیری سرعت بخشیدن به همگام سازی آموزش توزیع شده.
• مخزن تخلیه:NVMe با شتاب سخت افزاری بر روی پارچه (NVMe-oF) امکان دسترسی مستقیم به دستگاه های ذخیره سازی از راه دور را فراهم می کند، از CPU های میزبان عبور می کند و تنگنایی بارگیری داده ها را در طول آموزش کاهش می دهد.
• جداسازی امنیتی:قابلیت های اعتماد و انزوا مبتنی بر سخت افزاری امکان استفاده از چندین مستاجر را بدون هزینه های اضافی عملکرد فراهم می کند که برای محیط های تحقیقاتی مشترک بسیار مهم است.
• مدیریت زیرساخت:DPU ها قابلیت های مدیریت خارج از باند را برای بهبود نظارت، تأمین و نگهداری سرورهای GPU فراهم می کنند.

این رویکرد جامع تغییر شکل می دهدشبکه گرافیکاز یک خنک بالقوه به یک مزیت رقابتی برای سازمان های تحقیقاتی هوش مصنوعی.

استفاده ازMellanox DPUتکنولوژی در محیط های تولید هوش مصنوعی نشان می دهد که بهبود قابل توجهی در شاخص های عملکرد کلیدی وجود دارد.داده های زیر نشان دهنده نتایج جمع آوری شده از پیاده سازی های چندگانه در مقیاس بزرگ است.:

این معیارهای به طور مستقیم به چرخه های تحقیقاتی سریعتر، هزینه های محاسباتی پایین تر و توانایی مقابله با مشکلات پیچیده تر در محدودیت های عملی ترجمه می شوند.

ادغامMellanox DPUتکنولوژی با خوشه های GPU بیش از یک پیشرفت تدریجی را نشان می دهد، این یک تغییر معماری اساسی است که به چالش های اصلی سیستم های مدرن پاسخ می دهد.آموزش هوش مصنوعیبا انتقال توابع زیرساخت به پردازنده های تخصصی، سازمان ها می توانند سطح بی سابقه ای از عملکرد، کارایی،و مقیاس پذیری در ابتکارات یادگیری ماشین خوداین رویکرد سرمایه گذاری در زیرساخت های هوش مصنوعی را با ایجاد یک پایه انعطاف پذیر و تعریف شده توسط نرم افزار که می تواند با نیازهای بار کار در حال تکامل و فن آوری های نوظهور سازگار شود، در آینده ثابت می کند.

همانطور که مدل های هوش مصنوعی به رشد در اندازه و پیچیدگی ادامه می دهند، اهمیت استراتژیک زیرساخت های بهینه شده فقط افزایش خواهد یافت.سازمان هایی که امروزه معماری های شتاب دهنده DPU را اتخاذ می کنند، مزایای رقابتی قابل توجهی را در سرعت تحقیق به دست می آورند.، کارایی عملیاتی و قابلیت محاسباتی.