راه حل شتاب‌دهی آموزش هوش مصنوعی: ادغام DPU و خوشه‌های GPU Mellanox

جهانی، [تاريخ]پیشرفت بی وقفه هوش مصنوعی زیرساخت های محاسباتی را به حد خود می رساند. مدل های هوش مصنوعی مدرن با میلیاردها پارامتر،هفته ها یا حتی ماه ها برای آموزش در سخت افزار معمولی نیاز دارند، ایجاد یک تنگه بزرگ برای نوآوری و زمان به بازار در قلب این چالش یک عنصر حیاتی اما اغلب نادیده گرفته شده است: شبکه.این مقاله یک راه حل تحول آمیز را بررسی می کند که، سرعت می یابد و عملیات مبتنی بر داده را با ادغامMellanox DPU(اتحاد پردازش داده) با خوشه های GPU متراکم، ایجاد یک معماری جامع طراحی شده به طور خاص برای سرعت افزودهآموزش هوش مصنوعیو برترشبکه گرافیک.

زمینه هوش مصنوعی در حال تغییر پارادایم است. مقیاس مدل هایی مانند مدل های زبان بزرگ (LLM) و مدل های پایه به طور نمایی در حال رشد است.نیاز به حرکت از تنظیمات سرور تک به گستردهدر این محیط ها، هزاران GPU باید با هم کار کنند و به طور مداوم برای همگام سازی داده ها و گرادینت ها ارتباط برقرار کنند.توسط شبکه تعیین می شود.، تعیین کننده اصلی زمان آموزش کلی و استفاده از منابع می شود. رویکرد سنتی استفاده از پردازنده های سرور برای مدیریت شبکه، ذخیره سازی،و پروتکل هاي امنيتي ديگه قابل اجرا نيست، چون چرخه های ارزشمندی را از کار محاسباتی اصلی می دزدید.

سازمان هایی که کلاستر های بزرگ GPU را برایآموزش هوش مصنوعیبا چندین چالش مرتبط مواجه هستند که عملکرد را مختل می کنند و هزینه ها را افزایش می دهند:

• CPU Overhead:پردازنده میزبان به یک گلوی فشرده تبدیل می شود، که توسط هزینه های بالای پشته های ارتباطی پردازش (به عنوان مثال، TCP / IP) ، درایورهای ذخیره سازی و وظایف مجازی سازی، مغلوب می شود.ظرفیت کمتری برای بار کاری واقعی هوش مصنوعی باقی می گذارد.
• ارتباطات ناکارآمد:شبکه های استاندارد می توانند تاخیر قابل توجهی و اضطراب را در طول عملیات کاهش همه چیز برای همگام سازی گرادینت ها در سراسر گره ها درشبکه گرافیکاین باعث می شود که گرافیک پردازنده ها بیکار بمانند و منتظر داده باشند، پدیده ای که به عنوان "struggling" شناخته می شود.
• جریان اطلاعات ناکافی:فرآیند آموزش یک خط لوله داده است. اگر داده ها نمی توانند با سرعت کافی از ذخیره سازی به GPU ها منتقل شوند، قدرتمندترین شتاب دهنده ها به طور نامناسب مورد استفاده قرار می گیرند و سرمایه گذاری را هدر می دهند.
• هزینه های عمومی امنیتی و چند اجاره:اجبار به انزوا امنیتی و چند مستاجر در خوشه های مشترک بار بیشتر CPU را اضافه می کند، پیچیدگی و کاهش عملکرد را اضافه می کند.

راه حل برای این تنگنایی ها این است که وظایف متمرکز بر زیرساخت ها را از CPU میزبان به یک قطعه سخت افزاری اختصاصی طراحی شده برای این منظور منتقل کنید:Mellanox DPUDPU یک پردازنده انقلابی است که هسته های قدرتمند Arm را با یک رابط شبکه با عملکرد بالا و موتورهای داده قابل برنامه ریزی ترکیب می کند.

هنگامی که به یک سرور GPU ادغام می شود،Mellanox DPUیک معماری تجزیه شده ایجاد می کند که بهره وری خوشه های هوش مصنوعی را تغییر می دهد:

• شبکه ی تسریع شده توسط سخت افزار:DPU کل استیک ارتباطات را از میزبان خارج می کند و وظایف حیاتی را در سخت افزار مدیریت می کند. این شامل پشتیبانی از RoCE (RDMA over Converged Ethernet) ،که GPU را قادر می سازد تا به طور مستقیم داده ها را در سراسر شبکه با کمترین تاخیر و مشارکت صفر CPU مبادله کند، به طور اساسی بهینه سازیشبکه گرافیک.
• مخزن تخليه شده:DPU می تواند به طور مستقیم دسترسی به فضای ذخیره سازی متصل به شبکه را مدیریت کند، مجموعه داده های آموزش را از قبل بدست آورد و آنها را به طور مستقیم به حافظه GPU منتقل کند،اطمینان از تغذیه مداوم و با سرعت بالا برای حفظ اشباع کامل شتاب دهنده ها.
• امنیت و انزوا بیشتر:DPU یک منطقه اعتماد مبتنی بر سخت افزار را فراهم می کند. می تواند سیاست های امنیتی، رمزگذاری و انزوا مستاجران را با سرعت خط مدیریت کند.این وظایف را از میزبان خارج می کند و محیط امن تری را بدون قربانی عملکرد فراهم می کند..
• مدیریت مقیاس پذیر:DPU ها یک پلت فرم سازگار برای مدیریت زیرساخت فراهم می کنند، که اجازه می دهد مقیاس بندی یکپارچه از خوشه بدون افزایش پیچیدگی عملیاتی.

ادغامMellanox DPUبه خوشه های هوش مصنوعی منجر به پیشرفت های چشمگیر و قابل اندازه گیری می شود که به طور مستقیم بر خط پایین تاثیر می گذارد:

عصر هوش مصنوعی همچنین عصر محاسبات مبتنی بر داده است. موفقیت دیگر تنها با تراکم محاسبات تعیین نمی شود بلکه با چگونگی انتقال داده ها بین محاسبات، ذخیره سازی و در سراسر شبکه تعیین می شود.درMellanox DPUاین نیاز را به صورت مستقیم برطرف می کند و اطلاعات ضروری را در مسیر داده برای باز کردن پتانسیل کامل هر GPU در یک خوشه فراهم می کند.شبکه گرافیکو تهیه داده ها، راه را برای پیشرفت های سریعتر، هزینه های عملیاتی پایین تر و یک زیرساخت هوش مصنوعی پایدارتر هموار می کند.این رویکرد یکپارچه به سرعت در حال تبدیل شدن به استاندارد جدید برای هر کسی است که در مورد مقیاس بزرگ جدی استآموزش هوش مصنوعی