تجزیه و تحلیل معماری شبکه Mellanox برای پشتیبانی از آموزش مدل بزرگ هوش مصنوعی

خلاصه:با افزایش تقاضای محاسباتی هوش مصنوعی، شبکه به یک تنگنای مهم تبدیل شده است. این تحلیل به بررسی چگونگی پیشرفت Mellanox InfiniBand می پردازد.شبکه گرافیکتکنولوژی های جدید در حال ساخت ساختار با عملکرد بالا و کم تاخیر هستند که برای کارایی و مقیاس پذیری ضروری استآموزش مدل هوش مصنوعیاز مدل های زبان بزرگ و دیگر شبکه های عصبی پیچیده.

الگویآموزش مدل هوش مصنوعیدر این خوشه های توزیع شده،زمان صرف شده برای انتقال داده بین GPU ها اغلب می تواند زمان صرف شده برای محاسبات واقعی را فراتر ببرد.تجزیه و تحلیل های صنعت نشان می دهد که برای خوشه های مقیاس بزرگ، تنگنایی های شبکه می تواند منجر به کاهش نرخ استفاده از GPU به کمتر از 50٪ شود.که باعث هدر رفتن منابع محاسباتی و سرمایه گذاری می شود.. کارآمدشبکه گرافیکاین دیگر یک لوکس نیست؛ این محور اساسی برای دستیابی به عملکرد بالا و بازده سرمایه گذاری است.

فناوری InfiniBand Mellanox (در حال حاضر بخشی از NVIDIA) از ابتدا برای پاسخ به الزامات سختگیرانه محاسبات با عملکرد بالا و هوش مصنوعی طراحی شده است.معماری آن چندین مزیت کلیدی را نسبت به اترنت سنتی برای اتصال GPU فراهم می کند:

• تاخير فوق العاده کم:تاخير از آخر به آخر کمتر از 600 نانوسکن، به شدت زمان انتظار ارتباطات بین گره ها را کاهش می دهد.
• پهنای باند بالا:پشتیبانی از سرعت 200Gb / s (HDR) و 400Gb / s (NDR) در هر پورت، اطمینان از جریان داده به GPU بدون وقفه.
• دسترسی مستقیم به حافظه از راه دور (RDMA):اجازه می دهد تا GPU ها در سرورهای مختلف به طور مستقیم از حافظه یکدیگر بخوانند و بنویسند، و از CPU و هسته سیستم عامل عبور کنند. این "دریافت هسته" به طور گسترده ای هزینه و تاخیر را کاهش می دهد.

فراتر از سرعت خام،ملانوکس InfiniBandشامل فن آوری های پیچیده ای است که برای مقیاس بزرگ حیاتی استآموزش مدل هوش مصنوعیشغل.

SHARP یک فناوری محاسباتی انقلابی در شبکه است. به جای ارسال تمام داده ها به یک گره محاسباتی برای جمع آوری (به عنوان مثال، در عملیات کاهش همه چیز رایج در آموزش) ،SHARP عملیات جمع آوری را در خود سوئیچ های شبکه انجام می دهداین به طور چشمگیری حجم داده هایی را که از طریق شبکه عبور می کنند کاهش می دهد و زمان ارتباطات جمعی را تا 50٪ کاهش می دهد و به طور مستقیم زمان بندی آموزش را تسریع می کند.

بافت InfiniBand از مسیریابی سازگار برای توزیع پویا ترافیک در مسیرهای متعدد استفاده می کند، جلوگیری از نقاط داغ و ازدحام پیوند. در ترکیب با مکانیسم های کنترل ازدحام پیشرفته،این تضمین می کند تحویل داده های قابل پیش بینی و کارآمد حتی در الگوهای ارتباطی غیر یکنواخت که برای بار های کاری هوش مصنوعی معمول است.

مزایای یک پارچه InfiniBand به طور مستقیم به نتایج خط پایین برای پروژه های هوش مصنوعی تبدیل می شود.جدول زیر نشان دهنده بهبود عملکرد معمول مشاهده شده در محیط های آموزش گسترده است.:

برای شرکت ها و موسسات تحقیقاتی که به شدت قصد دارند مرزهای هوش مصنوعی را گسترش دهند، سرمایه گذاری در یک شبکه با عملکرد بالا به اندازه سرمایه گذاری در GPU های قدرتمند بسیار مهم است.ملانوکس InfiniBandیک معماری مقیاس پذیر و اثبات شده را ارائه می دهد که گلوی فشرده شبکه را از بین می برد، سرمایه گذاری GPU را به حداکثر می رساند و چرخه توسعه برای مدل های جدید هوش مصنوعی را به طور قابل توجهی کوتاه می کند.با امکان تکرار سریعتر و آزمایشات پیچیده تر، این یک مزیت رقابتی ملموس در رقابت برای نوآوری هوش مصنوعی فراهم می کند.

برای کسب اطلاعات بیشتر در مورد چگونگی Mellanox InfiniBandشبکه گرافیکراه حل ها می تواند بهینه سازی شماآموزش مدل هوش مصنوعیزیرساخت ها، توصیه می کنیم با یک شریک شبکه NVIDIA تایید شده مشورت کنید.درخواست یک بررسی معماری شخصی برای مدل سازی عملکرد و بهره وری به دست آوردن بار کاری خاص شما می تواند به دست آورد.