تحلیل معماری شبکه آموزش مدل بزرگ هوش مصنوعی Mellanox

سانتا کلارا، کالیفرنیادر حالی که مدل های هوش مصنوعی به طور نمایی در اندازه و پیچیدگی رشد می کنند، معماری های شبکه سنتی به خنک اصلی درآموزش مدل هوش مصنوعیبهره وری.ملانوکس InfiniBandاین تکنولوژی در حال رسیدگی به این چالش است، با ارائه عملکرد بالاشبکه گرافیکزیرساخت های لازم برای آموزش مدل های بنیاد فردا بدون محدودیت های ارتباطی.

تکامل از میلیون ها تا تریلیون پارامتر در مدل های پایه، الزامات زیرساخت های آموزشی را اساسا تغییر داده است.شباهت بزرگ امروزآموزش مدل هوش مصنوعیبار کاری توسط توانایی همگام سازی گرادیانت ها و پارامترها در هزاران GPU محدود می شود.شبکه های استاندارد اترنت محدودیت های قابل توجهی در طول زمان و پهنای باند را ایجاد می کنند که می توانند کارایی کل خوشه را به کمتر از 50٪ برای مشاغل آموزش در مقیاس بزرگ کاهش دهند، باعث پیشرفتشبکه گرافیکراه حل ها نه تنها مفید بلکه ضروری هستند.

ملانوکس InfiniBandاین فناوری مزایای مهمی دارد که آن را برای محیط های آموزش هوش مصنوعی در مقیاس بزرگ ایده آل می کند:

• تاخير فوق العاده کم:با تأخیر انتهای تا انتهای کمتر از 600 نانوسکنید، InfiniBand هزینه های ارتباطی را که آموزش توزیع شده را تحت تأثیر قرار می دهد به حداقل می رساند، اطمینان حاصل می کند که GPU ها زمان بیشتری را برای محاسبات و زمان کمتر انتظار می گذارند.
• تراکم پهنای باند بالا:NDR 400G InfiniBand 400Gb / s در هر پهنای باند پورت را فراهم می کند و امکان تبادل داده بین GPU ها را فراهم می کند و زمان های کار را تا 70٪ در مقایسه با جایگزین های اترنت کاهش می دهد.
• محاسبات درون شبکه:فناوری پروتکل جمع آوری و کاهش سلسله مراتب مقیاس پذیر (SHARP) عملیات جمع آوری را در سوئیچ های شبکه انجام می دهد.به طور چشمگیری کاهش حجم داده های منتقل شده بین گره ها و تسریع عملیات جمعی.
• مسیر تطبیقی:انتخاب مسیر پویا اطمینان از استفاده بهینه از پهنای باند موجود و جلوگیری از ازدحام شبکه را تضمین می کند و عملکرد ثابت را حتی در دوره های اوج ارتباطات حفظ می کند.

تفاوت عملکرد بین InfiniBand و فن آوری های جایگزین با افزایش اندازه مدل و مقیاس خوشه به طور فزاینده ای قابل توجه می شود.جدول زیر شاخص های عملکرد مقایسه ای را برای آموزش یک مدل پارامتر 100 میلیارد در یک خوشه 512-GPU نشان می دهد:

برتریملانوکس InfiniBandبرایآموزش مدل هوش مصنوعیاز طریق پذیرش آن در موسسات تحقیقاتی AI و ارائه دهندگان ابر برجسته نشان داده شده است.شرکت های بزرگ فناوری گزارش داده اند که در هنگام آموزش مدل های زبان بزرگ در خوشه های بیش از 10این سطح عملکرد محققان را قادر می سازد تا سریعتر تکرار کنند و مدل های بزرگتر را از آنچه قبلاً امکان پذیر بود آموزش دهند.سرعت بخشیدن به نوآوری هوش مصنوعی.

با افزایش اندازه و پیچیدگی مدل های هوش مصنوعی، شبکه نقش مهمی در تعیین کارایی آموزش خواهد داشت.ملانوکس InfiniBandفناوری در حال حاضر در حال تکامل است تا از 800G و فراتر از آن پشتیبانی کند، اطمینان حاصل شود که زیرساخت شبکه عامل محدود کننده پیشرفت های آینده هوش مصنوعی نخواهد بود.پشتیبانی ذاتی معماری برای محاسبات در شبکه همچنین یک مسیر برای تخلیه پیچیده تر عملیات جمعی در آینده فراهم می کند.

برای سازمان هایی که به طور جدی به پیشرفت هوش مصنوعی علاقه دارند، سرمایه گذاری در زیرساخت های شبکه مناسب به اندازه انتخاب GPU های مناسب مهم است.ملانوکس InfiniBandمعماری عملکرد، مقیاس پذیری،و کارایی لازم برای به حداکثر رساندن بازده سرمایه گذاری در زیرساخت های هوش مصنوعی و تسریع زمان کشف برای نسل بعدی پیشرفت های هوش مصنوعی.