تنگنای شبکه خوشه های آموزش هوش مصنوعی: راه حل های Mellanox

تحلیل صنعت:با افزایش نمایی پیچیدگی مدل های هوش مصنوعی، زیرساخت های شبکه به عنوان یک خنک کلیدی در خوشه های آموزش در مقیاس بزرگ ظاهر شده است.شبکه سازی هوش مصنوعینیاز به پهنای باند بی سابقه ای و تاخیر سطح میکروسکنید برای نگه داشتن هزاران GPU به طور موثر همگام سازی شده است.این مقاله بررسی می کند که چگونه راه حل های InfiniBand و Ethernet Mellanox راه حل های ضروری را فراهم می کنند.اتصال بین المللی با تاخیر کمتکنولوژی مورد نیاز برای از بین بردن هزینه های ارتباطی و به حداکثر رساندن بهره وری در مقیاس بزرگخوشه گرافیکتعيينات.

تغییر به سمت مدل های تریلیون پارامتر، آموزش هوش مصنوعی را از یک مشکل محاسباتی به یک مشکل ارتباطی تبدیل کرده است.خوشه گرافیکدر محیط های مختلف، زمان صرف شده برای ارتباطات بین گره ها در طول آموزش توزیع شده می تواند بیش از 50٪ از کل زمان چرخه را مصرف کند.شبکه های سنتی اترنت تاخیر و ازدحام قابل توجهی را ایجاد می کنند، باعث می شود که GPU های گران قیمت در حالی که منتظر به روز رسانی گرادینت و همگام سازی پارامتر هستند، بیکار بمانند.این هزینه های ارتباطی تنها بزرگترین مانع برای دستیابی به بهره وری بهینه مقیاس درشبکه سازی هوش مصنوعیزیرساخت ها، به طور مستقیم بر زمان راه حل و کل هزینه مالکیت تاثیر می گذارد.

Mellanox این چالش ها را از طریق یک رویکرد جامع برایشبکه سازی هوش مصنوعی، ترکیبی از نوآوری های سخت افزاری و نرم افزاری است که به طور خاص برای محیط های محاسباتی با عملکرد بالا طراحی شده است.و فناوری های شبکه پیشرفته تعریف شده توسط نرم افزار که با هم کار می کنند تا تنگنایی ها را از بین ببرند.

• تکنولوژی InfiniBand HDR:200Gb / s در هر پورت پهنای باند با زیر 600 نانو ثانیه سوئیچ تاخیر ارائه می دهد، ارائه نهاییاتصال بین المللی با تاخیر کمبرای بارهای کاری آموزش فشرده همگام سازی.
• SHARP In-Network Computing: محاسبات شبکه ایتکنولوژی انقلابی که عملیات جمعی (همه کاهش، همه جمع آوری) را به سوئیچ های شبکه منتقل می کند، زمان ارتباطات GPU را تا 50 درصد کاهش می دهد.
• مسیر تطبیقی:به طور پویا ترافيک را در مسیرهای متعدد متعادل می کند تا از نقاط گرم و ازدحام جلوگیری شود و عملکرد ثابت را در طول دوره های اوج ارتباطات تضمین کند.
• تکنولوژی GPUDirect:امکان دسترسی مستقیم به حافظه بین GPU ها در سرورهای مختلف را فراهم می کند، که از مشارکت CPU جلوگیری می کند و تاخیر ارتباطات را کاهش می دهد.

اجرای برنامه های بهینه سازی شده Mellanoxشبکه سازی هوش مصنوعیزیرساخت ها باعث افزایش قابل اندازه گیری عملکرد در اندازه های مختلف خوشه ها و معماری های مدل می شوند.

این پیشرفت ها به طور مستقیم به ارزش کسب و کار تبدیل می شوند: تکرار سریعتر مدل، کاهش هزینه های زیرساخت و توانایی مقابله با مشکلات پیچیده تر در همان محدودیت های زمانی.

یک سازمان تحقیقاتی AI پیشرو راه حل HDR InfiniBand Mellanox را برای مدل های زبان عظیم آموزش خوشه ای 2048-GPU خود اجرا کرد.اتصال بین المللی با تاخیر کمبه آنها اجازه داد تا به 93% از کارایی مقیاس بندی برسند و زمان آموزش برای یک مدل 175 میلیارد پارامتر را از 42 روز به فقط 19 روز کاهش دهند.مکانیسم های پیشرفته کنترل ازدحام راه حل از دست دادن بسته در طول مراحل ارتباطات همه به همه را از بین برد، حفظ عملکرد ثابت در طول فرآیند آموزش طولانی مدت.

با افزایش حجم و پیچیدگی مدل های هوش مصنوعی،شبکه سازی هوش مصنوعینقشه راه Mellanox شامل فناوری های 400G NDR InfiniBand و 800G Ethernet است، که اطمینان حاصل می کند پهنای باند شبکه همچنان از نیازهای محاسباتی فراتر خواهد رفت.تعهد شرکت بهاتصال بین المللی با تاخیر کمنوآوری یک مسیر روشن برای سازمان ها برای مقیاس گذاری خود را فراهم می کندخوشه گرافیکتوسعه بدون مواجه شدن با محدودیت های شبکه.

در مسابقه برای توسعه قابلیت های پیشرفته هوش مصنوعی، عملکرد شبکه تبدیل به یک تفاوت مهم شده است.شبکه سازی هوش مصنوعیراه حل ها شبکه را از یک گلوی فشرده به یک مزیت استراتژیک تبدیل می کنند و سازمان ها را قادر می سازد تا بازده سرمایه گذاری های GPU را به حداکثر برسانند و نوآوری را تسریع کنند.برای هر سازمانی که به هوش مصنوعی اهمیت می دهد، سرمایه گذاری در زیرساخت های شبکه بهینه شده دیگر اختیاری نیست بلکه برای مزیت رقابتی ضروری است.