Mellanox (NVIDIA) MQM9790-NS2F InfiniBand Switch در عمل. بهینه سازی اتصال کم تاخیر برای RDMA / HPC / AI

از آنجایی که خوشه‌های آموزشی هوش مصنوعی در مقیاس بزرگ و مراکز محاسباتی با کارایی بالا (HPC) پهنای باند شبکه و الزامات تأخیر را به سطوح بی‌سابقه‌ای می‌رسانند، راه‌حل‌های سنتی اترنت به طور فزاینده‌ای با کنترل ازدحام و تأخیر غیرقابل پیش‌بینی دنباله تحت بارهای کاری RDMA دست و پنجه نرم می‌کنند. یک مرکز ملی ابر رایانه پیشرو اخیراً هنگام ارتقاء کلاستر GPU نسل بعدی خود دقیقاً با این چالش روبرو شد. پس از ارزیابی گزینه‌های اتصال چندگانه، تیم انتخاب کردملانوکس (NVIDIA) MQM9790-NS2Fبه عنوان سوئیچ اصلی پارچه - تصمیمی که اساساً مشخصات عملکرد خوشه آنها را تغییر داد.

پیشینه و چالش: دیوار مقیاس پذیری

پارچه HDR InfiniBand موجود در مرکز ابرکامپیوتر نزدیک به اشباع کار می کرد. با بیش از 2000 GPU در حال اجرا موازی کار آموزش هوش مصنوعی، عملیات ارتباط جمعی مانند همه کاهش و همه به همه با جهش قابل توجهی از تأخیر دم مواجه شدند. شبکه به گلوگاه اصلی تبدیل شده بود و باعث می شد زمان بیکاری GPU که هم منابع محاسباتی و هم انرژی را هدر می داد. مهندسان تخمین زدند که تقریباً 30 درصد از چرخه‌های محاسباتی در طول دوره‌های آموزشی توزیع‌شده در مقیاس بزرگ به سربار ارتباط گم می‌شوند.

چیزی که تیم نیاز داشت یک سوئیچ با قابلیت ارائه بود400 گیگابیت بر ثانیه در هر پورت، پشتیبانی از RDMA بومی و شتاب محاسبات درون شبکه - همگی با حفظ سازگاری با زیرساخت HDR موجود. پس از بررسیبرگه داده MQM9790-NS2Fومشخصات MQM9790-NS2F، آنها مشخص کردند کهسوئیچ MQM9790-NS2F InfiniBandتعادل ایده آل تراکم، عملکرد و مجموعه ویژگی را ارائه می دهد.

راه حل و استقرار: ارتقاء پارچه NDR 64 پورت

مرکز چهار نفر را مستقر کردMQM9790-NS2F 400Gb/s NDR 64 پورت OSFPسوئیچ ها در یک توپولوژی برگ ستون فقرات، 2048 GPU را در 64 گره محاسباتی به هم متصل می کنند. هر گره از طریق یک کابل تقسیم کننده OSFP به 4x100Gb/s متصل می شود و پهنای باند مجموع 400Gb/s را برای هر سرور فراهم می کند و در عین حال چگالی مدیریت کابل را بهینه می کند.

کلید استقرار اطمینان از کامل بودن بودسازگار با MQM9790-NS2Fعملکرد با آداپتورهای نقطه پایانی HDR موجود. مذاکره سرعت خودکار سوئیچ و ترجمه لایه پیوند به یک استراتژی مهاجرت مرحله‌ای اجازه می‌دهد - گره‌های قدیمی با سرعت HDR کار می‌کنند در حالی که سرورهای جدید با قابلیت NDR از پهنای باند کامل 400 گیگابیت بر ثانیه استفاده می‌کنند. این مرکز همچنین از تجمیع درون شبکه‌ای SHARPv3 استفاده می‌کند و ترافیک را تا بیش از 65 درصد برای اندازه‌های پیام بزرگ که معمولاً در آموزش LLM یافت می‌شود، کاهش می‌دهد.

برای کسانی که ارتقاهای مشابه را ارزیابی می کنند،قیمت MQM9790-NS2Fپرس و جو وMQM9790-NS2F برای فروشدر دسترس بودن به طور قابل توجهی در میان مشتریان سازمانی و تحقیقاتی افزایش یافته است. هزینه کل رقابتی مالکیت سوئیچ - با در نظر گرفتن تعداد سوئیچ کمتر به دلیل تراکم 64 پورت - آن را به گزینه ای جذاب هم برای ساخت های جدید و هم برای پروژه های تازه تبدیل می کند.

نتایج و مزایا: سود قابل اندازه گیری عملکرد

• کاهش تمام تاخیر (پیام 1 گیگابایت):کاهش از 48µs به 19µs (60% بهبود)
• استفاده موثر از GPU:از 71٪ به 93٪ در طول آموزش در مقیاس بزرگ افزایش یافته است
• زمان تکمیل کار (معادل GPT-3 175B):41% کوتاه شده
• تأخیر دم ناشی از شبکه (صدک 99):از 210µs به کمتر از 35µs برش دهید

به عنوان یکراه حل سوئیچ MQM9790-NS2F InfiniBand، استقرار نشان داد که پارچه های NDR با سرعت 400 گیگابیت بر ثانیه می توانند به وعده های نظری خود عمل کنند. ترکیبی از الگوریتم‌های کنترل تراکم و مسیریابی تطبیقی ​​الگوهای فروپاشی «incast» را که بافت HDR قبلی را در طول مراحل ارتباط همه جانبه آزار می‌داد، حذف کرد.

خلاصه و چشم انداز: پایه ای برای Exascale AI

موفقیت مرکز ابر رایانه باMQM9790-NS2Fنقشه راه خود را به سمت قابلیت های هوش مصنوعی exascale تسریع کرده است. آن‌ها اکنون در حال برنامه‌ریزی فاز دوم هستند که با استفاده از موارد اضافی، تعداد GPU را دو برابر می‌کند و به 4096 می‌رساندMQM9790-NS2F 400Gb/s NDR 64 پورت OSFPسوئیچ در یک توپولوژی درخت چربی سه لایه. تله متری سوئیچ و ویژگی‌های مدیریت خارج از باند نیز امکان جلوگیری از تراکم پیش‌بینی‌کننده را فراهم کرده است و هزینه‌های عملیاتی را برای تیم شبکه کاهش می‌دهد.

برای معماران شبکه و مدیران فناوری اطلاعات که پارچه‌های نسل بعدی را ارزیابی می‌کنند،NVIDIA Mellanox MQM9790-NS2Fنشان دهنده یک راه حل بالغ و اثبات شده در تولید است. چه در حال ساخت یک خوشه تحقیقاتی هوش مصنوعی جدید باشید یا یک مرکز HPC موجود را ارتقا دهید، این سوئیچ پایه ای با تاخیر کم و پهنای باند بالا را برای بارهای کاری موازی مدرن ارائه می دهد.