NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch در حال تولید است.

همانطور که آموزش مدل های زبان بزرگ و شبیه سازی های HPC در مقیاس exascale خوشه های GPU را به سمت ده ها هزار گره هدایت می کنند، پارچه های سنتی اترنت با تاخیر دم و ازدحام انکست مبارزه می کنند.یک مرکز محاسبات هوش مصنوعی ملی اخیرا با استفاده ازNVIDIA Mellanox MQM8790-HS2Fسوئیچ های InfiniBand به عنوان ستون فقرات توسعه GPU 800-nodes خود را.این مقاله از طریق سفر واقعی آن ها به سمت دستاوردهای قابل اندازه گیری با استفاده از RDMA و محاسبات در شبکه برای بهینه سازی عملکرد اتصال خوشه ای.

پیش زمینه و چالش: زمانی که شبکه به تنگنای هوش مصنوعی تبدیل می شود

کلستر 400 گره ای که در مرکز وجود داشت بر روی 100Gb / s RoCEv2 اترنت اجرا می شد. با تغییر بار کار از مدل های CNN به LLM های پارامتر تریلیون، تاخیر ارتباطات بین گره ها به شدت افزایش یافت.در طول عملیات All-Reduce، زمان انتظار شبکه بیش از 40٪ از کل زمان تکرار را مصرف می کند. معماران به یک پلت فرم نیاز داشتند که تاخیر کمتر از میکرو ثانیه، کنترل جریان بدون ضرر،و پشتیبانی RDMA بومی همه در حالی که استفاده مجدد از QSFP56 اپتیک موجودپس از ارزیابی گزینه های متعدد،سوئیچ MQM8790-HS2F InfiniBandبا پهنای باند 200 گیگابایت در ثانیه HDR و طراحی 40 پورت با چگالی بالا برجسته شد.

راه حل و پیاده سازی: HDR Fat-Tree ساخته شده بر روی MQM8790-HS2F

این اتصال جدید از یک توپولوژی دو لایه در درخت چربی استفاده می کند و 24 واحد ازNVIDIA Mellanox MQM8790-HS2Fهر سوئیچ 40 پورت QSFP56 را با سرعت 200 گیگابایت در ثانیه در هر جهت فراهم می کند، که ظرفیت سوئیچ غیر مسدود کننده 16Tb / s را ارائه می دهد. مهندسانورق اطلاعات MQM8790-HS2Fومشخصات MQM8790-HS2Fبرای فعال کردن مسیریابی سازگار و کنترل فشرده سازی پیشرفته. هر گره GPU از طریق آداپتورهای HDR ConnectX-6 متصل می شود،استفاده از RDMA بومی InfiniBand برای انتقال داده های صفر کپی شده.

مرکز همچنین چندینMQM8790-HS2F 200Gb/s HDR 40 پورت QSFP56واحدها برای یک منطقه محاسباتی در محل. با SHARP (پروتکل جمع آوری و کاهش سلسله مراتب مقیاس پذیر) ،عملیات جمعی مانند All-Reduce به طور مستقیم از سرورها به شبکه سوئیچ ارسال می شوددر آموزش 128-GPU، این زمان ارتباطات را با 32٪ بدون تغییر کد به چارچوب هوش مصنوعی کاهش داد.

نتایج و سود: تاخیر کمتر، تولید بالاتر، TCO کنترل شده

معیارهای پس از اعزام نشان دهنده پیشرفت های چشمگیری است:

• تاخیر نقطه به نقطه:آزمایش های پینگ پونگ MPI ~ 0.9μs را در لینک های HDR 200Gb / s اندازه گیری کرد ٪ 65 کمتر از تنظیمات RoCE قدیمی.
• کارایی ارتباطات جمعی:در مقیاس 512-GPU، All-Reduce تنها در 18.3ms تکمیل شد، که 52٪ کاهش در مقایسه با پایه قبلی است.
• استفاده از شبکه:مسیریابی سازگار، تعادل بار لینک را بالاتر از 92٪ نگه می دارد و تقریباً هیچ نقطه گرم ترافیک وجود ندارد.
• تدارکات و عملیات:درقیمت MQM8790-HS2Fدر هر پورت تقریباً 12٪ کمتر از راه حل های رقابتی 200G بود.سازگاری با MQM8790-HS2Fاپتیک ها ماژول های استاندارد QSFP56 هستند که اجازه استفاده مجدد کامل از کابل های موجود را می دهند.

بعد از نقل مکان بهMQM8790-HS2F راه حل سوئیچ InfiniBand، ما بالاخره به مقیاس نزدیک خطی (0.9 کارایی) در آموزش مدل پارامتر تریلیون رسیدیم"، معمار اصلی مرکز گفت.شبکه دیگر خنثی نیست ما می توانیم به جای برنامه ریزی ارتباطات بر نوآوری معماری مدل تمرکز کنیم. "

نتیجه گیری و چشم انداز: بلوک اصلی ساختمانی برای اتصال های بین المللی Exascale

این مورد واقعی نشان می دهد کهMQM8790-HS2Fبسیار بیشتر از تراکم پورت بالاتر است. با 200Gb / s HDR، RDMA بومی، SHARP در شبکه محاسبات و مسیریابی سازگار،این به طور مستقیم به نقاط ضعف اتصال با تاخیر پایین در خوشه های هوش مصنوعی / HPC امروز می پردازداین که آیا شما در حال برنامه ریزی برای یک مرکز ابر محاسبات دانشگاهی یا ارتقاء یک ابر هوش مصنوعی شرکت هستید،NVIDIA Mellanox MQM8790-HS2Fبرای ارائه یک مسیر متعادل ترکیبی از عملکرد، سازگاری و پیش بینی هزینه. سوئیچ در حال حاضر در تولید انبوه است. برای مرجع طراحی دقیق، درخواست رسمیورق اطلاعات MQM8790-HS2Fاز پورتال شرکای NVIDIA. برای موجودی در زمان واقعی یاMQM8790-HS2F براي فروشبرای پرسیدن سوالات، با ارائه دهندگان راه حل مجاز برای قیمت گذاری و پشتیبانی فنی تماس بگیرید.