مرجع فنی NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch

این کاغذ سفید فنی برای معماران شبکه، مهندسان پیش فروش و سرنخ های عملیات در نظر گرفته شده است. با محوریتNVIDIA Mellanox MQM8790-HS2Fسوئیچ InfiniBand، مرجع دقیقی برای طراحی، استقرار و کارکرد پارچه‌های با کارایی بالا ارائه می‌کند که آموزش هوش مصنوعی در مقیاس بزرگ و شبیه‌سازی HPC را ارائه می‌کنند - با تمرکز بر شتاب RDMA و ارتباطات قطعی با تأخیر کم.

بارهای کاری مدرن AI و HPC، خوشه های GPU را به سمت ده ها هزار گره سوق می دهد. پارچه‌های اترنت سنتی، حتی با RoCE، ناسازگاری‌های عملکردی را تحت الگوهای incast نشان می‌دهند و از سربار CPU بالاتر رنج می‌برند. الزامات کلیدی برای اتصالات خوشه ای نسل بعدی عبارتند از:

• تأخیر نقطه به نقطه زیر میکروثانیه برای عملیات جمعی همگام شده
• حمل‌ونقل بدون تلفات و ازدحام برای جلوگیری از انقباض دم‌آوت
• تخلیه کامل پردازش ارتباطات از هسته های CPU/GPU
• توپولوژی های درخت چربی یا سنجاقک + مقیاس پذیر با پهنای باند غیر مسدود کننده
• مسیر مهاجرت مقرون به صرفه از اپتیک 100G/200G موجود

رسیدگی به این خواسته ها،سوئیچ MQM8790-HS2F InfiniBand200 گیگابیت بر ثانیه HDR در هر پورت، 40 پورت QSFP56 در هر واحد، و پشتیبانی بومی برای RDMA و محاسبات درون شبکه ای ارائه می کند. این راه حل برای محیط هایی ساخته شده است که راندمان اتصال مستقیماً به زمان تکمیل کار و TCO ترجمه می شود.

توپولوژی فیزیکی توصیه شده برای خوشه های AI/HPC با استفاده ازNVIDIA Mellanox MQM8790-HS2Fیک درخت چاق دو یا سه طبقه (همچنین به عنوان ستون فقرات برگ نیز شناخته می شود) است. هر سوئیچ برگ از طریق پیوندهای HDR یا HDR100 به سرورهای GPU متصل می‌شود، در حالی که سوئیچ‌های ستون فقرات اتصال کامل مش را بین برگه‌ها فراهم می‌کنند. یک پیکربندی معمولی 800-GPU از موارد زیر استفاده می کند:

• 20 کلید برگ: هر کدامMQM8790-HS2F 200Gb/s HDR 40 پورت QSFP56ارائه حداکثر 20 سرور (اتصالات دوگانه)
• 4 سوئیچ ستون فقرات: به طور کامل با برگ ها با استفاده از لینک های 200 گیگابیت بر ثانیه به هم متصل می شوند
• نسبت غیر مسدود کننده 1:1 در هر لایه

برای خوشه‌های بزرگ‌تر (بیش از 2000 پردازنده گرافیکی)، یک معماری سه لایه لایه فوق‌العاده‌ای اضافه می‌کند. تمام مدیریت پارچه توسط Subnet Manager (SM) انجام می شود - یا بر روی یک کنترلر اختصاصی اجرا می شود یا برای پارچه های کوچکتر در سیستم عامل سوئیچ تعبیه شده است.

در این معماری،MQM8790-HS2Fبه عنوان عنصر برگ و ستون فقرات عمل می کند. متمایز کننده های اصلی آن عبارتند از:

• 200 گیگابیت بر ثانیه HDR در هر پورت:توان عملیاتی دو طرفه کامل با ظرفیت کل سوئیچینگ غیر مسدود کننده 16 ترابایت بر ثانیه
• مسیریابی تطبیقی ​​(AR):به صورت پویا ترافیک را در مسیرهای مختلف توزیع می کند تا از نقاط داغ جلوگیری کند که برای کارایی درختان چاق ضروری است.
• SHARPv2 (پروتکل تجمیع و کاهش سلسله مراتبی مقیاس پذیر):عملیات جمعی (All-Reduce، Reduce-Scatter) را مستقیماً در شبکه سوئیچ بارگیری می کند و زمان بیکاری GPU را کاهش می دهد.
• کنترل تراکم:کنترل جریان ریز دانه با مکانیسم های FECN/BECN پارچه بدون اتلاف را تضمین می کند
• تراکم پورت بالا:40 پورت QSFP56 در هر شاسی 1U، طرح بندی رک را ساده می کند و پیچیدگی کابل کشی بین رک را کاهش می دهد.

مهندسان می توانند بهبرگه داده MQM8790-HS2Fومشخصات MQM8790-HS2Fبرای اعداد دقیق قدرت، حرارتی و تأخیر. پلت فرم نیز استسازگار با MQM8790-HS2Fبا طیف گسترده ای از اپتیک های HDR، HDR100 و حتی EDR که امکان ارتقاء تدریجی را فراهم می کند.

برای یک خوشه هوش مصنوعی 1000 GPU متعادل، دنباله استقرار زیر توصیه می شود:

• مرحله 1 - لایه برگ:25 برابر نصب کنیدMQM8790-HS2Fواحدها به عنوان سوئیچ برگ هر سرور GPU (8 واحد پردازش گرافیکی در هر سرور) را از طریق دو درگاه HDR به دو برگ مختلف برای افزونگی و پهنای باند متصل کنید.
• مرحله 2 - لایه ستون فقرات:استقرار 8xNVIDIA Mellanox MQM8790-HS2Fبه عنوان سوئیچ ستون فقرات هر برگ را با استفاده از پیوندهای 200 گیگابیت بر ثانیه (40 لینک بالا در هر برگ، اما معمولاً یک زیرمجموعه برای حفظ نسبت مسدود کردن ≤1:1 کافی است) به هر ستون فقرات متصل کنید.
• مرحله 3 – قرار دادن Subnet Manager:نمونه های اضافی SM را روی دو سرور سبک اجرا کنید یا از SM تعبیه شده برای خوشه های زیر 2000 پورت استفاده کنید.
• مرحله 4 - پارتیشن بندی:از پارتیشن‌های InfiniBand برای جداسازی جریان‌های ترافیک تولید، توسعه و ذخیره‌سازی بر روی یک بافت فیزیکی استفاده کنید.

برای گسترش به بیش از 2500 پردازنده گرافیکی، با استفاده از واحدهای MQM8790-HS2F اضافی، یک لایه فوق‌العاده ستون فقرات اضافه کنید و چگالی پیوند بالابر برگ به ستون را افزایش دهید. راراه حل سوئیچ MQM8790-HS2F InfiniBandمقیاس خطی بدون معماری مجدد هسته.

عملکرد روزانه پارچه ساخته شده بر رویMQM8790-HS2Fسوئیچ ها از طریق Fabric Manager NVIDIA و MLNX-OS مدیریت می شوند. شیوه های کلیدی عبارتند از:

• نظارت:از «ibdiagnet» برای اعتبارسنجی توپولوژی، «perfquery» برای شمارنده‌های پورت، و داشبورد Grafana با صادرکنندگان Prometheus برای تله‌متری بلادرنگ (استفاده از پیوند، خطاهای نماد، نشانگرهای تراکم) استفاده کنید.
• سفت افزار و نرم افزار:در تمام سوئیچ ها سیستم عامل ثابتی را حفظ کنید. به آخرین یادداشت های انتشار در بخش مراجعه کنیدبرگه داده MQM8790-HS2Fبرای سازگاری نسخه
• عیب یابی:مشکلات متداول - تکان دادن پیوند، عدم تطابق MTU، یا پیکربندی نادرست پارتیشن - به سرعت با استفاده از "ibstatus"، "smpquery" و سوئیچ syslog جدا می شوند. گزارش‌های مسیریابی تطبیقی ​​می‌توانند منابع تراکم را مشخص کنند.
• بهینه سازی:آستانه مسیریابی تطبیقی ​​و پارامترهای کنترل تراکم را بر اساس پروفایل بار کاری تنظیم کنید. برای آموزش هوش مصنوعی در مقیاس بزرگ، SHARP را در کتابخانه‌های MPI قابل اجرا (مانند NCCL با افزونه SHARP) فعال کنید.

هنگام برنامه ریزی بودجه یا توسعه، درخواست کنیدقیمت MQM8790-HS2Fنقل قول از شرکای مجاز و تأییدMQM8790-HS2F برای فروشدر دسترس بودن سازگاری پلتفرم با کابل کشی QSFP56 موجود، ریسک خرید را کاهش می دهد.

راMQM8790-HS2Fفقط یک سوئیچ نیست - یک بلوک اساسی برای پارچه‌های HPC و AI با تأخیر کم قطعی است. ترکیبی از 200 گیگابیت بر ثانیه HDR، چگالی پورت 40، مسیریابی تطبیقی، و محاسبات درون شبکه‌ای SHARP مستقیماً به مشکلات کلیدی اتصالات خوشه‌ای مدرن می‌پردازد. در مقایسه با راه حل های جایگزین اترنت 200G، اکوسیستم InfiniBand ارائه می دهد:

• سربار CPU کمتر (RDMA واقعی با بار حمل و نقل سخت افزاری)
• تأخیر در مقیاس میکروثانیه قطعی تحت بار واقعی
• مدیریت پارچه ساده با Subnet Manager متمرکز
• مقیاس پذیری اثبات شده به ده ها هزار نقطه پایانی

برای سازمان‌هایی که خوشه‌های GPU را می‌سازند یا گسترش می‌دهندNVIDIA Mellanox MQM8790-HS2Fبه معنای دستیابی به FLOPS موثر بالاتر به ازای هر دلار، کاهش زمان تکمیل کار، و محافظت در آینده اتصالات داخلی برای ارتقاء نسل بعدی HDR200 (400 گیگابیت بر ثانیه). طرح های مرجع دقیق، از جمله کاملمشخصات MQM8790-HS2Fو ماتریس های کابل کشی از طریق پورتال شریک NVIDIA در دسترس هستند.