Mellanox (NVIDIA Mellanox) MQM8790-HS2F راه حل فنی InfiniBand Switch

راه حل فنی سوئیچ InfiniBand Mellanox (NVIDIA Mellanox) MQM8790-HS2F | بهینه‌سازی اتصال با تأخیر کم برای خوشه‌های RDMA/HPC/AI

پیش‌زمینه پروژه و تجزیه و تحلیل الزامات

با بزرگتر شدن مقیاس آموزش مدل‌های بزرگ هوش مصنوعی و محاسبات علمی HPC، چالش اصلی برای خوشه‌های محاسباتی از قدرت محاسباتی تک گره به کارایی ارتباط بین گره‌ها منتقل شده است. شبکه‌های RDMA به عنوان ستون فقرات حمل و نقل برای عملیات جمعی، دسترسی به ذخیره‌سازی و ترافیک چک‌پوینت عمل می‌کنند و رفتار آن‌ها مستقیماً بهره‌وری کلی خوشه را تعیین می‌کند.

الزامات معمول در این پروژه‌ها عبارتند از:

• پهنای باند بالا در هر گره: سرورهای GPU به طور فزاینده‌ای به 200 گیگابیت بر ثانیه یا بالاتر نیاز دارند تا با بارهای کاری آموزش چند GPU همگام شوند.
• تأخیر کم قابل پیش‌بینی: AllReduce و همگام‌سازی پارامترها به تأخیر دم حساس هستند، نه فقط به میانگین تأخیر.
• مقیاس‌پذیری: پارچه باید از ده‌ها گره به صدها یا هزاران گره بدون بازطراحی توپولوژی رشد کند.
• قابلیت مدیریت: تیم‌های عملیاتی به تله‌متری و دید ترافیک برای جداسازی گره‌های کند و لینک‌های پیکربندی نادرست نیاز دارند.

MQM8790-HS2F به عنوان یک پلتفرم سوئیچ InfiniBand 200 گیگابیت بر ثانیه HDR برای پاسخگویی به این الزامات قرار گرفته است.

طراحی کلی معماری شبکه و سیستم

معماری پیشنهادی یک فتی-تری دو لایه بدون مسدود کننده است، با یک لایه ستون فقرات ساخته شده از سوئیچ‌های MQM8790-HS2F و یک لایه برگ که گره‌های محاسباتی و ذخیره‌سازی را متصل می‌کند. این طراحی پهنای باند یکنواخت شرق-غرب و تنوع مسیر قابل پیش‌بینی را فراهم می‌کند که برای الگوهای ترافیک RDMA ضروری است.

تصمیمات کلیدی معماری عبارتند از:

• HDR سرتاسری: گره‌های محاسباتی مجهز به آداپتورهای ConnectX-6 یا ConnectX-7 با سرعت 200 گیگابیت بر ثانیه به سوئیچ‌های برگ متصل می‌شوند و یک مسیر سرتاسری سازگار با MQM8790-HS2F را تشکیل می‌دهند.
• ظرفیت ستون فقرات: هر سوئیچ MQM8790-HS2F 200 گیگابیت بر ثانیه HDR 40 پورت QSFP56، 40 پورت با سرعت 200 گیگابیت بر ثانیه را فراهم می‌کند و امکان تخصیص انعطاف‌پذیر لینک‌های بالایی و پایینی را بر اساس اهداف اضافه اشتراک‌گذاری فراهم می‌کند.
• پارچه ذخیره‌سازی: ذخیره‌سازی موازی و اهداف NVMe-over-Fabrics را می‌توان در گروه‌های برگ اختصاصی قرار داد تا ترافیک ذخیره‌سازی را از ترافیک آموزش جدا کرد.
• صفحه مدیریت: مدیریت خارج از باند و جمع‌آوری تله‌متری برای جلوگیری از تداخل از صفحه داده جدا شده است.

نقش Mellanox (NVIDIA Mellanox) MQM8790-HS2F و ویژگی‌های کلیدی

در این راه‌حل، Mellanox (NVIDIA Mellanox) MQM8790-HS2F به عنوان عنصر سوئیچینگ ستون فقرات عمل می‌کند، ترافیک برگ را تجمیع کرده و محاسبات درون شبکه را فعال می‌کند. نقش آن محدود به فورواردینگ نیست: بلکه سربار ارتباطات جمعی را کاهش داده و کارایی پارچه را بهبود می‌بخشد.

ویژگی‌های فنی اصلی عبارتند از:

• 40 پورت HDR × 200 گیگابیت بر ثانیه: تا 16 ترابیت بر ثانیه توان عملیاتی تجمیعی در فرم فاکتور 1U، با پشتیبانی تطبیقی برای سرعت‌های HDR، EDR و FDR.
• محاسبات درون شبکه SHARP: عملیات AllReduce و عملیات جمعی مرتبط را به سوئیچ منتقل می‌کند و مشارکت GPU و CPU را کاهش می‌دهد.
• مسیریابی تطبیقی: نقاط داغ را کاهش داده و تعادل بار را در مسیرهای متعدد بهبود می‌بخشد.
• کنترل ازدحام: از DCQCN و مکانیزم‌های مرتبط برای حفظ تأخیر پایدار تحت بار پشتیبانی می‌کند.
• اکوسیستم نرم‌افزاری: توسط MLNX-OS مدیریت شده و از طریق UFM و NetQ نظارت می‌شود.

معماران باید قبل از نهایی کردن طرح‌بندی رک، برگه داده MQM8790-HS2F و مشخصات MQM8790-HS2F را برای جزئیات توان، خنک‌کننده و تقسیم پورت بررسی کنند. برای بودجه‌بندی، قیمت MQM8790-HS2F و گزینه‌های فروش MQM8790-HS2F باید با کانال تدارکات تأیید شود، زیرا قیمت‌ها بسته به مقیاس و پیکربندی متفاوت است.

توصیه‌های استقرار و توسعه

برای استقرار اولیه، یک سوئیچ InfiniBand MQM8790-HS2F می‌تواند به عنوان ستون فقرات و هسته در یک خوشه کوچک عمل کند و تا 40 گره را با سرعت 200 گیگابیت بر ثانیه متصل کند. با رشد خوشه، سوئیچ‌های ستون فقرات اضافی اضافه می‌شوند و پارچه به یک طرح دو لایه کامل با جداسازی برگ-ستون فقرات منتقل می‌شود.

راهنمای توسعه:

• نظم کابل‌کشی: استانداردسازی بر روی اپتیک‌های QSFP56 و انواع DAC/AOC برای ساده‌سازی قطعات یدکی و کاهش خطر ناسازگاری.
• تقسیم پورت: از خروجی 2×100 گیگابیت بر ثانیه در مواردی که 200 گیگابیت بر ثانیه در هر گره مورد نیاز نیست استفاده کنید و کارایی پورت را بهبود بخشید.
• اهداف اضافه اشتراک‌گذاری: نسبت‌های ستون فقرات به برگ را بر اساس الگوهای جهش بار کاری و نه فقط بر اساس پهنای باند نظری حداکثر برنامه‌ریزی کنید.
• توان و خنک‌کننده: قبل از مقیاس‌بندی، فضای سر توان در هر رک را در برابر مصرف رتبه‌بندی شده سوئیچ تأیید کنید.

نظارت عملیاتی، عیب‌یابی و بهینه‌سازی

دید عملیاتی برای حفظ تأخیر کم در مقیاس حیاتی است. راه حل سوئیچ InfiniBand MQM8790-HS2F باید با UFM برای نظارت در سراسر پارچه و NetQ برای تله‌متری و اعتبارسنجی ادغام شود.

روش‌های پیشنهادی عبارتند از:

• شمارنده‌های هر پورت را برای خطاها، حذف‌ها و رویدادهای ازدحام نظارت کنید.
• نامزدهای گره کند را با استفاده از تله‌متری ردیابی کنید و صرفاً به شکست‌های سطح کار متکی نباشید.
• سازگاری سفت‌افزار را در تمام سوئیچ‌ها و آداپتورها تأیید کنید تا از مشکلات سازگاری جلوگیری شود.
• پیکربندی SHARP را به طور دوره‌ای بررسی کنید، زیرا درختان تجمیع پیکربندی نادرست می‌توانند به جای بهبود، عملکرد را کاهش دهند.

خلاصه و ارزیابی ارزش

MQM8790-HS2F یک پایه عملی برای خوشه‌های RDMA، HPC و AI که به تأخیر کم قابل پیش‌بینی و پهنای باند بالا نیاز دارند، فراهم می‌کند. با ترکیب 40 پورت HDR × 200 گیگابیت بر ثانیه، محاسبات درون شبکه SHARP و یک اکوسیستم مدیریت بالغ، NVIDIA Mellanox MQM8790-HS2F به معماران کمک می‌کند تا پارچه‌هایی را طراحی کنند که بدون قربانی کردن کارایی، مقیاس‌پذیر باشند.

از منظر ارزش، سهم سوئیچ باید در برابر بهره‌وری خوشه، زمان تکمیل کار و سربار عملیاتی و نه فقط تعداد پورت‌ها ارزیابی شود.