Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch در عمل

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch در عمل | بهینه‌سازی اتصال با تأخیر کم برای خوشه‌های RDMA/HPC/AI

پیش‌زمینه و چالش‌ها: زمانی که خوشه‌های RDMA به گلوگاه شبکه برخورد می‌کنند

در یک محیط کاری معمولی ترکیبی HPC و AI، خوشه‌های محاسباتی اغلب شبیه‌سازی‌های CFD، دینامیک مولکولی و آموزش مدل‌های بزرگ توزیع‌شده را در کنار هم اجرا می‌کنند. این حجم کاری به شدت به RDMA برای ارتباطات بین گره‌ای متکی هستند و به پهنای باند، تأخیر و از دست دادن بسته‌ها بسیار حساس هستند. هنگامی که یک خوشه از ده‌ها گره به صدها گره می‌رسد، اتصال اصلی می‌تواند به سرعت به عامل محدودکننده تبدیل شود.

علائم رایج شامل تأخیر طولانی در AllReduce، استفاده نامتوازن از لینک در سراسر شبکه و زمان تکمیل کار کاهش یافته به محض اشتراک‌گذاری شبکه توسط چندین کاربر است. برای مهندسان و معماران شبکه، چالش صرفاً افزودن پهنای باند نیست، بلکه ساخت شبکه‌ای است که تأخیر را تحت فشار قابل پیش‌بینی نگه دارد.

راه حل و استقرار: ساخت شبکه در اطراف MQM8790-HS2F

برای رفع این مشکلات، شبکه خوشه در اطراف Mellanox (NVIDIA Mellanox) MQM8790-HS2F، یک سوئیچ InfiniBand با سرعت 200 گیگابیت بر ثانیه HDR که برای محیط‌های با تراکم بالا و تأخیر کم طراحی شده است، بازطراحی شد. فرم فاکتور MQM8790-HS2F 200Gb/s HDR با 40 پورت QSFP56 امکان 40 پورت را در 1U فراهم می‌کند که به طور طبیعی در یک توپولوژی دو لایه fat-tree قرار می‌گیرد.

استقرار از یک رویکرد لایه‌ای پیروی کرد:

• لایه Spine: سوئیچ‌های NVIDIA Mellanox MQM8790-HS2F به عنوان دستگاه‌های spine مستقر شدند و اتصالات بالادستی 200 گیگابیت بر ثانیه و ترافیک شرق-غرب بدون مسدودکننده بین گروه‌های leaf را فراهم کردند.
• لایه Leaf: سوئیچ‌های Leaf به گره‌های محاسباتی مجهز به آداپتورهای ConnectX-6 یا ConnectX-7 متصل می‌شوند و یک مسیر HDR سرتاسری سازگار با MQM8790-HS2F را تشکیل می‌دهند.
• محاسبات درون شبکه: فناوری SHARP در MQM8790-HS2F عملیات جمعی مانند AllReduce را از روی پردازنده تخلیه می‌کند و سربار GPU و CPU را کاهش می‌دهد.
• مدیریت و تله‌متری: MLNX-OS، UFM و NetQ برای تأمین شبکه، نظارت و دیدپذیری ازدحام استفاده شدند.

در طول برنامه‌ریزی، تیم دیتاشیت MQM8790-HS2F و مشخصات MQM8790-HS2F را بررسی کرد تا بودجه توان، الزامات خنک‌کننده و گزینه‌های تقسیم پورت مانند خروجی 2×100Gb/s را تأیید کند. کابل‌کشی و اپتیک برای ساده‌سازی قطعات یدکی و توسعه آینده به QSFP56 استاندارد شد.

نتایج و مزایا: پس از استقرار چه چیزی تغییر کرد

پس از مهاجرت به راه حل سوئیچ InfiniBand MQM8790-HS2F، خوشه بهبودهای قابل اندازه‌گیری در کارایی ارتباطات و پایداری کار نشان داد. قابل توجه‌ترین دستاوردها عبارت بودند از:

از نظر عملیاتی، تیم کنترل بهتری بر رفتار شبکه به دست آورد. مسیریابی تطبیقی و SHARP تأثیر نقاط داغ را کاهش داد، در حالی که تله‌متری شناسایی گره‌های کند و لینک‌های پیکربندی نادرست را آسان‌تر کرد. برای معمارانی که گزینه‌های قیمت MQM8790-HS2F یا MQM8790-HS2F برای فروش را ارزیابی می‌کنند، نکته کلیدی این است که سوئیچ از طریق استفاده بالاتر از خوشه به جای صرفاً تعداد پورت خام، بازدهی خود را نشان می‌دهد.

نتیجه‌گیری و چشم‌انداز

MQM8790-HS2F نشان می‌دهد که چگونه یک سوئیچ InfiniBand که به طور خاص ساخته شده است می‌تواند گلوگاه‌های اتصال را در خوشه‌های RDMA، HPC و AI حذف کند. با ترکیب پورت‌های 200 گیگابیت بر ثانیه HDR، محاسبات درون شبکه SHARP و یک پشته مدیریت بالغ، NVIDIA Mellanox MQM8790-HS2F تأخیر کم قابل پیش‌بینی را در مقیاس ارائه می‌دهد. با ادامه رشد خوشه‌ها و افزایش شدت ارتباطات در حجم کاری هوش مصنوعی، شبکه‌های ساخته شده بر روی سوئیچ InfiniBand MQM8790-HS2F در موقعیت خوبی برای پشتیبانی از موج بعدی توسعه قرار دارند.