Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 سوئیچ InfiniBand در عمل است
July 13, 2026
Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand Switch در عمل ️ بهینه سازی اتصال با تاخیر پایین برای خوشه های RDMA / HPC / AI
یک مرکز سوپر کامپیوتری منطقه ای اخیراً ارتقا عمده ای در زیرساخت های محاسباتی هوش مصنوعی خود انجام داده است،گسترش از 64 تا 256 GPU NVIDIA A100 برای پشتیبانی از آموزش مدل زبان در مقیاس بزرگ و بار کاری توالی ژنومیبا این حال، شبکه موجود 100GbE RoCEv2 به یک تنگنایی مداوم تبدیل شده است طوفان های PFC مکرر، تاخیر دم غیر قابل پیش بینی،و تنظیمات پیچیده ECN تلاش مهندسی قابل توجهی را مصرف کرد و زمان تکمیل کار را بیش از 40٪ افزایش داد.این مطالعه موردی بررسی می کند که چگونه این مرکزملانوکس (NVIDIA Mellanox) 920-9B110-00FH-0D0سوئیچ InfiniBand برای تبدیل بافت آن، ارائه اتصال متقابل کم تاخیر تعیین کننده برای برنامه های RDMA فشرده.
پیش زمینه و چالش ها
معماری اولیه مرکز از دو سوئیچ برگ 100GbE با RoCEv2 استفاده می کرد که سرورهای GPU و یک سیستم فایل موازی را به هم متصل می کرد.اول، PFC (کنترول جریان اولویت) هر روز اتفاق می افتد، مجبور به تنظیم مجدد دستی می شود؛ دوم، همه عملیات های جمعی کاهش تاخیر دم بیش از 200 μs را تجربه می کنند، به طور مستقیم استفاده از GPU را کاهش می دهد؛سوم، رفع مشکل نیاز به بازرسی عمیق بسته، که زمان بر است و به ندرت قطعی بود. تیم عملیات متوجه شد که اترنت، حتی با گسترش RDMA،نمی توانستم بی ضرر را روزی دهم.، ساختار تعیین کننده مورد نیاز برای بارکاری های نسل بعدی هوش مصنوعی است.
راه حل و راه اندازی920-9B110-00FH-0D0 InfiniBand سوئیچ OPNبه عنوان ستون فقرات جدید
پس از ارزیابی گزینه های متعدد، این مرکز گزینه هایNVIDIA Mellanox 920-9B110-00FH-0D0تغییر، بر اساس920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDRاین برنامه از یک توپولوژی دو طبقه در درخت چربی استفاده می کند: چهار920-9B110-00FH-0D0سوئیچ ها به عنوان برگ ها (هر کدام از 64 گره GPU را از طریق لینک های 200G متصل می کنند) و دو واحد اضافی به عنوان ستون ها، که پهنای باند کامل را فراهم می کند. سوئیچ ها با آداپتورهای ConnectX‐6 HDR موجود جفت شده اند.,استفاده از920-9B110-00FH-0D0 سازگاربرای اطمینان از یکپارچگی یک اکوسیستم.
- کابل کشی:ماژول های نوری 200G HDR برای فاصله های ستون فقرات تا 100 متر، با DACهای منفعل برای اتصالات درون ریک.
- مدیریت:NVIDIA UFM (Unified Fabric Manager) برای کشف توپولوژی خودکار، سیاست های مسیریابی سازگار و تله متری در زمان واقعی.
- تخلیه جمعی:SHARPv2 قادر به سرعت بخشیدن به عملیات تمام کاهش، تخلیه کار از CPU های میزبان و کاهش چت شبکه است.
تیم اشاره بهصفحه اطلاعات 920-9B110-00FH-0D0ومشخصات 920-9B110-00FH-0D0برای تایید نیازهای برق و خنک کننده ✓ سوئیچ با فاکتور شکل 1U و 200G در هر تراکم پورت بدون تغییرات زیربنایی اضافی به خوبی در قفسه های موجود قرار می گیرد.920-9B110-00FH-0D0 راه حل OPN InfiniBand switchهمچنین تدارکات ساده شده، با OPN دقیق (شماره سفارش قطعات) که تنظیم صحیح را تضمین می کند.
نتایج و مزایای اندازه گیری شده ️ سود عملکرد قابل اندازه گیری
پس از دو هفته استفاده و تأیید، این مرکز پیشرفت های قابل توجهی را در شاخص های کلیدی عملکرد ثبت کرد.جدول زیر شاخص های قبل و بعد را برای یک کار آموزشی 256-GPU نماینده (پیشآموزش بزرگ BERT) خلاصه می کند.:
| متریک | قبل از (RoCEv2) | بعد از (920-9B110-00FH-0D0) |
|---|---|---|
| تمام کم کردن تاخیر (متوسط) | ~24 μs | ~9 μs |
| تاخیر دم (99.9th percentile) | > 250 μs | ~18 μs |
| استفاده موثر از GPU | 68 درصد | 89 درصد |
| زمان اتمام کار (به طور متوسط) | خط پایه | -36% (1.56× سریعتر) |
| حوادث مرتبط با شبکه (هفته ای) | 8 ¥12 | 0 |
علاوه بر اعداد، این تیم گزارش داد کهNVIDIA Mellanox 920-9B110-00FH-0D0یک پارچه بدون قطره بسته ارائه شده است که به طور کامل مداخلات دستی را که قبلاً برای بازیابی PFC مورد نیاز بود حذف می کند.920-9B110-00FH-0D0 InfiniBand سوئیچ OPNاین برنامه به کارکنان عملیات دید دقیق در مورد ازدحام در هر جریان و استفاده از مسیر را می دهد و برنامه ریزی ظرفیت پیشگیرانه را امکان پذیر می کند.920-9B110-00FH-0D0 قیمتدر مقایسه با ارتقاء به سوئیچ های 400G NDR، هزینه موثر بود، و این امر آن را برای بودجه متوسط مرکز مناسب می کند.
خلاصه و چشم انداز یک مسیر اثبات شده برای اتصال با تاخیر کم
تجربه مرکز ابر محاسبات نشان می دهد کهملانوکس (NVIDIA Mellanox) 920-9B110-00FH-0D0ارائه یک جایگزین عملی و با عملکرد بالا برای هر دو پارچه ایثرنت و راه حل های گران قیمت بالا. با ارائه 200 Gb / s HDR، متوسط تاخیر کمتر از 10 μs،و حمل و نقل بدون ضرر RDMA، این سوئیچ سازمان ها را قادر می سازد تا پتانسیل کامل سرمایه گذاری های GPU خود را آزاد کنند سرعت بخشیدن به زمان بینش برای بار های کاری هوش مصنوعی و HPC.
در آینده، مرکز برنامه ریزی برای گسترش بافت خود را به 512 GPU با استفاده از همان920-9B110-00FH-0D0 راه حل OPN InfiniBand switch، مقیاس گذاری با اضافه کردن سوئیچ های برگ اضافی در حالی که زیرساخت های ستون فقرات موجود را حفظ می کند.سازگاری سوئیچ با آداپتورهای آینده NVIDIA (از جمله ConnectX‐7) مسیر ارتقا را تضمین می کندبرای سازمان هایی که به روزرسانی های مشابهی را ارزیابی می کنند،مشخصات 920-9B110-00FH-0D0وصفحه اطلاعات 920-9B110-00FH-0D0تمام پارامترهای طراحی لازم را ارائه می دهند و واحدهای به راحتی در دسترس هستند (920-9B110-00FH-0D0 برای فروشاز طریق کانال های مجاز).
این استفاده از دنیای واقعی تایید می کند که920-9B110-00FH-0D0بیش از یک محصول است، این یک عامل اثبات شده برای شبکه های خوشه ای با تاخیر کم و کارایی بالا است که آماده پاسخگویی به خواسته های دهه آینده هوش مصنوعی و محاسبات علمی است.