Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 کتاب سفید فنی: بهینه سازی اتصال با تاخیر پایین

April 14, 2026

Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 کتاب سفید فنی: بهینه سازی اتصال با تاخیر پایین

این کتاب سفید فنی به معماران شبکه، مهندسان پیش فروش و مدیران عملیات خطاب می شود و یک راه حل جامع با تمرکز برملانوکس (NVIDIA Mellanox) 920-9B110-00FH-0D0ما بررسی می کنیم که چگونه این پلتفرم باعث می شود تاخیر تعیین کننده و بسیار کم برای بار های کاری RDMA در محیط های خوشه ای HPC و AI باشد.

1. پیش زمینه پروژه و تجزیه و تحلیل نیازهای

چارچوب های آموزشی هوش مصنوعی مدرن (PyTorch DDP، DeepSpeed، Megatron) و کد های شبیه سازی HPC (CFD، مدل سازی آب و هوا، پویایی مولکولی) به شدت به ابتدایی های ارتباطی جمعی تکیه می کنند.پارچه های سنتی اترنت سه مشکل اساسی ایجاد می کنند: از دست دادن بسته به دلیل ازدحام انکاست، تاخیر متغیر از سوئیچینگ ذخیره سازی و پیشبرد و هزینه بالای CPU از پردازش استیک TCP / IP.این مسائل باعث می شود زمان بیکار GPU از 30٪ تا 50٪ در آموزش توزیع شده در مقیاس بزرگ، که به طور مستقیم به زمان طولانی تر برای راه حل و افزایش هزینه های عملیاتی منجر می شود.

در920-9B110-00FH-0D0این چالش ها را از طریق فناوری بومی InfiniBand حل می کند، RDMA مبتنی بر سخت افزار، سوئیچینگ قطع و کنترل جریان مبتنی بر اعتبار را ارائه می دهد.موارد مورد استفاده هدف شامل آزمایشگاه های تحقیقاتی هوش مصنوعی است که 641 مدیریت می کنند،024 خوشه های GPU، مراکز HPC که نیاز به تاخیر MPI زیر میکرو ثانیه دارند و ارائه دهندگان ابری که خانواده های نمونه هوش مصنوعی فلزی را می سازند.

2طراحی معماری شبکه کلی

معماری توصیه شده ما از یک توپولوژی دو طبقه درخت چربی (Folded Clos) استفاده می کند، که پهنای باند، هزینه و مقیاس پذیری را متعادل می کند. پارامترهای طراحی تا 512 گره محاسباتی را فرض می کنند،هرکدام مجهز به آداپتورهای دو پورت HDR ConnectX-6.

سطح دستگاه پیکربندی پورت مقدار (512 گره)
برگ 920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDR 40 برابر HDR پایین + 8 برابر HDR بالا 16 واحد
پشت سر NVIDIA Mellanox 920-9B110-00FH-0D0 40x HDR (فقط پایین) 8 واحد

این پیکربندی پهنای باند دوقطبی کامل 200 گیگابایت در ثانیه در هر گره، عملکرد غیر مسدود کننده برای الگوهای ارتباطات همه به همه و تاخیر 130ns در هر hop (cut-through) را ارائه می دهد.920-9B110-00FH-0D0 راه حل OPN InfiniBand switchپشتیبانی از هر دو SKU استاندارد و سفارشی، اجازه می دهد تا پیکربندی های انعطاف پذیر درگاه شکستن (به عنوان مثال، 4x 50Gb / s در هر پورت HDR).

3نقش و ویژگی های کلیدی 920-9B110-00FH-0D0

در چارچوب معماری پیشنهادی،NVIDIA Mellanox 920-9B110-00FH-0D0به عنوان عنصر پارچه ی یکپارچه در هر دو لایه برگ و ستون فقرات عمل می کند.

  • RDMA مبتنی بر سخت افزار:از هسته و CPU کاملاً عبور می کند و امکان انتقال حافظه به حافظه را با سرعت خط با تاخیر <1μs فراهم می کند.
  • مسیر سازگاری (AR):بسته ها را به صورت پویا بر اساس ازدحام پورت در زمان واقعی تغییر مسیر می دهد و ترافیک را در تمام مسیرهای موجود بدون تغییر سفارش بسته توزیع می کند.
  • کنترل ترافیک:مکانیزم های اطلاع رسانی و خنک کننده در سطح سخت افزاری از مسدود کردن سر خط جلوگیری می کنند، همانطور که درصفحه اطلاعات 920-9B110-00FH-0D0.
  • تله متري قوي:مانیتورهای سخت افزاری یکپارچه اشغال بافر، تاخیر و شمارنده های خطای هر پورت را برای مدیریت فعال فراهم می کنند.

مهندسان ارزیابی خرید باید بررسی کاملمشخصات 920-9B110-00FH-0D0، که پشتیبانی از 40 پورت HDR (هر کدام 200 گیگابایت در ثانیه) را در یک فاکتور فرم 1U با مصرف برق کمتر از 300W تایید می کند.920-9B110-00FH-0D0 سازگاراین اکوسیستم شامل تمام ماژول های نوری استاندارد HDR (QSFP56) و کابل های مس منفعل تا 5 متر است.

4توصیه های تعبیه و مقیاس بندی

برای انتشار اولیه، ما یک رویکرد مرحله ای را توصیه می کنیم:

  • فاز 1 (پیلوت ¢ 32 گره):استفاده از یک سوئیچ ورق (920-9B110-00FH-0D0) در پیکربندی یک سوئیچ. اعتبارپذیری عملکرد RDMA با استفاده از ib_write_bw و معیارهای MPI.920-9B110-00FH-0D0 برای فروشوضعیت برای اطمینان از زمان های انجام با مراحل پروژه.
  • فاز 2 (تولید 128 گره):پیاده سازی درخت چربی کامل با 4 برگ + 2 سوئیچ ستون فقرات. فعال کردن مسیریابی سازگاری و کنترل ازدحام. آزمایشات استرس گسترده را با آزمایشات NCCL اجرا کنید (همه را کاهش دهید، همه را جمع کنید).
  • فاز 3 (اسکیل-آوت 512+ گره):گسترش به 16 برگ + 8 سوئیچ ستون فقرات. در نظر گرفتن ارتقا به معماری چند پارچه (شبکه های محاسباتی / ذخیره سازی جداگانه).920-9B110-00FH-0D0 قیمتدر مقایسه با اضافه کردن سوئیچ های بیشتر در مقایسه با مدل های رادیکس بالاتر.

در هنگام محاسبه کل هزینه مالکیت، توجه داشته باشید که920-9B110-00FH-0D0نیاز به سوئیچ های TOR جداگانه، پیچیدگی پیکربندی ECN (بر خلاف RoCE) و مجوزهای مدیریت ازدحام اختصاصی را از بین می برد که همه آنها به طور بومی در InfiniBand گنجانده شده اند.

5. عملیات، نظارت، رفع مشکل و بهینه سازی

مدیریت تولیدNVIDIA Mellanox 920-9B110-00FH-0D0fabrics به دو ابزار اصلی متکی است: OpenSM (مدیر زیر شبکه) برای آوردن پارچه های اساسی و NVIDIA UFM (مدیر پارچه واحد) برای تله متری و اتوماسیون در مقیاس شرکت.

  • چک های روزانه سلامتی:از `ibnetdiscover` برای بررسی توپولوژی پارچه، `ibstat` برای نظارت بر وضعیت پورت و `perfquery` برای ردیابی شمارنده های خطا استفاده کنید.
  • تنظیم عملکرد:تنظیم مسیریابی تطبیقی به "استاتیک" برای تاخیر تعیین کننده یا "دینامیک" برای حداکثر خروجی. تنظیم نقشه برداری SL2VL برای اولویت بندی کنترل در مقابل ترافیک داده.
  • رفع مشکلات رایج:خطاهای CRC لینک به طور معمول نشان دهنده مشکلات یکپارچگی کابل / سیگنال استصفحه اطلاعات 920-9B110-00FH-0D0برای SKU های کابل معتبر. زمان بندی مدیر زیر شبکه اغلب نیاز به تنظیم `max_hop_count` برای پارچه های بزرگ دارد.
  • برنامه ریزی ظرفیت:استفاده از تجزیه و تحلیل پیش بینی UFM برای پیش بینی استفاده از بندر و شناسایی نقاط گرم قبل از اینکه بر مشاغل تأثیر بگذارد.920-9B110-00FH-0D0 InfiniBand سوئیچ OPNاجازه می دهد تا اپتیک های انعطاف پذیر قابل ارتقاء زمینه به تغییرات تقاضای پهنای باند سازگار شوند.

برای سازمان هایی که چندین فروشنده را ارزیابی می کنند، مقایسه920-9B110-00FH-0D0 قیمتدر مقایسه با سوئیچ های HDR جایگزین باید در ساده سازی عملیاتی در نظر گرفته شود ✓InfiniBand یک فروشنده، استیک عمودی یکپارچه شده زمان عیب یابی میان تیم را حدود 40٪ کاهش می دهد.

6خلاصه و ارزیابی ارزش

درملانوکس (NVIDIA Mellanox) 920-9B110-00FH-0D0یک پایه آماده تولید برای خوشه های RDMA / HPC / AI را ارائه می دهد که نیاز به اتصال متقابل کم تاخیر تعیین کننده دارند. پیشنهادات ارزش کلیدی شامل:

  • عملکرد:تا 200 گیگابایت در ثانیه در هر پورت با تاخیر سوئیچینگ زیر 130ns، امکان مقیاس بندی GPU خطی تا هزاران گره را فراهم می کند.
  • بهره وری عملیاتی:تخلیه سخت افزار بومی مداخله CPU را برای I / O شبکه حذف می کند و هسته ها را برای محاسبات آزاد می کند.
  • در آينده ثابت:سازگاری عقب با EDR (100Gb/s) و سازگاری جلو با NDR (400Gb/s) از طریق انتقال سرعت پورت.
  • کل هزینه مالکیت:در هنگام محاسبه920-9B110-00FH-0D0 قیمتدر مقایسه با جایگزین های اترنت، شامل صرفه جویی در کاهش زمان بیکار GPU (15٪ 25٪ بازیابی معمولی) و حذف مجوزهای کنترل انبساط اختصاصی است.

از معماران خواسته می شود کهصفحه اطلاعات 920-9B110-00FH-0D0و به مامور اشاره کنيدمشخصات 920-9B110-00FH-0D0برای متریسهای کابل کشی و بودجه بندی برق.920-9B110-00FH-0D0 برای فروشدر دسترس بودن از طریق شبکه شریک NVIDIA و درخواست یک آزمایشگاه اعتبار برای تست توپولوژی سفارشی.