NVIDIA Mellanox MCX653105A-HDAT Server Adapter راه حل فنی

June 15, 2026

NVIDIA Mellanox MCX653105A-HDAT Server Adapter راه حل فنی
1. پیش زمینه پروژه و تجزیه و تحلیل نیازهای

به عنوان ذخیره سازی توزیع شده، پایگاه داده های همگرا و سیستم عامل های آموزش هوش مصنوعی به سمت شبکه های 100GbE / 200GbE تکامل می یابند، استیک سنتی TCP / IP به یک خنک عملکرد اصلی تبدیل شده است.عملیات های حیاتی مانند تکرار داده ها و همگام سازی گزارش بسیار حساس به تاخیر هستند، با این حال، استیک شبکه هسته ده ها میکروس ثانیه تاخیر را معرفی می کند و منابع CPU قابل توجهی را برای پردازش پروتکل مصرف می کند، که مقیاس پذیری خروجی را به شدت محدود می کند.مراکز داده های مدرن نیاز به یک راه حل شبکه ای دارند که تقریباً حافظه را به تاخیر می اندازد، سرعت خط و حداقل مداخله CPU.

این راه حل فنی بر رویNVIDIA Mellanox MCX653105A-HDATآداپتور سرور، طراحی شده برای پاسخ به الزامات کلیدی زیر:

  • تاخیر بین گره های زیر میکرو ثانیه برای ذخیره سازی توزیع شده و بار های کاری HPC
  • استفاده از CPU کمتر از ۱۰٪ برای پردازش شبکه، آزاد کردن هسته برای منطق برنامه
  • حمل و نقل بدون تلفات با کنترل ازدحام برای جلوگیری از اوج تاخیر دم
  • یکپارچه سازی با زیرساخت های موجود اترنت
  • تخلیه سخت افزاری برای NVMe-over-Fabrics (NVMe-oF) و GPUDirect RDMA
2طراحی کلی معماری شبکه/سیستم

معماری پیشنهادی یک توپولوژی دو طبقه CLOS (spine-leaf) را با RoCE (RDMA over Converged Ethernet) به عنوان پروتکل حمل و نقل اصلی استفاده می کند.تمام سرورهای محاسباتی و ذخیره سازی مجهز بهکارت آداپتور اترنت MCX653105A-HDATPFC (کنترول جریان اولویت) و ECN (اطلاع صریح در مورد ازدحام) برای ایجاد دامنه های Ethernet بدون ضرر برای ترافیک RDMA فعال می شوند.در حالی که صف های اولویت جداگانه ذخیره سازی را منزوی می کنند، HPC و جریان های مدیریت.

تصمیمات معماری کلیدی عبارتند از:

  • RoCEv2بر روی UDP-IP برای اجازه دادن به مسیریابی در سراسر مرز لایه 3
  • DCQCN (اطلاعات مربوط به ازدحام داده های مرکز داده)برای مدیریت پیشگیرانه ازدحام
  • PCIe تقسیم شدهبرای اختصاص پهنای باند برای ذخیره سازی در مقابل ترافیک محاسبات در همان آداپتور
  • پشتیبانی از چند میزباناجازه دادن به چهار سرور برای به اشتراک گذاشتن یک آداپتور واحد (سیناریوهای ذخیره سازی تجزیه شده)
3نقش و ویژگی های اصلی NVIDIA Mellanox MCX653105A-HDAT

در قلب این راه حل،NVIDIA Mellanox MCX653105A-HDATیک آداپتور دو پورت 100GbE ConnectX-6 Dx به عنوان موتور تخلیه حیاتی عمل می کند.ورق اطلاعات MCX653105A-HDAT، این کارت شتاب دهنده های سخت افزاری را ادغام می کند که اساساً نحوه مدیریت سرورها در I / O شبکه را تغییر می دهد.

جدول زیر نشان می دهد که چگونه ویژگی های خاص به الزامات معماری پاسخ می دهند:

ویژگی عملکرد سود
تخلیه سخت افزار RoCE استیک RDMA کامل در آداپتور تاخیر کمتر از 1μs، صفر کپی CPU
NVMe-oF هدف تخلیه شتاب سخت افزاری برای دستورات NVMe 5 برابر سرعت ذخیره سازی، 90% کاهش پردازنده
ASAP2 (تغییر سریع) باز کردن vSwitch به سخت افزار پوشش های مجازی سازی نرخ خط
راه اندازی امن و رمزنگاری آنلاین بارگذاری سخت افزاری IPsec/TLS رمزگذاری بدون مجازات عملکرد

درکارت شبکه PCIe MCX653105A-HDAT ConnectXهمچنین شامل تله متری پیشرفته است هر بسته دارای مهر زمان سخت افزاری و شمارنده های جریان است که بدون نظرسنجی در CPU میزبان، قابلیت مشاهده ازدحام را در زمان واقعی فراهم می کند.برای سازمان های مربوط به تدارکات،قیمت MCX653105A-HDATROI جذابی را در مقایسه با مقیاس پذیری فقط CPU یا جایگزین های مبتنی بر FPGA ارائه می دهد.

4توصیه های استقرار و مقیاس بندی (از جمله توپولوژی)

برای یک خوشه 200 گره معمولی، ما رویکرد انتشار زیر را توصیه می کنیم:

  • لایه برگ:سوئیچ های دارای قابلیت RoCE (به عنوان مثال NVIDIA SN3700) با PFC/ECN فعال شده، برای پارامترهای DCQCN تنظیم شده به بار انفجار.
  • لایه ستون فقرات:سوئیچ های غیر مسدود کننده با نسبت اشتراک بیش از حد مناسب (حداکثر 3: 1 برای ترافیک ذخیره سازی).
  • طرف سرور:یکیMCX653105A-HDAT راه حل کارت آداپتور اترنتدر هر دو گره برای خوشه های ذخیره سازی مشترک، یا یک گره برای HPC محاسباتی.
  • بافرها و MTU:پیکربندی فریم های جامبو 9000 بایت از انتهای به انتهای و اختصاص 10~20% از بافر سوئیچ به هر گروه اولویت برای تضمین بدون ضرر.

در هنگام بررسی سازگاری، اکثر سیستم عامل های سرور اصلیMCX653105A-HDAT سازگار شامل Dell PowerEdge، HPE ProLiant، Lenovo ThinkSystem و Supermicro. رابط PCIe 4.0/5.0 x16 آداپتور، پهنای باند آینده را برای پردازنده های نسل بعدی تضمین می کند.

5. عملیات، نظارت، رفع مشکل و بهینه سازی

توسعه RoCE تولید نیاز به دید فعال دارد. ما شیوه های عملیاتی زیر را توصیه می کنیم:

  • جمع آوری تله متری:از NVIDIA استفاده کنیدmft(آلهای نرم افزاری Mellanox) واتول -Sبرای صادرات شمارنده های هر بندر و هر صف به سیستم های Prometheus یا مشابه.
  • معیارهای کلیدی برای نظارت:فریم های توقف PFC در ثانیه، سرعت بسته های ECN، انتقال مجدد RoCE و دمای آداپتور.
  • تشخیص ازدحام:افزایش ناگهانی توقف PFC اغلب نشان دهنده گیرنده آهسته است.مشخصات MCX653105A-HDATبرای پارامترهای تنظیم آستانه ی بافر.
  • مدیریت نرم افزار:برنامه ریزی ارتقاء نرم افزار در طول پنجره های تعمیر و نگهداری؛ آداپتور از مهاجرت زنده ارتباطات RoCE برای به حداقل رساندن زمان خرابی پشتیبانی می کند.
  • لیست کنترل تنظیم عملکرد:فعال کردن یکپارچه سازی IRQ، تنظیم اندازه حلقه Rx / Tx مناسب (4096 توصیه می شود) ، قطع کردن پین به هسته های اختصاصی و بررسی عرض پی سی ال ای (x16 @ Gen4 / 5)
6خلاصه و ارزیابی ارزش

درNVIDIA Mellanox MCX653105A-HDATیک پایه کامل و آماده تولید برای پارچه های کم تاخیر مبتنی بر RDMA / RoCE فراهم می کند.با تخلیه کل مسیر داده ها از دستورات ذخیره سازی به سوئیچینگ مجازی و رمزگذاری امنیتی، شبکه سرور را از یک گلوی فشرده به یک شتاب دهنده تبدیل می کندسازمان هایی که این راه حل را اتخاذ می کنند می توانند انتظار داشته باشند:

  • تاخیر تعیین کننده زیر 2μsدر سراسر صدها گره
  • 5×10x بهبود سرعت تولیدبرای NVMe-oF و HPC
  • کاهش 80٪ تا 90٪هزینه های اضافی CPU مربوط به شبکه
  • مقیاس پذیری خطیبدون سقوط ازدحام

برای مهندسان ارزیابی گزینه ها،ورق اطلاعات MCX653105A-HDATو راهنماهای سازگاری رسمی مرجع معتبر هستند.MCX653105A-HDAT براي فروشاز طریق شرکای کانال NVIDIA، مسیر به یک سطح داده با عملکرد بالا و تاخیر کم هم روشن است و هم قابل دستیابی است.این راه حل فنی یک طرح برای هر سازمانی که به دنبال باز کردن پتانسیل کامل شبکه های 100GbE با RDMA و RoCE است، فراهم می کند.