NVIDIA Mellanox MCX631102AN-ADAT در عمل: انتقال با تأخیر کم RDMA/RoCE و بهینهسازی توان عملیاتی سرور
July 27, 2026
NVIDIA Mellanox MCX631102AN-ADAT در عمل: حمل و نقل با تأخیر کم RDMA/RoCE و بهینهسازی توان عملیاتی سرور
پیشزمینه و چالشها: گلوگاه تأخیر و توان عملیاتی در ذخیرهسازی توزیعشده
یک ارائهدهنده خدمات ابری با اندازه متوسط که یک خوشه ذخیرهسازی Ceph توزیعشده را در 120 سرور x86 اجرا میکرد، با مشکلات عملکردی فزایندهای مواجه شد. زیرساخت شبکه 10GbE موجود آنها که برای ارتباطات بین گرهای به TCP/IP متکی بود، در حفظ سرعت با استخرهای ذخیرهسازی در حال رشد مبتنی بر NVMe مشکل داشت. علائم کلیدی شامل استفاده بالای CPU بیش از 45٪ در گرههای ذخیرهسازی به دلیل پردازش پروتکل شبکه، میانگین تأخیر خواندن/نوشتن که در ساعات اوج به بیش از 3 میلیثانیه میرسید، و شکاف قابل توجهی بین توان عملیاتی نظری دیسک و عملکرد واقعی تحویل داده شده توسط شبکه بود. تیم مهندسی تشخیص داد که دستیابی به تأخیر زیر میلیثانیه و آزادسازی کامل عملکرد NVMe نیازمند یک تغییر اساسی در رویکرد شبکهسازی است - به طور خاص، پذیرش RDMA بر روی اترنت همگرا (RoCE).
راه حل و استقرار: معرفی راه حل کارت آداپتور اترنت MCX631102AN-ADAT
پس از ارزیابی گزینههای مختلف فروشنده، تیم NVIDIA Mellanox MCX631102AN-ADAT را به عنوان توانمندساز اصلی ارتقاء شبکه خود انتخاب کرد. آداپتور MCX631102AN-ADAT ConnectX-6 Lx دو پورت 25GbE SFP28 به دلیل پشتیبانی بومی RoCEv2، کنترل ازدحام مبتنی بر سختافزار و ادغام بیدرنگ با زیرساخت کابلکشی SFP28 موجود آنها انتخاب شد.
استراتژی استقرار به صورت فازبندی شده در سه خوشه انجام شد:
- فاز 1 (آزمایشی):16 گره ذخیرهسازی به کارت آداپتور اترنت MCX631102AN-ADAT مجهز شدند و جایگزین کارتهای شبکه 10GbE قدیمی شدند. آداپتورها در حالت فعال-فعال دو پورت پیکربندی شدند و هر پورت برای افزونگی به یک جفت سوئیچ NVIDIA Spectrum متصل شد.
- فاز 2 (بهینهسازی):RoCEv2 با اولویتبندی کنترل جریان (PFC) و اعلان ازدحام صریح (ECN) فعال شد تا از افت شبکه جلوگیری شود. تیم از موتورهای تخلیه سختافزاری آداپتور برای محاسبات NVMe-oF و کدگذاری پاکسازی استفاده کرد.
- فاز 3 (استقرار کامل):تمام 120 گره به NVIDIA Mellanox MCX631102AN-ADAT منتقل شدند و پشته شبکه Ceph OSD (دیمون ذخیرهسازی اشیاء) برای استفاده از حمل و نقل RDMA مجدداً پیکربندی شد.
طبق برگه داده MCX631102AN-ADAT، رابط PCIe 4.0 x8 آداپتور پهنای باند کافی برای مدیریت توان عملیاتی تجمعی 50 گیگابیت بر ثانیه را فراهم میکند. تیم تأیید کرد که مشخصات MCX631102AN-ADAT - از جمله تأخیر زیر 0.6 میکروثانیه و هدایت ترافیک مبتنی بر سختافزار - کاملاً با الزامات عملکردی سختگیرانه آنها مطابقت دارد. این آداپتور همچنین سازگار با MCX631102AN-ADAT با توزیع لینوکس موجود آنها (RHEL 9.2) و درایورهای Mellanox OFED بود که فرآیند استقرار را به طور قابل توجهی ساده کرد.
نتایج و مزایا: دستاوردهای قابل اندازهگیری در تأخیر و توان عملیاتی
تأثیر مهاجرت بلافاصله در معیارهای تولید آشکار شد. بهبودهای کلیدی مشاهده شده پس از استقرار عبارتند از:
| معیار | قبل از ارتقاء (10GbE TCP/IP) | پس از ارتقاء (MCX631102AN-ADAT با RoCE) | بهبود |
|---|---|---|---|
| میانگین تأخیر خواندن | 2.8 میلیثانیه | 0.4 میلیثانیه | کاهش 7 برابری |
| میانگین تأخیر نوشتن | 3.2 میلیثانیه | 0.5 میلیثانیه | کاهش 6.4 برابری |
| استفاده از CPU گره (پشته شبکه) | 42٪ | 11٪ | 31 pp آزاد شد |
| توان عملیاتی تجمعی خوشه | 18 گیگابیت بر ثانیه | 42 گیگابیت بر ثانیه | افزایش 2.3 برابری |
فراتر از اعداد، تیم بهبودهای عملیاتی قابل توجهی را مشاهده کرد. MCX631102AN-ADAT امکان مهاجرت زنده بیدرنگ ماشینهای مجازی در حال اجرای برنامههای حساس به تأخیر را فراهم کرد، زیرا لرزش شبکه به سطوح ناچیز کاهش یافت. تخلیه NVMe-oF مبتنی بر سختافزار، تأخیر دسترسی به ذخیرهسازی را 30٪ دیگر کاهش داد و به خوشه اجازه داد تا بارهای کاری ترکیبی خواندن/نوشتن را با زمانهای پاسخگویی ثابت زیر میلیثانیه مدیریت کند. برای سازمانهایی که بازگشت سرمایه را محاسبه میکنند، قیمت MCX631102AN-ADAT با افزایش 2.3 برابری توان عملیاتی و توانایی به تعویق انداختن خرید سرورهای اضافی حداقل به مدت 18 ماه توجیه شد. ارائهدهنده همچنین خاطرنشان کرد که گزینههای MCX631102AN-ADAT برای فروش از طریق شرکای کانال، تخفیفهای حجمی انعطافپذیری را برای استقرارهای در مقیاس بزرگ ارائه میدادند.
علاوه بر این، قابلیتهای تلهمتری داخلی و مدیریت خارج از باند آداپتور - که در برگه داده MCX631102AN-ADAT شرح داده شده است - دید عمیقی نسبت به سلامت شبکه فراهم کرد و امکان مدیریت فعال ازدحام و تجزیه و تحلیل سریعتر علت ریشهای را در طول رفع حادثه فراهم کرد.
خلاصه و چشمانداز: یک پایه استراتژیک برای بارهای کاری آینده
این استقرار واقعی نشان میدهد که NVIDIA Mellanox MCX631102AN-ADAT بسیار فراتر از یک ارتقاء پهنای باند ساده است. به عنوان یک راه حل کارت آداپتور اترنت MCX631102AN-ADAT که به طور خاص برای محیطهای مجهز به RoCE ساخته شده است، به طور موثر شبکه را به عنوان یک گلوگاه عملکرد حذف میکند و پتانسیل کامل ذخیرهسازی مدرن NVMe و معماریهای CPU را آزاد میکند. ترکیب توان عملیاتی دو پورت 25GbE، تخلیههای جامع RDMA و سازگاری گسترده با اکوسیستم، این آداپتور را به یک سرمایهگذاری استراتژیک برای هر سازمانی تبدیل میکند که قصد مقیاسبندی خطوط لوله هوش مصنوعی/یادگیری ماشین، پایگاههای داده توزیعشده یا زیرساختهای فوق همگرا را دارد.
با نگاه به آینده، تیم در حال بررسی موارد استفاده گستردهتر، از جمله ادغام NVIDIA DOCA برای مسیرهای داده قابل برنامهریزی و تأمین صفر لمسی است. با توانایی اثبات شده خود در کاهش تأخیر، افزایش توان عملیاتی و بازیابی منابع CPU، MCX631102AN-ADAT معیار جدیدی را برای آداپتورهای سرور 25GbE در محیطهای سازمانی و ابری تعیین میکند.