آداپتور سرور Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT در عمل | انتقال با تأخیر کم RDMA/RoCE و سرور
September 7, 2026
آداپتور سرور Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT در عمل | حمل و نقل با تأخیر کم RDMA/RoCE و بهینه‌سازی توان عملیاتی سرور
در سناریوی استقرار ترکیبی شرکت بزرگ اینترنتی با زیرساخت bare-metal الاستیک و استنتاج هوش مصنوعی، تأخیر شبکه و سربار CPU به موانع حیاتی برای مقیاس‌پذیری استفاده از GPU و عملکرد ذخیره‌سازی تبدیل شده بود. تیم زیرساخت به راه‌حلی نیاز داشت که بتواند تأخیر زیر میکروثانیه را برای وظایف آموزش توزیع‌شده ارائه دهد و همزمان از ترافیک ذخیره‌سازی NVMe-oF با توان عملیاتی بالا پشتیبانی کند - همه اینها بدون مجبور کردن به ارتقاء پرهزینه زیرساخت کابل‌کشی موجود. این مطالعه موردی بررسی می‌کند که چگونه MCX623106AN-CDAT از Mellanox (NVIDIA Mellanox) این چالش‌ها را برطرف کرد و پارچه شبکه را به یک شتاب‌دهنده محاسباتی واقعی تبدیل کرد.
پیش‌زمینه و چالش‌ها: زمانی که کارت‌های شبکه 25G به حد خود رسیدند
محیط تولید شامل بیش از 1200 گره محاسباتی بود که در دو منطقه در دسترس تقسیم شده بودند و ترکیبی از خدمات استنتاج آنلاین، آموزش هوش مصنوعی آفلاین و ذخیره‌سازی اشیاء توزیع‌شده را اجرا می‌کردند. آداپتورهای اترنت 25G موجود، در حالی که برای اتصال پایه کافی بودند، تحت بارهای کاری همزمان با مشکل مواجه بودند. نقاط درد کلیدی شامل موارد زیر بود:
- استفاده بالای CPU: پردازش پشته TCP/IP مبتنی بر نرم‌افزار تا 35 درصد از هسته‌های CPU را در گره‌های ذخیره‌سازی در طول اوج انفجارهای I/O مصرف می‌کرد.
- تأخیر ناپایدار: تأخیر دم (p99) برای عملیات all-reduce توزیع‌شده اغلب از 50 میکروثانیه فراتر می‌رفت و باعث استفاده کم از GPU در طول همگام‌سازی پارامترها می‌شد.
- گلوگاه ذخیره‌سازی: ترافیک NVMe-oF از طریق اترنت با اتلاف از افت بسته‌ها رنج می‌برد و باعث ارسال مجدد می‌شد که توان عملیاتی مؤثر را تقریباً 40 درصد کاهش می‌داد.
پس از ارزیابی چندین گزینه جایگزین - از جمله InfiniBand اختصاصی و کارت‌های شبکه 25G رقیب - تیم NVIDIA Mellanox MCX623106AN-CDAT را به دلیل ترکیب منحصر به فرد شتاب‌دهی RoCEv2 مبتنی بر سخت‌افزار، مسیر داده قابل برنامه‌ریزی و سازگاری گسترده پلتفرم انتخاب کرد.
راه حل و رویکرد استقرار
استراتژی استقرار بر سه ستون متمرکز بود: فعال‌سازی RDMA/RoCE، فعال‌سازی هوشمند offload و مهاجرت تدریجی ناوگان. هر گره محاسباتی یک کارت آداپتور اترنت MCX623106AN-CDAT دریافت کرد و جایگزین کارت‌های شبکه نسل قبلی شد بدون اینکه زیرساخت مسی 25G موجود تغییر کند.
از نظر پیکربندی، تیم از دیتاشیت MCX623106AN-CDAT برای تنظیم دقیق پارامترهای زیر استفاده کرد:
- پیکربندی RoCEv2 PFC (کنترل جریان اولویت): کلاس‌های ترافیکی بدون اتلاف اختصاصی برای ذخیره‌سازی (NVMe-oF) و ارتباطات جمعی هوش مصنوعی تعریف شد، در حالی که ترافیک بهترین تلاش در صف‌های جداگانه با اتلاف باقی ماند.
- فعال‌سازی offload سخت‌افزاری: VXLAN/NVGRE tunnel offload، checksum segmentation و LRO (Large Receive Offload) برای کاهش مداخله CPU در هر بسته فعال شدند.
- قابلیت برنامه‌ریزی آماده برای DPU: با استفاده از ASAP²، تیم قوانین جریان سبک را برای هدایت ترافیک ذخیره‌سازی مستقیماً به نقاط پایانی هدف NVMe-oF مستقر کرد و از پشته شبکه کرنل کاملاً اجتناب کرد.
اعتبارسنجی سازگاری ساده بود - لیست سازگار با MCX623106AN-CDAT تمام مدل‌های سرور در ناوگان (Dell PowerEdge R750 و سری Supermicro Ultra) را پوشش می‌داد و گره‌های مبتنی بر Red Hat OpenShift و Ubuntu موجود درایورهای جدید را بدون مشکل پذیرفتند.
نتایج و مزایای قابل اندازه‌گیری
پس از سه هفته استقرار در تولید بر روی 40 درصد از ناوگان محاسباتی، افزایش عملکرد بلافاصله مشهود بود. جدول زیر معیارهای کلیدی قبل و بعد را خلاصه می‌کند:
| معیار | کارت شبکه قبلی (25G) | MCX623106AN-CDAT (RoCEv2) | بهبود |
|---|---|---|---|
| تأخیر خواندن NVMe-oF (p99) | 42 میکروثانیه | 8.3 میکروثانیه | 80.2% کاهش |
| زمان همگام‌سازی All-Reduce (512 گره) | 147 میلی‌ثانیه | 89 میلی‌ثانیه | 39.5% کاهش |
| استفاده از CPU (گره‌های ذخیره‌سازی) | 34% (میانگین 4 هسته) | 12% | 64.7% کاهش |
| توان عملیاتی مؤثر (دو پورت 25G) | 31.2 گیگابیت بر ثانیه (تجمعی) | 47.8 گیگابیت بر ثانیه | 53.2% افزایش |
فراتر از بهبودهای کمی، تیم مهندسی تغییر کیفی در پایداری عملیاتی را گزارش کرد. مکانیزم‌های PFC و ECN (اعلامیه صریح ازدحام) مبتنی بر سخت‌افزار تضمین کردند که ترافیک ذخیره‌سازی تقریباً بدون اتلاف باقی می‌ماند و طوفان‌های ارسال مجدد آبشاری را که قبلاً بر SLAهای برنامه تأثیر می‌گذاشتند، از بین برد. علاوه بر این، کارت شبکه PCIe آداپتور MCX623106AN-CDAT ConnectX رمزگذاری IPSec با نرخ خط را برای ترافیک تکرار بین منطقه‌ای مدیریت کرد و به تیم امنیتی اجازه داد تا سیاست‌های zero-trust را بدون استقرار دستگاه‌های رمزگذاری اختصاصی اعمال کند.
خلاصه و چشم‌انداز آینده
این استقرار تأکید می‌کند که راه حل کارت آداپتور اترنت MCX623106AN-CDAT صرفاً یک ارتقاء تدریجی کارت شبکه نیست - بلکه یک توانمندساز استراتژیک برای معماری‌های مدرن مراکز داده است. با ترکیب RoCEv2 شتاب‌دهنده سخت‌افزاری، قابلیت برنامه‌ریزی انعطاف‌پذیر و قابلیت‌های offload جامع، آداپتور به طور مؤثر یک پارچه اترنت استاندارد را به یک لایه زیرساخت با تأخیر کم و کارایی بالا تبدیل می‌کند. سازمان IT اکنون در حال برنامه‌ریزی برای گسترش استقرار به تمام گره‌های باقی‌مانده است و به طور فعال در حال ارزیابی مشخصات MCX623106AN-CDAT برای طرح‌های نسل بعدی 50G Spine-Leaf است.
برای معماران زیرساخت و مدیران IT که با سقف‌های عملکردی مشابه روبرو هستند، MCX623106AN-CDAT یک مسیر قانع‌کننده و اثبات شده ارائه می‌دهد. همانطور که یک معمار ارشد اشاره کرد: "ما تأخیر بهتری نسبت به کارت‌های شبکه 25G قبلی خود با نصف هزینه CPU به دست آوردیم و حتی یک قفسه را هم دوباره کابل‌کشی نکردیم." با اکوسیستم سازگار با MCX623106AN-CDAT گسترده و موقعیت قیمت MCX623106AN-CDAT رقابتی، این آداپتور به خوبی آماده است تا به انتخاب پیش‌فرض برای استقرارهای 25G RoCE تبدیل شود - چه بار کاری آموزش هوش مصنوعی، ذخیره‌سازی توزیع‌شده یا تجزیه و تحلیل بلادرنگ باشد.
برچسب‌ها: MCX623106AN-CDAT | NVIDIA Mellanox ConnectX-6 Dx | استقرار RDMA/RoCE | شبکه‌سازی با تأخیر کم | بهینه‌سازی توان عملیاتی سرور