NVIDIA Mellanox MCX556A-ECAT Server Adapter در عمل: باز کردن عملکرد کم تاخیر RDMA / RoCE و تسریع هوش مصنوعی
September 4, 2026
آداپتور سرور NVIDIA Mellanox MCX556A-ECAT در عمل: باز کردن قفل عملکرد تأخیر کم RDMA/RoCE و تسریع بارهای کاری هوش مصنوعی و ذخیره‌سازی توزیع‌شده
مدل: MCX556A-ECAT | برند: NVIDIA Mellanox | دسته: آداپتور اترنت با کارایی بالا | قابلیت‌های کلیدی: انتقال با تأخیر کم RDMA/RoCE و بهینه‌سازی توان عملیاتی سرور
پیش‌زمینه و چالش‌ها: گلوگاه‌های شبکه در آموزش هوش مصنوعی در مقیاس بزرگ
برای تیم زیرساخت داده در یک شرکت پیشرو در فناوری رانندگی خودکار، رشد سریع بارهای کاری آموزش مدل هوش مصنوعی از قابلیت‌های زیرساخت شبکه موجود آنها پیشی گرفته بود. خوشه محاسباتی آنها شامل بیش از 200 سرور GPU بود که هر کدام مجهز به آداپتورهای 25GbE بودند و به یک سیستم ذخیره‌سازی توزیع‌شده که حاوی پتابایت‌ها داده حسگر و شبیه‌سازی بود، متصل بودند. در طول کارهای آموزشی در مقیاس بزرگ، تیم به طور مداوم دو مشکل حیاتی را مشاهده کرد: استفاده از GPU به ندرت از 70٪ فراتر می‌رفت به دلیل گلوگاه‌های بارگذاری داده، و عملیات ذخیره نقطه بازرسی - که برای بازیابی مدل ضروری است - بیش از 40 ثانیه طول می‌کشید و چرخه‌های آموزش تکراری را به طور قابل توجهی کند می‌کرد.
علت ریشه‌ای به لایه دسترسی شبکه ردیابی شد: آداپتورهای موجود فاقد قابلیت‌های تخلیه قوی RDMA بودند و باعث می‌شد I/O ذخیره‌سازی از پشته TCP/IP عبور کند و چرخه‌های CPU را بیش از حد مصرف کند. این منجر به تأخیرهای دم بالا، استفاده ناکارآمد از منابع GPU و مقیاس‌پذیری محدود برای گسترش آینده خوشه شد. تیم به شدت به یک آداپتور با کارایی بالا نیاز داشت که بتواند تأخیر RDMA کمتر از 5 میکروثانیه و توان عملیاتی کامل خطی را برای باز کردن پتانسیل پارچه ذخیره‌سازی NVMe-oF خود ارائه دهد. این دقیقاً جایی است که NVIDIA Mellanox MCX556A-ECAT وارد فرآیند ارزیابی شد.
راه حل و استقرار: ساخت یک پارچه بهینه‌سازی شده RDMA در اطراف MCX556A-ECAT
پس از بررسی دقیق برگه داده MCX556A-ECAT و اعتبارسنجی مشخصات MCX556A-ECAT آن در برابر معیارهای عملکرد داخلی، تیم معماری یک استراتژی استقرار مرحله‌ای را طراحی کرد. کارت شبکه PCIe آداپتور MCX556A-ECAT ConnectX به دلیل قابلیت دو پورت 50GbE و ASIC بالغ ConnectX-5 آن انتخاب شد که تعادل ایده‌آلی از عملکرد، بهره‌وری انرژی و بلوغ اکوسیستم را ارائه می‌داد.
استراتژی استقرار از سه مرحله کلیدی پیروی کرد:
- مرحله 1 - استقرار آزمایشی (16 گره GPU): دو آداپتور MCX556A-ECAT در هر گره محاسباتی نصب شد و به طور دوگانه به سوئیچ‌های برگ جداگانه با قابلیت RoCEv2 متصل شد. تیم آداپتورها را با SR-IOV پیکربندی کرد تا توابع مجازی اختصاصی را به I/O ذخیره‌سازی و ارتباطات آموزشی اختصاص دهد و از جداسازی QoS اطمینان حاصل کند.
- مرحله 2 - ادغام پارچه ذخیره‌سازی: اهداف ذخیره‌سازی NVMe-oF برای تبلیغ نقاط پایانی با قابلیت RDMA پیکربندی شدند. PFC و ECN در سراسر پارچه فعال شدند تا حمل و نقل بدون ضرر برای ترافیک RoCEv2 تضمین شود.
- مرحله 3 - گسترش تولید (تمام 200 گره GPU): بر اساس نتایج آزمایشی مثبت، استقرار به کل خوشه گسترش یافت. اکوسیستم سازگار با MCX556A-ECAT ادغام بی‌درنگ با پلتفرم‌های سرور موجود، آرایه‌های ذخیره‌سازی و زیرساخت سوئیچ را تضمین کرد.
در طول استقرار، کارت آداپتور اترنت MCX556A-ECAT سادگی استثنایی plug-and-play را نشان داد. تیم از پشته درایور MLNX_OFED با کتابخانه ارتباطات جمعی NVIDIA (NCCL) برای بهینه‌سازی عملکرد RDMA برای الگوهای ارتباطی GPU به GPU و GPU به ذخیره‌سازی استفاده کرد.
نتایج قابل اندازه‌گیری: افزایش عملکرد قابل توجه و آزادسازی منابع
پس از استقرار کامل تولید، تیم بهبودهای قابل توجهی را در چندین معیار حیاتی مستند کرد. جدول زیر مقایسه عملکرد را قبل و بعد از معرفی NVIDIA Mellanox MCX556A-ECAT خلاصه می‌کند:
| معیار | قبل (25GbE / TCP) | بعد (MCX556A-ECAT / RoCE) | بهبود |
|---|---|---|---|
| تأخیر خواندن ذخیره‌سازی (P99) | ~18 میکروثانیه | ~4.2 میکروثانیه | کاهش 76% |
| زمان ذخیره نقطه بازرسی (مدل 200 گیگابایتی) | ~41 ثانیه | ~11 ثانیه | 73% سریعتر |
| استفاده مؤثر GPU | ~70% | ~94% | 24 امتیاز درصدی |
| استفاده از CPU (مسیر I/O ذخیره‌سازی) | ~38% | ~12% | 26% ظرفیت CPU آزاد شد |
فراتر از بهبودهای کمی، تیم کاهش چشمگیری در زمان تکرار آموزش را گزارش کرد - از میانگین 4.2 روز در هر مدل به فقط 2.8 روز، که نشان‌دهنده شتاب 33 درصدی در زمان کلی ورود به بازار برای مدل‌های جدید رانندگی خودکار است. علاوه بر این، هنگام ارزیابی قیمت MCX556A-ECAT در برابر کل هزینه مالکیت، بازگشت سرمایه در دو ماه اول استفاده از تولید جذاب شد. ظرفیت CPU آزاد شده به تیم اجازه داد تا ارتقاء سرور برنامه‌ریزی شده را به تعویق بیندازد، در حالی که زمان آموزش کاهش یافته مستقیماً به مزیت رقابتی تبدیل شد. گزینه‌های MCX556A-ECAT برای فروش از طریق شرکای کانال NVIDIA مدل‌های تدارکات انعطاف‌پذیری را ارائه داد که با چرخه‌های هزینه‌های سرمایه‌ای شرکت همسو بود.
خلاصه و چشم‌انداز: پایه‌ای برای زیرساخت هوش مصنوعی آینده
پذیرش واقعی NVIDIA Mellanox MCX556A-ECAT در این محیط رانندگی خودکار نشان می‌دهد که اتصال سرور با قابلیت RDMA/RoCE دیگر یک لوکس نیست، بلکه یک ضرورت برای بارهای کاری مدرن هوش مصنوعی است. راه حل کارت آداپتور اترنت MCX556A-ECAT توانایی خود را در حذف گلوگاه‌های ذخیره‌سازی، به حداکثر رساندن استفاده از GPU و تسریع قابل توجه چرخه‌های آموزش مدل - همه در یک پارچه شبکه یکپارچه و قابل مدیریت - ثابت کرده است.
با نگاه به آینده، تیم قصد دارد موارد استفاده اضافی را که توسط کارت شبکه PCIe آداپتور MCX556A-ECAT ConnectX فعال شده است، از جمله جریان داده حسگر در زمان واقعی و همگام‌سازی چند خوشه برای یادگیری فدرال، بررسی کند. برگه داده MCX556A-ECAT و مشخصات MCX556A-ECAT در حال تکامل همچنان نقشه راه آنها را اطلاع‌رسانی می‌کنند، به ویژه در مورد آمادگی 100GbE و تخلیه‌های امنیتی بهبود یافته. با مواجهه بیشتر شرکت‌ها با فشارهای مقیاس‌پذیری مشابه در حوزه‌های هوش مصنوعی و HPC، MCX556A-ECAT یک الگوی اثبات شده برای متعادل کردن عملکرد، قابلیت اطمینان و سادگی عملیاتی در محیط‌های حیاتی ارائه می‌دهد.