Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT سرور آداپتور در عمل

آداپتور سرور ملانوکس (NVIDIA Mellanox) MCX623106AN-CDAT در عمل | RDMA/RoCE با تأخیر کم حمل و نقل و بهینه سازی عملیات سرور

در سناریوی استقرار ترکیبی استنباط الاستیک فلزی و هوش مصنوعی یک شرکت اینترنتی در مقیاس بزرگ، تأخیر شبکه و سربار CPU به موانعی حیاتی برای مقیاس‌بندی استفاده از GPU و عملکرد ذخیره‌سازی تبدیل شده بود. تیم زیرساخت به راه‌حلی نیاز داشت که بتواند تأخیر زیر میکروثانیه‌ای را برای مشاغل آموزشی توزیع‌شده ارائه دهد و همزمان از ترافیک ذخیره‌سازی NVMe-oF با توان عملیاتی بالا پشتیبانی کند - همه اینها بدون نیاز به ارتقاء پرهزینه زیرساخت کابل‌کشی موجود. این مطالعه موردی به بررسی چگونگیMCX623106AN-CDATاز Mellanox (NVIDIA Mellanox) به این چالش ها پرداخت و بافت شبکه را به یک شتاب دهنده محاسباتی واقعی تبدیل کرد.

پیشینه و چالش ها: وقتی کارت های شبکه 25G به محدودیت های خود می رسند

محیط تولید شامل بیش از 1200 گره محاسباتی بود که در دو ناحیه در دسترس تقسیم شده بودند، ترکیبی از خدمات استنتاج آنلاین، آموزش هوش مصنوعی آفلاین و ذخیره سازی اشیاء توزیع شده را اجرا می کردند. آداپتورهای اترنت 25G موجود، در حالی که برای اتصال اولیه کافی هستند، تحت بارهای کاری همزمان با مشکل مواجه شدند. نکات کلیدی درد شامل:

• استفاده از CPU بالا: پردازش پشته TCP/IP مبتنی بر نرم‌افزار تا 35 درصد از هسته‌های CPU را در گره‌های ذخیره‌سازی در طول پیک انفجارهای ورودی/خروجی مصرف می‌کند.
• تأخیر ناسازگار: تأخیر دنباله (p99) برای عملیات کاهش همه جانبه توزیع شده اغلب از 50 میکروثانیه فراتر می رود، که باعث عدم استفاده از GPU در طول همگام سازی پارامترها می شود.
• گلوگاه ذخیره سازی: ترافیک NVMe-oF بر روی اترنت با اتلاف از افت بسته‌ها رنج می‌برد، و باعث ارسال مجدد می‌شود که تقریباً 40 درصد از توان مؤثر را کاهش می‌دهد.

پس از ارزیابی گزینه‌های مختلف - از جمله InfiniBand اختصاصی و NIC‌های رقیب 25G، تیم انتخاب کردNVIDIA Mellanox MCX623106AN-CDATبرای ترکیب منحصر به فرد خود از شتاب RoCEv2 مبتنی بر سخت افزار، مسیر داده قابل برنامه ریزی و سازگاری با پلت فرم گسترده.

راه حل و رویکرد استقرار

استراتژی استقرار بر سه رکن متمرکز بود:فعال سازی RDMA/RoCE،فعال سازی تخلیه هوشمند، ومهاجرت تدریجی ناوگان. هر گره محاسباتی یکی دریافت کردکارت آداپتور اترنت MCX623106AN-CDATجایگزینی NIC های نسل قبلی بدون تغییر زیرساخت زیرین 25G مس/فیبر.

از نقطه نظر پیکربندی، تیم از اهرمی استفاده کردبرگه داده MCX623106AN-CDATبرای تنظیم دقیق پارامترهای زیر:

• راه اندازی RoCEv2 PFC (کنترل جریان اولویتی).: کلاس‌های ترافیک بدون تلفات اختصاصی برای ذخیره‌سازی (NVMe-oF) و ارتباطات جمعی هوش مصنوعی تعریف شده‌اند، در حالی که ترافیک بهترین تلاش در صف‌های تلفات جداگانه باقی مانده است.
• بارگذاری سخت افزار فعال شد: تخلیه تونل VXLAN/NVGRE، تقسیم‌بندی جمع کنترلی و LRO (دریافت بزرگ) برای کاهش مداخله CPU در هر بسته فعال شدند.
• قابلیت برنامه ریزی آماده DPU: با استفاده از ASAP²، تیم قوانین جریان سبک وزن را برای هدایت ترافیک ذخیره سازی مستقیماً به نقاط پایانی هدف NVMe-oF، با دور زدن پشته شبکه هسته به طور کامل، مستقر کرد.

اعتبار سنجی سازگاری ساده بودسازگار با MCX623106AN-CDATلیست تمام مدل‌های سرور در ناوگان (سری‌های Dell PowerEdge R750 و Supermicro Ultra) را پوشش می‌دهد و گره‌های Red Hat OpenShift و اوبونتو درایورهای جدید را بدون مشکل پذیرفته‌اند.

نتایج و مزایای قابل اندازه گیری

پس از سه هفته استقرار تولید در 40 درصد از ناوگان محاسباتی، دستاوردهای عملکرد بلافاصله قابل مشاهده بود. جدول زیر معیارهای کلیدی قبل و بعد را خلاصه می کند:

فراتر از بهبودهای کمی، تیم مهندسی یک تغییر کیفی در پایداری عملیاتی را گزارش کرد. مکانیسم‌های مبتنی بر سخت‌افزار PFC و ECN (اعلان ازدحام صریح) تضمین می‌کنند که ترافیک ذخیره‌سازی تقریباً بدون تلفات باقی می‌ماند و طوفان‌های ارسال مجدد آبشاری را که قبلاً SLAهای برنامه را تحت تأثیر قرار می‌داد از بین می‌برد. علاوه بر این،کارت شبکه PCIe آداپتور MCX623106AN-CDAT ConnectXرمزگذاری IPSec با نرخ خطی برای ترافیک تکراری متقابل انجام می‌شود و تیم امنیتی را قادر می‌سازد تا سیاست‌های اعتماد صفر را بدون استقرار ابزارهای رمزگذاری اختصاصی اعمال کند.

خلاصه و چشم انداز آینده نگر

این استقرار تاکید می کند کهراه حل کارت آداپتور اترنت MCX623106AN-CDATصرفاً یک ارتقاء تدریجی NIC نیست، بلکه یک توانمندساز استراتژیک برای معماری‌های مرکز داده مدرن است. این آداپتور با ترکیب RoCEv2 شتاب‌دهنده سخت‌افزاری، قابلیت برنامه‌ریزی انعطاف‌پذیر و قابلیت‌های تخلیه جامع، به طور موثر یک پارچه اترنت استاندارد را به یک لایه زیرساختی با تأخیر کم و با راندمان بالا تبدیل می‌کند. سازمان فناوری اطلاعات اکنون در حال برنامه ریزی برای گسترش استقرار به تمام گره های باقی مانده است و به طور فعال در حال ارزیابیمشخصات MCX623106AN-CDATبرای نسل بعدی طرح های Spine-Leaf 50G.

برای معماران زیرساخت و مدیران فناوری اطلاعات که با سقف عملکرد مشابه روبرو هستند،MCX623106AN-CDATیک مسیر قانع کننده و اثبات شده ارائه می دهد. همانطور که یکی از معماران ارشد اشاره کرد:ما به تأخیر بهتری نسبت به NIC های 25G قبلی خود با نصف هزینه CPU دست یافتیم و مجبور نبودیم حتی یک رک را دوباره کابل کنیم.با وسعتشسازگار با MCX623106AN-CDATاکوسیستم و رقابتیقیمت MCX623106AN-CDATموقعیت‌یابی، این آداپتور به خوبی آماده است تا به انتخاب پیش‌فرض برای استقرار 25G RoCE تبدیل شود - چه حجم کار آموزش هوش مصنوعی، ذخیره‌سازی توزیع شده یا تجزیه و تحلیل بلادرنگ باشد.