آداپتور سرور NVIDIA Mellanox MCX631432AN-ADAB در عمل: انتقال با تأخیر کم RDMA/RoCE و افزایش توان عملیاتی سرور

در محیط‌های مرکز داده مدرن، فضای ذخیره‌سازی توزیع‌شده، خوشه‌های آموزشی هوش مصنوعی و پلت‌فرم‌های تراکنش با فرکانس بالا، همگی یک تنگنا مشترک دارند: تأخیر شبکه و سربار CPU ناشی از پشته‌های TCP/IP سنتی. برای یک ارائه‌دهنده ابری با اندازه متوسط ​​که با عملکرد ذخیره‌سازی متناقض و لینک‌های دسترسی متراکم 25 گیگابایتی دست و پنجه نرم می‌کند، جستجوی یک راه‌حل واقعی بدون سخت‌افزار آنها را بهNVIDIA Mellanox MCX631432AN-ADAB. این مطالعه موردی برنامه به بررسی چگونگیکارت آداپتور اترنت MCX631432AN-ADABزیرساخت های خود را از غیرقابل پیش بینی محدود به CPU به عملیات با نرخ خط و تاخیر کم تبدیل کردند.

پیشینه و چالش: هزینه شبکه های متعارف

محیط قدیمی ارائه‌دهنده به کارت‌های کارت شبکه استاندارد 25GbE با iSCSI و NFS مبتنی بر نرم‌افزار متکی بود. با افزایش تراکم VM، استفاده از CPU در گره‌های ذخیره‌سازی نیز افزایش یافت - اغلب فقط برای پردازش شبکه از 60٪ فراتر می‌رود. افزایش تأخیر در طول پنجره های پشتیبان و انتقال زنده باعث وقفه زمانی برنامه شد. معماران به یک راه حل 25 گیگابایتی دو پورت نیاز داشتند که بتواند حمل و نقل را تخلیه کند، امنیت سخت افزاری را اعمال کند و از RDMA بدون بازنویسی برنامه ها پشتیبانی کند. پس از بررسیبرگه داده MCX631432AN-ADABو بازخورد اولیه جامعه، آنها را انتخاب کردندMCX631432AN-ADAB ConnectX-6 Lx دو پورت 25GbE SFP28طراحی به عنوان پایه ای برای تعمیرات اساسی شبکه آنها.

راه حل و استقرار: فعال کردن RoCE برای ذخیره سازی و محاسبه

این استقرار NIC های موجود را در 120 گره محاسباتی و 15 سرور ذخیره سازی جایگزین کردMCX631432AN-ADABآداپتورها هر آداپتور برای RoCE (RDMA از طریق اترنت همگرا) با استفاده از ECN و PFC روی سوئیچ‌های spine-leaf موجود پیکربندی شد. مراحل کلیدی شامل:

• فعال کردن راه‌اندازی قابل اعتماد سخت‌افزار و بارگذاری IPsec درون خطی در همه آداپتورها برای برآورده کردن الزامات انطباق.
• انتقال ترافیک ذخیره سازی از iSCSI به NVMe از طریق Fabrics (NVMe-oF) با حمل و نقل RoCE، به طور کامل توسطراه حل کارت آداپتور اترنت MCX631432AN-ADABپشته
• استقرار تله متری مبتنی بر لینوکس Cumulus NVIDIA برای نظارت بر عملکرد RoECe هر پورت و اعلان‌های تراکم.

به گفته این مقام مسئولمشخصات MCX631432AN-ADAB، این آداپتور تاخیر سخت افزاری زیر 800ns را ارائه می دهد و در صورت جفت شدن با هاست PCIe 4.0 تا 200 گیگابیت بر ثانیه توان عملیاتی دو جهته را پشتیبانی می کند. در عمل، تیم مهندسی تأخیر ثابت 1.5 میکروثانیه در سطح برنامه را برای خواندن NVMe-oF اندازه‌گیری کردند - بهبودی 14 برابری نسبت به مسیر نرم‌افزار قبلی iSCSI. استفاده از CPU در سرورهای ذخیره سازی از 58٪ به تنها 11٪ در طول آزمایش های اوج IOPS، به لطف تخلیه کامل پروتکل و تعدیل وقفه پویا، کاهش یافت.

نتایج قابل اندازه گیری و مزایای تجاری

پس از چهار هفته زمان تولید، ارائه دهنده سه دستاورد عمده را گزارش کرد:

• افزایش توان عملیاتی:هر گره ذخیره سازی اکنون هر دو پورت 25 گیگابیت را اشباع می کند (مجموع 49.5 گیگابیت بر ثانیه) در حالی که لرزش زیر میکروثانیه را در مقایسه با توان 18 گیگابیت بر ثانیه قبلی حفظ می کند.
• ثبات تأخیر:تأخیر نوشتن صدک 99 برای پایگاه‌های داده توزیع‌شده از 780 میکرو ثانیه به 94 میکروثانیه کاهش یافت، و وقفه‌های زمانی در طول تعادل مجدد خوشه‌ای حذف شد.
• سادگی عملیاتی:یک مجموعه از درایورها، آداپتورهای محاسباتی و ذخیره سازی را مدیریت می کنند. راسازگار با MCX631432AN-ADABاکوسیستم شامل تمام توزیع‌های اصلی لینوکس است که امکان به‌روزرسانی هسته بدون توقف را فراهم می‌کند.

علاوه بر این، تیم ارزیابی کردقیمت MCX631432AN-ADABنسبت به کل هزینه مالکیت و دریافتند که ریشه اعتماد سخت افزاری آداپتور و تخلیه RoCE نیاز به ابزارهای رمزگذاری جداگانه و RNIC های اختصاصی را از بین برده است و در نتیجه TCO سه ساله 33 درصد کاهش می یابد. برای سازمان هایی که قصد توسعه دارند،MCX631432AN-ADAB برای فروشاز طریق توزیع‌کنندگان اصلی، اکنون قیمت‌گذاری حجمی را ارائه می‌دهد، که ارتقای مقیاس بزرگ را از نظر مالی مقرون‌به‌صرفه می‌سازد.

خلاصه و چشم انداز

راNVIDIA Mellanox MCX631432AN-ADABثابت کرد که چیزی بیش از یک رابط شبکه ساده است - این ابزار به یک بافت واقعی همگرا و کم تأخیر تبدیل شد. با تغییر پردازش حمل‌ونقل از CPU به سیلیکون، ارائه‌دهنده پتانسیل کامل ذخیره‌سازی NVMe خود را باز کرده و مصرف انرژی در هر سرور را به طور متوسط ​​18 وات کاهش داد. از آنجایی که مراکز داده همچنان از ذخیره سازی تفکیک شده و استنباط هوش مصنوعی در زمان واقعی استقبال می کنند،MCX631432AN-ADAB ConnectX-6 Lx دو پورت 25GbE SFP28آداپتور یک مسیر بالغ، مستند و به طور گسترده برای موفقیت RDMA/RoCE ارائه می دهد. معماران فناوری اطلاعات که به دنبال دستاوردهای عملکرد قابل تکرار هستند، می‌توانند با اطمینان به این مورد هنگام برنامه‌ریزی ابتکارات نوسازی 25 گیگابایتی خود اشاره کنند.