آداپتور سرور NVIDIA Mellanox MCX653105A-HDAT در حال عمل: انتقال و سرور با تأخیر کم RDMA/RoCE

در مراکز داده مدرن، ذخیره سازی توزیع شده، محاسبات با عملکرد بالا (HPC) و خوشه های آموزش هوش مصنوعی با یک تنگنایی مشترک روبرو هستند: شبکه.استیک های سنتی TCP/IP تاخیر قابل توجهی و هزینه های اضافی CPU را ایجاد می کننداین مطالعه موردی بررسی می کند که چگونه یک ارائه دهنده ابری متوسط با استفاده ازNVIDIA Mellanox MCX653105A-HDATآداپتور سرور برای فعال کردن حمل و نقل کم تاخیر مبتنی بر RDMA / RoCE و افزایش چشمگیری سرعت سرور.

پس زمینه و چالش ها: وقتی که هر میکرو ثانیه ای اهمیت دارد

زیرساخت های موجود 25GbE ارائه دهنده، که استاندارد TCP / IP را اجرا می کنند، برای پشتیبانی از پشتیبان ذخیره سازی جدید NVMe-over-Fabrics خود تلاش می کردند.استفاده از CPU در گره های ذخیره سازی به طور منظم بیش از 70٪ فقط از پردازش شبکه، و تاخیر بین گره ها در حدود 50μs حرکت می کرد که برای بار های کار پایگاه داده حساس به تاخیر قابل قبول نیست. علاوه بر این، همانطور که آنها به صدها گره مقیاس پذیر شدند،ازدحام شبکه منجر به افزایش تاخیر دم شده است که بر SLA های برنامه تأثیر می گذاردآنها به راه حلی نیاز داشتند که بتواند هزینه های شبکه را کاهش دهد، تاخیر زیر میکرو ثانیه را فراهم کند و عملکرد ثابت را تحت بار حفظ کند.

راه حل و پیاده سازی: معرفی کارت شبکه PCIe MCX653105A-HDAT ConnectX Adapter

پس از ارزیابی چندین گزینه، این تیم گزینهکارت آداپتور اترنت MCX653105A-HDATبرای قابلیت دو پورت 100GbE و پشتیبانی بومی از RoCE (RDMA بیش از اترنت تبدیل شده).NVIDIA Mellanox MCX653105A-HDATدر 120 گره ذخیره سازی و محاسبات مستقر شده است، با پیکربندی زیر:

• RoCE فعال شدهبا ECN (اخطار های صریح از ازدحام) و DCQCN برای کنترل ازدحام
• NVMe-oF هدف تخلیهبه سخت افزار، دور زدن CPU میزبان برای ذخیره سازی I / O
• تقسیم بندیدر جریان های اولویت بدون ضرر برای ترافیک ذخیره سازی
• نظارت از راه دوربا استفاده از شمارنده های عملکرد داخلی آداپتور

بر اساسورق اطلاعات MCX653105A-HDATاین کارت از هر دو پروتکل InfiniBand و Ethernet پشتیبانی می کند، اما تیم RoCEv2 را برای ادغام یکپارچه با سوئیچ های Ethernet موجود خود انتخاب کرد. سازگاری ساده بود:تمام مدل های اصلی سرورMCX653105A-HDAT سازگار، تنها نیاز به اسلات های استاندارد PCIe و نرم افزار به روز شده دارد. استقرار در طول دو آخر هفته با صفر زمان خرابی با استفاده از ویژگی های مهاجرت زنده آداپتور انجام شد.

نتایج و مزایای: سودهای قابل اندازه گیری عملکرد

تاثیر آن فوری و قابل توجه بود. جدول زیر شاخص های کلیدی قبل و بعد از استفاده از سیستم را خلاصه می کند.MCX653105A-HDAT راه حل کارت آداپتور اترنت:

علاوه بر این ارقام، تیم مزایای عملیاتی اضافی را مشاهده کرد.مشخصات MCX653105A-HDATاز جمله ردیابی اتصال مبتنی بر سخت افزاری و ASAP2 جریان تخلیه، که کاهش شرق-غرب ترافیک jitter و امکان مقیاس بندی صاف تر.قیمت MCX653105A-HDATدر عرض شش ماه به دلیل کاهش هزینه های مجوز هسته CPU و تراکم ذخیره سازی بالاتر در هر گره توجیه شد.MCX653105A-HDAT براي فروشاز طریق کانال های استاندارد، این عملکرد را برای سازمان های هر اندازه قابل دسترسی می کند.

خلاصه و چشم انداز: پایه ای برای زیرساخت های نسل بعدی

این پرونده نشان می دهد کهکارت شبکه PCIe MCX653105A-HDAT ConnectXاین تنها یک NIC سریعتر نیست، بلکه یک پلت فرم برای محاسبات واقعی مبتنی بر داده است.NVIDIA Mellanox MCX653105A-HDATنحوه ارتباط سرورها را تغییر می دهد و هزینه های پروتکل های قدیمی را از بین می برد و تمام پتانسیل ذخیره سازی NVMe و پارچه های حافظه توزیع شده را باز می کند.

در آینده، ارائه دهنده برنامه ریزی برای گسترش انتشار خود را برای شامل GPUDirect RDMA برای بار های کاری آموزش هوش مصنوعی،و همچنین بررسی ویژگی های برنامه نویسی آداپتور برای پردازش بسته های سفارشیبرای معماران فناوری اطلاعات و مهندسان شبکه که با چالش های مقیاس پذیری مشابهی روبرو هستند،کارت آداپتور اترنت MCX653105A-HDATارائه می دهد یک راه ثابت و آماده برای آینده به کم تاخیر، شبکه های مرکز داده با سرعت بالا.