NIC سرور ملانوکس (NVIDIA Mellanox) MCX556A-ECAT | RDMA/RoCE با تأخیر کم حمل و نقل و افزایش ظرفیت سرور

مراکز داده های هیپراسکیل و محیط های ابری شرکت با یک چالش مشترک روبرو هستند: با افزایش تعداد هسته های CPU، شبکه های سنتی TCP / IP به گلوی فشرده تبدیل می شوند.و سوئیچ های زمینه ای منابع قابل توجهی از CPU را مصرف می کننداین مطالعه موردی بررسی می کند که چگونه یک تیم زیرساخت خدمات مالی با استفاده از برنامه هایملانوکس (NVIDIA Mellanox) MCX556A-ECATسرور NIC، به دست آوردن کاهش چشمگیر در تاخیر و بهبود قابل اندازه گیری در خروجی سرور.

پس زمینه و چالش ها: وقتی که هر میکرو ثانیه ای اهمیت دارد

تیم زیرساخت یک خوشه پایگاه داده توزیع شده را مدیریت می کرد که از تجزیه و تحلیل ریسک در زمان واقعی پشتیبانی می کرد. با صدها سرور کالایی که از طریق 25GbE متصل بودند، ارتباطات بین گره ها به TCP متکی بود.با افزایش حجم معاملات، سه مسئله مهم مطرح شد: استفاده از پردازنده در گره های پایگاه داده به دلیل پردازش استیک شبکه بیش از 75٪ بود؛تاخیر دم برای عملیات حافظه متقابل گره به 200 میکرو ثانیه در ساعات شلوغ افزایش یافته استو این شرکت با هزینه های بیش از حد مواجه بود. اضافه کردن سرورهای بیشتر فقط برای رسیدگی به هزینه های شبکه، نه تقاضای محاسبات.MCX556A-ECAT راه حل کارت آداپتور اترنتکه می تواند شبکه را از کار ببرد در حالی که دسترسی مستقیم به حافظه (RDMA) را فعال می کند.

راه حل و استقرار: اجرای RoCE با آداپتورهای ConnectX

پس از ارزیابی گزینه ها، تیم گزینه ها را انتخاب کرد.NVIDIA Mellanox MCX556A-ECATبر اساس ظرفیت دو پورت 100GbE و پشتیبانی بومی RoCE (RDMA over Converged Ethernet).کارت شبکه PCIe MCX556A-ECAT ConnectX، هر میزبان یک آداپتور واحد متصل به یک سوئیچ بالا از قفسه با قابلیت RoCE با PFC (کنترول جریان اولویت) و ECN (اخطار فشرده سازی صریح) را دریافت کرد.راه مهاجرت ساده بود: آداپتورسازگاری با MCX556A-ECATبا اسلات های موجود PCIe 3.0 ، حذف ارتقاء سرور. پیکربندی شامل فعال کردن RoCE در استیک درایور و تنظیم آستانه های بافر همانطور که درورق اطلاعات MCX556A-ECATدر عرض دو هفته، کلستر 120 گره ای برای تکرار پایگاه داده و کش کردن در حافظه بر روی ارتباطات مبتنی بر RDMA کار می کرد.

درکارت آداپتور اترنت MCX556A-ECATعملیات کلیدی خارج شده: دور زدن هسته از طریق userpace Verbs API، حمل و نقل مبتنی بر سخت افزار برای نوشتن / خواندن RDMA و حرکت داده های کپی صفر.ملانوکس (NVIDIA Mellanox) MCX556A-ECATبه ستون فقرات کم تاخیر خوشه بدون تغییر منطق برنامه های موجود فقط از سوکت های TCP به libfabric یا UCX تغییر می کند، تغییر در یک پنجره نگهداری منظم مدیریت می شود.

نتایج و مزایای: سود قابل اندازه گیری در تاخیر و خروجی

معیارهای پس از راه اندازی سرمایه گذاری را تایید کردند.مشخصات MCX556A-ECATبه عنوان یک خط پایه (توانایی تاخیر سخت افزاری زیر میکرو ثانیه) ، تیم به دست آورد:

فراتر از اعداد خام، تیم به تاخیر دم پایدار کمتر از 4 میکرو ثانیه در 99.9th percentile critical برای محاسبات ریسک دست یافت.هسته های CPU آزاد شده به سرورهای موجود اجازه می دهد تا ۴۰٪ رشته های کاربردی بیشتری را مدیریت کنند، به تعویق انداختن خرید سخت افزار.MCX556A-ECAT برای فروشاقتصاد روشن شد: یک آداپتور در هر سرور ROI را در عرض شش ماه به تنهایی از تعداد گره های کاهش یافته و هزینه های انرژی / خنک کننده پایین تر.قیمت MCX556A-ECATدر مقایسه با کارت های 100G رقابتی، کل هزینه مالکیت ٬ از جمله سازگاری نرم افزار و ثبات درایور ٬ راه حل Mellanox را مورد حمایت قرار داد.

تیم همچنین تایید کردسازگاری با MCX556A-ECATاین شبکه های ذخیره سازی را در یک پارچه متمرکز کرده و کابل گذاری و پورت های سوئیچ را ساده می کند.بر اساسورق اطلاعات MCX556A-ECAT، کارت از 16 میلیون IOPS در هر پورت پشتیبانی می کند که تیم قصد دارد در طول ارتقاء ذخیره سازی سال آینده استفاده کند.

خلاصه و چشم انداز: پایه ای برای مراکز داده نسل بعدی

این کار نشان می دهد کهMCX556A-ECATاین تنها یک NIC سریع نیست بلکه یک پلت فرم برای تحول معماری است. با فعال کردن RDMA / RoCE، سازمان ها می توانند گلوی فشنی TCP را بشکافند، چرخه های CPU را برای حجم کار با ارزش افزوده تغییر دهند،و به طور کارآمد مقیاس.NVIDIA Mellanox MCX556A-ECATبرای تیم هایی که ارتقاءات 100G را ارزیابی می کنند، مزایای آن به آموزش هوش مصنوعی، شبیه سازی های HPC و پایگاه های داده توزیع شده گسترش می یابد.کارت شبکه PCIe MCX556A-ECAT ConnectXاین یک انتخاب بالغ و به خوبی مستند است.مشخصات MCX556A-ECATبرای تنظیم عملکرد یا جستجو برایMCX556A-ECAT برای فروشبرای برنامه ریزی یک راه اندازی در کلستر، این آداپتور وعده ای از یک اترنت بدون ضرر و کم تاخیر را ارائه می دهد.