آداپتور سرور NVIDIA Mellanox MCX653106A-HDAT در عمل | انتقال با تأخیر کم RDMA/RoCE و افزایش توان عملیاتی سرور

آداپتور سرور NVIDIA Mellanox MCX653106A-HDAT در عمل | انتقال با تأخیر کم RDMA/RoCE و افزایش توان عملیاتی سرور

پیش‌زمینه و چالش: دیوار عملکرد پایگاه داده توزیع شده

یک شرکت خدمات مالی جهانی که یک پلتفرم معاملاتی با فرکانس بالا را اداره می‌کند، با یک سقف عملکرد حیاتی در خوشه پایگاه داده درون حافظه‌ای توزیع شده خود مواجه شد. این خوشه که شامل 48 سرور کالایی بود که یک فروشگاه کلید-مقدار سفارشی را اجرا می‌کردند، برای مدیریت میلیون‌ها تراکنش در ثانیه با زمان پاسخ‌دهی زیر میلی‌ثانیه طراحی شده بود. با این حال، با افزایش حجم معاملات، زیرساخت شبکه به گلوگاه اصلی تبدیل شد. آداپتورهای 25GbE موجود که با TCP/IP کار می‌کردند، تأخیر دم غیرقابل پیش‌بینی را معرفی کردند که گاهی اوقات زمان تکمیل تراکنش را فراتر از توافق‌نامه سطح خدمات سختگیرانه 500 میکروثانیه‌ای شرکت قرار می‌داد.

تیم زیرساخت دو مشکل اساسی را شناسایی کرد. اول، پشته TCP/IP تقریباً 35٪ از منابع CPU را در سراسر خوشه مصرف می‌کرد و توانایی موتور پایگاه داده برای پردازش کوئری‌های ورودی را محدود می‌کرد. دوم، عدم پشتیبانی از RDMA به این معنی بود که هر ارتباط بین گره‌ای به چندین کپی حافظه و عبور از هسته نیاز داشت و 15-20 میکروثانیه سربار به ازای هر پیام اضافه می‌کرد — یک جریمه قابل توجه در سیستمی که هر میکروثانیه اهمیت دارد. این شرکت به راه‌حلی نیاز داشت که بتواند ارتباطات با تأخیر کم و قطعی را ارائه دهد و همزمان سربار CPU را کاهش دهد و سازگاری با زیرساخت اترنت موجود خود را حفظ کند.

راه حل و استقرار: پیاده‌سازی RoCE با MCX653106A-HDAT

پس از ارزیابی گسترده راه‌حل‌های شبکه‌سازی موجود، این شرکت NVIDIA Mellanox MCX653106A-HDAT را به عنوان پایه و اساس ارتقاء شبکه خود انتخاب کرد. این کارت شبکه PCIe در تمام 48 سرور پایگاه داده مستقر شد و جایگزین آداپتورهای نسل قبلی شد. کارت شبکه PCIe آداپتور ConnectX MCX653106A-HDAT ترکیبی مورد نیاز از پهنای باند بالا، RoCEv2 شتاب‌دهنده سخت‌افزاری و پشتیبانی GPUDirect را فراهم کرد — که امکان ارتباط RDMA واقعی را در زیرساخت اترنت موجود فراهم می‌کرد.

استقرار با یک رویکرد دقیق سازماندهی شده دنبال شد:

• آماده‌سازی زیرساخت: هر سرور کارت آداپتور اترنت MCX653106A-HDAT را دریافت کرد که از طریق لینک‌های دو پورتی 25GbE SFP28 به سوئیچ‌های بالای رک افزونه متصل شد. سوئیچ‌ها با کنترل جریان اولویت (PFC) و اعلان ازدحام صریح (ECN) پیکربندی شدند تا از انتقال اترنت بدون اتلاف اطمینان حاصل شود.
• پیکربندی RDMA: تیم RoCEv2 را بر روی صف‌های اولویت اختصاصی فعال کرد و یک استراتژی مدیریت ازدحام را پیاده‌سازی کرد که ترافیک RDMA را از ترافیک استاندارد TCP/IP جدا می‌کرد.
• ادغام پایگاه داده: فروشگاه کلید-مقدار توزیع شده با کتابخانه‌های شبکه آگاه از RDMA مجدداً کامپایل شد و امکان انتقال مستقیم حافظه به حافظه بین گره‌های پایگاه داده را بدون دخالت CPU میزبان فراهم کرد.
• اعتبارسنجی: یک عرضه مرحله‌ای اجرا شد، که با زیرمجموعه‌ای از گره‌ها شروع شد و به دنبال آن آزمایش بار برای اعتبارسنجی افزایش عملکرد و اطمینان از پایداری انجام شد.

طبق دیتاشیت MCX653106A-HDAT، این آداپتور از PCIe Gen 4.0 x16 پشتیبانی می‌کند و تا 256 گیگابایت بر ثانیه پهنای باند میزبان را ارائه می‌دهد — که برای اشباع کامل پورت‌های دوگانه 25GbE کافی است و در عین حال فضای کافی برای ارتقاء سرعت آینده به 50GbE یا 100GbE را حفظ می‌کند. تیم متوجه شد که این آداپتور کاملاً سازگار با MCX653106A-HDAT با سخت‌افزار سرور موجود آنها بود که از PCIe Gen 3.0 و 4.0 پشتیبانی می‌کرد و مسیر ارتقاء مرحله‌ای را ساده می‌کرد.

مشخصات MCX653106A-HDAT راهنمای تنظیم عملکرد تیم بود. آنها پارامترهای تجمیع وقفه را برای به حداقل رساندن تأخیر تنظیم کردند، تنظیمات اولویت در هر صف را پیکربندی کردند تا اطمینان حاصل شود که ترافیک تکثیر پایگاه داده بالاترین اولویت QoS را دریافت می‌کند و از تله‌متری داخلی آداپتور برای نظارت بر سلامت پارچه در زمان واقعی استفاده کردند.

نتایج و مزایای قابل اندازه‌گیری

بهبودهای عملکرد هم فوری و هم قابل توجه بود و مستقیماً بر عملیات معاملاتی شرکت تأثیر گذاشت:

فراتر از معیارهای کمی، NVIDIA Mellanox MCX653106A-HDAT مزایای عملیاتی را ارائه داد که تیم انتظار آن را نداشت. تأخیر قطعی، پاسخ‌های کوئری زیر 100 میکروثانیه را تضمین کرد و به شرکت اجازه داد تا با اطمینان، تضمین‌های SLA سخت‌گیرانه‌تری را به مشتریان معاملاتی خود ارائه دهد. هسته‌های CPU آزاد شده به پردازش کوئری پایگاه داده هدایت شدند و به طور مؤثر ظرفیت تراکنشی خوشه را بدون افزودن سخت‌افزار جدید افزایش دادند.

این تیم همچنین از تله‌متری پیشرفته آداپتور برای به دست آوردن دید نسبت به الگوهای ازدحام پارچه استفاده کرد و امکان برنامه‌ریزی ظرفیت پیشگیرانه و بهینه‌سازی عملکرد را فراهم کرد. راه حل کارت آداپتور اترنت MCX653106A-HDAT هم به عنوان یک شتاب‌دهنده عملکرد و هم به عنوان یک پلتفرم هوش عملیاتی ثابت شد.

خلاصه و چشم‌انداز

این استقرار تأیید کرد که MCX653106A-HDAT از NVIDIA Mellanox چیزی بیش از یک ارتقاء شبکه است — این یک سرمایه‌گذاری استراتژیک در عملکرد سیستم توزیع شده است. با فعال کردن RoCEv2 با تخلیه سخت‌افزاری، این آداپتور تأخیر کوئری را بیش از 80% کاهش داد، توان عملیاتی پایگاه داده را 3.6 برابر افزایش داد و کارایی زیرساخت را به طور قابل توجهی بهبود بخشید. این شرکت با موفقیت الزامات SLA سختگیرانه خود را برآورده کرد و در عین حال یک به‌روزرسانی سخت‌افزاری برنامه‌ریزی شده را به تعویق انداخت و صرفه‌جویی قابل توجهی در سرمایه به ارمغان آورد.

این تیم اکنون در حال بررسی موارد استفاده اضافی برای NVIDIA Mellanox MCX653106A-HDAT است، از جمله NVMe-oF برای ذخیره‌سازی بلوکی با کارایی بالا و تجزیه و تحلیل شتاب‌دهنده GPU برای مدل‌سازی ریسک در زمان واقعی. قیمت MCX653106A-HDAT، هنگامی که در برابر صرفه‌جویی عملیاتی و افزایش عملکرد ارزیابی شد، بازده سرمایه‌گذاری قانع‌کننده‌ای را نشان داد — به خصوص در مقایسه با هزینه استقرار زیرساخت InfiniBand اختصاصی یا خرید گره‌های محاسباتی اضافی.

برای سازمان‌هایی که فعالانه گزینه‌های MCX653106A-HDAT برای فروش را ارزیابی می‌کنند، این مطالعه موردی نشان می‌دهد که این آداپتور به وعده خود مبنی بر شبکه‌سازی با تأخیر کم و توان عملیاتی بالا در محیط‌های تولید واقعی عمل می‌کند. ترکیب شتاب‌دهنده سخت‌افزاری، تله‌متری جامع و سازگاری بی‌درز با زیرساخت اترنت موجود، NVIDIA Mellanox MCX653106A-HDAT را به یک جزء اساسی برای معماری‌های مدرن و پرتقاضای مراکز داده تبدیل می‌کند.