Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT سرور آداپتور در عمل: RDMA / RoCE رانده شده حمل و نقل کم تاخیر و سرور

در محیط‌های تولیدی واقعی که میزبان پایگاه‌های داده توزیع‌شده، خوشه‌های استنتاج هوش مصنوعی و ذخیره‌سازی فوق‌همگرا هستند، تأخیر و سربار CPU ناشی از پشته سنتی TCP/IP به موانع سختی برای مقیاس‌پذیری تبدیل شده‌اند. اخیراً یک تیم زیرساخت اینترنت در مقیاس بزرگ، ارتقاء جامع شبکه را بر اساس آداپتور سرور Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT تکمیل کرده است که بر اعتبارسنجی مزایای ملموس فناوری RDMA/RoCE برای انتقال با تأخیر کم و افزایش توان عملیاتی سرور تمرکز دارد. این مقاله جزئیات استقرار و نتایج کلیدی این مورد عملی را تشریح می‌کند.

این تیم در حال بهره‌برداری از خوشه‌ای متشکل از هزاران سرور بود که سیستم‌های ذخیره‌سازی توزیع‌شده (Ceph) و سیستم‌های توصیه‌گر بی‌درنگ را اجرا می‌کردند. در زمان اوج ترافیک، هر گره ذخیره‌سازی مجبور بود هزاران اتصال TCP همزمان را مدیریت کند که تقریباً ۳۰ درصد از منابع CPU را صرف پردازش پروتکل شبکه می‌کرد و تأخیر خواندن/نوشتن سرتاسری اغلب از ۲۰۰ میکروثانیه فراتر می‌رفت. علاوه بر این، آزمایش‌های NVMe over Fabrics در بین رک‌ها، فاقد قابلیت‌های تخلیه سخت‌افزاری، به طور مداوم در دستیابی به عملکرد فلش محلی مورد انتظار ناموفق بودند. این تیم به شدت به یک راه‌حل آداپتور سرور نیاز داشت که قادر به پشتیبانی از RoCEv2، ارائه تخلیه انتقال در سطح سخت‌افزار و همزمان ارائه توان عملیاتی بالا و تأخیر کم باشد.

پس از ارزیابی، این تیم MCX623106AN-CDAT را به عنوان موتور اصلی شبکه انتخاب کرد. این آداپتور متعلق به خانواده ConnectX-6 Dx است. با جایگزینی ساده آداپتورهای قدیمی ۱۰ گیگابیت اترنت با NVIDIA Mellanox MCX623106AN-CDAT در هر گره و استقرار پیکربندی شبکه بدون اتلاف RoCE (DCQCN و PFC)، این تیم پایه و اساس را بنا نهاد. برای استفاده کامل از کارت آداپتور اترنت MCX623106AN-CDAT، گره‌های ذخیره‌سازی تخلیه TCO سخت‌افزاری و تجمیع لینک پویا را فعال کردند. در طول استقرار، مهندسان به دیتاشیت MCX623106AN-CDAT برای راهنمایی در مورد قابلیت‌های PCIe 4.0 x16 و دو پورت ۱۰۰ گیگابیت اترنت مراجعه کردند و از بودجه لینک و سازگاری بک‌پلین اطمینان حاصل کردند. پس از آزمایش، تمام سرورها به اتصال سازگار با MCX623106AN-CDAT با سوئیچ‌های Leaf-Spine موجود دست یافتند و نیازی به تعویض تجهیزات شبکه اصلی نبود.

ارزیابی عملکرد پس از ارتقاء نتایج چشمگیری را به همراه داشت. هنگام اجرای همان بار کاری ذخیره‌سازی توزیع‌شده، گره‌های مجهز به کارت شبکه PCIe آداپتور ConnectX MCX623106AN-CDAT نشان دادند:

• میانگین تأخیر سرتاسری از ۲۱۰ میکروثانیه به ۱۸ میکروثانیه کاهش یافت (عملیات خواندن NVMe over Fabrics بر روی RoCEv2)؛
• سربار شبکه CPU از ۲۸ درصد به ۴ درصد کاهش یافت و چرخه‌های محاسباتی را برای برنامه‌های کاربردی آزاد کرد؛
• توان عملیاتی مؤثر در هر گره به ۹۸.۷ گیگابیت بر ثانیه رسید که نزدیک به نرخ خط است؛
• در کل، IOPS نوشتن تصادفی ۴K خوشه Ceph چند گره‌ای ۳.۲ برابر افزایش یافت.

سرپرست تیم خاطرنشان کرد: "راه حل کارت آداپتور اترنت MCX623106AN-CDAT قابلیت RoCE با نرخ خط واقعی را به محیط ما می‌آورد. بارهای کاری ترکیبی حساس به تأخیر که قبلاً غیرقابل تصور بودند، اکنون می‌توانند با وظایف پس‌زمینه در همان صفحه شبکه همزیستی داشته باشند." علاوه بر این، طبق سوابق تدارکات، قیمت MCX623106AN-CDAT در این مورد هزینه کل مالکیت (TCO) را ۴۰ درصد نسبت به آداپتورهای شتاب‌دهنده مبتنی بر FPGA کاهش داد و MCX623106AN-CDAT برای فروش از طریق کانال‌های استاندارد، جدول زمانی پروژه را به طور قابل توجهی کوتاه کرد. مشخصات MCX623106AN-CDAT جزئیات تأیید کرد که آداپتور تأخیر زیر ۶۰۰ نانوثانیه و عملکرد نرخ سیم را در تمام اندازه‌های بسته ارائه می‌دهد که کاملاً با الزامات تیم مطابقت داشت.

این تمرین کاربردی به وضوح نشان می‌دهد که MCX623106AN-CDAT فقط یک آداپتور اترنت با کارایی بالا نیست، بلکه سنگ بنای ساخت شبکه‌های مراکز داده با تأخیر کم و توان عملیاتی بالا است. معماری تخلیه کامل RoCE و موتور شتاب‌دهنده سخت‌افزاری آن، چالش‌های اصلی پردازش شبکه محدود به CPU و تأخیر پشته پروتکل را برطرف می‌کند. برای هر سازمانی که به دنبال افزایش توان عملیاتی سرور، کاهش تأخیر دسترسی به ذخیره‌سازی و آماده‌سازی برای بارهای کاری هوش مصنوعی و NVMe-oF است، Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT مسیری اثبات شده و آماده برای تولید را ارائه می‌دهد.