NVIDIA Mellanox MCX653106A-HDAT در عمل: دستیابی به انتقال RDMA / RoCE کم تاخیر و پیشرفت های سرور

در محیط‌های مرکز داده مدرن - فضای ذخیره‌سازی توزیع‌شده، تجارت با فرکانس بالا، و خوشه‌های آموزشی هوش مصنوعی - دو چالش دائمی باقی می‌ماند: کاهش تأخیر ناشی از شبکه و به حداکثر رساندن توان پردازشی سرور بدون بارگذاری بر CPU. این برنامه کاربردی به بررسی این می‌پردازد که چگونه یک ارائه‌دهنده زیرساخت ابری پیشرو با استقرار آن به این مسائل دقیق پرداخته استNVIDIA Mellanox MCX653106A-HDATآداپتور سرور در گره های محاسباتی و ذخیره سازی آنها.

پس زمینه و چالش

زیرساخت 25 گیگابایتی موجود ارائه دهنده، مبتنی بر آداپتورهای اترنت استاندارد با پشته های TCP/IP مبتنی بر نرم افزار، محدودیت های واضحی را نشان می داد. بارهای کاری ذخیره سازی با استفاده از NVMe روی Fabrics، افزایش تاخیر غیرقابل پیش بینی (اغلب بیش از 50 میکروثانیه) را تجربه کردند، در حالی که خوشه های پایگاه داده از استفاده بالای CPU رنج می بردند - تا 35٪ از هسته های مصرف شده توسط پردازش شبکه به تنهایی. تیم مهندسی به راه‌حلی نیاز داشت که بتواند تأخیر کمتر از 10 میکرو ثانیه را برای تراکنش‌های RDMA ارائه کند و از توان عملیاتی 200 گیگابایتی بدون نیاز به بازنگری کامل معماری پشتیبانی کند.

پس از ارزیابی گزینه های متعدد، آنها به سمتکارت آداپتور اترنت MCX653106A-HDAT، که قول RoCE بارگذاری شده سخت افزاری (RDMA از طریق اترنت همگرا) و ادغام یکپارچه با توپولوژی برگ-اسپین مبتنی بر لینوکس کومولوس را می داد.

راه حل و رویکرد استقرار

استقرار در اطرافآداپتور MCX653106A-HDAT ConnectX کارت شبکه PCIe، از پیکربندی دو پورت 100GbE خود برای ایجاد یک پارچه غیر مسدود کننده استفاده می کند. هر گره محاسباتی یک آداپتور دریافت کرد، در حالی که گره‌های ذخیره‌سازی به دو مورد برای افزونگی مجهز شدند. مراحل اجرایی کلیدی شامل:

• فعال کردن RoCEv2 با PFC (کنترل جریان اولویت) و ECN (اعلان ازدحام صریح) برای اطمینان از حمل و نقل بدون تلفات
• پیکربندی SR-IOV برای اختصاص توابع مجازی به پایگاه داده با اولویت بالا و بارهای کاری ذخیره سازی
• استقرار آخرینسازگار با MCX653106A-HDATپشته درایور (NVIDIA DOCA 2.5) در سراسر گره های Ubuntu 22.04 LTS
• پیاده سازی شتاب DPDK مبتنی بر سخت افزار برای مسیرهای پردازش بسته

بر اساسبرگه داده MCX653106A-HDATو اعتبارسنجی قبل از استقرار، تیم تاخیر سخت‌افزاری زیر 1µs و حداکثر 215 میلیون بسته در ثانیه (MPPS) را برای تراکنش‌های بسته‌های کوچک پیش‌بینی کرد - معیارهایی که برنامه‌ریزی ظرفیت آنها را هدایت می‌کرد.

نتایج و مزایای قابل اندازه گیری

پس از چهار هفته آزمایشی بر روی 50 گره تولید، تیم زیرساخت پیشرفت‌های زیر را هنگام مقایسه ثبت کردند.NVIDIA Mellanox MCX653106A-HDATدر برابر آداپتورهای قدیمی آنها:

فراتر از اعداد خام، تیم مهندسی خاطرنشان کرد کهراه حل کارت آداپتور اترنت MCX653106A-HDATراه‌حل‌های تنظیمی که قبلاً مورد نیاز بود را حذف کرد - مانند هک‌های ادغام وقفه و بافرهای دریافت بزرگ. بارگذاری‌های سخت‌افزاری آداپتور برای VXLAN و Geneve همچنین پشته شبکه کانتینری آن‌ها را ساده کرد و تأخیر پاد به پاد را تا 40 درصد در محیط‌های Kubernetes کاهش داد.

برای مدیران IT که هزینه ها را ارزیابی می کنند،قیمت MCX653106A-HDATمقایسه با راه‌حل‌های قابل مقایسه با 200 گیگابایت نشان داد که هزینه کل مالکیت 15 تا 20 درصد پایین‌تر است، در حالی که صرفه‌جویی در هسته CPU و کاهش استفاده از پورت سوئیچ را در نظر می‌گیریم. در همین حال،MCX653106A-HDAT برای فروشدرخواست‌های تیم‌های مجاور - از جمله HPC و تجزیه و تحلیل بلادرنگ - قبلاً برای چرخه تدارکات بعدی ارسال شده است.

خلاصه و چشم انداز

استقرار آن را تایید می کندNVIDIA Mellanox MCX653106A-HDATصرفاً یک ارتقاء مشخصات نیست، بلکه یک جهش کاربردی برای محیط‌های حساس به تأخیر و محدود به توان عملیاتی است. سازمان‌ها با تغییر پردازش شبکه از نرم‌افزار به سخت‌افزار - از طریق تخلیه‌های RoCE، SR-IOV و معماری آماده GPUDirect، می‌توانند به تأخیر قطعی مقیاس میکروثانیه دست یابند و در عین حال چرخه‌های CPU را برای منطق برنامه بازیابی کنند.

همانطور که تیم زیرساخت گسترش خود را به بیش از 500 گره گسترش می دهد، آنها همچنین در حال بررسی رمزگذاری داخلی داخلی آداپتور (IPsec/TLS) برای امنیت چند مستاجر و PTP (IEEE 1588v2) برای بارهای کاری خدمات مالی هستند. برای مهندسانی که به دنبال تنظیمات معتبر هستند،مشخصات MCX653106A-HDATو طرح های مرجع از طریق پورتال توسعه دهنده DOCA NVIDIA در دسترس هستند. این مورد در دنیای واقعی یک چیز را روشن می کند:کارت شبکه PCIe آداپتور MCX653106A-HDAT ConnectXوعده اترنت با تاخیر کم و توان عملیاتی بالا را برای مراکز داده نسل بعدی ارائه می دهد.

برای بررسی فنی عمیق تر، با مقام رسمی مشورت کنیدبرگه داده MCX653106A-HDATیا با معمار راه حل NVIDIA منطقه ای خود تماس بگیرید.