NVIDIA Mellanox MCX653106A-HDAT سرور آداپتور کتاب سفید فنی RDMA / RoCE انتقال کم تاخیر و خروجی سرور

NVIDIA Mellanox MCX653106A-HDAT آداپتور سرور کتاب سفید فنی.

1. پیش زمینه پروژه و تجزیه و تحلیل نیازهای

بارهای کاری مرکز داده های مدرن شامل هوش مصنوعی، محاسبات با عملکرد بالا (HPC) ، پایگاه های داده توزیع شده،و ذخیره سازی سازمانی نیازمندی های شبکه را به طور اساسی تغییر داده انداستیک های شبکه مبتنی بر TCP / IP سنتی، در حالی که همه جا هستند، تاخیر و هزینه های CPU را که در مقیاس ممنوع می شوند، معرفی می کنند. برنامه هایی مانند NVMe over Fabrics (NVMe-oF) ،آموزش یادگیری ماشین توزیع شده، و تجزیه و تحلیل در زمان واقعی نیاز به تاخیر تعیین کننده کمتر از 5 مایکرو ثانیه و حرکت داده های شتاب دهنده سخت افزاری برای دستیابی به عملکرد بهینه دارد.

معماران شبکه و مدیران زیرساخت ها به طور فزاینده ای RDMA را در Ethernet Converged (RoCE) به عنوان حمل و نقل انتخاب شده برای این بارهای کاری عملکردی انتقادی اتخاذ می کنند.استفاده موفق از RoCE بستگی به توانایی آداپتور زیربنایی برای کاهش بار پردازش حمل و نقل دارد.، مدیریت ترافیک به طور موثر و ادغام بدون مشکل با پارچه های موجود اترنت بدون نیاز به ارتقاء فولکلور.و محیط های HPC شامل:

• تاخیر RDMA از انتهای به انتهای کمتر از 3 میکرو ثانیه برای برنامه های حساس به تاخیر مانند تجارت فرکانس بالا و پایگاه های داده در حافظه
• ظرفیت کل بیش از 100 گیگابایت در ثانیه در هر سرور برای پشتیبانی از گره های ذخیره سازی با چگالی بالا و خوشه های محاسباتی شتاب دهنده GPU
• تخلیه سخت افزار برای GPUDirect برای حذف کپی های حافظه میزبان در بار های کاری هوش مصنوعی و HPC
• حمل و نقل اترنت بدون ضرر با PFC و ECN برای عملکرد تعیین کننده و بدون اضطراب
• تله متری جامع و مسیر داده های قابل برنامه ریزی برای دید عملیاتی فعال و عیب یابی

درNVIDIA Mellanox MCX653106A-HDATبه طور مستقیم این الزامات را از طریق معماری پیشرفته ConnectX خود، ارائه RoCEv2، مدیریت فشرده سازی پیشرفته،و یک چارچوب برنامه نویسی جامع مناسب برای سخت ترین محیط های شرکت و ابر.

2طراحی معماری شبکه و سیستم

معماری راه حل پیشنهادی از یک توپولوژی برگ ستون فقرات با اتصال 25/50/100GbE در لایه دسترسی سرور استفاده می کند. هر گره محاسباتی، ذخیره سازی یا GPU با سرعت افزوده مجهز بهکارت شبکه PCIe MCX653106A-HDAT ConnectX، که اتصال اضافی به سوئیچ های بالا (ToR) را فراهم می کند. معماری شامل چهار لایه متمایز است:

• محور محاسبات / ذخیره سازی:درکارت آداپتور اترنت MCX653106A-HDATاز طریق PCIe Gen 4.0 x16 به میزبان متصل می شود،ارائه حداکثر 256 GB/s پهنای باند دو طرفه میزبان کافی برای اشباع کامل پورت های دوگانه 100GbE در حالی که فضای سر را برای ترافیک پرتاب و ارتقاء سرعت آینده حفظ می کند.
• پارچه شبکه:پورت های دوگانه از رسانه های انعطاف پذیر (SFP28 برای 25GbE، QSFP برای 50/100GbE) با تعادل بار فعال فعال و تخلیه LAG سخت افزاری پشتیبانی می کنند.آداپتور پشتیبانی می کند تا 200 Gb / s تراکنش کل با فشرده سازی مبتنی بر سخت افزار.
• لایه حمل و نقل RDMARoCEv2 با شتاب سخت افزاری با تخلیه کامل بخش بندی، جمع آوری مجدد، کنترل ازدحام و مدیریت تکمیل.آداپتور از 200 میلیون پیام در ثانیه (Mpps) با تاخیر کمتر از یک میکرو ثانیه پشتیبانی می کند.
• مدیریت و تلومتری:مدیریت خارج از باند با پشتیبانی کامل از Redfish و SNMP، تکمیل شده توسط تله متری در باند برای نظارت بر پارچه در زمان واقعی و بهینه سازی عملکرد.

طراحی بر یک پارچه ایترن بدون از دست دادن متمرکز است که در آنNVIDIA Mellanox MCX653106A-HDATبه عنوان نقطه پایان RDMA عمل می کند و امکان انتقال مستقیم حافظه به حافظه را بدون مداخله CPU میزبان فراهم می کند.MCX653106A-HDAT سازگاربا زیرساخت های سوئیچینگ اترنت موجود، تنها نیاز به پشتیبانی PFC و ECN دارد. ویژگی های به طور معمول در سوئیچ های مدرن مرکز داده از تمام فروشندگان اصلی موجود است.

3نقش و ویژگی های اصلی NVIDIA Mellanox MCX653106A-HDAT

درMCX653106A-HDATنقش مرکزی در معماری دارد و چهار لایه ارزش متمایز را ارائه می دهد که به طور جمعی امکان شبکه های با تاخیر پایین و سرعت بالا را فراهم می کند:

A. موتور RDMA با سرعت سخت افزاری
آداپتور یک خط لوله پردازش بسته کاملا قابل برنامه ریزی را ادغام می کند که عملیات حمل و نقل RoCEv2 را از جمله بخش بندی، جمع آوری مجدد، کنترل ازدحام،و پردازش تکمیل کاملا از پردازنده میزبانبر اساسصفحه اطلاعات MCX653106A-HDAT، سخت افزار از عملکرد نرخ سیم در تمام اندازه های بسته پشتیبانی می کند، با حداکثر سرعت پیام 200 Mpps و تاخیر پایان به پایان زیر میکرو ثانیه.

B. GPUDirect و NVMe-oF تخلیه
یک تفاوت کلیدی درMCX653106A-HDATپشتیبانی یکپارچه آن برای GPUDirect است،امکان انتقال مستقیم داده ها بین حافظه GPU و رابط شبکه بدون کپی های میزبان حذف یک تنگنایی حیاتی در آموزش توزیع شده هوش مصنوعیبرای بار کاری ذخیره سازی، آداپتور عملیات NVMe-oF را تخلیه می کند،تبدیل Ethernet استاندارد به یک ساختار ذخیره سازی با عملکرد بالا با ویژگی های تأخیر که قبلاً فقط با InfiniBand اختصاصی قابل دستیابی بود.

ج. کیفیت خدمات پیشرفته و مدیریت ازدحام
این آداپتور اولویت بندی بر اساس کلاس ترافیک را با پشتیبانی از اولویت دقیق، انتظار منصفانه وزن شده و محدودیت نرخ فراهم می کند. ویژگی های مدیریت ازدحام شامل علامت گذاری ECN مبتنی بر سخت افزار،تولید PFC، و قابلیت های مسیریابی سازگاریمشخصات MCX653106A-HDAT.

D. امنیت و قابلیت برنامه نویسی
این آداپتور شامل یک ریشه سخت افزاری قابل اعتماد، بوت امن، به روز رسانی های نرم افزار رمزگذاری شده و رابط های مدیریت امن است. مسیر داده قابل برنامه ریزی آن از پردازش انعطاف پذیر مطابقت عمل پشتیبانی می کند،امکان تخلیه سفارشی و جمع آوری تله متری شبکه در باند (INT) برای دید عملیاتی پیشرفته.

4توصیه های توسعه و مقیاس پذیری

توپولوژی تخصیص معمولی

استفاده توصیه شده از یک توپولوژی "مخک برگ" با پیکربندی زیر است:

• سوئیچ های برگ:سوئیچ های ToR 25/50/100GbE با پشتیبانی RoCEv2، با PFC در صف های اولویت اختصاصی (معمولا یک یا دو اولویت) و ECN برای سیگنال های ازدحام پیکربندی شده است.فریم های جامبو (MTU 9000) برای عملکرد بهینه RoCE توصیه می شود.
• گره هاي سرور:هر گره مجهز بهMCX653106A-HDAT، از طریق هومینگ دوگانه به سوئیچ های برگ اولیه و ثانویه برای افزوده شدن متصل می شود. رابط PCIe Gen 4.0 x16 آداپتور هیچ گلوی فشرده میزبان را تضمین نمی کند.
• لایه ستون فقرات:سوئیچ های ستون فقرات 100/400GbE که اتصال بین راک را بدون مسدود کردن با ظرفیت کفایت کننده برای جذب ریزش های کوچک در میان راک های متعدد فراهم می کنند.
• ادغام ذخیره سازی/حساب:برای پیاده سازی NVMe-oF، گره های هدف از همان نوع آداپتور برای قابلیت های RDMA سازگار استفاده می کنند. برای خوشه های هوش مصنوعی،پشتیبانی GPUDirect از آداپتور برای همگام سازی گرادینت در سراسر GPU استفاده می شود.

ملاحظات مقیاس پذیری

• دامنه های ازدحام:پارچه را به چندین منطقه مدیریت انبساط تقسیم کنید (به عنوان مثال، در هر قفسه یا هر خوشه) تا گسترش PFC را محدود کنید.محدودیت نرخ هر پورت آداپتور به جدا کردن همسایگان سر و صدا کمک می کند و تخصیص پهنای باند منصفانه را حفظ می کند.
• ادغام ارکستر:این آداپتور به طور کامل توسط Kubernetes (از طریق اپراتور شبکه NVIDIA) و OpenStack پشتیبانی می شود و امکان تهیه خودکار و مدیریت چرخه عمر را در محیط های ابری فراهم می کند.
• در آينده ثابت:درMCX653106A-HDATاز سرعت 100GbE و بالاتر پشتیبانی می کند و فضای بیشتری برای ارتقاء شبکه های آینده بدون جایگزینی آداپتور فراهم می کند.رابط 0 همچنین سازگاری با پلتفرم های سرور نسل بعدی را تضمین می کند.

برای سازمان هایی که ارزیابیقیمت MCX653106A-HDAT، کل هزینه مالکیت باید شامل صرفه جویی از حذف شبکه های ذخیره سازی اختصاصی، توزیع هسته CPU کاهش یافته (معمولا 4-6 هسته برای هر سرور) ،و بهره وری عملیاتی از مدیریت پارچه واحد.

5. عملیات، نظارت، رفع مشکل و بهینه سازی

چارچوب نظارت

این راه حل شامل یک رویکرد قابل مشاهده چند طبقه است:

• تليمتري در سطح آداپتور:درMCX653106A-HDATصدها شمارنده سخت افزاری را از طریق ethtool، sysfs و ابزارهای مدیریت NVIDIA نشان می دهد. معیارهای کلیدی شامل سرعت هر پورت، فریم های توقف PFC، بسته های نشان داده شده ECN، حوادث ازدحام RoCEv2،آمار انتظار تکمیل RDMA، و هیستوگرام های تاخیر در هر جریان.
• دید در سطح پارچه:ادغام با پلت فرم مدیریت متحد NVIDIA، تجسم توپولوژی، تجزیه و تحلیل مسیر جریان و تشخیص ناهنجاری در سراسر بافت را فراهم می کند.
• رابطه ی کاربردی:این آداپتور آمار قطار و قطار تکمیل RDMA را فراهم می کند، که ارتباط دقیق عملکرد شبکه با تاخیر تراکنش در سطح برنامه را امکان پذیر می کند.

سناریوهای رایج برای حل مشکلات

بر اساس تجربه عملیاتی باNVIDIA Mellanox MCX653106A-HDAT، الگوهای تشخیصی زیر شناسایی می شوند:

• تشخیص طوفان PFC:شمارنده های فریم توقف PFC را بر اساس اولویت نظارت کنید. توقف مداوم >5٪ از سرعت خط نشان دهنده ازدحام یا پیکربندی اشتباه است.بررسی منبع با استفاده از آمپول های استفاده از بافر در هر صف.
• قطرات بسته RoCEv2:شمارنده های افت آداپتور را بررسی کنید (rx_discard، tx_discard) و با بسته های نشان داده شده ECN ارتباط برقرار کنید تا بین قطرات سطح آداپتور و فشرده سازی سطح پارچه تمایز ایجاد کنید.
• تنظیم عملکرد:تنظیم پارامترهای همگام سازی قطع برای تعادل تاخیر در مقابل استفاده از CPU معمولا تنظیم همگام سازی متوسط برای بارهای کاری ذخیره سازی و حداقل همگام سازی برای برنامه های تجاریصفحه اطلاعات MCX653106A-HDATراهنمای مفصل در مورد تمام پارامترهای تنظیم شده ارائه می دهد.

دستورالعمل های بهینه سازی

برای دستیابی به حداکثر سرعت و حداقل تاخیر باMCX653106A-HDAT راه حل کارت آداپتور اترنت، بهینه سازی های زیر توصیه می شود:

• فعال کردن CRC سخت افزاری، از سرپرستی / داده های تقسیم offloads، و مقیاس پذیری طرف دریافت (RSS) برای توزیع ترافیک به طور موثر در میان چندین هسته CPU
• تنظیم محدوده PFC در هر اولویت به صورت پویا با استفاده از ابزارهای پیکربندی بافر خاص سازنده آداپتور، بر اساس پروفایل بار کاری مشاهده شده
• فعال کردن ویژگی های پیشرفته QoS آداپتور، از جمله محدودیت نرخ برای هر کلاس ترافیک و اولویت دقیق یا انتظار منصفانه وزن شده
• برای استقرار در مقیاس بزرگ، از پشتیبانی آداپتور برای 802.1Qaz DCBX برای اتوماسیون مذاکره PFC و ECN با سوئیچ ها استفاده کنید
• استفاده از مسیر داده های قابل برنامه ریزی آداپتور برای پیاده سازی جمع آوری تله متری سفارشی یا بسته های پردازش تخصصی بسته بندی شده با نیازهای خاص برنامه

6خلاصه و ارزیابی ارزش

راه حل فنی متمرکز برMCX653106A-HDATاز NVIDIA Mellanox یک مسیر روشن برای دستیابی به تاخیر RDMA کمتر از 3 میکرو ثانیه و خروجی جمع شده بیش از 100 گیگابایت در ثانیه در هر سرور ارائه می دهد.کارت آداپتور اترنت MCX653106A-HDATبه عنوان یک بلوک ساختمانی پایه ای برای پارچه های مدرن و همگرای مرکز داده ها که همزمان از آموزش هوش مصنوعی، HPC، ذخیره سازی سازمانی و بارهای کاری تجزیه و تحلیل در زمان واقعی پشتیبانی می کنند، عمل می کند.

پیشنهادات ارزش کلیدی شامل:

• تثبیت زیرساخت ها:نیاز به شبکه های ذخیره سازی و محاسباتی جداگانه را از بین می برد با فعال کردن اترنت بدون ضرر برای تمام انواع ترافیک، کاهش هزینه های سرمایه و عملیاتی
• رهبری عملکرد:RoCEv2 با GPUDirect که از سخت افزار خارج شده است، تأخیر تعیین کننده و زیر میکروسکنید را حتی در زیر 90٪ استفاده از نرخ خط تضمین می کندو تجارت فرکانس بالا
• کارایی عملیاتی:تله متری جامع، مدیریت ازدحام خودکار و ادغام آوتوماتیک orkestration زمان متوسط به حل (MTTR) و هزینه های عملیاتی را کاهش می دهد
• حفاظت از سرمایه گذاری:رابط PCIe Gen 4.0، قابلیت برنامه نویسی و پشتیبانی از پورت های چند سرعت آداپتور، سازگاری را با نسل های آینده CPU و پارچه های شبکه با سرعت بالاتر تضمین می کند.

برای سازمان هایی که به طور فعال ارزیابی می کنندMCX653106A-HDAT برای فروشاین راه حل یک معماری مرجع اثبات شده را در محیط های تولید در سراسر خدمات مالی، ارائه دهندگان ابر، مراقبت های بهداشتی و موسسات تحقیقاتی ارائه می دهد.ترکیب عملکرد، مقیاس پذیری و بلوغ عملیاتی باعث می شودNVIDIA Mellanox MCX653106A-HDATیک سرمایه گذاری استراتژیک برای هر سازمانی که متعهد به ساخت یک زیرساخت مرکز داده با عملکرد بالا و آماده برای آینده است.