راه حل فنی: NVIDIA Mellanox MCX631102AN-ADAT سرور آداپتور

این کتاب سفید فنی یک مرجع جامع برای معماران شبکه، مهندسان پیش فروش و رهبران عملیات برنامه ریزی برای استقرارNVIDIA Mellanox MCX631102AN-ADATآداپتورهای سرور در محیط های مرکز داده با عملکرد بالا. این راه حل بر برطرف کردن TCP / IP استیک بالا تمرکز می کند، امکان RDMA / RoCEv2 حمل و نقل کم تاخیر،و به حداکثر رساندن سرعت سرور برای ذخیره سازی، پایگاه داده ها و حجم کار هوش مصنوعی.

1. پیش زمینه پروژه و تجزیه و تحلیل نیازهای

معماری های مدرن مراکز داده با سه چالش همپوشانی مواجه هستند: رشد انفجاری در ترافیک شرق-غرب، تغییر به سمت ذخیره سازی تجزیه شده (NVMe-oF، vSAN)و نیاز به حفظ چرخه های CPU برای منطق برنامه به جای پردازش شبکهاستقرار 25GbE با استفاده از TCP / IP سنتی از تأخیر دم بالا (200 ¢ 500μs برای عملیات ذخیره سازی) ، پردازش هسته بیش از حد در هر بسته و خروجی بسته کوچک ناکارآمد رنج می برند.الزامات اصلی یک تاخیر کم است، پارچه بی ضرر که دسترسی مستقیم به حافظه بین سرورها را بدون دخالت CPU، در حالی که سازگاری با زیرساخت های موجود اترنت را حفظ می کند، امکان پذیر می کند.

2طراحی معماری شبکه و سیستم

راه حل پیشنهادی یک توپولوژی دو لایه برگ ستون فقرات را با پیکربندی بدون زیان RoCEv2 اتخاذ می کند. تصمیمات معماری کلیدی شامل:

• لایه فیزیکی:اتصال 25GbE SFP28 از هر سرور محاسباتی / ذخیره سازی به سوئیچ های برگ، 100GbE یا 400GbE از برگ به ستون فقرات
• از پارچه های متراکم:پارچه ایثرنت به اشتراک گذاشته شده که هر دو ترافیک استاندارد TCP و جریان های بدون ضرر RoCEv2 را حمل می کند، با استفاده از اولویت بندی مبتنی بر DSCP
• کنترل جریان:کنترل جریان اولویت (PFC) در مورد اولویت های بدون ضرر، علامت گذاری ECN برای اطلاع از انبساط و مذاکره DCBX
• طرف میزبان:اسلات مخصوص PCIe 4.0 x16 برای هر یککارت آداپتور اترنت MCX631102AN-ADAT، با فعال کردن SR-IOV برای محیط های مجازی

برای پیاده سازی NVMe-oF، هر سرور ذخیره سازی میزبان دوMCX631102AN-ADAT ConnectX-6 Lx دو پورت 25GbE SFP28آداپتورها یک برای ترافیک برنامه های فرنتند و یک برای تکرار و بازسازی ترافیک پس از پایان، اطمینان از جداسازی خطاها و جدایی QoS.

3نقش و ویژگی های کلیدی MCX631102AN-ADAT در راه حل

درMCX631102AN-ADATبه عنوان دستگاه انتهای مهم است که شتاب RDMA در سمت میزبان را امکان پذیر می کند.

با اشاره بهورق اطلاعات MCX631102AN-ADAT، این آداپتور همچنین دارای تایم استمپینگ سخت افزاری است (شماره تایم استمپ آزاد با وضوح 1ns) ، که PTP / SyncE دقیق را برای معاملات مالی یا برنامه های لبه تلفن همراه امکان پذیر می کند.

4توصیه های استقرار و مقیاس بندی (توپولوژی معمولی)

برای استفاده از زمینه های جدید، یک رویکرد مرحله ای توصیه می شود:

• فاز 1 ارتقای سطح ذخیره سازی:پخشMCX631102AN-ADATدر تمام سرورهای ذخیره سازی که نرم افزار هدف NVMe-oF را اجرا می کنند (به عنوان مثال SPDK، TargeR) ، پورت های سوئیچ را با اولویت های PFC 3 برای RoCE و 1 برای CNP با استفاده از مذاکره خودکار DCBX پیکربندی کنید.
• فاز 2 فعال کردن سطح محاسبات:نصب آداپتورها در سرورهای محاسباتی که پایگاه داده یا چارچوب های هوش مصنوعی را اجرا می کنند (TensorFlow، PyTorch با NCCL). فعال کردن کتابخانه افعال قابل استفاده از RDMA و پیکربندی شاخص GID برای RoCEv2.
• فاز 3 ️ تثبیت شبکه:مهاجرت بارهای کاری TCP با حساسیت بالا (تحلیلی در زمان واقعی، سرویس های کوچک) به RoCE با انواع خدمات UC یا RC.

فهرست چک تایید توپولوژی:

• تمام سوئیچ های برگ باید از RoCE بدون ضرر (PFC + ECN) با فضای کافی برای پوشه پشتیبانی کنند.
• MTU از انتهای به انتهای حداقل 2000 بایت (به طور ترجیحی 9000 برای فریم های بزرگ)
• دسترسی به مسیریابی تک پخش برای ترافیک RoCEv2 (پورت UDP 4791)
• تایید شدهMCX631102AN-ADAT سازگارلیست: NVIDIA Spectrum (بهتر) ، سیسکو Nexus 9300-EX/FX، Arista 7050X/7050X3 با پروفایل های DCBX

5. عملیات و تعمیر و نگهداری ️ نظارت، رفع مشکل و بهینه سازی

موفقیت در راه اندازی تولید بستگی به تله متری مناسب و مدیریت استثنایی پیشگیرانه دارد. شیوه های عملیاتی توصیه شده شامل:

• تشخیص ازدحام:نظارت بر شمارنده های فریم توقف PFC در هر پورت بر روی سوئیچ ها و آمار بسته های ECN با استفاده از ethtool -S یا mlxlink.
• تضمین SLO تاخیر:استفاده از ابزار هایی مانند ucxtrace یا mlx5cmd برای نظارت بر تاخیر با برچسب زمان سخت افزاری؛ RTT معمولی سالم کمتر از 10μs در داخل قفسه، کمتر از 30μs در میان ستون فقرات.
• تنظیم فرم و درایور:استفاده از بسته نرم افزار تایید شده NVIDIA (بهمشخصات MCX631102AN-ADATبرای شماره قطعات دقیق) و نسخه های راننده (mlx5_core ≥ 5.9).
• RMA و مدیریت چرخه زندگی:در هنگام تحلیلقیمت MCX631102AN-ADATدر مقایسه با TCO، شامل یک چرخه تازه سازی گره 3-5 ساله؛ لیست چند توزیع کننده جهانیMCX631102AN-ADAT برای فروشبا پشتیبانی گارانتی چند ساله

برای رفع مشکل، رایج ترین مشکلات عبارتند از: تنظیم اشتباه آستانه های بافر سوئیچ (که منجر به توقف طوفان فریم می شود) ، نوع GID نامناسب (ترجیح GID نوع 2 برای IPv6 RoCEv2) ،و عدم امکان تخلیه سخت افزاری در افعال برنامه (ضمان ibv_reg_mr با دسترسی نوشتن محلی).

6خلاصه و ارزیابی ارزش

درNVIDIA Mellanox MCX631102AN-ADATتولید سخت می کندMCX631102AN-ADAT راه حل کارت آداپتور اترنتبرای سازمان هایی که به دنبال باز کردن عملکرد خط کم تاخیر واقعی در زیرساخت های بالغ 25GbE هستند. با فعال کردن RDMA / RoCEv2 ،راه حل به تاخیر کمتر از 20 میکروسکنید NVMe-oF می رسد.، >30٪ از هسته های CPU را برای بار کاری برنامه بازیابی می کند و 50Gbps را با بهره وری بسته کوچک که قبلاً فقط در 100GbE قابل دستیابی بود ، حفظ می کند.برای معمارانی که برنامه ریزی خوشه های ذخیره سازی هیپر کنورژ یا هوش مصنوعی را در زمینه سبز انجام می دهند،MCX631102AN-ADATنشان دهنده یک فعال کننده استراتژیک است که مشخصات تاخیر InfiniBand را با سادگی عملیاتی اترنت ارائه می دهد.