NVIDIA Mellanox MCX653106A-HDAT راه حل فنی: حمل و نقل و سرور کم تاخیر مبتنی بر RDMA / RoCE

این کتاب سفید فنی برای معماران شبکه، مهندسان پیش فروش و مدیران عملیات طراحی شده است.NVIDIA Mellanox MCX653106A-HDATآداپتور سرور و نحوه ساخت یک زیرساخت شبکه مرکز داده قادر به انتقال RDMA / RoCE در مقیاس میکروسکنید و عملکرد بسیار بالا را مشخص می کند.

مراکز داده مدرن با سه چالش اصلی روبرو هستند: تاخیر غیر قابل پیش بینی در ذخیره سازی توزیع شده، کمبود پهنای باند در خوشه های آموزش هوش مصنوعی،و مصرف بیش از حد پردازنده توسط پشته های پروتکل شبکه سنتیراه حل های سنتی TCP/IP دیگر نمی توانند نیازهای تاخیر در مقیاس میکروسکنید NVMe-oF، تجارت فرکانس بالا و تجزیه و تحلیل در زمان واقعی را برآورده کنند.MCX653106A-HDAT راه حل کارت آداپتور اترنتکه حمل و نقل RDMA را از طریق زیرساخت های استاندارد اترنت ارائه می دهد در حالی که سرعت سرور را به سطح 200Gbps افزایش می دهد.

این راه حل یک معماری CLOS دو لایه Leaf-Spine را اتخاذ می کند.NVIDIA Mellanox MCX653106A-HDATبه سوئیچ های ToR 25G/100G. اصول اصلی طراحی عبارتند از:

• شبکه بدون ضرر از انتهای به انتهای که توسط PFC (کنترول جریان اولویت) و ECN (اطلاع صریح در مورد ازدحام) فعال شده است
• خطوط حمل و نقل RDMA اختصاصی برای محموله های کار ذخیره سازی و HPC
• جدایی سطح کنترل (TCP/IP استاندارد) و سطح داده (RoCEv2)
• تخلیه مجازی سازی مبتنی بر سخت افزار (SR-IOV، VXLAN/NVGRE/جنیوا)

بر اساسصفحه اطلاعات MCX653106A-HDAT، این آداپتور کمترین تاخیر پورت به پورت 600ns را ارائه می دهد و تا 215 میلیون بسته در ثانیه را پشتیبانی می کند، که آن را برای ترافیک ذخیره سازی شرق-غرب و جریان برنامه های شمالی-جنوبی ایده آل می کند.

درکارت شبکه PCIe MCX653106A-HDAT ConnectXبه عنوان موتور هواپیما داده های پایه ای عمل می کند. نقش اصلی آن عبارت است از:

• سرعت RDMA/RoCE:بارگذاری کامل سخت افزار RoCEv2، از جمله مدیریت ازدحام، پردازش بسته های خارج از نظم و قرار دادن فوری داده ها در بافر برنامه.
• پروتکل ذخیره سازی:پشتیبانی بومی از NVMe-oF (هر دو نسخه TCP و RoCE) ، iSER و SRP، حذف پردازش هدف مبتنی بر نرم افزار.
• مجازی سازی و چند اجاره:تا 1000 تابع مجازی (VF) در هر پورت، با بار تخلیه تونل پوشش، تضمین انکاپسولی/دکاپسولی نرخ خط.
• امنيت و تلومتري:رمزگذاری IPsec / TLS در 200Gbps، به علاوه ردیابی جریان مبتنی بر سخت افزار (به عنوان مثال، ردیابی اتصال، هیستگرام).

بر اساسمشخصات MCX653106A-HDAT، آداپتور از رابط های PCIe 4.0/5.0 x16 پشتیبانی می کند و حتی در سرعت خط کامل 200GbE تضمین نمی کند.

یک توپولوژی مرجع معتبر شامل:

• لایه محاسباتی:48 سرور دو سوکت، هر کدام مجهز به یکMCX653106A-HDATپورت ها به عنوان یک LAG فعال فعال متصل می شوند.
• لایه ذخیره سازی:12 سرور هدف NVMe-oF تمام فلاش، هر کدام با دوکارت آداپتور اترنت MCX653106A-HDATواحدها یک برای دسترسی به محاسبات فرنتند، یک برای تکرار back-end.
• لایه شبکه:چهار سوئیچ Spine 100GbE و هشت سوئیچ Leaf، با DCBX، PFC (کلاس 3 برای RoCE) و آستانه ECN پیکربندی شده است.

برای مقیاس بندی فراتر از 200 گره، معماری از طرح های چند پاد با استفاده از EVPN-VXLAN با تخلیه سخت افزاری (به طور کامل) پشتیبانی می کند.MCX653106A-HDAT سازگاردر هنگام ارزیابی ظرفیت،قیمت MCX653106A-HDATدر هر پورت 100GbE قابل استفاده تقریباً 40٪ کمتر از راه حل های قابل مقایسه Fibre Channel یا InfiniBand است.

عملکرد موثر پیاده سازی RDMA / RoCE نیازمند ابزار تخصصی است. شیوه های زیر توصیه می شود:

برای رفع مشکل، متا داده های خاص RoCEv2 را با استفاده ازراداماتوولوibv_devinfoخطاهای رایج شامل اولویت های PFC اشتباه پیکربندی شده (ضمان سازگاری در میان تمام دستگاه های شبکه) و سرعت لینک PCIe نامناسب (تایید باIspci -vvv)

درNVIDIA Mellanox MCX653106A-HDATارائه یک پلت فرم اثبات شده و آماده تولید برای تبدیل پارچه های استاندارد اترنت به شبکه های با عملکرد بالا و بدون ضرر است. ارزیابی های ارزش کلیدی شامل:

• تاخير:تأخیر خواندن NVMe-oF فرای 10μs (P99) ، که امکان تجزیه و تحلیل در زمان واقعی و همگرایی HPC را فراهم می کند.
• قدرت انتقال:نرخ 200GbE نزدیک به خط با صفر از دست دادن بسته، در برابرمشخصات MCX653106A-HDAT.
• کارایی CPU:تا 30 درصد از هسته های CPU که قبلا توسط شبکه و استیک های ذخیره سازی مصرف می شدند را آزاد می کند.
• TCO:در مقایسه با اتصال های خصوصی،MCX653106A-HDAT برای فروشقیمت گذاری، همراه با انتقال استاندارد اترنت، هزینه های عملیاتی سه ساله را حدود 35-50٪ کاهش می دهد.

معماران و رهبران عملیات می توانند با اطمینان این راه حل را برای پارچه های هوش مصنوعی، ذخیره سازی تجزیه و تحلیل شده و سیستم های مالی با تاخیر بسیار کم پیاده سازی کنند. برای مراحل پیاده سازی دقیق،به مامور مراجعه کنید.صفحه اطلاعات MCX653106A-HDATو کتابخانه مستندات DOCA NVIDIA.