Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT آداپتور سرور کتاب سفید فنی

این کتاب سفید فنی برای معماران شبکه، مهندسان پیش فروش و مدیران عملیات طراحی شده است.ملانوکس (NVIDIA Mellanox) MCX623106AN-CDATدر این مقاله به طراحی معماری، ویژگی های فنی کلیدی، طراحی سیستم عامل و طراحی سیستم عامل داده ها پرداخته شده است.راهبردهای راه اندازی و مقیاس بندی، و همچنین عملیات و نظارت، که راهنمایی های عملی برای اجرای واقعی ارائه می دهد.

مراکز داده های مدرن با سه چالش اصلی روبرو هستند: CPU تبدیل به یک گلوی فشرده شبکه، تاخیر دسترسی بیش از حد به ذخیره سازی و هزینه های ارتباطی غیرقابل کنترل برای برنامه های توزیع شده.پشته پروتکل سنتی TCP / IP بیش از 30٪ از منابع CPU را در پردازش پروتکل و کپی داده در طول ارتباطات موازی در مقیاس بزرگ مصرف می کنددر همین حال، برنامه هایی مانند NVMe over Fabrics، چارچوب های یادگیری ماشین توزیع شده (به عنوان مثال، NCCL) ،و پایگاه داده های درون حافظه نیاز به تاخیر کمتر از 20 میکرو ثانیه از انتهای به انتهایآنچه که به طور فوری نیاز است یک راه حل است که دور هسته و ارائه حمل و نقل سطح سخت افزاری offloadMCX623106AN-CDATدر ترکیب با راه حل های تکنولوژی RoCE.

این راه حل یک توپولوژی دو لایه Spine-Leaf را اتخاذ می کند.NVIDIA Mellanox MCX623106AN-CDATآداپتور اترنت. سوئیچ های Leaf برای عملکرد RoCE بدون ضرر تنظیم شده اند، که PFC (کنترل جریان اولویت) و ECN (اطلاعات تعطیلی صریح) را فعال می کند،با یک صف اولویت اختصاصی برای ترافیک RoCE اختصاص داده شده استاصول اصلی طراحی عبارتند از:

• جدایی سطوح کنترل و داده: جریان داده RoCE به طور کامل توسط سخت افزار در آداپتور پردازش می شود، در حالی که پروتکل های کنترل (به عنوان مثال، ARP، DHCP) هنوز مسیر سنتی را دنبال می کنند.
• پارچه ی واحد: اترنت هر دو ترافیک استاندارد TCP / IP و RoCE را حمل می کند ، با انزوا QoS از طریق علامت گذاری DSCP.
• مدیریت ازدحام از انتهای به انتهای: بر اساس الگوریتم DCQCN، ایجاد مکانیسم بازخورد حلقه بسته بین آداپتورهای منبع و سوئیچ ها.

درکارت آداپتور اترنت MCX623106AN-CDATاین نرم افزار نقش مهمی در هر گره سرور دارد. طراحی دو پورت 100GbE آن می تواند به سوئیچ های مختلف Leaf برای افزایشی متصل شود یا جداسازی فیزیکی بین ترافیک ذخیره سازی و محاسبات را فراهم کند.

به عنوان جزء اصلی سطح داده این راه حل،MCX623106AN-CDAT آداپتور ConnectX کارت شبکه PCIeقابلیت های تعیین کننده زیر را ارائه می دهد:

• سخت افزار موتور RoCE تخلیه: پردازش لایه حمل و نقل (تقسیم، جمع آوری مجدد، تأیید، انتقال مجدد) را بدون مداخله CPU میزبان انجام می دهد.
• تخلیه دینامیک ConnectX: به طور خودکار ترافیک چند صف را توزیع می کند، باعث بهبود خروجی در سرورهای چند هسته می شود.
• رابط PCIe 4.0 x16 میزبان: پهنای باند نظری 256Gb / s، که هیچ تنگه ای را برای انتقال نرخ خط تضمین نمی کند.
• تخلیه مخزن پیشرفته: پشتیبانی از شتاب سخت افزاری برای NVMe بر روی پارچه ها، از جمله جستجوی namespace و بررسی یکپارچگی داده ها.

بر اساسصفحه اطلاعات MCX623106AN-CDATو در دسترس عموم استمشخصات MCX623106AN-CDAT، این آداپتور به تاخیر پورت به پورت زیر 600 نانوسکنید می رسد و از سرعت پردازش بسته تا 200 میلیون بسته در ثانیه پشتیبانی می کند.قیمت MCX623106AN-CDATبسیار رقابتی در میان 100GbE RoCE Adapters قابل مقایسه است وMCX623106AN-CDAT برای فروشقبل از انتخاب، توصیه می شود تایید کنید که مدل های سرور در صفحه نمایش ظاهر می شوند.MCX623106AN-CDAT سازگارهمه پلتفرم های اصلی OEM تایید شده اند.

توصیف توپولوژی معمولی:
یک معماری قفل که شامل 2 سوئیچ ستون فقرات و 4 سوئیچ برگ است. هر گره سرور مجهز به یکMCX623106AN-CDAT، هر دو پورت 100GbE به دو سوئیچ مختلف Leaf متصل می شوند. پورت های Leaf uplink با نسبت اشتراک بیش از حد 4: 1 به Spines متصل می شوند. یک VLAN اختصاصی برای ترافیک RoCE استفاده می شود.

مراحل تعيين:

• مرحله 1: نصب فیزیکیMCX623106AN-CDATدر یک اسلات PCIe 4.0 x16، سپس نصب آخرین نرم افزار و راننده NVIDIA MLNX_OFED.
• مرحله ۲: در سوئیچ ها، PFC (اولیت 3 توصیه شده) و ECN (set Kmin/Kmax) را برای ترافیک RoCE تنظیم کنید.
• مرحله 3: در سیستم عامل، حالت RoCEv2 را فعال کنید و پارامترهای DCQCN را پیکربندی کنید (ارزش های اولیه: α=1، β=1، دوره تایمر 100μs).
• مرحله ۴: از ابزار ib_write_bw و ib_write_lat برای تأیید عملکرد پایه استفاده کنید.

توصیه های مقیاس بندی:هنگامی که خوشه از 500 گره فراتر می رود، فعال کردن کنترل جریان (PPC) و جدول نقشه برداری QoS آداپتور را در نظر بگیرید و استفاده از اولویت های متعدد RoCE را در نظر بگیرید تا از مسدود شدن سر خط جلوگیری شود.

تیم های عملیاتی می توانند از ابزارهای زیر برای نظارت بر سلامتMCX623106AN-CDAT راه حل کارت آداپتور اترنت:

• mlxconfig / mlxfwmanager: تنظیم پارامترهای نرم افزار و مدیریت ارتقاء نرم افزار.
• اتول -S: شمارنده های ارسال/بررسی RoCE و شمارنده های فریم توقف PFC را مشاهده کنید.
• ibdiagnet: انجام تشخیص شبکه RoCE جامع برای تشخیص طوفان های PFC غیرضروری.
• تله متری و HIST: از جداول توزیع تاخیر تاریخی ساخته شده در آداپتور برای شناسایی ناهنجاری های تاخیر دم استفاده کنید.

راه حل مشکلات رایج:

• خروجی کمتر از انتظارات: وضعیت مذاکره PCIe را بررسی کنید (باید Gen4 x16 باشد) و اطمینان حاصل کنید که MTU به طور یکنواخت به 9000 فریم بزرگ تنظیم شده است.
• شکست های اتصال RoCE: نقشه برداری DSCP و پیکربندی VLAN را بررسی کنید، اطمینان حاصل کنید که سوئیچ بسته های RoCE را رها نمی کند.
• استفاده زیاد از CPU: این ممکن است نشان دهد که بارگذاری سخت افزار فعال نیست؛ تنظیمات بارگذاری ethtool را بررسی کنید.

توصیه های بهینه سازی:برای کاربردهای بسیار حساس به تاخیر (به عنوان مثال، تجارت فرکانس بالا، تکرار لاگ RDMA)در نظر گرفتن تغییر نوع سرویس RoCE از "connected" به "datagram" و غیرفعال کردن کنترل ازدحام.

راه حل RDMA/RoCE بر اساسMCX623106AN-CDATکاهش تاخیر از انتهای به انتهای برای برنامه های توزیع شده با یک نظم بزرگ (از صدها مایکرو ثانیه به ده ها مایکرو ثانیه) بدون جایگزینی زیرساخت های موجود اترنت،در حالی که همزمان 20~30% از منابع محاسباتی CPU را آزاد می کندبرای سناریوهای مانند آموزش هوش مصنوعی، ذخیره سازی بیش از حد و تجزیه و تحلیل در زمان واقعی، این به طور مستقیم به زمان های کوتاه تر تکمیل کار و تراکم بالاتر سرور تبدیل می شود.MCX623106AN-CDAT راه حل کارت آداپتور اترنت، نشان می دهد که "ایترنت بدون ضرر + NIC هوشمند" یک راه عملی برای دستیابی به هر دو سرعت بالا و تاخیر کم است.صفحه اطلاعات MCX623106AN-CDAT، لطفا به مستندات رسمی NVIDIA مراجعه کنید یا با یک تیم معماری راه حل تماس بگیرید.