NVIDIA Mellanox MCX4121A-ACAT Server Adapter راه حل فنی: معماری RDMA / RoCE برای تاخیر کم و حداکثر

1. پیش‌زمینه پروژه و تحلیل الزامات

مراکز داده مدرن تحت فشار مداوم برای پشتیبانی از بارهای کاری با تقاضای فزاینده، از جمله تجزیه و تحلیل بلادرنگ، آموزش توزیع شده یادگیری ماشین، و ذخیره‌سازی نرم‌افزار تعریف شده با کارایی بالا قرار دارند. معماری‌های شبکه‌ای سنتی، که به شدت به پشته TCP/IP متکی هستند، تأخیر قابل توجه و سربار CPU را معرفی می‌کنند. با انتقال سرعت لینک‌ها از 10GbE به 25GbE و فراتر از آن، رویکرد "دور زدن هسته" نه تنها یک مزیت، بلکه یک ضرورت می‌شود. معماران شبکه و مهندسان ذخیره‌سازی به دنبال راه‌حل‌هایی هستند که بتوانند پتانسیل کامل معماری‌های NVMe-oF و میکروسرویس‌ها را بدون نیاز به بازسازی کامل زیرساخت آزاد کنند. الزامات اصلی شناسایی شده در یک استقرار معمول در مقیاس بزرگ شامل تأخیر کمتر از 10 میکروثانیه برای ترافیک ذخیره‌سازی، کاهش 40 درصدی سربار CPU برای I/O شبکه، و یک پارچه یکپارچه قادر به حمل ترافیک استاندارد TCP/IP و ترافیک RDMA با تأخیر فوق‌العاده کم است.

2. طراحی کلی معماری شبکه و سیستم

معماری پیشنهادی بر روی یک پارچه اترنت بدون اتلاف و همگرا متمرکز است که برای پشتیبانی از ترافیک LAN استاندارد و ترافیک ذخیره‌سازی بر روی همان زیرساخت فیزیکی طراحی شده است. این طرح از توپولوژی leaf-spine با سوئیچ‌های مجهز به RoCE (RDMA over Converged Ethernet) استفاده می‌کند. اصول طراحی کلیدی شامل موارد زیر است:

• پارچه همگرا: یک شبکه 25GbE واحد تمام انواع ترافیک را حمل می‌کند و نیاز به شبکه‌های ذخیره‌سازی و داده جداگانه (همگرایی LAN/SAN) را از بین می‌برد.
• پایه اترنت بدون اتلاف: پیاده‌سازی کنترل جریان اولویت (PFC، IEEE 802.1Qbb) و انتخاب انتقال پیشرفته (ETS، IEEE 802.1Qaz) برای ایجاد یک کلاس سرویس بدون اتلاف برای ترافیک RDMA، جلوگیری از افت بسته‌ها که در غیر این صورت باعث افزایش تأخیر فاجعه‌بار می‌شود.
• RDMA سرتاسری: استقرار RoCEv2، که در لایه شبکه عمل می‌کند، به RDMA اجازه می‌دهد تا از مرزهای L3 عبور کند و فراتر از یک دامنه پخش واحد مقیاس‌پذیر شود، برخلاف RoCEv1.

در این معماری، نقطه پایانی سرور حیاتی‌ترین جزء است. در اینجا است که آداپتور سرور NVIDIA Mellanox MCX4121A-ACAT نقش محوری خود را ایفا می‌کند و به عنوان رابط هوشمندی عمل می‌کند که پروتکل RoCE را اجرا کرده و عملکردهای پیچیده شبکه را از CPU میزبان تخلیه می‌کند.

3. نقش NVIDIA Mellanox MCX4121A-ACAT در راه‌حل

MCX4121A-ACAT سنگ بنای استقرار سمت سرور است. این آداپتور MCX4121A-ACAT ConnectX-4 Lx dual-port 25GbE SFP28 که بر اساس کنترلر ConnectX-4 Lx ساخته شده است، شتاب سخت‌افزاری لازم برای دستیابی به اهداف پروژه را فراهم می‌کند. مشارکت‌های خاص آن در معماری در زیر شرح داده شده است:

• موتور سخت‌افزاری RoCE: آداپتور کل پروتکل RoCEv2 را در سیلیکون پیاده‌سازی می‌کند. این بدان معناست که عملیات RDMA، از جمله خواندن/نوشتن حافظه و ارسال/دریافت فعل‌ها، به طور کامل بر روی NIC پردازش می‌شوند و هسته را دور می‌زنند و تعویض زمینه را حذف می‌کنند. این مکانیسم اصلی برای دستیابی به تأخیر برنامه به برنامه کمتر از 10 میکروثانیه است.
• تخلیه NVMe-oF: برای ترافیک ذخیره‌سازی، MCX4121A-ACAT از NVMe over Fabrics (NVMe-oF) با RDMA پشتیبانی می‌کند. این پردازش جفت صف NVMe را تخلیه می‌کند و به هدف یا آغازگر ذخیره‌سازی اجازه می‌دهد تا میلیون‌ها IOPS را با حداقل دخالت CPU مدیریت کند.
• تعدیل پویای وقفه: آداپتور به طور هوشمند وقفه‌ها را تعدیل می‌کند و آنها را بر اساس بار ترافیک ادغام می‌کند. این امر سربار CPU میزبان را در سناریوهای توان عملیاتی بالا کاهش می‌دهد و در عین حال تأخیر کم را برای ترافیک حساس با اجازه دادن به وقفه‌های صف‌های خاص برای دور زدن تعدیل حفظ می‌کند.
• اجرای کیفیت خدمات (QoS): از QoS مبتنی بر سخت‌افزار پشتیبانی می‌کند و به معماران اجازه می‌دهد تا کلاس‌های ترافیکی مختلف (مانند ذخیره‌سازی، مدیریت، محاسبات) را به صف‌های اولویت‌بندی شده مختلف اختصاص دهند. این تضمین می‌کند که ترافیک RDMA حتی در زمان ازدحام شبکه، پهنای باند تضمین شده و تأخیر کم را دریافت کند.

4. توصیه‌های استقرار و مقیاس‌پذیری

یک رویکرد استقرار مرحله‌ای برای به حداقل رساندن ریسک توصیه می‌شود. توپولوژی و مراحل زیر یک پیاده‌سازی معمول را تشریح می‌کنند:

• مرحله آزمایشی: یک خوشه کوچک از سرورهای ذخیره‌سازی و گره‌های محاسباتی را مستقر کنید که هر کدام مجهز به MCX4121A-ACAT هستند و به یک سوئیچ برگ اختصاصی مجهز به RoCE متصل شده‌اند. پیکربندی PFC/ETS را برای اطمینان از یک پارچه بدون اتلاف برای ترافیک RoCE تأیید کنید.
• ادغام و آزمایش: راهکار کارت آداپتور اترنت MCX4121A-ACAT را هم بر روی اهداف ذخیره‌سازی (مانند Ceph، Lustre، یا آرایه‌های NVMe-oF اختصاصی) و هم بر روی برنامه‌های کلاینت پیکربندی کنید. از درایورها و ابزارهای توصیه‌شده NVIDIA مانند perftest برای اندازه‌گیری تأخیر پایه (ib_send_lat) و پهنای باند (ib_send_bw) استفاده کنید.
• مقیاس‌پذیری پارچه: پس از پایدار شدن مرحله آزمایشی، به یک توپولوژی کامل leaf-spine مقیاس‌بندی کنید. اطمینان حاصل کنید که سوئیچ‌های ستون فقرات نیز از RoCE آگاه هستند تا QoS بدون اتلاف را در سراسر شبکه حفظ کنند. ماهیت دو پورته NVIDIA Mellanox MCX4121A-ACAT امکان تجمیع لینک فعال/آماده به کار یا 802.3ad را برای افزونگی و افزایش توان عملیاتی فراهم می‌کند.
• بررسی سازگاری: همیشه نسخه‌های سخت‌افزار و فریم‌ور سازگار با MCX4121A-ACAT را تأیید کنید. مشخصات MCX4121A-ACAT و برگه داده MCX4121A-ACAT باید بررسی شوند تا از سازگاری با مادربردهای سرور، تنظیمات BIOS و فریم‌ور سوئیچ اطمینان حاصل شود. برای برنامه‌ریزی تدارکات، قیمت MCX4121A-ACAT و در دسترس بودن را می‌توان از طریق توزیع‌کنندگان مجاز به دست آورد، به خصوص هنگام برنامه‌ریزی خرید در مقیاس بزرگ MCX4121A-ACAT برای فروش.

5. نظارت عملیاتی، عیب‌یابی و بهینه‌سازی

حفظ عملکرد اوج نیازمند نظارت فعال و درک قوی از رفتار پارچه RoCE است. توصیه‌های کلیدی برای تیم‌های عملیاتی شامل موارد زیر است:

• نظارت بر ترافیک RDMA: از ابزارهایی مانند ethtool، mlxstat و UFM (Unified Fabric Manager) NVIDIA برای نظارت بر دمای آداپتور، خطاهای لینک و وضعیت جفت‌های صف RDMA استفاده کنید. معیارهای حیاتی شامل: افت بسته‌های RoCE، تعداد فریم‌های مکث PFC، و استفاده از پهنای باند PCIe است.
• جداسازی خطا: تأخیر بالا در ترافیک RDMA تقریباً همیشه ناشی از افت بسته‌ها به دلیل ازدحام است. فریم‌های مکث PFC را بررسی کنید؛ اگر یک صف خاص به طور بیش از حد مکث می‌شود، نشان‌دهنده یک گلوگاه در پایین دست است (به عنوان مثال، در پورت خروجی سوئیچ). شمارنده‌های پیشرفته MCX4121A-ACAT می‌توانند به شناسایی منبع دقیق ازدحام کمک کنند.
• تنظیم عملکرد:
  • اندازه MTU: برای کاهش سربار هر بسته و بهبود عملکرد I/O بزرگ، به 9000 بایت (فریم‌های جامبو) هم در آداپتور و هم در سوئیچ‌ها افزایش دهید.
  • مقیاس‌بندی سمت دریافت (RSS): اطمینان حاصل کنید که RSS برای توزیع ترافیک در بین چندین هسته CPU پیکربندی شده است و به آداپتور اجازه می‌دهد تا نرخ بسته‌های بالا در ثانیه (PPS) را مدیریت کند.
  • تنظیم بافر: بافرهای دریافت و ارسال آداپتور را بر اساس ویژگی‌های بار کاری تنظیم کنید (به عنوان مثال، بافرهای بزرگتر برای ذخیره‌سازی، کوچکتر برای HPC).

6. نتیجه‌گیری و ارزیابی ارزش

MCX4121A-ACAT از NVIDIA Mellanox یک پایه بالغ و با کارایی بالا برای ساخت مراکز داده نسل بعدی فراهم می‌کند. با ادغام این آداپتور در یک پارچه RoCEv2 با طراحی خوب، سازمان‌ها می‌توانند به نتایج تحول‌آفرین دست یابند: توان عملیاتی سرور می‌تواند به حداکثر برسد زیرا CPU از سربار شبکه آزاد می‌شود؛ تأخیر به طور چشمگیری به میکروثانیه‌های تک رقمی کاهش می‌یابد و برنامه‌های بلادرنگ را فعال می‌کند؛ و هزینه کل مالکیت از طریق همگرایی زیرساخت کاهش می‌یابد. برای معمارانی که نقشه راه 25GbE خود را برنامه‌ریزی می‌کنند، MCX4121A-ACAT نشان‌دهنده یک سرمایه‌گذاری استراتژیک در عملکرد و کارایی است که توسط اکوسیستم قوی NVIDIA Mellanox پشتیبانی می‌شود.