راه حل فنی آداپتور سرور NVIDIA Mellanox MCX4121A-ACAT: ایجاد یک RDMA/RoCE با تأخیر کم
September 3, 2026
راه حل فنی آداپتور سرور NVIDIA Mellanox MCX4121A-ACAT: ساخت لایه دسترسی مرکز داده با تأخیر کم و توان عملیاتی بالا RDMA/RoCE
هسته راه حل: MCX4121A-ACAT | برند: NVIDIA Mellanox | تمرکز فناوری: انتقال با تأخیر کم RDMA/RoCE و بهینه‌سازی توان عملیاتی سرور
1. پیشینه پروژه و تحلیل الزامات
با ادامه تکامل مراکز داده سازمانی به سمت معماری‌های ابر ترکیبی، آموزش مدل‌های هوش مصنوعی در مقیاس بزرگ و سیستم‌های ذخیره‌سازی توزیع‌شده، لایه دسترسی سرور به یک گلوگاه حیاتی تبدیل شده است که بر عملکرد کلی برنامه تأثیر می‌گذارد. آداپتورهای سنتی 10GbE و پشته پروتکل TCP/IP برای ارائه تأخیر کم قطعی و توان عملیاتی بالا مورد نیاز بارهای کاری مدرن، تلاش می‌کنند. به طور خاص، سه نقطه درد اصلی پدیدار شده است: سربار زیاد CPU از پردازش پروتکل شبکه، تأخیرهای دم غیرقابل پیش‌بینی در دسترسی به ذخیره‌سازی توزیع‌شده، و مقیاس‌پذیری محدود برای محیط‌های مجازی‌سازی و کانتینر.
2. طراحی کلی معماری شبکه و سیستم
معماری پیشنهادی از توپولوژی استاندارد leaf-spine با لایه انتقال اختصاصی RoCEv2 بهره می‌برد. لایه دسترسی، جایی که سرورها به فابریک متصل می‌شوند، تمرکز این راه حل است و کارت آداپتور اترنت MCX4121A-ACAT به عنوان بلوک سازنده اصلی برای تمام گره‌های محاسباتی و ذخیره‌سازی عمل می‌کند.
معماری شامل اجزای اصلی زیر است:لایه دسترسی سرور: هر سرور محاسباتی و ذخیره‌سازی مجهز به یک یا دو آداپتور MCX4121A-ACAT است که اتصال دو پورت 25GbE به سوئیچ‌های leaf را فراهم می‌کند. تجمیع لینک (LACP) و failover فعال/آماده برای افزونگی پیکربندی شده‌اند.
فابریک Leaf-Spine:
- مجموعه‌ای از سوئیچ‌های سازگار با RoCEv2 (مانند NVIDIA Spectrum) فابریک leaf-spine را تشکیل می‌دهند، با فعال بودن PFC و ECN برای تضمین انتقال lossless RoCE در سراسر شبکه.فابریک ذخیره‌سازی:
- اهداف NVMe-oF بر روی سرورهای ذخیره‌سازی اختصاصی مستقر شده‌اند و از RDMA برای دسترسی مستقیم به حافظه و دور زدن سربار TCP/IP هسته استفاده می‌کنند.مدیریت و ارکستراسیون:
- مدیریت یکپارچه از طریق NVIDIA NetQ یا ابزارهای تله‌متری شخص ثالث، دید در لحظه به سلامت فابریک و عملکرد RDMA را فراهم می‌کند.طراحی MCX4121A-ACAT ConnectX-4 Lx دو پورت 25GbE SFP28 تضمین می‌کند که سرورها می‌توانند به دو سوئیچ leaf مستقل متصل شوند و نقاط شکست منفرد را حذف کرده و در عین حال تعادل بار را برای ترافیک RDMA و اترنت معمولی فراهم کنند.
- 3. نقش و ویژگی‌های کلیدی NVIDIA Mellanox MCX4121A-ACATNVIDIA Mellanox MCX4121A-ACAT سنگ بنای این راه حل است و RDMA شتاب‌دهنده سخت‌افزاری و قابلیت‌های تخلیه پیشرفته را ارائه می‌دهد. بر اساس دیتاشیت رسمی MCX4121A-ACAT و مشخصات MCX4121A-ACAT، این آداپتور شامل فناوری‌های کلیدی زیر است:
پشتیبانی از پروتکل RDMA
RoCEv2 (RDMA over Converged Ethernet v2) با تأخیر کمتر از 5 میکروثانیه؛ تخلیه هدف/آغازگر NVMe-oF
پشتیبانی از مجازی‌سازیکنترل ازدحامامنیت و مدیریت
| به‌روزرسانی امن سفت‌افزار، بوت PXE/iSCSI و پشتیبانی جامع از تله‌متری (gNMI) | اکوسیستم سازگار با MCX4121A-ACAT شامل پلتفرم‌های سرور اصلی (Dell، HPE، Lenovo، Supermicro و غیره)، سیستم‌عامل‌ها (Linux، Windows، VMware ESXi) و فروشندگان سوئیچ است که ادغام بی‌نقص را بدون قفل فروشنده تضمین می‌کند. این سازگاری گسترده به راه حل کارت آداپتور اترنت MCX4121A-ACAT اجازه می‌دهد تا در محیط‌های مختلف سازمانی پذیرفته شود. |
|---|---|
| 4. توصیه‌های استقرار و مقیاس‌پذیری (شامل توپولوژی معمول) | برای سازمان‌هایی که گزینه‌های فروش MCX4121A-ACAT را ارزیابی می‌کنند و استقرار خود را برنامه‌ریزی می‌کنند، ما یک رویکرد مرحله‌ای همسو با رشد بار کاری را توصیه می‌کنیم: |
| مرحله 1 (آزمایشی – خوشه استنتاج هوش مصنوعی): | دو آداپتور MCX4121A-ACAT در هر سرور استنتاج هوش مصنوعی (متصل به سوئیچ‌های leaf مختلف) مستقر کنید. RoCEv2 را با PFC/ECN پیکربندی کرده و عملکرد را با استفاده از MLNX_OFED انویدیا یا پشته درایور داخلی تأیید کنید. |
| مرحله 2 (گسترش پاد – ذخیره‌سازی و محاسبات): | استقرار را به 48-96 گره محاسباتی و 8-16 سرور ذخیره‌سازی گسترش دهید. تخلیه هدف/آغازگر NVMe-oF را در گره‌های ذخیره‌سازی مشخص شده فعال کنید. از تجمیع لینک (باندینگ) برای مقیاس‌بندی پهنای باند استفاده کنید. |
| مرحله 3 (چند رک / چند مرکز داده): | اتصال RDMA را در سراسر رک‌ها با استفاده از همان فابریک RoCEv2 گسترش دهید. برای بین سایت، پیوندهای DCI رمزگذاری شده با MACsec را در حالی که حمل و نقل RDMA را حفظ می‌کنید، در نظر بگیرید. |
| یک توپولوژی معمول برای یک پاد متوسط هوش مصنوعی/HPC شامل موارد زیر خواهد بود: 16 سرور محاسباتی (هر کدام با دو آداپتور MCX4121A-ACAT برای پهنای باند کل 2×25GbE = 50GbE مؤثر)، 4 سرور ذخیره‌سازی (اهداف NVMe-oF)، و 2-4 سوئیچ leaf (سازگار با RoCEv2). لایه spine شامل 2-4 سوئیچ با ظرفیت بالا است. آداپتورها با SR-IOV پیکربندی شده‌اند تا توابع مجازی اختصاصی را به بارهای کاری هوش مصنوعی کانتینری اختصاص دهند و عملکرد و جداسازی قابل پیش‌بینی را تضمین کنند. | 5. نظارت بر عملیات، عیب‌یابی و بهینه‌سازی |
از NVIDIA NetQ، PerfSONAR، یا تله‌متری جریانی مبتنی بر gNMI برای نظارت بر استفاده از پورت، خطاهای CRC، مکث‌های PFC و رویدادهای علامت‌گذاری ECN استفاده کنید. این معیارها برای شناسایی نقاط داغ ازدحام که بر عملکرد RDMA تأثیر می‌گذارند، حیاتی هستند. به طور منظم درایور (MLNX_OFED یا درایور داخلی لینوکس) و سفت‌افزار آداپتور را به آخرین نسخه‌های پایدار به‌روزرسانی کنید. دیتاشیت MCX4121A-ACAT را برای نسخه‌های سفت‌افزار توصیه شده و رفع اشکالات شناخته شده مرور کنید.
تنظیم عملکرد:
آستانه‌های PFC و سطوح علامت‌گذاری ECN را بر اساس پروفایل‌های بار کاری تنظیم کنید. برای بارهای کاری ذخیره‌سازی، ترافیک RDMA را با کلاس‌های اولویت بالاتر (مانند CoS 3) اولویت‌بندی کنید. برای بارهای کاری فشرده محاسباتی، تجمیع وقفه و اندازه‌های بافر را برای بهینه‌سازی توان عملیاتی تنظیم کنید. از تشخیص‌های داخلی آداپتور (مانند ethtool، mlxlink) برای شناسایی مشکلات لایه لینک استفاده کنید. در صورت کاهش عملکرد RDMA، فریم‌های مکث PFC و شمارنده‌های ECN را بررسی کنید تا منابع ازدحام را مشخص کنید.
- همچنین توصیه می‌شود پس از استقرار اولیه، یک خط پایه از تأخیر و توان عملیاتی RDMA با استفاده از ابزارهایی مانند perftest (ib_write_bw، ib_read_bw) ایجاد کنید. این خط پایه به عنوان یک معیار برای مقایسه‌های عملکرد آینده و برنامه‌ریزی ظرفیت عمل می‌کند.6. خلاصه و ارزیابی ارزش
- NVIDIA Mellanox MCX4121A-ACAT یک راه حل جامع و مقرون به صرفه برای ساخت شبکه‌های دسترسی مرکز داده با تأخیر کم و توان عملیاتی بالا ارائه می‌دهد. هنگام ارزیابی قیمت MCX4121A-ACAT در مقابل کل هزینه مالکیت، مزایا واضح است: کاهش استفاده از CPU (آزاد کردن منابع برای بارهای کاری برنامه)، بهبود عملکرد برنامه (تا 2 برابر توان عملیاتی برای بارهای کاری ذخیره‌سازی و هوش مصنوعی)، و کاهش سربار عملیاتی (نظارت ساده شده و تشخیص فعال خطا).نکات کلیدی از این راه حل فنی عبارتند از:
- MCX4121A-ACAT ConnectX-4 Lx دو پورت 25GbE SFP28 یک مسیر دسترسی 25GbE آینده‌نگر با سازگاری کامل به عقب با 10GbE/1GbE را ارائه می‌دهد.تخلیه RDMA/RoCEv2، همراه با شبکه‌سازی فعال PFC/ECN، تأخیر کمتر از 5 میکروثانیه و مداخله تقریباً صفر CPU را برای ترافیک ذخیره‌سازی و هوش مصنوعی ارائه می‌دهد.
اکوسیستم سازگار گسترده MCX4121A-ACAT ادغام بی‌نقص را در محیط‌های سرور، ذخیره‌سازی و سوئیچ ناهمگن تضمین می‌کند.
این راه حل از خوشه‌های آزمایشی کوچک تا استقرارهای چند رک در مقیاس بزرگ مقیاس‌پذیر است و آن را برای مراکز داده سازمانی و ارائه‌دهندگان خدمات ابری مناسب می‌سازد.