NVIDIA Mellanox MCX4121A-ACAT Server Adapter راه حل فنی

این راه حل فنی برای معماران شبکه، مهندسین پیش فروش و مدیران عملیات طراحی شده است. این جزئیات چگونه استNVIDIA Mellanox MCX4121A-ACATآداپتور سرور، حمل و نقل با تأخیر کم مبتنی بر RDMA/RoCE را فعال می کند و به طور چشمگیری عملکرد سرور را در محیط های مرکز داده مدرن بهبود می بخشد.

1. پیشینه پروژه و تجزیه و تحلیل نیازمندیها

شبکه TCP/IP سنتی محدودیت‌های اساسی را بر بارهای کاری حساس به عملکرد مانند پایگاه‌های داده توزیع‌شده، ذخیره‌سازی NVMe-oF و تجزیه و تحلیل بلادرنگ تحمیل می‌کند. نقاط اصلی درد شامل سربار بالای CPU ناشی از پردازش پشته شبکه، تأخیر غیرقابل پیش‌بینی به دلیل ارسال مجدد بسته‌ها، و کپی ناکارآمد حافظه بین هسته و فضاهای برنامه است.

برای مقابله با این چالش ها، مراکز داده مدرن به یک راه حل شبکه ای نیاز دارند که ارائه دهد:

• تأخیر سرتاسری زیر 10 میکروثانیه برای ذخیره سازی و ترافیک HPC
• بای پس کرنل و دسترسی مستقیم به حافظه برای کاهش بار CPU
• پارچه اترنت بدون اتلاف با پشتیبانی از 25 گیگابایت در هر پورت
• ادغام یکپارچه با زیرساخت اترنت موجود

اینMCX4121A-ACATراه حل مبتنی بر RoCE به طور مستقیم این الزامات را برآورده می کند و در عین حال سازگاری با اکوسیستم های سوئیچینگ استاندارد را حفظ می کند.

2. طراحی کلی شبکه و معماری سیستم

معماری پیشنهادی یک توپولوژی برگ و ستون فقرات با اترنت بدون تلفات در لایه‌های دسترسی 25 گیگابایتی را اتخاذ می‌کند. هر سرور محاسباتی یا ذخیره سازی مجهز به یک یا دو سرور استکارت های آداپتور اترنت MCX4121A-ACAT، اتصال به سوئیچ های برگ از طریق کابل های DAC SFP28 یا گیرنده های نوری. سوئیچ های برگ از پروتکل های Data Center Bridging (DCB) از جمله کنترل جریان اولویت (PFC) و انتخاب انتقال پیشرفته (ETS) پشتیبانی می کنند که برای ترافیک RoCE ضروری هستند.

برای طراحی‌های با قابلیت دسترسی بالا، آداپتورهای دو پورت، اتصال فعال-فعال یا تنظیمات شکست را فعال می‌کنند. لایه ستون فقرات سوئیچ های برگ را با استفاده از لینک های 100GbE جمع می کند و از پهنای باند غیرمسدود برای الگوهای ترافیکی شرق به غرب اطمینان می دهد. کلید این طراحی جداسازی ترافیک ذخیره‌سازی RoCE از ترافیک مدیریت TCP/IP معمولی با استفاده از VLAN و کلاس‌های QoS است.

3. نقش NVIDIA Mellanox MCX4121A-ACAT و ویژگی‌های کلیدی

اینNVIDIA Mellanox MCX4121A-ACATبه عنوان مولفه نقطه پایانی حیاتی عمل می کند که RDMA را از طریق اترنت همگرا فعال می کند. این آداپتور SFP28 25 گیگابایتی دو پورت که بر روی ConnectX-4 Lx ASIC ساخته شده است، قابلیت‌های شتاب سخت‌افزاری زیر را ارائه می‌کند:

• تخلیه سخت افزار RoCE:پردازش حمل و نقل RDMA را در سیلیکون کامل کنید و سربار نرم افزار را حذف کنید
• بازیابی تگ تطبیق و زنگ در:مدیریت اتصال قابل اعتماد به کمک سخت افزار
• مجازی سازی SR-IOV:حداکثر 256 عملکرد مجازی در هر پورت برای کانتینر و تراکم VM
• GPUDirect RDMA:دسترسی مستقیم به حافظه GPU برای کلاسترهای آموزشی AI/ML
• Overlay Network Offload:محصور کردن/کاپسوله کردن سخت افزار برای VXLAN، NVGRE و Geneve

اینMCX4121A-ACAT ConnectX-4 Lx دو پورت 25GbE SFP28آداپتور همچنین از ویژگی‌های پیشرفته از جمله مسیریابی تطبیقی، کنترل ازدحام، و تخلیه بافر انفجاری پشتیبانی می‌کند. برای برنامه ریزی یکپارچه سازی،برگه داده MCX4121A-ACATمشخصات کامل الکتریکی، حرارتی و مکانیکی را ارائه می دهد.

4. توصیه‌های استقرار و مقیاس‌بندی (نمونه‌های توپولوژی)

توپولوژی معمولی – 25GbE RoCE Fabric برای 100+ گره:

• لایه دسترسی:سوئیچ برگ 48 پورت 25GbE با پشتیبانی از DCB
• لایه ستون فقرات:سوئیچ ستون فقرات 32 پورت 100GbE
• آداپتور سرور: MCX4121A-ACAT(دو پورت) در اسلات PCIe 3.0 x8
• کابل کشی:DAC غیرفعال SFP28 برای داخل رک (≤5 متر)، اپتیکال فعال برای کراس رک

مراحل استقرار:

• تأیید تنظیمات BIOS سرور (انشعاب PCIe، فعال کردن SR-IOV، رمزگشایی بالای 4G)
• نصب کنیدNVIDIA Mellanox MCX4121A-ACATسیستم عامل از طریق ابزارهای mlxup یا MST
• پیکربندی پورت های سوئیچ: اولویت PFC 3-5، تخصیص پهنای باند ETS، اعتماد به DSCP
• RoCE را در میزبان فعال کنید: حالت RoCE را روی v2 تنظیم کنید (روتینگ مناسب)، پیشوند GID را پیکربندی کنید
• با استفاده از نظارت بر ibdiagnet و cqounter رفتار بدون ضرر را تأیید کنید

برای مقیاس‌بندی به بیش از 500 گره، یک پارچه ذخیره‌سازی RoCE جداگانه برای جداسازی ترافیک ذخیره‌سازی از ارتباطات تولیدی شرق و غرب در نظر بگیرید. راسازگار با MCX4121A-ACATاکوسیستم شامل تمام OEM های اصلی سرور و فروشندگان سوئیچ می شود که مقیاس پذیری را تضمین می کند.

5. عملیات، نظارت، عیب یابی و بهینه سازی

معیارهای اصلی نظارت:

• بسته RoCE سقوط می کند (نشان دهنده مشکلات پیکربندی PFC است)
• عمق صف تکمیل ارسال/دریافت RDMA
• خطاهای پورت، CRC، و آموزش مجدد پیوند
• استفاده از CPU در هر هسته (اندازه گیری اثربخشی بای پس هسته)

ابزارهای ضروری:

• mellanox_perf - اندازه‌گیری پهنای باند/تأخیر در سطح آداپتور
• ibdiagnet - اعتبار سنجی پارچه RoCE و تشخیص کابل
• ethtool -S – آمار در صف و شمارنده های تخلیه
• syslog/dmesg – ردیابی رویداد درایور و سیستم عامل

دستورالعمل های بهینه سازی:

• NRPE (دریافت سرعت شبکه فعال است) را برای عادلانه بودن چند جریان تنظیم کنید
• ادغام وقفه (اعتدال) را بر اساس نوع بار کاری تنظیم کنید
• برای بارهای ذخیره سازی، تکمیل های RDMA را به هسته های اختصاصی CPU متصل کنید
• استفاده کنیدمشخصات MCX4121A-ACATبرای تایید محدودیت های حرارتی تحت بار نرخ خط پایدار

زمانی که بودجه و منابع مورد توجه قرار گرفت، بررسی کنیدقیمت MCX4121A-ACATروندها وMCX4121A-ACAT برای فروشدر دسترس بودن از طریق توزیع کنندگان مجاز خرید حجمی معمولاً هزینه هر واحد را کاهش می دهد و در عین حال از پشتیبانی سیستم عامل واقعی اطمینان می دهد.

6. خلاصه و ارزشیابی

راراه حل کارت آداپتور اترنت MCX4121A-ACATمزایای قابل اندازه گیری را در ابعاد مختلف ارائه می دهد:

فراتر از عملکرد خام، راه حل با ادغام شبکه های ذخیره سازی و داده بر روی یک پارچه اترنت بدون تلفات، TCO را کاهش می دهد. اینMCX4121A-ACATسازمان‌ها را قادر می‌سازد تا سرمایه‌گذاری‌های سوئیچ موجود را حفظ کنند و در عین حال قابلیت‌های RDMA را که قبلاً برای InfiniBand رزرو شده بود، باز کنند. برای تیم‌هایی که معماری مرکز داده نسل بعدی خود را برنامه‌ریزی می‌کنند، این آداپتور یک مسیر ثابت و مقیاس‌پذیر به سمت شبکه‌سازی سرور با تأخیر کم و بازده بالا ارائه می‌کند.