NVIDIA Mellanox MCX4121A-ACAT Server Adapter راه حل فنی

این راه حل فنی برای معماران شبکه، مهندسین پیش فروش و مدیران عملیات طراحی شده است. این جزئیات نحوه ساخت زیرساخت شبکه مرکز داده با تأخیر کم و توان عملیاتی بالا بر اساس فناوری RoCE (RDMA over Ethernet Converged) با استفاده ازNVIDIA Mellanox MCX4121A-ACATآداپتور سرور این سند طراحی معماری، فناوری‌های کلیدی، استراتژی‌های استقرار و بهترین شیوه‌های عملیاتی را پوشش می‌دهد.

1. پیشینه پروژه و تجزیه و تحلیل نیازمندیها

مراکز داده مدرن با سه چالش اساسی روبرو هستند: سربار CPU پشته های TCP/IP سنتی، لرزش تأخیر غیرقابل پیش بینی برای برنامه های کاربردی توزیع شده، و افزایش هزینه پهنای باند شرق به غرب. با تغییر حجم کار به سمت آموزش هوش مصنوعی، پایگاه های داده توزیع شده و پارچه های ذخیره سازی NVMe-oF، آداپتورهای معمولی 10GbE یا 25GbE بدون تخلیه RDMA به گلوگاه های مهم تبدیل می شوند. محیط هدف - که معمولاً برای مراکز داده سازمانی یا ابری متوسط ​​تا بزرگ است - به تأخیر زیر 3 میکرو ثانیه، کمتر از 10٪ استفاده از CPU برای پردازش شبکه و سرعت خط 50 گیگابیت بر ثانیه به ازای هر سرور نیاز دارد. راکارت آداپتور اترنت MCX4121A-ACATمستقیماً به این الزامات می پردازد.

2. طراحی کلی شبکه و معماری سیستم

معماری پیشنهادی از یک توپولوژی دو لایه برگ-خاره با حمل و نقل اترنت بدون تلفات پیروی می کند. اصول کلیدی طراحی عبارتند از:

• لایه برگ:سوئیچ های ToR با پشتیبانی DCB (Data Center Bridging) - PFC، ETS و DCBX فعال است.
• لایه ستون فقرات:سوئیچ های غیر مسدود کننده اتصال کامل مش بین برگ ها را فراهم می کنند.
• لایه سرور:هر گره محاسباتی/ذخیره‌ای مجهز بهMCX4121A-ACAT ConnectX-4 Lx دو پورت 25GbE SFP28آداپتور
• پروتکل حمل و نقل:RoCE v2 با پشتیبانی از مسیریابی IP، RDMA را در سراسر مرزهای لایه 3 فعال می کند.

مقیاس معماری از 48 تا بیش از 1000 گره در حالی که تأخیر زیر میکروثانیه ای را حفظ می کند. پورت های دوگانه هر آداپتور را می توان در پیوند فعال-فعال برای تجمع پهنای باند یا فعال-غیرفعال برای دسترسی بالا پیکربندی کرد.

3. نقش NVIDIA Mellanox MCX4121A-ACAT و ویژگی‌های کلیدی

در این راه حل،NVIDIA Mellanox MCX4121A-ACATبه عنوان موتور تخلیه سخت افزاری حیاتی عمل می کند. با توجه بهبرگه داده MCX4121A-ACAT، ویژگی های کلیدی فعال کننده عبارتند از:

• بارگیری حمل و نقل مبتنی بر سخت افزار:پردازش کامل پروتکل RDMA/RoCE در سخت افزار آداپتور، حذف دخالت CPU در جابجایی داده ها.
• دو پورت 25 گیگابایتی SFP28:پشتیبانی رسانه ای انعطاف پذیر برای کابل های SR، LR و DAC. سازگار با 10GbE و 1GbE.
• رابط میزبان PCIe 3.0 x8:پهنای باند دو طرفه تا 64 گیگابیت بر ثانیه را ارائه می دهد که سرعت سیم را مسدود نمی کند.
• شتاب NVMe-oF:تخلیه بومی برای پردازش فرمان NVMe/TCP و NVMe/RoCE.
• Overlay Offload:شتاب سخت افزاری برای تونل های VXLAN، GENEVE و NVGRE.

رامشخصات MCX4121A-ACATپشتیبانی از حداکثر 1 میلیون IOPS در هر پورت با تأخیر زیر 0.8 میکروثانیه برای انتقال‌های محدود به حافظه را تأیید کنید، که آن را برای معاملات با فرکانس بالا، تجزیه و تحلیل بلادرنگ و ذخیره‌سازی تفکیک‌شده ایده‌آل می‌کند.

4. استقرار و توصیه های مقیاس بندی (با توپولوژی)

استقرار معمولی به دنبال عرضه پیش رونده در سطح رک است. در زیر یک توپولوژی مرجع دو رک آورده شده است:

برای مقیاس بندی بیش از دو قفسه، سوئیچ های ستون فقرات همه سوئیچ های برگ را به هم متصل می کنند. هنگام ارزیابیسازگار با MCX4121A-ACATاپتیک و کابل، ماژول های SFP28 تست شده توسط فروشنده را از لیست سازگاری NVIDIA انتخاب کنید تا از پایداری PFC و آموزش پیوند اطمینان حاصل کنید. سازمان ها می توانند منبع باشندMCX4121A-ACAT برای فروشاز طریق توزیع کنندگان مجاز، باقیمت MCX4121A-ACATبسته به حجم، معمولاً از 400 تا 600 دلار برای هر آداپتور متغیر است.

5. نظارت بر عملیات، عیب یابی و بهینه سازی

استقرار موثر RoCE نیاز به نظارت فعال دارد. اقدامات توصیه شده عبارتند از:

• تله متری:از مجموعه درایورهای NVIDIA MLNX_OFED با شمارنده های داخلی RoCE (port_xmit_wait، port_rcv_remote_physical_errors) استفاده کنید.
• تشخیص تراکم:فریم های مکث PFC را مانیتور کنید. مقادیر غیر صفر پایدار نشان دهنده فشار بافر است.
• تنظیم بافر:2-3x BDP (محصول با تأخیر پهنای باند) را برای استخرهای بافر بدون تلفات پیکربندی کنید.
• آستانه ECN/RED:برای جلوگیری از تراکم فعال، احتمال علامت گذاری را در عمق صف ۱٪ تنظیم کنید.

سناریوهای رایج عیب یابی: اگر عملکرد RoCE کاهش یابد، بررسی کنید که پیکربندی DCB در همه سوییچ ها و سیستم عامل آداپتور یکسان است. راراه حل کارت آداپتور اترنت MCX4121A-ACATشامل ابزارهای تشخیصی (ibdiagnet، mlxlink) برای اعتبارسنجی یکپارچگی کابل و سلامت پیوند است. برای محیط‌های تولید، این معیارها را در داشبوردهای Prometheus/Grafana با هشدارهایی برای افت فریم‌های مکث یا ارسال مجدد بیش از حد ادغام کنید.

6. خلاصه و ارزشیابی

راNVIDIA Mellanox MCX4121A-ACATارزش قابل اندازه گیری را در سه بعد ارائه می دهد:عملکرد(تاخیر زیر 2μs، توان عملیاتی موثر 49Gb/s)،بهره وری(زیر 5 درصد استفاده از CPU برای شبکه ورودی/خروجی)، وTCO(سرورهای کمتری برای IOPS مورد نیاز، حذف مجوز اتصال اختصاصی). برای سازمان‌هایی که مراکز داده نسل بعدی را می‌سازند، این آداپتور یک محصول اثبات شده و بسیار مقیاس‌پذیر را ارائه می‌کند.راه حل کارت آداپتور اترنت MCX4121A-ACATکه شکاف بین اقتصاد استاندارد اترنت و الزامات محاسباتی با عملکرد بالا را پر می کند. معماران شبکه تشویق می شوند که به آن ارجاع دهندبرگه داده MCX4121A-ACATبرای مشخصات دقیق سطح ثبت و راهنمای ادغام.