کتاب سفید فنی NVIDIA Mellanox MCX653106A-HDAT Server Adapter
April 30, 2026
این مقاله فنی برای معماران شبکه، مهندسان پیشفروش و مدیران عملیات در نظر گرفته شده است. این مقاله یک مرجع جامع برای طراحی و استقرار شبکههای دیتاسنتر با کارایی بالا و تأخیر کم با استفاده از کارت شبکه سرور NVIDIA Mellanox MCX653106A-HDAT، با تمرکز بر حمل و نقل RDMA/RoCE و افزایش قابل اندازهگیری توان عملیاتی سرور ارائه میدهد.بار کاری دیتاسنترهای مدرن - از جمله شبکههای ذخیرهسازی NVMe-oF، آموزش توزیع شده هوش مصنوعی، معاملات با فرکانس بالا و تجزیه و تحلیل بلادرنگ - الزامات شدیدی را بر زیرساخت شبکه تحمیل میکنند. پردازش پشته سنتی TCP/IP سه گلوگاه اساسی را معرفی میکند: سربار بالای CPU (اغلب بیش از 50٪ از چرخههای هسته)، تأخیر متغیر به دلیل محدودیتهای دور زدن هسته، و کاهش توان عملیاتی مؤثر از سربار پردازش پروتکل. سازمانها به راهحلی نیاز دارند که پهنای باند خطی را با تأخیر کمتر از میکروثانیه ارائه دهد و در عین حال منابع CPU را برای منطق برنامه آزاد کند. الزامات کلیدی شامل RDMA با تخلیه سختافزاری، حمل و نقل بدون اتلاف RoCE، ادغام یکپارچه با شبکههای اترنت موجود و ابزارهای عملیاتی جامع برای نظارت و عیبیابی است.
معماری پیشنهادی یک توپولوژی Clos دو لایه (اسپاین-لیف) را اتخاذ میکند که برای حمل و نقل RoCE بهینه شده است. سوئیچهای لیف اتصال سرور را با DCB (کنترل جریان اولویت، انتخاب انتقال پیشرفته) پیکربندی شده برای تضمین رفتار بدون اتلاف برای ترافیک RDMA فراهم میکنند. سوئیچهای اسپاین ارتباطات غیر مسدود کننده هر به هر را در سراسر شبکه فعال میکنند. هر گره محاسباتی و ذخیرهسازی شامل کارت آداپتور اترنت MCX653106A-HDAT است که از طریق دو پورت 100GbE پیکربندی شده در حالت فعال-فعال به سوئیچهای لیف متصل میشود. این معماری ترافیک RDMA (صف اولویت اختصاصی با PFC فعال) را از ترافیک عادی TCP/IP (صف بهترین تلاش) جدا میکند و تأخیر کم قطعی را برای جریانهای حیاتی تضمین میکند. تقسیمبندی VLAN دامنههای RDMA را ایزوله میکند در حالی که مسیریابی ارتباطات بین زیرشبکهها را در صورت نیاز مدیریت میکند.
کارت شبکه PCIe آداپتور MCX653106A-HDAT ConnectX به عنوان پایه این راهحل عمل میکند. این کارت که بر اساس معماری ConnectX-6 با رابط میزبان PCIe 4.0 x16 ساخته شده است، توان عملیاتی دو پورت 100GbE (یا تک پورت 200GbE) را با تأخیر کمتر از 600 نانوثانیه تحت بارهای کاری RDMA ارائه میدهد. ویژگیهای کلیدی مورد استفاده در این طراحی عبارتند از:برنامهریزی ظرفیت:تخلیه کامل دستورات RDMA، حذف دخالت CPU میزبان برای انتقال داده. پشتیبانی از RoCE v1 و v2.
مسیر داده قابل برنامهریزی (ASAP²):پردازش انعطافپذیر بستهها و تخلیه شبکههای پوششی (VXLAN، GENEVE) را امکانپذیر میسازد.
- ارتباط مستقیم چند میزبان و GPU Direct RDMA:ارتباط مستقیم همتا به همتا بین GPUها در گرهها بدون دخالت CPU - حیاتی برای خوشههای هوش مصنوعی.
- تلهمتری و کنترل ازدحام:نظارت بر جریان مبتنی بر سختافزار، علامتگذاری ECN و محدود کردن نرخ پویا.
- مهندسانی که برگه داده MCX653106A-HDAT را بررسی میکنند، پشتیبانی از فرم فاکتورهای استاندارد و OCP 3.0، پوشش جامع سیستم عامل (توزیعهای لینوکس با MLNX_OFED، ویندوز، ESXi) و سازگاری گسترده سرور را مشاهده خواهند کرد. مشخصات MCX653106A-HDAT همچنین مصرف برق حداکثر 75 وات و دمای عملیاتی 0 تا 55 درجه سانتیگراد را تأیید میکنند که برای استقرار با چگالی بالا مناسب است.4. توصیههای استقرار و مقیاسپذیری (با توپولوژی)
- استقرار از یک رویکرد مرحلهای پیروی میکند. یک توپولوژی آزمایشی معمولی دو رک در زیر نشان داده شده است:جزء
- پیکربندیتعداد
گرههای محاسباتی/ذخیرهسازی16MCX653106A-HDAT (دو پورت 100GbE)
سوئیچهای لیف
| Mellanox SN3700 (32x 100GbE، DCB فعال) | 2 | سوئیچهای اسپاین |
|---|---|---|
| Mellanox SN3700 (اتصالات بالایی 100GbE) | 1 (برای افزونگی به 2 مقیاسبندی کنید) | بسته درایور MLNX_OFED (حداقل نسخه 5.8) را در تمام گرهها مستقر کنید. ماژولهای هسته RDMA و RoCE را فعال کنید. |
| مرحله 1 - اعتبارسنجی: | مرحله 2 - نصب درایور: | بسته درایور MLNX_OFED (حداقل نسخه 5.8) را در تمام گرهها مستقر کنید. ماژولهای هسته RDMA و RoCE را فعال کنید. |
| مرحله 3 - پیکربندی شبکه: | PFC (اولویت 3 برای RDMA) و ETS را در سوئیچهای لیف فعال کنید. MTU 9000 را برای پشتیبانی از فریمهای جامبو پیکربندی کنید. | مرحله 4 - راهاندازی RoCE: |
| هر کارت آداپتور اترنت MCX653106A-HDAT را با RoCE v2 (قابل مسیریابی) یا v1 (غیر قابل مسیریابی) پیکربندی کنید. حالت GID را به RoCE v2 با آدرسدهی IPv4 تنظیم کنید. | مرحله 5 - تأیید: | تستهای ib_write_bw و ib_send_lat را بین گرهها اجرا کنید تا پهنای باند و تأخیر را تأیید کنید. با perfquery و mlnx_perf نظارت کنید. |
برای مقیاسبندی فراتر از 16 گره، به توپولوژی اسپاین-لیف با سوئیچهای اسپاین افزونه که تا 128 گره را پشتیبانی میکنند، تغییر دهید. راهحل کارت آداپتور اترنت MCX653106A-HDAT به صورت خطی بدون پیکربندی مجدد شبکه مقیاسپذیر است، زیرا RoCE از ECMP برای توزیع بار در مسیرهای متعدد استفاده میکند.
- 5. عملیات، نظارت، عیبیابی و بهینهسازیعملیات مؤثر محیطهای RDMA/RoCE به ابزارهای تخصصی نیاز دارد. شیوههای زیر توصیه میشوند:تشخیص ازدحام:فریمهای مکث PFC را در هر پورت با استفاده از تلهمتری سوئیچ (مانند Mellanox SHARP) نظارت کنید. نرخ مکث بالا نشاندهنده ازدحام یا میکرو-انفجار است که نیاز به تنظیم کنترل جریان دارد.کارایی:
- تنظیم ECN و DCQCN:اعلان ازدحام صریح (ECN) را در سوئیچها فعال کنید و پارامترهای کنترل ازدحام پویا (DCQCN) را در درایور MCX653106A-HDAT پیکربندی کنید (به عنوان مثال، dcqcn_r_ai=40، dcqcn_r_hai=10).
- تجزیه و تحلیل گزارش:گزارش /var/log/messages را برای خرابیهای اتصال RDMA (به عنوان مثال، “mlx5_core: failed to create QP”) بررسی کنید. اطمینان حاصل کنید که شاخصهای GID بین نقاط پایانی مطابقت دارند.
- بهروزرسانی فریمور:بهطور منظم فریمور NIC را از طریق mlxfwmanager بهروزرسانی کنید. مشخصات MCX653106A-HDAT برای عملکرد بهینه RoCE، خط پایه فریمور xx.36.1010 یا بالاتر را توصیه میکنند.برنامهریزی ظرفیت:برای سازمانهایی که قیمت MCX653106A-HDAT و تخفیف حجم MCX653106A-HDAT برای فروش را تخمین میزنند، نرخ رشد پروژه برای ترافیک RDMA را پیشبینی کرده و نسبتهای اضافه بار سوئیچ لیف (معمولاً 3:1 برای شبکههای ذخیرهسازی) را برنامهریزی کنید.
- یک سناریوی عیبیابی رایج: تأخیر یکطرفه بالا با اتلاف صفر بسته اغلب نشاندهنده آستانههای ECN پیکربندی نادرست یا تنظیمات PFC نامتقارن است. از mlnx_qos برای تأیید حالت اعتماد و نگاشتهای DSCP به اولویت در تمام عناصر شبکه استفاده کنید.6. خلاصه و ارزیابی ارزش
کارت شبکه سرور NVIDIA Mellanox MCX653106A-HDAT یک پایه آماده تولید برای استقرار شبکههای RDMA/RoCE با کارایی بالا را فراهم میکند. این راهحل فنی ارزش قابل اندازهگیری را در ابعاد مختلف ارائه میدهد:توان عملیاتی تا 200 گیگابیت بر ثانیه در هر آداپتور با تأخیر کمتر از میکروثانیه، که امکان مقیاسپذیری ذخیرهسازی و بارهای کاری محاسباتی توزیع شده را که قبلاً توسط سربار TCP محدود شده بودند، فراهم میکند.کارایی:
تخلیههای سختافزاری مصرف CPU مرتبط با شبکه را از بیش از 50٪ به کمتر از 15٪ کاهش میدهند و هستهها را برای پردازش برنامه آزاد میکنند.راهحل کارت آداپتور اترنت MCX653106A-HDAT تعداد گرههای مورد نیاز را برای یک هدف توان عملیاتی معین کاهش میدهد و هزینههای سرمایه و عملیاتی را کاهش میدهد. هنگام ارزیابی قیمت MCX653106A-HDAT، دوره بازپرداخت 9 تا 12 ماهه را فقط از محل افزایش کارایی در نظر بگیرید.
پشتیبانی از PCIe 5.0 (سازگار با عقب) و قابلیت برنامهریزی از طریق DOCA، حفاظت از سرمایهگذاری را در حالی که سرعت دیتاسنتر به 200/400 گیگابیت بر ثانیه مهاجرت میکند، تضمین میکند.
- برای معمارانی که به دنبال الگوی طراحی آزمایش شده در تولید هستند، این راهحل به طور یکپارچه با عملیات اترنت موجود ادغام میشود و در عین حال پتانسیل کامل RDMA را آزاد میکند. برای نقشههای مکانیکی دقیق، نمودارهای زمانبندی و توضیحات ویژگیهای پیشرفته، به برگه داده MCX653106A-HDAT مراجعه کنید. برای راهنمایی خرید، از جمله قیمت فعلی MCX653106A-HDAT و زمان تحویل MCX653106A-HDAT برای فروش، با شرکای توزیع مجاز NVIDIA Mellanox تماس بگیرید.