راه حل فنی آداپتور سرور Mellanox (NVIDIA Mellanox) MCX653105A-HDAT
April 29, 2026
مراکز داده مدرن در حال گذار از معماریهای متمرکز بر پردازش به معماریهای متمرکز بر داده هستند. ذخیرهسازی توزیعشده، خوشههای آموزش هوش مصنوعی و محیطهای معاملاتی با فرکانس بالا، نیازمندیهای سختگیرانهای را بر تأخیر شبکه و توان عملیاتی سرور تحمیل میکنند. پشتههای سنتی TCP/IP در پهنای باند بالا، وقفه CPU و جابجایی زمینه قابل توجهی ایجاد میکنند و بیش از 30 درصد از قدرت محاسباتی را فقط برای سربار شبکه مصرف میکنند. در همین حال، پروتکلهای ذخیرهسازی نوظهور مانند NVMe-oF برای آزادسازی پتانسیل عملکرد خود به تأخیر در مقیاس میکروثانیه در سراسر سیستم نیاز دارند. برای مقابله با این چالشها، سازمانها به یک کارت شبکه سرور نیاز دارند که پردازش شبکه را تخلیه کرده و دسترسی مستقیم به حافظه را امکانپذیر کند - دقیقاً همان کاری که Mellanox (NVIDIA Mellanox) MCX653105A-HDAT انجام میدهد.
نیازمندیهای کلیدی شناسایی شده در سناریوهای استقرار معمول عبارتند از: تأخیر در سطح برنامه زیر 2 میکروثانیه، توان عملیاتی 100 گیگابیت بر ثانیه در خط در هر پورت، تخلیه سختافزاری برای RoCE (RDMA over Converged Ethernet)، ادغام یکپارچه با سرورهای موجود PCIe 4.0 و تلمتری جامع برای مدیریت فعال ازدحام. MCX653105A-HDAT با معماری ConnectX-6 خود به هر یک از این موارد پاسخ میدهد.
راه حل پیشنهادی از یک ساختار دو لایه ستون فقرات-برگ با پشتیبانی RoCE استفاده میکند که گلوگاههای TCP/IP را حذف کرده و در عین حال اقتصاد اترنت را حفظ میکند. در لایه برگ، سوئیچهای بالای رک (سری NVIDIA SN4000 یا سوئیچهای معادل با قابلیت PFC) گرههای محاسباتی و ذخیرهسازی را به هم متصل میکنند. هر گره محاسباتی کارت آداپتور اترنت MCX653105A-HDAT را ادغام میکند که اتصال دو پورت 100 گیگابیت بر ثانیه را فراهم میکند. گرههای ذخیرهسازی از همان آداپتور برای ارائه اهداف NVMe-oF مستقیماً از طریق RDMA استفاده میکنند.
از نظر معماری، NVIDIA Mellanox MCX653105A-HDAT به عنوان شتابدهنده اصلی صفحه داده عمل میکند و تمام ورودی/خروجی شبکه را از ماشینهای مجازی، کانتینرها و بارهای کاری bare-metal مدیریت میکند. صفحه کنترل روی CPU میزبان باقی میماند اما از وظایف انتقال داده رها میشود - این جداسازی جوهر طراحی مبتنی بر RDMA است. برای استقرارهای در مقیاس بزرگ (بیش از 100 گره)، یک دامنه کنترل ازدحام RoCE اختصاصی با استفاده از DCQCN (Data Center Quantized Congestion Notification) پیکربندی میشود، با استخرهای بافر جداگانه برای ترافیک محاسباتی و ذخیرهسازی.
MCX653105A-HDAT ConnectX چهار عملکرد حیاتی را در این معماری انجام میدهد:
- تخلیه سختافزاری RoCE: RDMA را بدون نیاز به سوئیچها یا ساختارهای تخصصی پیادهسازی میکند. دادهها مستقیماً بین بافرهای برنامه و حافظه راه دور منتقل میشوند و هسته را کاملاً دور میزنند.
- رابط PCIe 4.0 x16: پهنای باند دو طرفه تا 200 گیگابیت بر ثانیه را ارائه میدهد، گلوگاههای گذرگاه میزبان را حذف کرده و پورتهای دوگانه 100 گیگابیت بر ثانیه را به طور کامل مورد استفاده قرار میدهد.
- شتابدهی سوئیچینگ و پردازش بسته (ASAP²): از سفارشیسازی انعطافپذیر خط لوله برای تخلیه VXLAN/NVGRE، شتابدهی VirtIO و تلمتری قابل برنامهریزی پشتیبانی میکند.
- شتابدهی ذخیرهسازی: تخلیه سختافزاری برای NVMe-oF (TCP و RoCE)، تولید/اعتبارسنجی امضای T10-DIF و شتابدهی کدگذاری پاکتی.
بر اساس برگه داده MCX653105A-HDAT، این آداپتور از بوت امن، ریشه اعتماد سختافزاری و رمزگذاری درون خطی IPsec/TLS تا 100 گیگابیت بر ثانیه نیز پشتیبانی میکند. هنگام بررسی مشخصات MCX653105A-HDAT، مهندسان متوجه عرض دو اسلات، خنککننده غیرفعال و محدوده دمای عملیاتی گسترده (0 درجه سانتیگراد تا 55 درجه سانتیگراد) خواهند شد که آن را برای محیطهای سرور متراکم مناسب میسازد.
توپولوژی معمول (مثال خوشه 1024 گرهای):
- لایه برگ: 16 سوئیچ برگ، هر کدام با 48 پورت پاییندست 100 گیگابیت بر ثانیه + 8 لینک بالادست 400 گیگابیت بر ثانیه
- لایه ستون فقرات: 4 سوئیچ ستون فقرات، ساختار 400 گیگابیت بر ثانیه بدون مسدود کننده
- گرههای محاسباتی: دوگانه MCX653105A-HDAT در هر گره (اختیاری فعال-فعال یا فعال-آماده)
- گرههای ذخیرهسازی: 1x MCX653105A-HDAT در هر گره، ارائه فضاهای نام NVMe از طریق RDMA
مراحل استقرار: سرورهای سازگار با MCX653105A-HDAT را با استفاده از ماتریس سازگاری رسمی تأیید کنید. چارچوب MLNX_OFED یا DOCA را نصب کنید (حداقل نسخه 5.8). RoCE را در پورتهای سوئیچ فعال کنید (پارامترهای PFC، ECN، DCQCN تنظیم شده برای بار کاری). برای افزونگی دو پورت، اتصال یا چندمسیر را پیکربندی کنید. در نهایت، با استفاده از مجموعه آزمایشی perftest (ib_write_bw, ib_read_lat) اعتبارسنجی کنید.
ملاحظات مقیاسپذیری: برای 2000+ گره، مسیریابی تطبیقی و کنترل ازدحام را در سطح ساختار پیادهسازی کنید. راه حل کارت آداپتور اترنت MCX653105A-HDAT به صورت خطی مقیاسپذیر است زیرا هر آداپتور به طور مستقل عمل میکند و هیچ گلوگاه مرکزی وجود ندارد. هنگام برنامهریزی ظرفیت، قیمت MCX653105A-HDAT را در مقابل TCO (کل هزینه مالکیت) ارجاع دهید - دوره بازپرداخت معمول 6-12 ماه به دلیل ادغام سرور و کاهش نیاز به تعداد هستههای CPU است. سازمانهایی که به دنبال خرید MCX653105A-HDAT هستند باید با توزیعکنندگان منطقهای برای قیمتگذاری حجمی و گزینههای سفارشیسازی سفتافزار تماس بگیرند.
| مقیاس استقرار | توپولوژی پیشنهادی | تأخیر مورد انتظار (P99) | نرخ تخلیه CPU |
|---|---|---|---|
| تا 256 گره | تک برگ یا 2 برگ + 2 ستون فقرات | ≤1.8 میکروثانیه | 85-90% |
| 257-1024 گره | 4-16 برگ + 4 ستون فقرات | ≤2.2 میکروثانیه | 88-92% |
| 1024+ گره | چند سطحی با مسیریابی تطبیقی | ≤2.8 میکروثانیه | 90-95% |
نظارت و تلمتری: NVIDIA Mellanox MCX653105A-HDAT شمارندههای بیدرنگ را از طریق PCM (Performance Counter Monitor) و DOCA Telemetry صادر میکند. معیارهای کلیدی برای پیگیری: نسبت علامتگذاری ازدحام RoCE، تعداد افت بافر، خطاهای لینک PCIe و فریمهای مکث پورت. ادغام با Prometheus+Grafana از طریق کتابخانه مدیریت NVIDIA (NVML) پشتیبانی میشود.
دستورالعملهای بهینهسازی: پارامترهای DCQCN (cnp_802p_prio=3, rpg_time_reset=300, و غیره) را بر اساس بار کاری تنظیم کنید - برای ذخیرهسازی تهاجمیتر، برای محاسبات محافظهکارانهتر. تخلیههای سختافزاری را به صورت انتخابی فعال کنید: TSO/LRO برای بارهای کاری ترکیبی، RoCE برای جریانهای حساس به تأخیر، و ASAP² برای NFV. از ابزار mlxconfig موجود برای تنظیم اندازه حداکثر بار payload PCIe (256B بهینه برای اکثر سرورها) استفاده کنید.
عیبیابی رایج: پرش پورت معمولاً نشاندهنده عدم تطابق SFP/کابل است - اپتیکهای سازگار با MCX653105A-HDAT را در برابر لیست سازگاری تأیید کنید. توان عملیاتی پایین RDMA اغلب به پیکربندی ناکافی ECN در سوئیچها اشاره دارد. از ibdiagnet برای اعتبارسنجی ساختار و dump_emad برای بررسی رجیسترهای داخلی آداپتور استفاده کنید. برای مشکلات پایدار، برگه داده MCX653105A-HDAT تشخیصهای سطح رجیستر و جداول کد خطا را ارائه میدهد.
MCX653105A-HDAT یک بلوک ساختمانی بالغ و آماده تولید برای شبکههای مرکز داده با تأخیر کم و توان عملیاتی بالا را نشان میدهد. با انتقال پردازش شبکه از CPU به موتورهای مبتنی بر سختافزار، استقرار RDMA/RoCE را بر روی زیرساخت استاندارد اترنت امکانپذیر میسازد. نتایج ارزش کلیدی عبارتند از: کاهش 50-70 درصدی CPU برای وظایف شبکه، تأخیر قطعی زیر 2 میکروثانیه، ادغام یکپارچه NVMe-oF و مقیاسپذیری خطی تا هزاران گره. برای معماران، راه حل کارت آداپتور اترنت MCX653105A-HDAT یک مسیر آیندهنگر به سمت ساختارهای 200 گیگابیت بر ثانیه را در حالی که سازگاری با ابزارهای مدیریتی موجود را حفظ میکند، فراهم میکند. چه در حال ارزیابی مشخصات MCX653105A-HDAT برای اثبات مفهوم باشید و چه در حال برنامهریزی برای استقرار در مقیاس رک، این آداپتور بهبودهای قابل اندازهگیری را هم در عملکرد و هم در کل هزینه مالکیت ارائه میدهد.