NVIDIA Mellanox MCX623106AN-CDAT Server Adapter راه حل فنی

این مقاله فنی فنی، معماران شبکه، مهندسان پیش فروش و تیم های عملیاتی را با طراحی راه حل جامع با محوریتNVIDIA Mellanox MCX623106AN-CDAT. ما به چگونگی دستیابی به تأخیر کم قطعی و به حداکثر رساندن توان سرور با استفاده از RDMA/RoCE در محیط‌های مرکز داده مدرن می‌پردازیم.

1. پیشینه پروژه و تجزیه و تحلیل نیازمندیها

پشته‌های TCP/IP سنتی سربار قابل‌توجهی را معرفی می‌کنند - مدیریت وقفه، کپی‌های حافظه، و سوئیچینگ زمینه - که عملکرد برنامه را محدود می‌کند، به‌ویژه برای NVMe-oF، پایگاه‌های داده توزیع‌شده، و خوشه‌های آموزشی هوش مصنوعی. الزامات کلیدی برای زیرساخت های نسل بعدی عبارتند از:

• تأخیر سرتاسری زیر 10 میکرو ثانیه برای ذخیره سازی و تجزیه و تحلیل زمان واقعی
• دور زدن CPU به هسته های رایگان برای منطق تجاری (هدف: کمتر از 20٪ استفاده از CPU مرتبط با شبکه)
• پارچه اترنت بدون اتلاف با پشتیبانی از PFC و ECN در توپولوژی های 100 گیگا بایتی برگ و ستون فقرات
• رمزگذاری درون خطی بدون کاهش عملکرد (IPsec/TLS)
• ادغام یکپارچه با چارچوب های اتوماسیون موجود (Ansible، Terraform)

2. معماری کلی شبکه و سیستم

معماری مرجع از یک توپولوژی دو لایه برگ-خاره با پورت های 100GbE در سراسر استفاده می کند. هر گره محاسباتی/ذخیره ای مجهز بهکارت شبکه PCIe آداپتور MCX623106AN-CDAT ConnectX. عناصر کلیدی طراحی:

• سوئیچ های برگ: پیکربندی شده با بافر مشترک 4 مگابایتی، اولویت های PFC 3 (ذخیره سازی) و 4 (ترافیک AI)، آستانه علامت گذاری ECN در عمق صف 200 کیلوبایت
• سوئیچ های ستون فقرات: پارچه 12.8 ترابیت بر ثانیه غیر مسدود کننده، نسبت اشتراک بیش از حد 3:1 (بهینه شده برای الگوهای شرقی-غربی)
• پیکربندی میزبان: PCIe 4.0 x16 (یا PCIe 5.0 در صورت وجود)، 256 مگابایت حافظه سیستم عامل در هر آداپتور
• انتقال RDMA: RoCEv2 با کنترل تراکم DCQCN، 4K MTU، داده درون خطی تا 256 بایت

راراه حل کارت آداپتور اترنت MCX623106AN-CDATحداکثر 1024 عملکرد مجازی (VFs) و 256 عملکرد فیزیکی (PFs) را پشتیبانی می کند، که آن را برای NFV و بارهای کاری کانتینری ایده آل می کند.

3. نقش NVIDIA Mellanox MCX623106AN-CDAT و ویژگی های کلیدی

راNVIDIA Mellanox MCX623106AN-CDATبه عنوان موتور صفحه داده عمل می کند و تمام پردازش های شبکه را از CPU میزبان تخلیه می کند. با توجه بهبرگه داده MCX623106AN-CDATو رسمیمشخصات MCX623106AN-CDAT، قابلیت های حیاتی عبارتند از:

راکارت آداپتور اترنت MCX623106AN-CDATهمچنین شامل رمزگذاری ایمن بوت و فلش، رعایت سیاست های امنیتی سختگیرانه برای بخش های مالی و دولتی است.

4. استقرار و توصیه های گسترش

برای استقرار میدان قهوه ای، آداپتور کاملاً استسازگار با MCX623106AN-CDATبا سوئیچ های 100GbE موجود (broadcom، Mellanox، Cisco) پس از ارتقاء سیستم عامل. مراحل استقرار توصیه شده:

• فاز 1 (تأیید اعتبار آزمایشگاهی):دو گره ذخیره سازی + دو گره محاسباتی، فعال کردن هر پورت PFC و ECN، اعتبارسنجی با ib_write_bw (هدف خروجی 98 گیگابیت بر ثانیه در هر پورت)
• فاز 2 (پایلوت):یک قفسه کامل (40 گره)، نصب DCQCN با آستانه ECN: حداقل = 150 کیلوبایت، حداکثر = 500 کیلوبایت
• مرحله 3 (مقیاس کردن):چند قفسه با لایه ستون فقرات، نظارت بر فریم‌های مکث جهانی PFC (حفظ کمتر از 0.1٪ از کل ترافیک)

برای توسعه، آداپتور از تجمع پیوند (LAG) و مسیریابی تطبیقی ​​(AR) در صورت استفاده با سوئیچ‌های طیف NVIDIA پشتیبانی می‌کند. محیط های با سرعت ترکیبی (100GbE تا 25GbE) نیاز به رزرو بافر در پورت های خروجی دارند.

5. عملیات، نظارت و عیب یابی

چارچوب NVIDIA DOCA تله متری جامعی را ارائه می دهد. معیارهای نظارتی ضروری عبارتند از:

• شمارنده های هر صف:rdma_out_of_sequence، cnp_sent، cnp_received (از طریق ethtool -S)
• سلامت PCIe:خطاهای قابل اصلاح/غیر قابل اصلاح، مذاکره سرعت پیوند (ابزار mlxlink)
• تشخیص تراکم:تایمرهای نظارتی PFC، نسبت بسته مشخص شده ECN (هدف <5٪)

عیب‌یابی متداول: اگر عملکرد RoCE به زیر 80 گیگابیت بر ثانیه رسید، انشعاب PCIe را تأیید کنید (باید x16 باشد)، TSO/GRO را غیرفعال کنید و آستانه‌های سوئیچ ECN را تأیید کنید. برای کسانی که ارزیابی می کنندقیمت MCX623106AN-CDAT، راه حل معمولاً با ادغام تعداد سرورها در عرض 9 تا 12 ماه به بازگشت سرمایه می رسد.

6. خلاصه و ارزشیابی

راNVIDIA Mellanox MCX623106AN-CDATیک پارچه قطعی و با تأخیر کم ارائه می دهد و در عین حال سربار CPU را تا 75 درصد در مقایسه با شبکه های مبتنی بر نرم افزار کاهش می دهد. این راهنمای راه حل دارای طراحی دقیق معماری، ویژگی های کلیدی، مراحل استقرار و بهترین شیوه های عملیاتی است. سازمان های به دنبالMCX623106AN-CDAT برای فروشمی توانند برای واحدهای ارزیابی با توزیع کنندگان مجاز تماس بگیرند. برای مرجع کامل، رسمیبرگه داده MCX623106AN-CDATو به تفصیلمشخصات MCX623106AN-CDATدر صورت درخواست در دسترس هستند.