Mellanox (NVIDIA Mellanox) MCX556A-ECAT سرور NIC راه حل فنی

این کاغذ سفید به معماران شبکه، مهندسان پیش فروش و رهبران عملیات یک چارچوب فنی جامع برای استقرارملانوکس (NVIDIA Mellanox) MCX556A-ECATآداپتور شبکه سرور این راه حل بر حذف تنگناهای TCP/IP از طریق RDMA/RoCE تمرکز می کند و ارتباطات قطعی با تأخیر کم را ارائه می دهد و در عین حال توان سرور را برای بارهای کاری فشرده به حداکثر می رساند.

1. پیشینه پروژه و تجزیه و تحلیل نیازمندیها

محیط‌های مرکز داده مدرن - از جمله خوشه‌های آموزشی هوش مصنوعی، پایگاه‌های داده توزیع‌شده، زیرساخت‌های بیش همگرا، و پلت‌فرم‌های معاملاتی با فرکانس بالا- یک محدودیت مشترک دارند: پشته شبکه سنتی 30 تا 50 درصد از چرخه‌های CPU را روی نسخه‌های حافظه، سوئیچ‌های زمینه و پردازش پروتکل مصرف می‌کند. با افزایش سرعت پیوند به 100 گیگابیت بر ثانیه و فراتر از آن، شبکه های مبتنی بر نرم افزار ناپایدار می شوند. الزامات کلیدی برای اتصال به سرور نسل بعدی عبارتند از: تأخیر بین گرهی زیر 5 میکروثانیه، سربار CPU زیر 10 درصد در هر پیوند 100 گیگابیت بر ثانیه، حمل و نقل بدون تلفات برای پروتکل های ذخیره سازی (NVMe-oF)، و یکپارچه سازی یکپارچه با زیرساخت اترنت موجود. راراه حل کارت آداپتور اترنت MCX556A-ECATبه طور مستقیم به این خواسته ها می پردازد.

2. طراحی کلی شبکه/سیستم معماری

معماری توصیه شده را به کار می گیردNVIDIA Mellanox MCX556A-ECATبه عنوان یک آداپتور دو پورت 100GbE در هر گره محاسباتی یا ذخیره سازی. این راه حل از یک توپولوژی دو لایه برگ-خاره با پشتیبانی RoCE (RDMA بر روی اترنت همگرا) استفاده می کند. تصمیمات کلیدی معماری عبارتند از:

• پایه اترنت بدون تلفات: کنترل جریان اولویت (PFC) را در پورت های حامل ترافیک RoCE فعال کنید و آستانه های ECN (اعلان تراکم صریح) را روی سوئیچ های برگ پیکربندی کنید.
• کلاس های ترافیکی مجزا: ترافیک RoCE را به یک صف اولویت اختصاصی (معمولاً 3 یا 5) با زمان‌بندی اولویت دقیق اختصاص دهید.
• مدیریت بافر: بافرهای مشترک را بر روی سوئیچ ها بر اساسمشخصات MCX556A-ECAT(4 مگابایت در هر پورت برای عملکرد بدون تلفات توصیه می شود).

هر کدامکارت شبکه PCIe آداپتور MCX556A-ECAT ConnectXاز طریق اپتیک QSFP28 (SR4، LR4 یا AOC/DAC بسته به فاصله) به یک سوئیچ برگ متصل می شود. برای در دسترس بودن بالا، پیکربندی‌های هوم دوگانه هر دو پورت را به هم متصل می‌کنند - فعال-فعال برای توان عملیاتی یا فعال-استندبای برای خرابی. صفحه کنترل از اترنت و IP استاندارد استفاده می کند، در حالی که صفحه داده از RDMA برای انتقال بدون کپی استفاده می کند.

3. نقش و ویژگی های کلیدی Mellanox (NVIDIA Mellanox) MCX556A-ECAT در راه حل

راMCX556A-ECATبه عنوان موتور تخلیه حیاتی بین حافظه سرور و بافت شبکه عمل می کند. حمل و نقل مبتنی بر سخت افزار آن، دخالت هسته برای جابجایی داده ها را حذف می کند. قابلیت های کلیدی استخراج شده ازبرگه داده MCX556A-ECATشامل:

راکارت آداپتور اترنت MCX556A-ECATهمچنین شامل فرمان پیشرفته (طبقه بندی جریان به 128 صف مجازی)، SR-IOV با حداکثر 512 عملکرد مجازی، و تخلیه تایمر سخت افزاری برای پروتکل زمان دقیق (PTP) است. این ویژگی ها آن را به یک موتور شتاب دهنده مسیر داده کامل تبدیل می کند، نه صرفاً یک رابط پرسرعت.

4. استقرار و توصیه های مقیاس بندی (توپولوژی معمولی)

برای یک خوشه با اندازه متوسط ​​(64-256 گره)، توپولوژی زیر توصیه می شود:

• لایه برگ: دو یا چهار سوئیچ RoCE 48 پورت 100GbE (به عنوان مثال، NVIDIA SN3700). هر برگ به 24 تا 48 سرور متصل می شودسازگار با MCX556A-ECATپورت های QSFP28
• لایه ستون فقرات: چهار سوئیچ 400 گیگا بایتی 32 پورت که 128 100 گیگا بایت بالا لینک غیر مسدود کننده را از برگه ها ارائه می کنند.
• پیکربندی سرور: یکیMCX556A-ECATدر هر سرور، پورت A به سوئیچ برگ A، پورت B به سوئیچ برگ B. این پهنای باند مجموع 200 گیگابیت بر ثانیه و افزونگی مسیر را ایجاد می کند.

مقیاس بندی پارچه فراتر از 256 گره مستلزم افزودن جفت های برگ و ستون فقرات یا مهاجرت به معماری 3 مرحله ای Clos است. هنگام ارزیابیقیمت MCX556A-ECATدر برابر ظرفیت آینده، عاملی که آداپتور استسازگار با MCX556A-ECATبا مادربردهای PCIe 4.0 (در ابتدا با رزولوشن 3.0 x16 اجرا می شد)، که مسیر ارتقای ساده ای را ارائه می دهد.

5. عملیات، نظارت، عیب یابی و بهینه سازی

تعالی عملیاتی برای استقرار RoCE نیاز به نظارت و تنظیم خاصی دارد. شیوه های کلیدی عبارتند از:

• شمارنده های نظارتی: استفاده کنیدethtool -S ethX | grep -E "roce|pfc|ecn"برای ردیابی فریم‌های توقف اولویت‌دار و CNP (بسته‌های اعلان ازدحام). رامشخصات MCX556A-ECATمقادیر پایه مورد انتظار را مستند کنید.
• تنظیم بافر: بافرهای خروجی سوئیچ را روی 4 تا 6 مگابایت برای صف های RoCE پیکربندی کنید. بافرهای ناکافی باعث طوفان های PFC و فروپاشی توان عملیاتی می شود.
• مدیریت سیستم عامل: برای رفع خطاها و به دست آوردن بهبود عملکرد مستند شده دربرگه داده MCX556A-ECAT.
• پایه عملکرد: دویدنib_write_bwوib_read_latاز جعبه ابزار OFED. نتایج مورد انتظار: 98-99 گیگابیت بر ثانیه دو جهته با تاخیر 0.8-1.2 میکرو ثانیه برای پیام های 8 بایتی.

سناریوهای رایج عیب یابی: بن بست های PFC (بررسی نگاشت صف های پیکربندی نادرست)، فلاپ لینک (تأیید رتبه بندی برق و کابل)، و وقفه های زمانی اتصال RDMA (اطمینان از ثبات MTU در 4200 بایت برای فریم های جامبو). برای تیم هایی که در حال جستجو هستندMCX556A-ECAT برای فروشبرای گسترش خوشه‌ها، هم‌ترازی میان‌افزار پیش از مرحله‌بندی در سرتاسر دسته‌ها از شگفتی‌های سازگاری جلوگیری می‌کند.

6. خلاصه و ارزشیابی

راMCX556A-ECATیک پیشنهاد ارزش واضح برای مراکز داده مدرن ارائه می دهد. با فعال کردن RDMA/RoCE،NVIDIA Mellanox MCX556A-ECATتاخیر برنامه را 10 برابر در مقایسه با TCP کاهش می دهد، سربار شبکه CPU را 85٪ کاهش می دهد و جداسازی فضای ذخیره سازی را از طریق NVMe-oF باز می کند. برای معماران، ظرفیت دو پورت 100 گیگابایتی کارت فضای سر آینده را فراهم می کند. برای تیم های عملیاتی، پشته درایور بالغ (بالادست لینوکس، ویندوز و VMware) مدیریت را ساده می کند. هنگام ارزیابیقیمت MCX556A-ECATنسبت به کل هزینه مالکیت - از جمله مجوز نرم افزار، برق و خنک کننده - آداپتور معمولاً هزینه خود را در عرض 6 تا 12 ماه از طریق یکپارچه سازی سرور پرداخت می کند. چه به عنوان یککارت آداپتور اترنت MCX556A-ECATیاکارت شبکه PCIe آداپتور MCX556A-ECAT ConnectX، این راه حل یک طرح مرجع برای شبکه اترنت بدون تلفات و توان عملیاتی بالا باقی می ماند.