NVIDIA Mellanox MCX631102AN-ADAT سرور آداپتور راه حل فنی: RDMA / RoCE انتقال کم تاخیر و سرور

راه حل فنی آداپتور سرور NVIDIA Mellanox MCX631102AN-ADAT: معماری انتقال با تأخیر کم RDMA/RoCE و بهبود توان عملیاتی سرور

1. پیشینه پروژه و تجزیه و تحلیل الزامات

مراکز داده مدرن در حال گذار اساسی از معماری‌های متمرکز بر محاسبات به معماری‌های متمرکز بر داده هستند. با فراگیر شدن آرایه‌های ذخیره‌سازی NVMe، خوشه‌های آموزش هوش مصنوعی/یادگیری ماشین و پایگاه‌های داده توزیع شده، شبکه به گلوگاه حیاتی تبدیل شده است که عملکرد کلی سیستم را محدود می‌کند. شبکه‌های سنتی مبتنی بر TCP/IP سربار قابل توجهی از CPU را برای پردازش پروتکل تحمیل می‌کنند، لرزش تأخیر غیرقابل پیش‌بینی ایجاد می‌کنند و نمی‌توانند از پتانسیل پهنای باند رسانه‌های مدرن به طور کامل استفاده کنند.

الزامات کلیدی شناسایی شده در محیط‌های سازمانی و ابری عبارتند از:

• تأخیر زیر میلی‌ثانیه: برنامه‌های کاربردی حیاتی مانند پلتفرم‌های معاملاتی مالی و تجزیه و تحلیل بلادرنگ به ارتباطات با تأخیر کم و پایدار نیاز دارند.
• تخلیه CPU: پردازش پروتکل شبکه باید کمتر از 10٪ از منابع CPU در هر گره را مصرف کند تا ظرفیت محاسباتی برای بارهای کاری برنامه حفظ شود.
• مقیاس‌پذیری پهنای باند: زیرساخت باید از 25GbE در هر پورت با مسیر ارتقاء مشخص به استقرار آینده 50/100GbE پشتیبانی کند.
• ادغام یکپارچه: راه حل باید با پلتفرم‌های سرور موجود، سیستم‌های عامل و ابزارهای مدیریتی سازگار باشد.

NVIDIA Mellanox MCX631102AN-ADAT مستقیماً این الزامات را از طریق معماری ConnectX-6 Lx خود برآورده می‌کند و RDMA شتاب‌دهنده سخت‌افزاری را بر روی اترنت همگرا (RoCE) با انتقال داده بدون کپی و قابلیت‌های عبور از هسته ارائه می‌دهد.

2. طراحی کلی معماری شبکه/سیستم

معماری پیشنهادی از توپولوژی برگ-اسپاین بهینه شده برای انتقال RoCE استفاده می‌کند. در هسته این طراحی، راه حل کارت آداپتور اترنت MCX631102AN-ADAT قرار دارد که در هر گره سرور مستقر شده و اتصال 25GbE دو پورت را فراهم می‌کند.

لایه‌های معماری:

• گره‌های محاسباتی/ذخیره‌سازی: هر سرور مجهز به یک یا چند آداپتور MCX631102AN-ADAT ConnectX-6 Lx دو پورت 25GbE SFP28 است که برای دسترسی بالا و متعادل‌سازی بار با هر دو پورت فعال پیکربندی شده است.
• لایه برگ: سوئیچ‌های NVIDIA Spectrum-3 ارسال اترنت بدون تأخیر و بدون اتلاف را با کنترل ازدحام آگاه از RoCE (PFC/ECN) ارائه می‌دهند.
• لایه اسپاین: سوئیچ‌های اسپاین با ظرفیت بالا گره‌های برگ را با لینک‌های بالایی 100GbE به هم متصل می‌کنند و از عملکرد بدون مسدودیت در کل شبکه اطمینان حاصل می‌کنند.
• صفحه مدیریت: شبکه مدیریت خارج از باند برای جمع‌آوری تله‌متری، هماهنگ‌سازی پیکربندی و نظارت بر سلامت از طریق NVIDIA DOCA و MLNX-OS.

این طراحی با استفاده از تخلیه vSwitch مبتنی بر سخت‌افزار، ریزتقسیم‌بندی و جداسازی ترافیک را در بر می‌گیرد و اطمینان می‌دهد که ترافیک مستأجر بدون به خطر انداختن عملکرد، جدا می‌ماند.

3. نقش و ویژگی‌های کلیدی NVIDIA Mellanox MCX631102AN-ADAT در راه حل

به عنوان رابط شبکه پایه برای هر سرور، NVIDIA Mellanox MCX631102AN-ADAT نقش محوری در دستیابی به اهداف عملکرد و کارایی معماری کلی ایفا می‌کند. ویژگی‌های فنی کلیدی که این قابلیت را ممکن می‌سازند عبارتند از:

طبق برگه داده MCX631102AN-ADAT، آداپتور همچنین از رمزگذاری درون‌خطی IPsec و MACsec پشتیبانی می‌کند و امنیت داده‌های در حال انتقال را بدون قربانی کردن توان عملیاتی تضمین می‌کند. مشخصات جامع MCX631102AN-ADAT پشتیبانی از تله‌متری پیشرفته را تأیید می‌کند — از جمله شمارنده‌های جریان، هیستوگرام‌های تأخیر و تشخیص ازدحام — که برای مدیریت فعال شبکه حیاتی هستند.

4. توصیه‌های استقرار و مقیاس‌پذیری (با توپولوژی معمول)

برای سازمان‌هایی که قصد استقرار تولیدی NVIDIA Mellanox MCX631102AN-ADAT را دارند، رویکرد مرحله‌ای زیر توصیه می‌شود:

مرحله 1 — استقرار آزمایشی (4-8 گره): با یک خوشه کوچک برای اعتبارسنجی پیکربندی RoCE، تنظیم پارامترهای PFC/ECN و سنجش عملکرد برنامه شروع کنید. کارت آداپتور اترنت MCX631102AN-ADAT باید با آخرین درایورها و فریم‌ورهای Mellanox OFED نصب شود تا از سازگاری بهینه اطمینان حاصل شود.

مرحله 2 — گسترش پاد (20-50 گره): به یک رک یا پاد کامل مقیاس‌بندی کنید، یک جفت سوئیچ برگ را با پیکربندی اترنت بدون اتلاف مستقر کنید. مدیریت ازدحام مبتنی بر سخت‌افزار را فعال کنید و پارامترهای DCB (Data Center Bridging) را طبق بهترین شیوه‌های توصیه شده پیکربندی کنید.

مرحله 3 — استقرار در سراسر شبکه (100+ گره): در چندین رک با سوئیچ‌های اسپاین که گره‌های برگ را به هم متصل می‌کنند، مستقر کنید. مهندسی ترافیک را با استفاده از قابلیت‌های هدایت سخت‌افزاری آداپتور پیاده‌سازی کنید و از سازگار با MCX631102AN-ADAT NVIDIA Unified Fabric Manager برای هماهنگ‌سازی و تأمین خودکار استفاده کنید.

توضیح توپولوژی معمول: یک پیکربندی رک استاندارد شامل 20 سرور محاسباتی/ذخیره‌سازی است که هر کدام مجهز به یک MCX631102AN-ADAT ConnectX-6 Lx دو پورت 25GbE SFP28 هستند. پورت 1 به سوئیچ برگ A و پورت 2 به سوئیچ برگ B متصل می‌شود و مسیرهای افزونه را فراهم می‌کند. سوئیچ‌های برگ از طریق 100GbE به سوئیچ‌های اسپاین متصل می‌شوند و یک شبکه CLOS را تشکیل می‌دهند. این توپولوژی تضمین می‌کند که خرابی یک لینک یا سوئیچ منفرد بر در دسترس بودن برنامه تأثیر نمی‌گذارد.

5. عملیات، نظارت، عیب‌یابی و بهینه‌سازی

عملیات مؤثر یک شبکه مبتنی بر RoCE نیازمند شیوه‌های نظارت و عیب‌یابی تخصصی است. MCX631102AN-ADAT ابزارهای داخلی را برای پشتیبانی از این فعالیت‌ها فراهم می‌کند:

• جمع‌آوری تله‌متری: از شمارنده‌های سخت‌افزاری آداپتور برای نظارت بر توان عملیاتی هر جریان، عمق صف، بسته‌های از دست رفته و توزیع تأخیر استفاده کنید. این داده‌ها به داشبوردهای نظارت متمرکز برای دید بلادرنگ تغذیه می‌شوند.
• تشخیص ازدحام: بسته‌های مکث PFC و بسته‌های علامت‌گذاری شده ECN را برای شناسایی میکرو-انفجارها و نقاط داغ ترافیک نظارت کنید. برگه داده MCX631102AN-ADAT راهنمایی در مورد تفسیر این شمارنده‌ها ارائه می‌دهد.
• مدیریت فریم‌ور و درایور: به‌روزرسانی‌های منظم پشته درایور NVIDIA OFED و فریم‌ور آداپتور برای عملکرد و امنیت ضروری است. از چارچوب NVIDIA DOCA برای مدیریت چرخه عمر خودکار استفاده کنید.
• تنظیم عملکرد: پارامترهای کلیدی تنظیم شامل تنظیم آستانه بافر PFC، تنظیم محدودیت‌های علامت‌گذاری مناسب ECN و پیکربندی تنظیمات تعدیل وقفه آداپتور برای متعادل کردن تأخیر و توان عملیاتی است.
• عیب‌یابی رایج: بیشتر مشکلات عملکرد را می‌توان به تنظیمات نادرست DCB، مقادیر MTU نامنطبق یا نسخه‌های درایور ناسازگار ردیابی کرد. ابزارهای تشخیصی آداپتور (مانند mstflint، ethtool و mlxconfig) دید جامعی از وضعیت عملیاتی ارائه می‌دهند.

برای سازمان‌هایی که هزینه کل مالکیت را ارزیابی می‌کنند، قیمت MCX631102AN-ADAT باید در کنار صرفه‌جویی در CPU و بهبود توان عملیاتی در نظر گرفته شود. بسیاری از شرکت‌ها دریافتند که بسته‌های MCX631102AN-ADAT برای فروش با سوئیچ‌های NVIDIA Spectrum مقرون‌به‌صرفه‌ترین راه حل را برای استقرارهای جدید ارائه می‌دهند.

6. خلاصه و ارزیابی ارزش

NVIDIA Mellanox MCX631102AN-ADAT یک سرمایه‌گذاری استراتژیک در زیرساخت است که ارزش تجاری قابل اندازه‌گیری را در سه بعد ارائه می‌دهد:

به عنوان یک راه حل کارت آداپتور اترنت MCX631102AN-ADAT سرتاسری، سازمان‌ها را قادر می‌سازد تا شبکه‌های بدون اتلاف و با کارایی بالا بسازند که پتانسیل برنامه‌های مدرن را به طور کامل تحقق می‌بخشد. چه در مراکز داده سازمانی، محیط‌های ارائه‌دهنده خدمات ابری یا خوشه‌های HPC تحقیقاتی مستقر شود، MCX631102AN-ADAT به طور مداوم تأخیر کم، توان عملیاتی بالا و سادگی عملیاتی را که معماران زیرساخت نیاز دارند، ارائه می‌دهد.