NVIDIA Mellanox MCX631432AN-ADAB سرور آداپتور راه حل فنی: RDMA / RoCE انتقال کم تاخیر و سرور

NVIDIA Mellanox MCX631432AN-ADAB آداپتور سرور راه حل فنی: RDMA / RoCE انتقال کم تاخیر و معماری افزایش خروجی سرور

1. پیشینه پروژه و تحلیل نیازهای

همانطور که هوش مصنوعی، محاسبات با عملکرد بالا و بار کار ذخیره سازی توزیع شده به طور فزاینده ای رایج می شوند، شبکه های مرکز داده با چالش های عملکردی بی سابقه روبرو می شوند.پشته پروتکل شبکه TCP/IP سنتی در هنگام مدیریت ارتباطات توزیع شده در مقیاس بزرگ دارای نقص های ساختاری است، تاخیر غیر قابل پیش بینی و استفاده از پهنای باند کمتر از حد مطلوب برای عملیات ارتباطات جمعی خوشه GPU مانند All-Reduce و All-Gather،هر 1 میلی ثانیه تاخیر شبکه می تواند کل کارایی آموزش را به میزان 10~15٪ کاهش دهد..

الزامات معمول شرکت عبارتند از:

• تاخير ارتباط در مقیاس ميکرو ثانيه:آموزش توزیع شده و سناریوهای نتیجه گیری در زمان واقعی نیاز به تاخیر ارتباطات بین گره ها کمتر از 1 میلی ثانیه دارد، با کنترل جیتر در عرض 100 میکرو ثانیه.
• محاسبات پردازنده:پردازش پروتکل شبکه باید کمتر از 10 درصد از منابع CPU را برای ذخیره ظرفیت برای محاسبات و پردازش اولیه داده ها مصرف کند.
• مقیاس پذیری پهنای باند خطی:همانطور که خوشه ها از ده ها تا صدها گره مقیاس پذیر هستند، پهنای باند شبکه نباید به یک محدودیت تبدیل شود و از تکامل صاف از 25GbE به 100GbE پشتیبانی کند.
• تضمین بدون ضرر شبکه:RoCE به شدت حساس به از دست دادن بسته است و نیاز به یک محیط اترنت بدون از دست دادن از انتهای به انتهای با مکانیسم های PFC و ECN به درستی پیکربندی شده دارد.

درNVIDIA Mellanox MCX631432AN-ADABبه این الزامات از طریق معماری ConnectX-6 Lx خود پاسخ می دهد و RDMA شتاب دهنده سخت افزاری را با قابلیت های جامع تخلیه ارائه می دهد.

2طراحی کلی معماری شبکه/سیستم

معماری پیشنهادی از یک توپولوژی برگ - ستون فقرات استفاده می کند که به طور خاص برای حمل و نقل RoCE بهینه شده است.MCX631432AN-ADAB راه حل کارت آداپتور اترنت، در هر گره سرور برای ارائه اتصال دو پورت 25GbE مستقر شده است.

لایه های معماری:

• گره های محاسباتی/ ذخیره سازی:هر سرور مجهز بهMCX631432AN-ADAB ConnectX-6 Lx دو پورت 25GbE SFP28آداپتور، در حالت فعال فعال با هر دو پورت برای دسترسی بالا و تعادل بار استفاده می شود.رابط 0 x8 تضمین می کند که اتوبوس میزبان به یک تنگنای خروجی تبدیل نشود.
• لایه برگ:سوئیچ های NVIDIA Spectrum-3 انتقال ایترنتی کم تاخیر و بدون ضرر را با کنترل مخرب RoCE (PFC / ECN) و مدیریت بافر پیشرفته فراهم می کنند.
• لایه ستون فقرات:سوئیچ های ستون فقرات با ظرفیت بالا گره های برگ را از طریق لینک های صعودی 100GbE به هم متصل می کنند و عملکرد غیر مسدود کننده را در کل پارچه تضمین می کنند.
• طرح مدیریت:شبکه مدیریت خارج از باند امکان جمع آوری تله متری، تنظیم تنظیمات و نظارت بر وضعیت را از طریق NVIDIA DOCA و MLNX-OS فراهم می کند.

این طراحی شامل تخلیه vSwitch مبتنی بر سخت افزار برای میکرو-تقسیم و انزوا ترافیک است، که اطمینان حاصل می کند ترافیک مستاجر بدون هیچ گونه کاهش عملکرد انزوا باقی می ماند.

3نقش و ویژگی های کلیدی NVIDIA Mellanox MCX631432AN-ADAB در راه حل

به عنوان رابط شبکه پایه برای هر سرور،NVIDIA Mellanox MCX631432AN-ADABنقش محوری در دستیابی به اهداف عملکرد و بهره وری از معماری کلی دارد. ویژگی های فنی کلیدی که این قابلیت را امکان پذیر می کند عبارتند از:

بر اساسصفحه اطلاعات MCX631432AN-ADAB، آداپتور همچنین شامل موتورهای رمزگذاری IPsec و MACsec در خط است که امنیت داده های حمل و نقل را بدون به خطر انداختن سرعت انتقال خط تضمین می کند.مشخصات MCX631432AN-ADABتایید پشتیبانی از قابلیت های پیشرفته دومیترکی شامل شمارنده های هر جریان، هیستوگرام های تاخیر و معیارهای تشخیص ازدحام که برای عملیات شبکه فعال ضروری است.

4توصیه های استقرار و مقیاس بندی (با توپولوژی معمولی)

برای سازمان هایی که برنامه ریزی برای تولید استفاده ازNVIDIA Mellanox MCX631432AN-ADAB، روش مرحله ای زیر توصیه می شود:

فاز 1 ✓ استفاده آزمایشی (4 ✓ 8 گره):شروع با یک خوشه کوچک برای تایید پیکربندی RoCE، تنظیم دقیق پارامترهای PFC / ECN و عملکرد برنامه معیار.کارت آداپتور اترنت MCX631432AN-ADABباید با آخرین درایورها و نرم افزار Mellanox OFED نصب شود تا قابلیت سازگاری و عملکرد مطلوب را تضمین کند.

فاز 2 ️ گسترش پوپ (20 ️50 گره):مقیاس به یک قفسه کامل یا پاد، مستقر کردن یک جفت از سوئیچ های برگ با پیکربندی اترنت بدون ضرر.فعال کردن مدیریت ازدحام مبتنی بر سخت افزار و پیکربندی پارامترهای DCB (داده سازی مرکز داده) بر اساس بهترین شیوه های معتبردر این مرحله،با MCX631432AN-ADAB سازگار استماهیت راه حل، ادغام با ابزارهای مدیریت موجود را ساده می کند.

فاز 3 √ گسترش گسترده پارچه (100+ گره):در میان چند قفسه با سوئیچ های ستون فقرات که گره های برگ را به هم متصل می کنند، گسترش دهید. مهندسی ترافیک را با استفاده از قابلیت های هدایت سخت افزاری آداپتور،و استفاده از NVIDIA Unified Fabric Manager برای تنظیم و تدارکات خودکار.

توصیف توپولوژی معمولی:یک پیکربندی استانداردی از 20 سرور محاسباتی / ذخیره سازی تشکیل شده است که هر کدام از آنها دارای یکMCX631432AN-ADAB ConnectX-6 Lx دو پورت 25GbE SFP28پورت 1 به لیف سوئیچ A متصل می شود، پورت 2 به لیف سوئیچ B متصل می شود و مسیرهای فعال فعال را فراهم می کند. سوئیچ های لیف از طریق 100GbE به سوئیچ های ستون فقرات متصل می شوند و یک پارچه CLOS را تشکیل می دهند.این توپولوژی تضمین می کند که هر گونه شکست پیوند یا سوئیچ واحد بر روی در دسترس بودن برنامه تأثیر نمی گذارد، در حالی که مکانیسم های فشرده سازی سخت افزاری آداپتور بهبود زیر ثانیه را فراهم می کند.

5عملیات، نظارت، رفع مشکل و بهینه سازی

عملکرد موثر یک شبکه مبتنی بر RoCE نیازمند شیوه های نظارت و عیب یابی تخصصی است.MCX631432AN-ADABارائه یک ابزار جامع برای حمایت از این فعالیت ها:

• جمع آوری تله متری:از شمارنده های سخت افزاری آداپتور برای نظارت بر خروجی هر جریان، عمق صف، قطره های بسته و توزیع تاخیر در ذرات ثانویه استفاده کنید.این داده ها به داشبوردهای نظارت متمرکز (e) ارسال می شوند..g., Grafana, Prometheus) برای دید در زمان واقعی.
• تشخیص و تجزیه و تحلیل ازدحام:نظارت بر فریم های توقف PFC، بسته های نشان داده شده ECN و اشغال بافر برای شناسایی میکرو بار و نقاط گرم ترافیک.صفحه اطلاعات MCX631432AN-ADABراهنمای مفصل در مورد تفسیر این شمارنده ها و تعیین آستانه های هشدار را ارائه می دهد.
• مدیریت چرخه عمر نرم افزار و درایور:به روز رسانی های منظم در استیک درایور NVIDIA OFED و نرم افزار آداپتور برای بهبود عملکرد، امنیت و ویژگی ها ضروری است.مدیریت چرخه زندگی بدون تماس در ناوگان های بزرگ.
• دستورالعمل های تنظیم عملکرد:پارامترهای کلیدی تنظیم عبارتند از: آستانه های بافر PFC، محدودیت های نشان دادن ECN (معمولاً 80-90٪ عمق صف) ،و تنظیمات اعتدال قطع آداپتور برای تعادل بهینه تاخیر و خروجی بر اساس پروفایل بار کار.
• چارچوب رفع مشکل:اکثر مشکلات عملکرد را می توان به اشتباه پیکربندی DCB، عدم تطابق MTU یا نسخه های غیر سازگار درایورها نشان داد. مجموعه ابزار تشخیصی آداپتور (mstflint، ethtool، mlxconfig،و mlxlink) فراهم می کند دید جامع در وضعیت عملیاتی، سلامت پیوند و آمار خطا.

برای سازمان هایی که کل هزینه مالکیت را ارزیابی می کنند،قیمت MCX631432AN-ADABباید در کنار صرفه جویی در پردازنده (معمولاً 2-3 هسته در هر سرور) و افزایش سرعت در نظر گرفته شود. بسیاری از شرکت ها متوجه می شوند کهMCX631432AN-ADAB برای فروشبسته هایی با سوئیچ های NVIDIA Spectrum، مقرون به صرفه ترین مسیر را برای استقرار های سبز ارائه می دهند.

6خلاصه و ارزیابی ارزش

درNVIDIA Mellanox MCX631432AN-ADABیک سرمایه گذاری زیربنایی استراتژیک است که ارزش تجاری قابل اندازه گیری را در سه ابعاد ارائه می دهد:

به عنوان یک انتهای به انتهایMCX631432AN-ADAB راه حل کارت آداپتور اترنت، سازمان ها را قادر می سازد تا شبکه های بی ضرر و با عملکرد بالا را بسازند که به طور کامل از پتانسیل برنامه های کاربردی مدرن هوش مصنوعی، HPC و ذخیره سازی توزیع شده استفاده می کنند.اینکه آیا در مراکز داده شرکت ها مستقر شده است یا خیر، محیط های ارائه دهنده خدمات ابری، یا امکانات تحقیقاتی،MCX631432AN-ADABبه طور مداوم تاخیر کم، خروجی بالا و سادگی عملیاتی را که معماران زیرساخت ها برای بار های کار نسل بعدی تقاضا می کنند، ارائه می دهد.