راه حل فنی NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch

NVIDIA Mellanox MQM8790-HS2F راه حل فنی سوئیچ InfiniBand. بهینه سازی اتصال کم تاخیر برای خوشه های RDMA / HPC / AI

1. پیش زمینه پروژه و تجزیه و تحلیل نیازهای

همانطور که خوشه های آموزش هوش مصنوعی (AI) به هزاران GPU و سیستم های محاسباتی با عملکرد بالا (HPC) افزایش می یابد، به سمت عملکرد exascale حرکت می کند،بافت شبکه ای که گره های محاسباتی را به هم متصل می کند به یک عامل تعیین کننده عملکرد مهم تبدیل شده است.در این محیط ها، تاخیر فقط یک معیار نیست، بلکه به طور مستقیم بر عملکرد برنامه، زمان حل و کارایی کلی خوشه تاثیر می گذارد.برای بارهای کاری که به شدت به عملیات جمعی MPI و الگوهای ارتباطی همه به همه وابسته هستند مثل آموزش مدل های زبان بزرگ، دینامیک مایعات محاسباتی، و شبیه سازی های شیمی کوانتومی حتی افزایش تاخیر در سطح مایکرو ثانیه می تواند به ساعت های اضافی زمان اجرا تبدیل شود.حتی با RDMA بر روی اترنت همگرا (RoCE)، اغلب در تلاش برای ارائه تأخیر کم تعیین کننده و عملیات بدون ازدحام مورد نیاز این برنامه های کاربردی متقاضی است.

این چالش توسط سه روند همزمان تقویت می شود. اول، مقیاس رو به رشد مدل های هوش مصنوعی (که اکنون بیش از تریلیون پارامتر است) نیاز به موازی عظیم در هزاران GPU دارد،که نیاز به پارچه ای دارد که بتواند با کمترین انحراف تاخیر، تولید بالا را حفظ کند.دوم، همگرایی حجم کار HPC و هوش مصنوعی به این معنی است که یک پارچه واحد باید به طور موثر از هر دو الگوی ارتباطی مبتنی بر MPI و عملیات جمعی GPU مبتنی بر NCCL پشتیبانی کند.بهره وری عملیاتی مستلزم این است که پارچه در مقیاس قابل مدیریت باشد.، با قابلیت های نظارت جامع و بهینه سازی خودکار.یک راه حل فنی ساختاری مورد نیاز است یکی که از یک سوئیچ InfiniBand با عملکرد بالا با انتقال کم تاخیر استفاده می کند، مدیریت فشرده سازی پیشرفته و شتاب محاسبات در شبکه برای ارائه عملکرد قابل پیش بینی در مقیاس.

2طراحی معماری شبکه / سیستم

معماری پیشنهادی یک توپولوژی ستون فقرات را با استفاده ازNVIDIA Mellanox MQM8790-HS2Fسوئیچ ها به عنوان لایه برگ، متصل به سوئیچ های ستون فقرات با چگالی پورت بالاتر (مانند سری QM9700 با 64 پورت 400Gb / s NDR) برای پارچه های بزرگ.معماری برای پشتیبانی از ارتباطات غیر مسدود کننده با پهنای باند کامل طراحی شده است، تضمین می کند که هر گره محاسباتی می تواند با هر گره دیگر در سرعت سیم بدون اختلاف ارتباط برقرار کند.

در یک پیاده سازی معمولی برای یک خوشه 2000 گره، معماری شامل:

• سطح برگ:20سوئیچ MQM8790-HS2F InfiniBandواحدها، هر کدام با 40 پورت QSFP56 که با سرعت 200Gb/s HDR کار می کنند.هر سوئیچ برگ به 50 گره محاسباتی متصل می شود (با استفاده از ترکیبی از اتصال مستقیم 200Gb / s و 100Gb / s HDR100 از طریق کابل های QSFP56 به 2 × QSFP56).
• سطح ستون فقرات:4 سوئیچ QM9700 (یا سوئیچ های معادل با چگالی بالا) ، هرکدام با 64 پورت 400Gb / s NDR، اتصال بین برگ را فراهم می کنند.
• گره هاي محاسباتي:هر گره مجهز به یک یا چند آداپتور ConnectX-6 HDR یا ConnectX-7 NDR، متصل به سوئیچ های برگ از طریق کابل های مس منفعل یا کابل های نوری فعال.
• شبکه مدیریت:یک شبکه ایترنت جداگانه خارج از باند برای مدیریت سوئیچ، که با پلت فرم NVIDIA Unified Fabric Manager (UFM) برای نظارت و بهینه سازی پارچه متمرکز ادغام شده است.

معماری ازMQM8790-HS2F 200Gb/s HDR 40 پورت QSFP56پیکربندی برای ارائه یک ظرفیت سوئیچ برگ 8Tb / s در هر سوئیچ. استفاده از HDR100 Breakout امکان گزینه های اتصال انعطاف پذیر را فراهم می کند:هر پورت ۲۰۰ گیگابایت در ثانیه می تواند از یک انتهای ۲۰۰ گیگابایت در ثانیه یا دو انتهای ۱۰۰ گیگابایت در ثانیه پشتیبانی کند.، قابل پذیرش گره های محاسباتی ناهمگن با سرعت های مختلف رابط.

3نقش و ویژگی های کلیدی NVIDIA Mellanox MQM8790-HS2F در راه حل

در این معماری،MQM8790-HS2Fبه عنوان سوئیچ پایه ای عمل می کند، اتصال کم تاخیر و پهنای باند بالا را به گره های محاسباتی فراهم می کند در حالی که از ویژگی های پیشرفته ضروری برای بار های کاری HPC و AI پشتیبانی می کند.ویژگی های فنی اصلی آن برای موفقیت کلی راه حل حیاتی است:

• تاخير بندر به بندر کمتر از 100 نانوسکن:ارائه دهنده تاخیر کم تعیین کننده ضروری برای مجموعه های MPI حساس به تاخیر و عملیات کاهش همه چیز.
• 40 پورت 200Gb/s HDR InfiniBand:ظرفیت سوئیچینگ 8Tb / s را در یک فاکتور فرم فشرده 1U فراهم می کند، حداکثر تراکم پورت و کاهش مصرف فضای قفسه را افزایش می دهد.
• پشتیبانی از SHARP (پروتکل جمع آوری و کاهش سلسله مراتب مقیاس پذیر):امکان تسریع محاسبات در شبکه برای عملیات جمعی MPI را فراهم می کند و تا 20٪ بار ارتباطی را از CPU / GPU خارج می کند.
• مسیر تطبیقی:ترافیک را به طور پویا در مسیرهای موجود پارچه بر اساس معیارهای ازدحام در زمان واقعی توزیع می کند، بهینه سازی خروجی و به حداقل رساندن تغییرات تأخیر.
• کنترل ترافیک:اجرای مکانیسم های پیشرفته مدیریت ازدحام (از جمله کنترل جریان در سطح بسته و اطلاع رسانی از ازدحام) برای جلوگیری از کاهش عملکرد نقاط گرم شبکه.
• حمايت از HDR100:اجازه می دهد هر پورت 200Gb / s به عنوان دو پورت 100Gb / s مستقل پیکربندی شود، که انعطاف پذیری پیاده سازی را برای محیط های سرعت مخلوط فراهم می کند.
• رابط های مدیریت جامع:پشتیبانی از مدیریت زیر شبکه (SM) سازگار با IBTA ، SNMP ، CLI ، Web UI و ادغام با UFM برای مدیریت پارچه متمرکز.
• بهره وری انرژی:مصرف برق معمولی کمتر از 230 وات، که به کاهش نیازهای خنک کننده و بهبود PUE کمک می کند.

این ویژگی ها به طور جامع درورق اطلاعات MQM8790-HS2F، که شامل منحنی های عملکرد دقیق، مشخصات حرارتی و نقشه های مکانیکی برای ادغام در ابزارهای طرح ریزی قفسه است.

4توصیه های استقرار و مقیاس بندی (با توصیف توپولوژی معمولی)

برای انتشار اولیه، ما یک استراتژی توسعه ماژولار بر اساس معماری سطح پوپ را توصیه می کنیم. هر پوپ شامل 4 کلید برگ و 2 کلید ستون فقرات است.پشتیبانی از حدود 400 گره محاسباتی با پهنای باند کامل bisection.MQM8790-HS2F راه حل سوئیچ InfiniBandامکان مقیاس افزایشی را با اضافه کردن پوډ ها با افزایش ظرفیت محاسباتی فراهم می کند، با لایه ستون فقرات که اتصال بین پوډ ها را برای یک پارچه واحد فراهم می کند.

توپولوژی معمولی برای یک پاد واحد (400 گره محاسباتی):

• سوئیچ های برگ:4 × MQM8790-HS2F، هرکدام با 40 پورت با سرعت 200Gb / s. 36 پورت در هر ورق برای اتصال گره محاسباتی استفاده می شود (حامل حداکثر 72 گره در هر ورق با استفاده از شکستن HDR100) ،در حالی که 4 پورت در هر برگ برای لینک های بالا استفاده می شود.
• بازتاب دهنده های ستون فقرات:2 × QM9700 (یا سوئیچ های NDR معادل 64 پورت) ، هرکدام به تمام 4 سوئیچ برگ از طریق 400Gb / s uplinks متصل می شوند (با استفاده از کابل های 4 × 200Gb / s QSFP56 به QSFP-DD).
• گره هاي محاسباتي:400 گره، هرکدام به یک سوئیچ برگ از طریق یک اتصال HDR100 تک 200Gb / s یا دو برابر 100Gb / s متصل می شوند.

مقیاس گذاری فراتر از یک گچ واحد:

• افزونه های اضافی (هر کدام با 4 سوئیچ برگ MQM8790-HS2F) به عنوان ظرفیت محاسباتی مورد نیاز است.
• با استفاده از سوئیچ های اضافی QM9700 یا NDR، پوسته ها را از طریق یک لایه ستون فقرات (superspin) بالاتر متصل کنید.
• با استفاده ازMQM8790-HS2Fدر تمام موقعیت های برگ، تضمین تاخیر و مدیریت یکنواخت در سراسر پارچه.

در هنگام استفاده ازMQM8790-HS2Fدر حالت قطع HDR100، دستورالعمل های زیر برای کابل کشی اعمال می شود:

برای پارچه های مقیاس بزرگ بیش از 2000 گره، توصیه می کنیم از قابلیت های شبیه سازی پارچه UFM برای تأیید طراحی توپولوژی و رفتار ازدحام قبل از استفاده استفاده کنید.

5عملیات و نگهداری: نظارت، رفع مشکل و بهینه سازی

چرخه عمر عملیاتی پارچه InfiniBand مبتنی بر MQM8790-HS2F نیاز به یک رویکرد سیستماتیک برای نظارت، عیب یابی و بهینه سازی دارد.ما توصیه می کنیم که پلت فرم NVIDIA UFM را به عنوان ابزار مدیریت و نظارت مرکزی استفاده کنید.، ارائه دید در زمان واقعی در عملکرد پارچه، معیارهای تاخیر و الگوهای ازدحام.

معیارهای اصلی نظارت برای ردیابی:

• تاخیر در سطح پورت:تاخیر از انتها به انتها در سراسر بافت، با هشدار برای پورت های فراتر از آستانه تاخیر.
• تولید و استفاده:کل و هر پورت، شناسایی لینک های کم استفاده یا بیش از حد استفاده شده.
• شاخص های ترافیک:بسته ها سقوط می کنند، فریم های توقف و حوادث اطلاع رسانی ازدحام.
• سلامت پارچه:وضعیت لینک، شمارنده های خطا و دمای برق

پروتکل رفع مشکل برای مسائل مشترک:

1. کاهش تاخیر:استفاده از ابزارهای تجزیه و تحلیل تاخیر UFM برای شناسایی مسیر یا پورت خاص با تاخیر افزایش یافته؛ بررسی ازدحام یا پیکربندی نادرست مسیریابی سازگار.
2. خطاي پيوند يا سقوط:بررسی اتصال فیزیکی (کابل ها، نوری) و شمارنده های خطای پورتسازگاری با MQM8790-HS2Fکابل ها و نوری ها در هر دستگاه استفاده می شوند.مشخصات MQM8790-HS2F.
3. مسائل مربوط به مدیریت زیر شبکه:بررسی کنید که Subnet Manager (SM) در حال اجرا است و توپولوژی پارچه به درستی کشف شده است؛ برای وقایع SM failover بررسی کنید.

توصیه های بهینه سازی:

• تنظیم مسیر سازگاری:تنظیم پارامترهای الگوریتم مسیریابی بر اساس الگوهای ترافیک مشاهده شده استفاده از UFM برای شبیه سازی سیاست های مسیریابی مختلف قبل از اعمال آنها در پارچه تولید.
• تنظیمات کنترل ازدحام:Enable and tune congestion control mechanisms (such as packet pacing and priority flow control) based on workload characteristics — AI training benefits from more aggressive congestion control compared to HPC workloads.
• به روز رسانی نرم افزار و نرم افزار:به طور منظم نرم افزار سوئیچ و نرم افزار UFM را برای دسترسی به بهبود عملکرد و ویژگی های جدید به روز کنید.
• بازرسی های دوره ای پارچه:انجام حسابرسی منظم کابل کشی، برق و خنک سازی برای اطمینان از قابلیت اطمینان عملیاتی در مقیاس.

6خلاصه و ارزیابی ارزش

درNVIDIA Mellanox MQM8790-HS2Fراه حل فنی مبتنی بر RDMA یک روش جامع و معتبر در زمینه برای بهینه سازی اتصال با تاخیر کم در خوشه های RDMA / HPC / AI را فراهم می کند.با استفاده از 40 پورت سوئیچ 200Gb / s HDR InfiniBand، تاخیر کمتر از ۱۰۰ نانوسکنید، محاسبات در شبکه SHARP، و قابلیت های مسیریابی سازگار،سازمان ها می توانند پارچه هایی بسازند که عملکرد قابل پیش بینی را در مقیاس ارائه دهند در حالی که مدیریت را ساده می کنند و هزینه های عملیاتی را کاهش می دهند.

معیارهای کلیدی ارزش از پیاده سازی قابل مقایسه عبارتند از:

• کاهش تاخیر:تاخیر پورت به پورت کمتر از 100 نانوسکن کم تر می شود MPI زمان تکمیل جمعی تا 35٪ در مقایسه با پارچه های نسل قبلی.
• سرعت استفاده:کاهش بار محاسبات شبکه ای SHARP، هزینه ارتباطات CPU / GPU را تا 20٪ کاهش می دهد و زمان دوره آموزش هوش مصنوعی را تا 25٪ افزایش می دهد.
• بهره وری پارچه:مسیریابی سازگار و کنترل ازدحام عملکرد ثابت را تحت بار متغیر حفظ می کند و تغییرات عملکرد را تا 60٪ کاهش می دهد.
• ساده سازی عملیاتی:ادغام UFM قابلیت مشاهده و اتوماسیون جامع را فراهم می کند و MTTR برای حوادث پارچه را تا 50٪ کاهش می دهد.
• بهره وری هزینه:درقیمت MQM8790-HS2Fدر ترکیب با تراکم پورت بالا، در مقایسه با راه حل های جایگزین InfiniBand، هزینه های پایین تر در هر پورت را ارائه می دهد، در حالی که فضای قفسه و نیاز به قدرت را کاهش می دهد.

برای معماران شبکه و مدیران مهندسی، MQM8790-HS2F یک پایه مقیاس پذیر و با عملکرد بالا برای خوشه های HPC و AI نسل بعدی را ارائه می دهد.این راه حل به ویژه برای سازمان هایی که در مقیاس بزرگ محیط های شتاب دهنده GPU را مستقر می کنند توصیه می شود، و همچنین مراکز HPC سنتی که از پارچه های 100Gb / s به 200Gb / s ارتقا می یابند.پشتیبانی MQM8790-HS2F از شکستن HDR100، سازگاری با زیرساخت های موجود را تضمین می کند و در عین حال یک مسیر مهاجرت روشن به سرعت های آینده را فراهم می کند..

برای الگوهای طراحی دقیق پارچه، راهنماهای تنظیم عملکرد و چک لیست های استفاده، مراجعه کنیدورق اطلاعات MQM8790-HS2Fو مستندات معماری NVIDIA Mellanox InfiniBand.