راه حل فنی سوئیچ ملانوکس (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand

Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 راه حل فنی سوئیچ InfiniBand Optimization Low-Latency Interconnect برای خوشه های RDMA / HPC / AI

این کتاب سفید فنی یک معماری راه حل جامع را ارائه می دهدملانوکس (NVIDIA Mellanox) 920-9B110-00FH-0D0این سند برای معماران شبکه، مهندسان پیش فروش و مدیران عملیات طراحی شده است.920-9B110-00FH-0D0ما طراحی معماری، فن آوری های کلیدی را پوشش می دهیم،توپولوژی های استقرار، بهترین شیوه های عملیاتی و ارزیابی ارزش.

1. پیش زمینه پروژه و تجزیه و تحلیل نیازهای

آموزش هوش مصنوعی مدرن، شبیه سازی علمی و تجزیه و تحلیل فشرده داده ها به پارچه های شبکه ای نیاز دارند که تاخیر کمتر از یک میکرو ثانیه ای ثابت، صفر از دست دادن بسته و پهنای باند دوقطبی بالا را فراهم می کنند.راه حل های سنتی مبتنی بر اترنت، حتی با پیشرفت های RoCEv2 ، اغلب به دلیل مدیریت مخرب پیچیده ، هزینه های بالا تنظیم PFC و تاخیر دم غیر قابل پیش بینی تحت بار ، کوتاه می آیند.برای سازمان هایی که از 64 تا 512 گره GPU استفاده می کنند، نیاز آشکار به یک اتصال بین المللی ساخته شده است که عملکرد، هزینه و سادگی عملیاتی را متعادل می کند.

الزامات کلیدی پروژه ای که در سراسر پیاده سازی های معمولی HPC / AI شناسایی شده است عبارتند از:

• تاخیر سوئیچ از سر به سر < 1 μs (پورت به پورت) تحت بار کامل
• پارچه بدون ضرر با صفر قطره بسته بندی ناشی از ازدحام
• توپولوژی مقیاس پذیر پشتیبانی از 64 ′′ 512 گره با پهنای باند کامل bisection
• عملیات ساده با تله متری یکپارچه و بازیابی خطا خودکار
• قیمت گذاری مقرون به صرفه در هر بندر برای بودجه های متوسط

درNVIDIA Mellanox 920-9B110-00FH-0D0این برنامه به طور مستقیم با ترکیب تکنولوژی HDR (سرعت داده بالا) 200 گیگابایت در ثانیه، مسیریابی سازگار و تخلیه جمعی SHARP به یک پلت فرم انرژی کارآمد 1U، به این خواسته ها پاسخ می دهد.920-9B110-00FH-0D0 InfiniBand سوئیچ OPNتسهیل تدارکات با یک شماره قطعه سفارش واضح، اطمینان از پیکربندی سازگار در سراسر پیاده سازی.

2طراحی معماری شبکه / سیستم

معماری توصیه شده از یک توپولوژی دو لایه برگ (درخت چربی) پیروی می کند، که عرض باند کامل و انعطاف پذیری بالا را فراهم می کند. هر بلوک برگ شامل چندین قفسه است،با هر قفسه ای که دو عدد را در خود جای می دهد920-9B110-00FH-0D0سوئیچ های اضافی. لایه ستون فقرات ترافیک را از تمام سوئیچ های برگ جمع می کند، اطمینان از عدم مسدود کردن ارتباطات بین هر دو نقطه نهایی. برای یک خوشه 256-GPU معمولی،طراحی استفاده می کند هشت سوئیچ برگ (هر اتصال 32 گره GPU از طریق لینک های 200G) و چهار سوئیچ ستون فقرات، همه با استفاده از کابل های 200G HDR یا DAC متصل می شوند.

سوئیچ 200 گیگابایت در ثانیه در هر تراکم پورت اجازه می دهد تا توپولوژی های انعطاف پذیر، از جمله:

• 3 مرحله کلوز (درخت چربی):ایده آل برای بار کاری متعادل با الگوهای ترافیک قابل پیش بینی.
• "دروگانفلی+":برای خوشه های بسیار بزرگ که نیاز به رادیکس بالا و ارتباطات جهانی کارآمد دارند.

در920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDRسیستم عامل پشتیبان سوئیچ است، اطمینان از سازگاری با اکوسیستم HDR NVIDIA، از جمله آداپتورهای ConnectX‐6 و ConnectX‐7 است.920-9B110-00FH-0D0 سازگارطراحی همچنین از اپتیک های شخص ثالث که از طریق برنامه شرکای NVIDIA تایید شده است پشتیبانی می کند و انعطاف پذیری پیاده سازی را ارائه می دهد.

3نقش و ویژگی های کلیدیملانوکس (NVIDIA Mellanox) 920-9B110-00FH-0D0در محلول

درNVIDIA Mellanox 920-9B110-00FH-0D0سنگ بنای این راه حل است که مجموعه ای قوی از قابلیت های پیشرفته شبکه را فراهم می کند:

• 200 گیگابایت در ثانیه HDR در هر پورتبا سوئیچینگ قطع که تاخیر پورت به پورت کمتر از 900 ns را ارائه می دهد، ایده آل برای بار های کاری RDMA و MPI حساس به تاخیر است.
• مسیر سازگاری- به طور پویا مسیر کمترین ازدحام را برای هر بسته انتخاب می کند، از لینک های نقطه گرم اجتناب می کند و عملکرد ثابت را حتی در قالب الگوهای ترافیک نامتقارن حفظ می کند.
• SHARPv2 (پروتکل جمع آوری و کاهش سلسله مراتب مقیاس پذیر)- ارتباطات جمعی را از پردازنده های میزبان (all-reduce، broadcast) کاهش می دهد، که باعث کاهش چت شبکه و بهبود بهره وری آموزش هوش مصنوعی تا 25 درصد می شود.
• محاسبات درون شبکهاز کاهش داده ها و بخش بندی پشتیبانی می کند و منابع ارزشمند GPU را برای محاسبات آزاد می کند.
• تله متری پیشرفته- شمارنده های هر پورت، هیستوگرام های اشغال بافر و معیارهای تاخیر سطح مسیر، همه قابل صادر از طریق UFM یا REST API برای نظارت فعال.

درمشخصات 920-9B110-00FH-0D0همچنین شامل پشتیبانی از هر دو DAC های مس منفعل و ماژول های نوری فعال است که انعطاف پذیری فاصله را از درون ریک (≤5 m) به بین ریک (تا 100 m با 200G SR4 optics) فراهم می کند.برای سازمان هایی که نیاز به انتشار فشرده دارند، فاکتور فرم 1U سوئیچ و مصرف انرژی کم (≈1.5 وات در هر پورت) هزینه های عملیاتی را به حداقل می رساند.

4توصیه های استقرار و مقیاس بندی (توپولوژی معمولی)

برای یک پیاده سازی مرحله ای، ما رویکرد زیر را توصیه می کنیم:

• فاز 1 ✓ آزمایشی (64 گره GPU):استفاده از 2 سوئیچ برگ و 2 سوئیچ ستون فقراتصفحه اطلاعات 920-9B110-00FH-0D0پارامترها، با تمرکز بر تاخیر، خروجی و کارایی SHARP.
• فاز ۲ ٫ مقیاس گذاری (۱۲۸ ٫۲۵۶ گره):برای حفظ اشتراک بیش از حد ≤ 1، به صورت افزایشی از 2 بر روی هر قفسه، و به صورت مورد نیاز، کلید های ستون فقرات را اضافه کنید:1چگالی پورت 200G اجازه می دهد تا یک سوئیچ تک برگ برای پشتیبانی از گره های 32 ٪ 64 (با توجه به سرعت پیوند بالا گره)
• فاز ۳ ٫ چند سطح (۵۱۲+ گره):پیاده سازی پارچه های مستقل متعدد (به عنوان مثال، هواپیماهای 2 × یا 4 ×) با تعادل بار مبتنی بر مسیر، استفاده از پشتیبانی سوئیچ برای خطوط مجازی و کلید های تقسیم.

کابل گذاری معمولی از OSFP به OSFP DAC برای اتصالات درون ریک (≤3 m) و ماژول های نوری OSFP به 200G SR4 برای فاصله های ستون فقرات تا 100 m استفاده می کند.920-9B110-00FH-0D0 راه حل OPN InfiniBand switchتسهیلات لجستیکی ️ OPN تضمین می کند که هارد و نرم افزار در تمام واحدها به طور مداوم تجدید نظر شود و خطاهای استقرار را کاهش دهد.

5عملیات، نظارت، تشخیص خطا و بهینه سازی

عملیات موثر برای حفظ تأخیر کم در تولید ضروری است.NVIDIA UFM (مدیر پارچه واحد)، که می گوید:

• داشبورد زمان واقعی️ پهنای باند در هر پورت، شمارنده های خطا و نقشه های گرما مخرب.
• بهینه سازی مجدد مسیر خودکاردر صورتی که یک لینک خراب شود یا شکست بخورد، UFM مسیرها را مجدداً محاسبه می کند و جداول مسیریابی سازگاری را بدون مداخله اپراتور مجدداً پیکربندی می کند.
• تله متری تاریخی- داده های تاخیر و جریان را برای تجزیه و تحلیل پس از مرگ و برنامه ریزی ظرفیت ذخیره می کند.

روند کار توصیه شده برای رفع مشکل و بهینه سازی:

1. نظارت بر فریم های وقفه در هر بندر و رداز هشدار های UFM برای شناسایی فعالانه مشکلات استفاده کنید.
2. عمل SHARPv2 را تایید کنید- بررسی آمارهای جمعی UFM برای اطمینان از اینکه عملیات کاهش از کار گرفته شده است؛ در غیر این صورت، تنظیمات نرم افزار و آداپتور را بررسی کنید.
3. بهینه سازی آستانه های مسیریابی سازگار- تنظیم فواصل سنجش بار بر اساس الگوهای بار کار920-9B110-00FH-0D0امکان تنظیم دقیق از طریق رابط های مدیریت را فراهم می کند.
4. به روز رسانی منظم نرم افزاردر دسترس از طریق پورتال پشتیبانی NVIDIA، از جمله بهبود عملکرد و پچ های امنیتی.

برای سازمان هایی که ارزیابی920-9B110-00FH-0D0 قیمت، سادگی عملیاتی و کاهش هزینه های مهندسی به طور مستقیم به کاهش کل هزینه مالکیت در مقایسه با جایگزین های اترنت که نیاز به تنظیم مداوم دارند، کمک می کند.

6خلاصه و ارزیابی ارزش

درملانوکس (NVIDIA Mellanox) 920-9B110-00FH-0D0یک پایه ثابت و مقرون به صرفه برای شبکه های خوشه ای RDMA / HPC / AI ارائه می دهد. با ترکیب سرعت 200 Gb / s HDR، محاسبات پیشرفته در شبکه و دومیترکی قوی،این مانع از اختلالات عملکرد سنتی می شود و یک مسیر ارتقاء روشن از پارچه های Ethernet را فراهم می کندپیشنهادات ارزش کلیدی شامل:

• عملکرد:تاخیر کمتر از ۹۰۰ ns، صفر از دست دادن بسته و تا ۲۵٪ عملیات جمعی سریع تر از طریق SHARPv2.
• مقیاس پذیری:از خوشه های گره ای 64512+ با پهنای باند کامل bisection پشتیبانی می کند ، قابل سازگاری با هر دو توپولوژی fat-tree و Dragonfly + است.
• بهره وری عملیاتی:ادغام UFM و بازیابی خطا خودکار، مداخله دستی را بیش از 80٪ کاهش می دهد.
• بهره وری از هزینه:قیمت گذاری رقابتی در هر بندر (920-9B110-00FH-0D0 قیمت) و مصرف انرژی پایین، TCO قانع کننده ای را ارائه می دهد.

درصفحه اطلاعات 920-9B110-00FH-0D0ومشخصات 920-9B110-00FH-0D0جزئیات فنی جامع را ارائه می دهند و واحدهای به راحتی در دسترس هستند (920-9B110-00FH-0D0 برای فروشاز طریق شبکه کانال جهانی NVIDIA). سازگاری سوئیچ با آداپتورهای موجود NVIDIA باعث می شود که مسیر مهاجرت برای سازمان هایی که در حال حاضر در اکوسیستم Mellanox سرمایه گذاری کرده اند آسان باشد.

به طور خلاصه، این راه حل فنی بر اساس920-9B110-00FH-0D0 راه حل OPN InfiniBand switchیک ساختار قوی و عملیاتی کارآمد را ارائه می دهد که به سخت ترین الزامات اتصال با تاخیر کم پاسخ می دهد. یک سنگ بنای نسل بعدی هوش مصنوعی و محاسبات HPC.