مقاله فنی سوئیچ InfiniBand انویدیا ملانوکس MQM8790-HS2F

کتاب سفید فنی NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch: بهینه سازی اتصال با تاخیر پایین برای خوشه های RDMA / HPC / AI

این کتاب سفید فنی برای معماران شبکه، مهندسان پیش فروش و مدیران عملیات طراحی شده است.NVIDIA Mellanox MQM8790-HS2Fسوئیچ HDR InfiniBand 200Gb/s، طراحی یک راه حل جامع برای بهینه سازی اتصال با تاخیر کم در RDMA، محاسبات با عملکرد بالا (HPC) ،و خوشه های هوش مصنوعیاین سند شامل طراحی معماری، فن آوری های کلیدی، استراتژی های استقرار و مقیاس بندی، نظارت بر عملیات،و ارزیابی ارزش ارائه یک طرح قابل تکرار برای نسل بعدی زیرساخت های محاسباتی فشرده داده.

1. پیشینه پروژه و تحلیل نیازهای

با رسیدن پارامترهای مدل هوش مصنوعی به مقیاس تریلیون و شبیه سازی های HPC نیاز به وضوح دقیق تر دارند،ساختار شبکه زیربنایی از یک جزء پشتیبانی به یک عامل تعیین کننده عملکرد اصلی تکامل یافته است.به عنوان مثال، شغل های آموزش توزیع شده می توانند 40 تا 60 درصد از زمان اجرا خود را صرف عملیات ارتباطات جمعی کنند، اگر اتصال بین المللی دارای ویژگی های پهنای باند و تاخیر کافی نباشد.برای تیم های فناوری اطلاعات شرکت، این به طور مستقیم به زمان طولانی تر برای ابتکارات هوش مصنوعی و سرمایه گذاری های GPU استفاده نشده ترجمه می شود.

الزامات کلیدی شناسایی شده از طریق تعاملات گسترده با مشتریان شامل:

• تاخير بسيار کم و قابل پيش بيني:Sub-200ns قطع از طریق سوئیچ کردن برای ترافیک MPI و RDMA، با کمترین اضطراب در زیر بحث.
• قدرت عبور بدون مسدود کردن:عملکرد ثابت نرخ خط در تمام بنادر به طور همزمان، از بین بردن تشکیل نقطه گرم و تخریب تاخیر دم.
• محاسبه در شبکه:تسریع سخت افزاری برای عملیات جمعی (همه کاهش، پخش، مانع) برای کاهش بار پردازنده های میزبان و کاهش حرکت داده.
• پشتیبانی از توپولوژی مقیاس پذیر:توانایی ساخت توپولوژی های fat-tree، torus یا dragonfly+ که صدها تا هزاران گره را بدون لایه های بیش از حد سوئیچ پوشش می دهد.
• مدیریت ساده:نظارت یکپارچه پارچه، کشف توپولوژی خودکار و تشخیص خطای فعال برای کاهش هزینه های عملیاتی.

درMQM8790-HS2Fبه عنوان بلوک ساختاری بهینه برای این معماری راه حل انتخاب شد، با مقدماتیورق اطلاعات MQM8790-HS2Fتایید 40 پورت از 200Gb / s HDR، زیر-130ns قطع-از طریق تأخیر، و پشتیبانی از SHARP v3.0 قابلیت های محاسبات در شبکه که به طور مستقیم به الزامات فوق نقشه.

2طراحی معماری شبکه / سیستم

معماری پیشنهادی از یک توپولوژی دو لایه برگ-عمود فقرات چربی-درخت برای خوشه ها تا 1200 گره استفاده می کند، با گزینه گسترش به سه لایه برای استقرار های بزرگتر.این توپولوژی عملکرد را متعادل می کند، هزینه و قابلیت مدیریت، ارائه پهنای باند کامل و تاخیر تعیین کننده در سراسر پارچه.

هر سوئیچ برگ به 16 گره محاسباتی از طریق آداپتورهای کانال میزبان NVIDIA ConnectX-6 یا ConnectX-7 HDR متصل می شود.سازگاری با MQM8790-HS2Fسیستم اپتیک ◄ شامل کابل های اپتیک فعال (AOC) و DAC های مس منفعل، بسته به فاصله پیوند.MQM8790-HS2F 200Gb/s HDR 40 پورت QSFP56طراحی، تراکم کافی برای جمع آوری سطح قفسه را فراهم می کند در حالی که یک عامل فرم 1U را برای استفاده موثر از فضای قفسه حفظ می کند.

برای خوشه های بیش از 1200 گره، یک توپولوژی سه طبقه با یک لایه فوق العاده اضافی توصیه می شود.MQM8790-HS2F راه حل سوئیچ InfiniBandنقش خود را در تمام سطوح حفظ می کند، مدیریت ذخیره سازی و پیکربندی را ساده می کند. یک نوع سوئیچ واحد از کل پارچه، از لبه تا هسته پشتیبانی می کند.

3نقش و ویژگی های اصلی NVIDIA Mellanox MQM8790-HS2F

درNVIDIA Mellanox MQM8790-HS2Fبه عنوان عنصر سوئیچینگ پایه ای در این معماری عمل می کند و قابلیت های متمایز کننده زیر را ارائه می دهد که به طور مستقیم بهینه سازی اتصال کم تاخیر را هدایت می کند:

• سرعت پورت HDR 200Gb/s:دو برابر پهنای باند نسل قبلی EDR (100Gb / s) در حالی که حفظ سازگاری عقب با HDR100 (100Gb / s) برای محیط های با سرعت مخلوط، حفاظت از سرمایه گذاری های قبلی.
• با تاخير کمتر از 130ns:به حداقل رساندن زمان صرف بسته ها در سوئیچ، مهم برای عملیات RDMA حساس به تاخیر و الگوهای ارتباطی جمعی.
• SHARP v3.0 در شبکه محاسبات:عملیات کاهش بار را از CPU های میزبان به بافت سوئیچ منتقل می کند، ترافیک داده را تا 30٪ کاهش می دهد و عملکرد تمام کاهش را برای آموزش هوش مصنوعی تا 2 برابر افزایش می دهد.
• مسیر سازگاری و کنترل ازدحام:به طور پویا ترافیک را در مسیرهای متعدد توزیع می کند تا از نقاط گرم جلوگیری شود، با پرچم های ازدحام و کنترل جریان مبتنی بر اعتبار که عملکرد بدون ضرر را تضمین می کند، یک پیش شرط برای عملکرد RDMA است.
• تله متری و تشخیص یکپارچه:قابلیت مشاهده دقیق اشغال بافر در هر پورت، نرخ خطای لینک و الگوهای ترافیک را فراهم می کند که امکان بهینه سازی فعال و جداسازی سریع نقص را فراهم می کند.

بر اساس جزئیاتمشخصات MQM8790-HS2F، سوئیچ از هر دو نوع جریان هوا به جلو و عقب پشتیبانی می کند و طراحی های مختلف خنک کننده مرکز داده را در بر می گیرد.منابع برق دوگانه اضافی و ماژول های فن قابل تعویض گرم، قابلیت اطمینان و قابلیت استفاده را افزایش می دهد.

4توصیه های انتشار و گسترش (با توپولوژی معمولی)

برای یک استقرار اولیه متعادل و مقرون به صرفه، بهترین شیوه های زیر توصیه می شود:

• اتصال گره به برگ:استفاده از کابل های HDR 200Gb/s (DAC مس برای ≤3m، AOC برای ≤30m) باسازگاری با MQM8790-HS2Fکانکتورهای QSFP56. اطمینان حاصل کنید که آداپتورهای کانال میزبان برای همان سرعت پیوند و تنظیمات FEC به عنوان پورت های سوئیچ پیکربندی شده اند.
• اتصال برگ به ستون فقرات:استفاده از AOC های 200Gb/s یا گیرنده های فیبر نوری چند حالت برای مسافت های تا 100 مترMQM8790-HS2Fپارامترهاي پيوند رو به طور خودکار مذاکره ميکنه و کار رو ساده تر ميکنه
• برنامه ریزی بیش از حد اشتراک:برای بارهای کاری AI / HPC عمومی، نسبت اشتراک بیش از حد 2: 1 (دو گره محاسباتی در هر 200Gb / s uplink) نقطه شیرین هزینه عملکرد را فراهم می کند. برای بارهای کاری بهینه شده تاخیر یا ذخیره سازی،در نظر گرفتن 11 (کامل) اشتراک بیش از حد.
• مسیر گسترش:هنگامی که اضافه کردن قفسه های جدید، به سادگی گسترش سوئیچ های برگ اضافی و آنها را به سوئیچ های ستون فقرات موجود متصل کنید. برای افزایش ظرفیت قابل توجهی (دو برابر تعداد گره ها) ،ارتقاء لایه ستون فقرات به یک رادیکس بالاتر یا اضافه کردن یک لایه فوق ستون فقرات.

در هنگام ارزیابیقیمت MQM8790-HS2Fو کل هزینه مالکیت،بر این باورند که معماری یکپارچه ٬ با استفاده از یک نوع سوئیچ در تمام سطوح پارچه ٬ نیاز به موجودی قطعات یدکی را در مقایسه با رویکردهای چند SKU حدود ۷۰٪ کاهش می دهد.این ساده سازی پاسخ به حوادث را تسریع می کند و زمان توقف در هنگام خرابی سخت افزار را به حداقل می رساند.

5نظارت بر عملیات، رفع مشکل و بهینه سازی

مدیریت موثرسوئیچ MQM8790-HS2F InfiniBandمحیط زیست نیازمند یک رویکرد سیستماتیک برای نظارت، تشخیص و تنظیم عملکرد است.

نظارت بر بهترین شیوه ها:

• استفاده از Unified Fabric Manager (UFM) NVIDIA برای دید متمرکز از پارچه، از جمله نقشه های توپولوژی، نقشه های گرمایی استفاده از هر لینک و هیستوگرام های تاخیر در زمان واقعی.
• شمارنده های خطای هر پورت را نظارت کنید، به ویژه خطاهای CRC، خطاهای نماد و رویدادهای اتصال به پایین، برای شناسایی زودهنگام اپتیک ها یا کابل های تخریب کننده.تله های SNMP را برای آستانه های از پیش تعریف شده تنظیم کنید تا امکان نگهداری فعال را فراهم کند.
• پیگیری کارایی عملکرد جمعی SHARP از طریق شمارنده های عملکرد یکپارچه سوئیچ، شناسایی فرصت ها برای بهینه سازی الگوهای ارتباطات جمعی در سطح برنامه.

رفع مشکلات رایج:

• خطاهای CRC در پورت های خاص:بررسی صندلی کابل و تمیز بودن کانکتورهای نوری. اگر اشتباهات ادامه یابد، کابل یا گیرنده را جایگزین کنید.ورق اطلاعات MQM8790-HS2Fمحدوده های تشخیصی دقیق در هر بندر را ارائه می دهد.
• افزایش تاخیر غیرمنتظره:بررسی نقاط گرم ترافیک با استفاده از تجزیه و تحلیل جریان ترافیک UFM. مسیریابی سازگار ممکن است نیاز به پیکربندی مجدد برای الگوهای ترافیک خاص داشته باشدغیر حداقل).
• مشکل جداسازی پارچه:اطمینان از تنظیمات مناسب کلید پارتیشن (PKey) و مدیر زیر شبکه IPoIB. مدیر زیر شبکه داخلی سوئیچ تشخیص خودکار پارچه را فراهم می کند ،اما تنظیمات دستی ممکن است برای محیط های چند مستاجر لازم باشد.

نکات بهینه سازی عملکرد:

• برای بار کاری آموزش هوش مصنوعی، SHARP v3.0 را فعال کنید و کتابخانه های ارتباطات جمعی (NCCL، OpenMPI) را برای استفاده از قابلیت های کاهش بار سوئیچ پیکربندی کنید.این می تواند تمام کاهش تاخیر را تا 2x برای اندازه پیام های بزرگ کاهش دهد.
• برای برنامه های کاربردی HPC حساس به تأخیر، غیرفعال کردن مسیریابی انطباقی را در نظر بگیرید تا انتخاب مسیر تعیین کننده را اعمال کنید و برخی از تنوع مسیرها را برای تأخیر قابل پیش بینی معامله کنید.
• به طور دوره ای بررسی و به روز رسانی نرم افزار سوئیچ، به عنوان NVIDIA به طور منظم بهبود عملکرد و پچ های امنیتی را منتشر می کند.ورق اطلاعات MQM8790-HS2Fبرای ماتریس های سازگاری نسخه.

6خلاصه و ارزیابی ارزش

درNVIDIA Mellanox MQM8790-HS2Fارائه یک پیشنهاد ارزش قانع کننده برای سازمان های ساخت و ساز یا ارتقاء خوشه های RDMA / HPC / AI. با ارائه 200Gb / s در هر پورت، تاخیر زیر 130ns،و شتاب محاسباتی در شبکه در عرض 1U، شاسی ۴۰ پورت، سوئیچ به سخت ترین الزامات اتصال متقابل در بار های کاری مدرن داده فشرده پاسخ می دهد.

عوامل کلیدی ارزش شامل:

• مقیاس پذیری عملکرد:معماري که در اطراف درخت چربی ساخته شدهMQM8790-HS2F 200Gb/s HDR 40 پورت QSFP56گره ها از 200 تا 10،000+ گره بدون تغییر توپولوژی اساسی.
• بهره وری عملیاتی:یک نوع سوئیچ واحد در تمام لایه های پارچه موجودی قطعات یدکی را کاهش می دهد، آموزش را ساده می کند و رفع مشکل را تسریع می کند.
• حفاظت از سرمایه گذاری:سازگاری عقب با HDR100 و EDR امکان ارتقاء مرحله ای را فراهم می کند، در حالی که فاکتور فرم و تراکم پورت سوئیچ با نقشه های آینده 400G (NDR) هماهنگ می شود.
• اکوسیستم اثبات شده:ادغام عمیق با آداپتورهای ConnectX NVIDIA، DPU های BlueField و بستر مدیریت UFM پیش بینی عملکرد را از انتهای به انتهای تضمین می کند.

برای سازمان هایی که آماده استفاده هستند،MQM8790-HS2F براي فروشاز طریق شبکه جهانی توزیع کنندگان مجاز NVIDIA شامل گزینه های پشتیبانی جامع، از جمله در محل قطعات یدکی، تعویض پیشرفته، و اشتراک های به روزرسانی نرم افزار است.مشخصات MQM8790-HS2Fطراحی های مرجع و مرجع از طریق پورتال مستندات فنی NVIDIA در دسترس هستند و مشاوره توپولوژی سفارشی برای پیاده سازی های گسترده در زمینه های سبز یا سبز ارائه می شود.