راهنمای فنی NVIDIA Mellanox 920-9B210-00FN-0D0: بهینه‌سازی اتصال با تأخیر کم 400 گیگابیت بر ثانیه NDR

NVIDIA Mellanox 920-9B210-00FN-0D0 مرجع فنی: 400Gb / s NDR بهینه سازی اتصال با تاخیر پایین برای خوشه های RDMA / HPC / AI

1. پیش زمینه پروژه و تجزیه و تحلیل نیازهای

همانطور که خوشه های آموزش هوش مصنوعی از هزاران تا ده ها هزار GPU مقیاس پذیر می شوند و شبیه سازی های HPC به عملکرد Exascale نزدیک می شوند، اتصال شبکه با خواسته های بی سابقه ای برای پهنای باند، تاخیر،و تعیین گرایی. انتقال از 200Gb / s HDR به 400Gb / s NDR دیگر اختیاری نیست. این یک ضرورت استراتژیک برای سازمان هایی است که مدل های پارامتر تریلیون و محاسبات موازی در مقیاس شدید را مستقر می کنند.در محیط های چندگانه راه اندازی، الزامات اصلی را می توان به شرح زیر خلاصه کرد:

• زمان تاخیر بسیار کم تعیین کننده:MPI و ارتباطات جمعی همه به همه باید تاخیر بندر به بندر کمتر از 100ns را حفظ کنند تا تأثیر هزینه های ارتباطی بر روی همگرایی آموزش را به حداقل برسانند.
• پارچه بدون ضرر در مقیاس:بسته صفر در هزاران نقطه پایان سقوط می کند، اطمینان از عملکرد RDMA در معرض ازدحام کاهش نمی یابد.
• محاسبات درون شبکه:تخلیه عملیات جمعی (همه کاهش، همه به همه، پخش) به بافت سوئیچ برای آزاد کردن منابع CPU / GPU میزبان.
• مقیاس پذیری رادیکس بالا:پشتیبانی از توپولوژی های fat-tree و dragonfly + با پهنای باند کامل bisection در 8000+ گره.
• حفاظت از سرمایه گذاری:سازگاری یکپارچه با کابل های موجود HDR، اپتیک ها و ابزارهای مدیریت برای ارتقاء مرحله ای.

برای پاسخگویی به این الزامات، این راه حلNVIDIA Mellanox 920-9B210-00FN-0D0به عنوان بلوک اصلی ساختمان یک سوئیچ 400Gb / s NDR InfiniBand که به طور خاص برای استقرار کلاس Exascale طراحی شده است.

2طراحی معماری شبکه کلی

راه حل پیشنهادی از یک توپولوژی دو لایه برگ استفاده می کند، یک پارچه مقیاس پذیر و غیر مسدود کننده با تاخیر تعیین کننده و کابل کشی ساده را ارائه می دهد.هر قفسه محاسباتی مجهز به یک یا دو920-9B210-00FN-0D0 InfiniBand سوئیچ OPNدر لایه ستون فقرات، یک لایه دوم از NDR به سرورهای GPU از طریق OSFP Direct-Attach Copper (DAC) یا کابل های نوری فعال (AOC) فراهم می کند.920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRسوئیچ ها تمام سوئیچ های برگ را به هم متصل می کنند و یک پارچه چوبی با پهنای باند کامل ایجاد می کنند.

برای خوشه هایی که بیش از ۵۰۰۰ گره دارند، می توان یک معماری بسته سه طبقه را اجرا کرد.با 920-9B210-00FN-0D0 که به عنوان برگ و ستون فقرات برای حفظ عملکرد ثابت در تمام سطوح عمل می کنداین سوئیچ پشتیبانی از تا 64 سوئیچ در یک پارچه واحد تحت یک مدیر زیر شبکه واحد، امکان کنترل یکپارچه از توپولوژی های مقیاس بزرگ.

جدول زیر پارامترهای اصلی مقیاس بندی را برای یک پارچه NDR دو لایه ای که در اطراف 920-9B210-00FN-0D0 ساخته شده است خلاصه می کند:

3نقش و ویژگی های اصلی NVIDIA Mellanox 920-9B210-00FN-0D0

در این معماری،NVIDIA Mellanox 920-9B210-00FN-0D0به عنوان عنصر اساسی برای تغییر عملکرد عمل می کند و چندین قابلیت حیاتی را فراهم می کند که به طور مستقیم به الزامات مشخص شده در بخش 1 پاسخ می دهد:

• 64 پورت با NDR 400Gb/s:هر پورت OSFP از 400Gb / s دو طرفه با اصلاح خطای جلو (FEC) برای اتصال قابل اعتماد گسترش یافته پشتیبانی می کند. ظرفیت سوئیچینگ کلی 51.2 Tb / s فضای کافی برای حتی فشارهای کاری فشرده ترین ارتباطات فراهم می کند.
• تاخير برش بسيار پايين:تاخیر بندر به بندر کمتر از 100ns، همانطور که درصفحه اطلاعات 920-9B210-00FN-0D0، حداقل هزینه های عمومی برای عملیات MPI و RDMA را تضمین می کند.
• SHARPv3 ادغام شده:عملیات جمعی را از پردازنده های میزبان کاهش می دهد و تاخیر همه را تا 40٪ و همه را تا 35٪ در مشاغل بزرگ کاهش می دهد.
• مسیر سازگاری و کنترل ازدحام:به طور پویا مسیر ترافیک را تغییر می دهد تا از نقاط گرم اجتناب کند و عملکرد قابل پیش بینی را در قالب الگوهای ترافیک متضاد حفظ کند.تله متری پیشرفته برای مدیریت پیشگیرانه، قابلیت مشاهده در هر جریان و هر بندر را فراهم می کند.
• امکان مدیریت جامع:ادغام کامل با Unified Fabric Manager (UFM) NVIDIA برای تامین صفر لمس، نظارت بر وضعیت و تغییر خودکار.

درمشخصات 920-9B210-00FN-0D0همچنین منابع برق دوگانه اضافی، ماژول های فن قابل تعویض گرم و پشتیبانی از پیکربندی های مدیریت زیر شبکه اضافی را برجسته می کند، که 99.999٪ در دسترس بودن برای بار های کاری مهم را تضمین می کند.

4توصیه های توسعه و مقیاس پذیری

برای سازمان هایی که قصد دارند920-9B210-00FN-0D0 راه حل OPN InfiniBand switch، دستورالعمل های زیر برای استفاده توصیه می شود:

• استراتژی کابل کشی:استفاده از کابل های OSFP به OSFP DAC برای اتصالات درون ریک (تا 3m) و AOC یا گیرنده های نوری برای پیوندهای بین ریک و ستون فقرات (تا 100m).920-9B210-00FN-0D0 سازگاربرای جلوگیری از مشکلات یکپارچگی سیگنال.
• تخليه:برای کار های مهم، حداقل دو سوئیچ ستون فقرات در هر ورق استفاده کنید تا نقاط شکست را از بین ببرید.به اضافه کاری N+1 در سطح ستون فقرات توجه کنید..
• مدیریت نرم افزار:اطمینان حاصل کنید که تمام سوئیچ ها نسخه های مشابه نرم افزار NVIDIA را اجرا می کنند. از ویژگی ارتقاء نرم افزار خودکار UFM برای بروزرسانی بدون وقفه استفاده کنید.مطابقت نرم افزار با آداپتورهای میزبان و کابل ها را قبل از استفاده تایید کنید.
• مسیر مقیاس پذیری:برای خوشه های فراتر از 4,096 گره، انتقال به یک توپولوژی سه طبقه بسته شده بسته یا استفاده از Dragonfly + با مسیریابی سازگار. 920-9B210-00FN-0D0 پشتیبانی از تا 64 سوئیچ در یک پارچه واحد،با پارچه های متعدد که از طریق دروازه ها برای استفاده های بزرگتر به یکدیگر متصل می شوند.
• اعتباربخشی عملکرد:قبل از راه اندازی تولید، تست های فشاری جامع را با استفاده از معیارهای عملکردی OpenFabrics Enterprise Distribution (OFED) اجرا کنید تا عملکرد پارچه را در برابرصفحه اطلاعات 920-9B210-00FN-0D0مشخصات

در هنگام محاسبه کل هزینه مالکیت، تعداد کاهش یافته سطوح سوئیچ و کابل کشی ساده در مقایسه با جایگزین های کم رادیکس را در نظر بگیرید.920-9B210-00FN-0D0 قیمتدر هر واحد از سوئیچ های HDR بالاتر است، هزینه هر پورت و هزینه شبکه در هر GPU به طور قابل توجهی در انکشافات مقیاس بزرگ پایین تر است، که آن را به یک انتخاب مقرون به صرفه برای پروژه های Exascale تبدیل می کند.

5. عملیات، نظارت و رفع مشکل

مدیریت موثر یک پارچه NDR نیاز به یک چارچوب نظارت و عیب یابی جامع دارد.NVIDIA Mellanox 920-9B210-00FN-0D0از پارچه ای که:

• تجسم توپولوژی:کشف خودکار و نمایش گرافیکی از تمام سوئیچ ها، لینک ها و نقاط پایان با به روز رسانی وضعیت در زمان واقعی.
• داشبوردهای عملکرد:نمایش در زمان واقعی از استفاده از بندر، نرخ خطا، شاخص های ازدحام، و اشغال بافر در سراسر بافت.
• هشدار فعال:آژیرهای مبتنی بر آستانه برای تخریب لینک، ناهنجاری های دمایی، شکست های منبع برق و سایش کابل.
• جداسازی نقص:جریان های کاری عیب یابی هدایت شده که کابل های معیوب، ترانسسیورها یا پورت های سوئیچ را شناسایی می کنند، زمان متوسط حل (MTTR) را کاهش می دهند.
• تحلیل های تاریخی:تجزیه و تحلیل روند و برنامه ریزی ظرفیت بر اساس داده های عملکردی تاریخی، که تصمیمات پیشگیرانه مقیاس بندی را امکان پذیر می کند.

برای رفع مشکلات پیشرفته، از ابزارهای تشخیصی داخلی سوئیچ استفاده کنید، از جمله تست های حلقه ای، تجزیه و تحلیل BER (تعداد خطا بیت) و نظارت تشخیصی ماژول نوری (DOM).مشکلات رایج در استقرار های اولیه NDR شامل مسیریابی نامناسب ناشی از سرعت های نابرابر پیوند است، انواع کابل نامناسب یا ناسازگاری های نرم افزار. امکان مسیرسازی سازگار، تأیید اینکه همه لینک ها با 400Gb / s با فعال کردن FEC کار می کنند،و اطمینان از ثابت بودن نرم افزار در تمام سوئیچ ها اکثر ناهنجاری های عملکرد را حل می کند.

مهندسان شبکه همچنین باید یک خط پایه ازمشخصات 920-9B210-00FN-0D0در طول مرحله تأیید، از جمله تاخیر انتظار می رود، خروجی، و نرخ خطا. انحرافات از این خط پایه می تواند به عنوان شاخص های اولیه از مشکلات بالقوه استفاده شود.920-9B210-00FN-0D0 InfiniBand سوئیچ OPNهمچنین از ثبت رویدادهای جامع از طریق syslog و SNMP پشتیبانی می کند و امکان ادغام با استیک های نظارت بر مرکز داده موجود را فراهم می کند.

6خلاصه و ارزیابی ارزش

در920-9B210-00FN-0D0ارائه یک پیشنهاد ارزش قانع کننده برای سازمان های ساخت یا گسترش خوشه های HPC و AI مبتنی بر NDR. این 64 پورت 400Gb / s NDR با تاخیر زیر 100ns، SHARPv3 offload را فراهم می کند،قابلیت مدیریت در سطح شرکت، و سازگاری کامل با اکوسیستم HDR موجود در یک پلت فرم فشرده 1U. نکات ارزش کلیدی عبارتند از:

• عملکرد:تا 75 درصد کاهش در تاخیر ارتباطات همه به همه و تا 40 درصد کاهش در تاخیر تمام کاهش از طریق SHARPv3 تخلیه و پهنای باند NDR.
• بهره وری هزینه:هزینه های شبکه ای پایین تر در مقایسه با گزینه های HDR در استقرارات مقیاس بزرگ، که توسط رادیکس بالاتر و کاهش تعداد لایه سوئیچ هدایت می شود.
• ساده سازی عملیاتی:ادغام عمیق با UFM برای مدیریت یکپارچه، تدارکات خودکار، نظارت فعال و حل سریع خطا.
• حفاظت از سرمایه گذاری:سازگاری کامل با کابل های موجود HDR، نوری و مجموعه نرم افزاری، امکان ارتقاء مرحله ای بدون اختلال در حجم کار تولید.
• مقیاس پذیری قابل پیش بینی:پشتیبانی از توپولوژی های سه لایه folded-Clos و dragonfly + ، اطمینان از اینکه پارچه می تواند به ۸۰۰۰+ گره افزایش یابد.

برای سازمان هایی که ارزیابی920-9B210-00FN-0D0 برای فروشاز طریق شرکای کانال NVIDIA، ما توصیه می کنیم بررسی جزئیاتصفحه اطلاعات 920-9B210-00FN-0D0و درگیر با یک معمار راه حل گواهی شده برای تأیید طراحی برای حجم کار خاص و مقیاس خود را نیاز دارد.NVIDIA Mellanox 920-9B210-00FN-0D0امروز آماده تولید است و یک پایه اتصال قابل مقیاس برای نسل بعدی نوآوری هوش مصنوعی و HPC را ارائه می دهد.