راه حل فنی سوئیچ InfiniBand NVIDIA Mellanox MQM9790-NS2F

NVIDIA Mellanox MQM9790-NS2F راه حل فنی سوئیچ InfiniBand برای بهینه سازی اتصال با تاخیر کم برای خوشه های RDMA، HPC و AI

پیشینه پروژه و تحلیل الزامات

مراکز داده های مدرن که از آموزش مدل بزرگ هوش مصنوعی، شبیه سازی HPC و ذخیره سازی توزیع شده پشتیبانی می کنند به سرعت از 200Gb / s HDR به 400Gb / s NDR مهاجرت می کنند.تنش اصلی برای معماران شبکه این است که تراکم گره GPU در حال افزایش است، در حالی که تاخیر ارتباطات بین گره ها و جیتر عامل محدود کننده کارایی خوشه می شوند.یک هپ متراکم یا یک لایه پارچه اشتباه تنظیم شده می تواند استفاده موثر از GPU را در صدها گره کاهش دهد.

الزامات معمول برای چنین پروژه ای شامل تاخیر کم تعیین کننده برای عملیات جمعی، حمل بدون ضرر برای RDMA و NVMe در پارچه ها، رادیکس بالا برای نگه داشتن پارچه صاف،و یک مسیر ارتقاء روشن که از سرمایه گذاری های موجود محافظت می کندNVIDIA Mellanox MQM9790-NS2F برای برآورده کردن این الزامات به عنوان یک سوئیچ 400Gb / s NDR InfiniBand در خانواده Quantum-2 قرار دارد.

طراحی کلی معماری شبکه و سیستم

معماری توصیه شده یک ساختار InfiniBand دو لایه ای است که به طور کامل بر روی پیوندهای NDR ساخته شده است. سوئیچ های برگ سرورهای GPU، اهداف ذخیره سازی و گره های مدیریت را متصل می کنند.در حالی که سوئیچ های ستون فقرات اتصال بین برگ ها و تنوع مسیر را فراهم می کننداین طراحی تعداد hop ها را پایین نگه می دارد و اطمینان از پهنای باند غیر مسدود کننده برای ترافیک شرق-غرب را فراهم می کند که بر بار کاری هوش مصنوعی و HPC تسلط دارد.

در لایه انتهای، آداپتورهای کانال میزبان در حالت RDMA کار می کنند، اجازه می دهد انتقال حافظه به حافظه بدون مداخله CPU. خود پارچه کنترل ازدحام، مسیریابی انطباقیو تسریع جمعیترافیک مدیریت و تلومتری زیرساخت های فیزیکی مشابهی را به اشتراک می گذارد اما از طریق سیاست های QoS جدا شده است، بنابراین نظارت در بار کار تولید تداخل نمی کند.

اصول اصلی طراحی عبارتند از:

• توپولوژی مسطح برای به حداقل رساندن تاخیر و ساده کردن عیب یابی
• لینک های غیر مسدود کننده یا کم بیش از حد اشتراک بین سطوح
• NDR یکپارچه از انتهای به انتهای برای جلوگیری از تنگه های تولید مخلوط
• مسیرهای اضافی برای دسترسی بالا و تعادل بار
• مدیریت استاندارد InfiniBand برای سازگاری عملیاتی

نقش و ویژگی های اصلی NVIDIA Mellanox MQM9790-NS2F

NVIDIA Mellanox MQM9790-NS2F به عنوان بلوک ساختمانی این پارچه عمل می کند. به عنوان یک سوئیچ NDR MQM9790-NS2F 400Gb / s OSFP 64 پورت ، این سوئیچ چگالی پورت بالا را در یک واحد واحد ارائه می دهد.این امکان را به معماران می دهد تا یک شبکه مسطح تر با سطوح کمتر طراحی کنند.هر پورت OSFP می تواند با سرعت NDR کار کند و پیکربندی 64 پورت از نقش های برگ و ستون فقرات با رادیکس بالا پشتیبانی می کند.

برای تیم هایی که مشخصات MQM9790-NS2F را بررسی می کنند، این پلت فرم از NVIDIA SHARPv3 برای شتاب جمعی، کنترل فشرده سازی پیشرفته و مسیریابی سازگار پشتیبانی می کند.این ویژگی ها به طور مستقیم به مشکلات تاخیر دم و مشکلات مشترک در آموزش هوش مصنوعی و بار کاری MPI هدف قرار می دهند. سوئیچ MQM9790-NS2F InfiniBand همچنین با ابزارهای مدیریت استاندارد InfiniBand ادغام می شود، که منحنی یادگیری عملیاتی را کاهش می دهد.

هنگام برنامه ریزی یک راه حل سوئیچ InfiniBand MQM9790-NS2F، معماران باید اجزای سازگار MQM9790-NS2F، از جمله کابل های OSFP، آداپتورهای کانال میزبان و نسخه های نرم افزار را تأیید کنند.بررسی صفحه داده MQM9790-NS2F در اوایل مرحله طراحی به تأیید قدرت کمک می کند، خنک کننده و فضای قفسه قبل از خرید.

توصیه های تعبیه و مقیاس بندی

یک پیاده سازی معمولی با یک پاد آزمایشی از 32 تا 64 گره GPU متصل به یک جفت سوئیچ برگ MQM9790-NS2F آغاز می شود. اتصال ستون فقرات با رشد خوشه اضافه می شود،استفاده از واحدهای اضافی MQM9790-NS2F برای حفظ پهنای باند غیر مسدود کنندهاین رویکرد افزایشی اجازه می دهد تا قبل از راه اندازی در مقیاس کامل، تاخیر و خروجی را تایید کنید.

برای مقیاس بندی، شیوه توصیه شده حفظ تقارن پارچه است: ظرفیت برگ و ستون فقرات را در افزوده های متناسب اضافه کنید تا نسبت اشتراک بیش از حد قابل پیش بینی باشد.مدیریت کابل و برچسب گذاری بندر باید از ابتدا استاندارد شود، زیرا استقرار OSFP با تراکم بالا می تواند سخت باشد اگر طرح فیزیکی ناسازگار باشد.

جدول زیر خلاصه ای از دو سطح طراحی را نشان می دهد:

عملیات، نظارت، رفع مشکل و بهینه سازی

موفقیت عملیاتی بستگی به دید دارد. پارچه های InfiniBand شمارنده هایی را برای خطاهای پیوند، حوادث ازدحام و استفاده از بافر فراهم می کنند.این داده ها باید به طور مداوم جمع آوری شوند و با داده های برنامه ریزی کار مرتبط باشند.، به طوری که بازگشت عملکرد را می توان به بخش های خاص پارچه به جای حدس زد.

سناریوهای رایج برای رفع مشکل شامل توقف اعتبار، QoS اشتباه و عدم تطابق نرم افزار بین سوئیچ ها و آداپتورها است. یک لیست چک ساختار یافته ◄ سرعت پیوند را بررسی کنید، شمارنده های خطا را بررسی کنید،سیاست مسیر را تایید کنید، بررسی تله متری ازدحام می تواند میانگین زمان حل را کاهش دهد. تلاش های بهینه سازی باید بر تاخیر دم تمرکز کند نه میانگین سرعت،از آنجایی که بار کاری هوش مصنوعی و HPC به بدترین رفتار حساس هستند.

برای تهیه و برنامه ریزی چرخه عمر، تیم ها اغلب قیمت MQM9790-NS2F و گزینه های فروش MQM9790-NS2F را در کانال های مجاز مقایسه می کنند. قیمت گذاری بستگی به پیکربندی، سطح پشتیبانی،و منطقه، بنابراین تعامل زودهنگام با توزیع کنندگان و نمایندگان شرکت NVIDIA توصیه می شود.

NVIDIA Mellanox MQM9790-NS2F یک پایه NDR 400Gb / s را برای RDMA، HPC و ارتباط گروهی AI فراهم می کند. با کاهش سطوح پارچه، پشتیبانی از شتاب جمعی،و امکان حمل و نقل بدون ضرر با تاخیر کمبرای معماران شبکه و مهندسان پیش فروش،این یک بلوک ساختمانی عملی و مقیاس پذیر برای نسل بعدی پارچه های InfiniBand است.