NVIDIA Mellanox MQM9790-NS2F سوئیچ InfiniBand در عمل به کار گرفته شده است بهینه سازی اتصال کم تاخیر برای RDMA، HPC

NVIDIA Mellanox MQM9790-NS2F سوئیچ InfiniBand در عمل به کار گرفته شده است بهینه سازی اتصال با تاخیر کم برای RDMA، HPC و خوشه های هوش مصنوعی

در آموزش هوش مصنوعی مدرن، شبیه سازی HPC و محیط های ذخیره سازی توزیع شده، گلوی واقعی به ندرت قدرت محاسباتی خام است، بلکه کارایی اتصال بین گره به گره است.NVIDIA Mellanox MQM9790-NS2F، یک سوئیچ 400Gb / s NDR InfiniBand، طراحی شده است تا دقیقاً این لایه از استیک را پوشش دهد. این مقاله از یک سناریوی استقرار نماینده عبور می کند تا نشان دهد که چگونه MQM9790-NS2F RDMA را بهبود می بخشد ،HPC، و عملکرد خوشه هوش مصنوعی از طریق طراحی پارچه کم تاخیر.

پیشینه و چالش ها

یک خوشه هوش مصنوعی تحقیقاتی یا سازمانی معمولی ممکن است شامل صدها سرور GPU، یک سیستم فایل موازی و یک برنامه ریزی کننده کار باشد که بار های کاری MPI و NCCL را توزیع می کند.هر گره می تواند ترافیک بسیار بیشتری از شرق به غرب تولید کند تا یک پارچه HDR 200Gb / s می تواند به راحتی جذب کندتیم ها معمولاً سه نقطه درد را گزارش می کنند: افزایش تاخیر دم در طول عملیات جمعی، گسترش ازدحام در سطوح پارچه و مشکل در مقیاس بندی تعداد بندر بدون اضافه کردن hops.

برای معماران شبکه، چالش صرفا ارتقاء سرعت پیوند نیست. این حفظ انتقال تعیین کننده و بدون ضرر است در حالی که بافت را به اندازه کافی صاف نگه می دارد تا از تاخیر غیر ضروری جلوگیری شود.این جایی است که ارزیابی مشخصات MQM9790-NS2F در برابر پروفایل های بار کاری واقعی ضروری می شود.

راه حل و رویکرد استقرار

در این سناریو، خوشه به یک پارچه ستون فقرات NDR 400Gb / s که در اطراف سوئیچ InfiniBand MQM9790-NS2F ساخته شده است، منتقل شد. به عنوان یک بستر OSFP 64 پورت MQM9790-NS2F 400Gb / s NDR،این رادیکس بالا را در یک سوئیچ واحد فراهم می کند.، اجازه می دهد تا طراحی برای کاهش سطوح پارچه در حالی که حفظ عدم مسدود کردن پهنای باند است.

• لایه برگ: سوئیچ های MQM9790-NS2F گره های GPU و اهداف ذخیره سازی را از طریق پیوندهای NDR 400Gb / s متصل می کنند
• لایه ستون فقرات: واحدهای اضافی MQM9790-NS2F اتصال بین برگ ها و تنوع مسیر را فراهم می کنند
• شتاب اجتماعی: NVIDIA SHARPv3 عملیات MPI و NCCL را به پارچه منتقل می کند
• کنترل ازدحام: مسیریابی سازگار و QoS پیشرفته در برابر نقاط گرم و داغ محافظت می کند
• مدیریت: ابزارهای استاندارد InfiniBand و تلمیتر برای نظارت بر سلامت پارچه

از آنجا که سوئیچ MQM9790-NS2F InfiniBand بخشی از خانواده Quantum-2 است، با شیوه های مدیریت InfiniBand موجود و اکوسیستم های آداپتور همکاری می کند.تیم هایی که سخت افزار سازگار MQM9790-NS2F را ارزیابی می کنند باید تأیید کنند که آداپتورهای کانال میزبان، کابل های OSFP و سطوح نرم افزار با الزامات NDR هماهنگ می شوند.یک راه حل سوئیچ InfiniBand MQM9790-NS2F از این نوع به طور معمول در کنار چرخه های به روزرسانی GPU برنامه ریزی شده است تا از تنگنا های تولید ترکیبی جلوگیری شود..

نتایج و مزایا

پس از انتشار، قابل مشاهده ترین تغییر در زمان تکمیل کار برای بار های کاری به شدت متصل بود.عملیات های جمعی که قبلاً به دلیل ازدحام متوقف شده بودند اکنون با تاخیر کم تر و سازگارتر تکمیل می شوندچگالی OSFP 64 پورت همچنین کابل کشی را ساده کرده و تعداد hop های سوئیچینگ را بین هر دو نقطه نهایی کاهش داده است که به طور مستقیم از عملکرد RDMA بهره مند می شود.

از منظر عملیات، بافت برای استدلال آسان تر شد. سطوح کمتر به معنای دامنه های شکست کمتر و رفع مشکل ساده تر است. ترافیک ذخیره سازی، از جمله NVMe بر روی پارچه ها،حمل و نقل کم تاخیر را با ترافیک محاسبات به اشتراک می گذارد.برای مدیران فناوری اطلاعات، نکته اصلی این است که سرمایه گذاری در لایه پارچه می تواند ظرفیت را که قبلاً در لایه محاسبات پرداخت شده است باز کند.

تیم های خرید و برنامه ریزی اغلب صفحه داده MQM9790-NS2F را بررسی می کنند تا تعداد پورت ها، قدرت و پاکت های خنک کننده را قبل از نهایی کردن طراحی تأیید کنند.سوالات مربوط به قیمت MQM9790-NS2F و در دسترس بودن MQM9790-NS2F برای فروش بهتر است به توزیع کنندگان مجاز و نمایندگان شرکت NVIDIA هدایت شود، از آنجا که قیمت گذاری به پیکربندی، پشتیبانی و منطقه بستگی دارد.

خلاصه و چشم انداز

NVIDIA Mellanox MQM9790-NS2F نشان می دهد که چگونه یک پلت فرم NDR 400Gb / s می تواند عملکرد خوشه AI، HPC و RDMA را بدون اضافه کردن پیچیدگی پارچه تغییر دهد.با افزایش حجم بار کار و تراکم GPUبرای معمارانی که برنامه ریزی به روز رسانی بعدی پارچه را انجام می دهند، MQM9790-NS2F یک بلوک عملی برای تعیین کننده،اتصال متقابل با سرعت بالا.