NVIDIA Mellanox MCX631432AN-ADAB در عمل: انتقال با تأخیر کم RDMA/RoCE و بهینه‌سازی توان عملیاتی سرور

NVIDIA Mellanox MCX631432AN-ADAB در عمل: RDMA / RoCE انتقال کم تاخیر و بهینه سازی خروجی سرور

پیش زمینه و چالش ها: گلوی فشنی شبکه در یک خوشه آموزش هوش مصنوعی

یک شرکت پیشرو فن تک اخیراً یک خوشه هوش مصنوعی مبتنی بر GPU 64 گره ای را برای آموزش استراتژی تجارت با فرکانس بالا طراحی کرده است که هر سرور با ذخیره سازی NVMe با عملکرد بالا مجهز است.,پس از راه اندازی، حجم واقعی آموزش به طور قابل توجهی کمتر از انتظارات بود.تجزیه و تحلیل پس از راه اندازی نشان داد که بافت ارتباطی بین گره های مبتنی بر TCP / IP 10GbE به خنثی اصلی تبدیل شده استعملیات ارتباطات جمعی All-Reduce تاخیر تا ۴/۵ میلی ثانیه را نشان می دهد.در حالی که هزینه های اضافی CPU برای پردازش پروتکل شبکه بیش از 40٪ بودتیم به سرعت به یک راه حل شبکه ای نیاز داشت که می تواند به طور چشمگیری تاخیر ارتباطات را کاهش دهد و ظرفیت محاسبات CPU را بازیابی کند.

راه حل و پیاده سازی: ساخت یک شبکه بدون زیان RoCE با MCX631432AN-ADAB

پس از یک ارزیابی فنی جامع، تیمNVIDIA Mellanox MCX631432AN-ADABبه عنوان پایه برای ارتقاء شبکه خود. هر سرور مجهز به یکMCX631432AN-ADAB ConnectX-6 Lx دو پورت 25GbE SFP28آداپتور، با هر دو پورت SFP28 متصل به سوئیچ های NVIDIA Spectrum-3 اضافی برای ایجاد یک معماری بسیار در دسترس است.

این کار در سه مرحله انجام شد:

• فاز 1 ✓ آزمایش (8 گره):تیم نصبکارت آداپتور اترنت MCX631432AN-ADABدر یک زیر مجموعه از سرورهای GPU، تنظیم RoCEv2 با کنترل جریان اولویت (PFC) و اطلاع رسانی فشرده سازی صریح (ECN) برای ایجاد یک بافت اترنت بدون ضرر.NCCL (کتابخانه ارتباطات جمعی NVIDIA) با پشتیبانی RDMA دوباره کامپایل شد.
• فاز 2 - تنظیم و تأیید:با استفاده از داده های تلمتری که درصفحه اطلاعات MCX631432AN-ADAB، این تیم پارامترهای DCB و آستانه های بافر را برای از بین بردن طوفان های توقف PFC با حفظ تقریباً صفر از دست دادن بسته تنظیم کرد.مشخصات MCX631432AN-ADABهدایت بهینه سازی اعتدال وقفه و عمق صف برای مشخصات بار کاری خاص.
• فاز 3 ️ راه اندازی کامل تولید (64 گره):پس از تأیید موفقیت آمیز، گره های باقیمانده به آداپتور جدید منتقل شدند.با MCX631432AN-ADAB سازگار استدرایورها به طور یکپارچه با محیط موجود مبتنی بر اوبونتو و مجموعه Mellanox OFED ادغام شده اند.

این تیم اشاره کرد کهMCX631432AN-ADAB راه حل کارت آداپتور اترنتیک مسیر مهاجرت مستقیم را فراهم می کند، زیرا آداپتورها کاملا با زیرساخت های کابلی و سوئیچ SFP28 موجود مطابقت دارند، که نیاز به ارتقاء هزینه های اضافی را از بین می برد.

نتایج و مزایای: تبدیل قابل اندازه گیری در تاخیر و خروجی

دستاوردهای حاصل ازNVIDIA Mellanox MCX631432AN-ADABاستفاده فوری و قابل توجه بود. جدول زیر معیارهای کلیدی قبل و بعد از ارتقاء را خلاصه می کند:

علاوه بر این دستاوردهای کمی، تیم پیشرفت های عملیاتی را مشاهده کرد که به طور مستقیم بر بهره وری توسعه دهندگان تأثیر می گذارد.تمرینات نمونه ای که قبلاً 36 ساعت طول می کشید، تنها در 15 ساعت به پایان می رسیدهمچنین NVMe-oF مبتنی بر سخت افزار تاخیر دسترسی به ذخیره سازی را 35٪ کاهش داد و عملیات نقاط بازرسی فشرده داده را بیشتر تسریع کرد.برای سازمان هایی که مورد کسب و کار را ارزیابی می کنند،قیمت MCX631432AN-ADABاین تیم همچنین خاطرنشان کرد که در مقایسه با 2.4 × افزایش سرعت و توانایی به تعویق انداختن خرید سرورهای اضافی GPU، بسیار رقابتی است.MCX631432AN-ADAB برای فروشبسته هایی با سوئیچ های NVIDIA Spectrum، مقرون به صرفه ترین مسیر برای مقیاس بندی آینده را ارائه می دهند.

خلاصه و چشم انداز: پایه ای برای نوآوری بار کاری آینده

این تولید نشان می دهد کهNVIDIA Mellanox MCX631432AN-ADABاین یک عنصر زیرساخت تبدیل کننده است که تمام پتانسیل محاسبات پیشرفته GPU را باز می کند.ترکیبی از پهنای باند 50 گیگابایت در ثانیه، تاخیر ارتباطات جمعی کمتر از 0.4ms، و قابلیت کاهش بار پردازنده دراماتیک این آداپتور را به عنوان یک انتخاب ایده آل برای سازمان هایی که هوش مصنوعی توزیع شده، HPC،و بارهای کاری تجزیه و تحلیل در زمان واقعی.

در آینده، تیم فن تک در حال بررسی یکپارچه سازی با NVIDIA DOCA برای تسریع بیشتر برنامه نویسی مسیر داده و پیاده سازی تدارکات صفر لمس برای گسترش خوشه های آینده است.آنها همچنین در حال ارزیابی قابلیت های تله متری آداپتور هستندصفحه اطلاعات MCX631432AN-ADAB۰ ایجاد مدل های پیش بینی کننده مدیریت ازدحام.MCX631432AN-ADAB راه حل کارت آداپتور اترنتهمچنان ارزش خود را ثابت می کند، شرکت قصد دارد برای تمام سرمایه گذاری های زیرساخت آینده در این پلت فرم استاندارد شود،با اطمینان که این یک پایه قوی و مقیاس پذیر برای نسل بعدی از برنامه های مالی مبتنی بر هوش مصنوعی فراهم می کند.