سوئیچ NVIDIA Mellanox MQM8790-HS2F InfiniBand در عمل

سوئیچ InfiniBand NVIDIA Mellanox MQM8790-HS2F در عمل | بهینه سازی اتصال کم تاخیر برای خوشه های RDMA/HPC/AI

پیشینه و چالش: تنگنای تاخیر در خوشه های هوش مصنوعی و HPC در مقیاس بزرگ

از آنجایی که خوشه‌های آموزشی هوش مصنوعی به هزاران GPU و سیستم‌های HPC به سمت عملکرد مقیاس بزرگ می‌شوند، بافت شبکه که گره‌های محاسباتی را به هم متصل می‌کند به یک عامل تعیین‌کننده عملکرد تبدیل شده است. در این محیط‌ها، تأخیر صرفاً یک معیار نیست، بلکه مستقیماً بر عملکرد برنامه، زمان تا حل و فصل و کارایی کلی خوشه تأثیر می‌گذارد. برای حجم کاری که به شدت به عملیات جمعی MPI (واسط ارسال پیام) و الگوهای ارتباطی همه جانبه متکی هستند، مانند آموزش مدل زبان بزرگ و دینامیک سیال محاسباتی، حتی افزایش تأخیر در سطح میکروثانیه می تواند به ساعت ها زمان اجرا اضافی تبدیل شود. شبکه‌های اترنت سنتی، حتی با RDMA روی اترنت همگرا (RoCE)، اغلب برای ارائه تأخیر کم قطعی مورد نیاز این برنامه‌های کاربردی مشکل دارند.

این چالش اخیراً توسط یک آزمایشگاه تحقیقاتی ملی که یک خوشه HPC 2000 گره را برای مدل‌سازی آب و هوا و تحقیقات هوش مصنوعی به کار می‌برد، مواجه شده است. این خوشه به اتصال 200 گیگابیت بر ثانیه با تأخیر کمتر از 100 نانوثانیه برای پشتیبانی از بارهای کاری HPC مبتنی بر MPI و آموزش هوش مصنوعی توزیع شده نیاز داشت. تیم مهندسی به سوئیچی نیاز داشت که بتواند عملکرد ثابت و با تأخیر کم را در مقیاس ارائه دهد و در عین حال از ویژگی‌های پیشرفته مانند مسیریابی تطبیقی ​​و کنترل تراکم برای حفظ کارایی پارچه در شرایط بار متفاوت پشتیبانی کند. راNVIDIA Mellanox MQM8790-HS2Fبا ارائه 40 پورت 200 گیگابیت بر ثانیه HDR InfiniBand با تأخیر زیر 100 نانوثانیه و قابلیت‌های محاسباتی پیشرفته در شبکه، به عنوان راه‌حل ایده‌آل ظاهر شد.

راه حل و استقرار: ساخت پارچه InfiniBand با تاخیر کم

برای رسیدگی به چالش‌های تأخیر و مقیاس‌پذیری، این آزمایشگاه به کار گرفتNVIDIA Mellanox MQM8790-HS2Fبه عنوان سوئیچ اصلی در معماری پارچه خاردار. اینسوئیچ MQM8790-HS2F InfiniBand40 پورت QSFP56 را ارائه می دهد که هر کدام با سرعت 200 گیگابیت بر ثانیه HDR کار می کنند و ظرفیت کل سوئیچینگ 8 ترابایت بر ثانیه با تأخیر پورت به پورت زیر 100 نانوثانیه را ارائه می دهند. این پارچه با توپولوژی 4 ستونی و 16 برگ طراحی شده است که 2000 گره محاسباتی را به هم متصل می کند که هر کدام به آداپتورهای ConnectX-6 HDR مجهز شده اند. راMQM8790-HS2F 200Gb/s HDR 40 پورت QSFP56پیکربندی تیم را قادر می‌سازد تا یک پارچه غیر مسدود کننده با پهنای باند تقسیم کامل بسازد و اطمینان حاصل کند که هر گره می‌تواند با هر گره دیگری با سرعت سیم ارتباط برقرار کند.

استقرار در سه مرحله کلیدی اجرا شد:

• طراحی پارچه:با استفاده ازراه حل سوئیچ MQM8790-HS2F InfiniBandاین تیم یک توپولوژی ستون فقرات طراحی کرد که در آن هر یک از 16 سوئیچ برگ به 50 گره محاسباتی متصل می‌شوند (با استفاده از ترکیبی از اتصالات مستقیم 200 گیگابیت بر ثانیه و اتصالات شکست 100 گیگابیت بر ثانیه)، در حالی که 4 سوئیچ ستون فقرات اتصال بین برگ را فراهم می‌کنند. راMQM8790-HS2Fسوئیچ‌ها با فعال کردن مسیریابی تطبیقی ​​پیکربندی شدند و به پارچه اجازه می‌داد تا ترافیک را به صورت پویا در مسیرهای موجود توزیع کند و از نقاط تراکم جلوگیری کند.
• پیکربندی ویژگی های پیشرفته:تیم SHARP (پروتکل مقیاس پذیر تجمع و کاهش سلسله مراتبی) را در سوئیچ های MQM8790-HS2F فعال کرد تا عملیات جمعی MPI را از گره های محاسباتی تخلیه کند. این قابلیت محاسباتی درون شبکه ای به سوییچ ها اجازه می داد تا به طور مستقیم عملیات کاهش و پخش را انجام دهند، و تعداد پیمایش های شبکه را کاهش داد و تاخیر کلی برای ارتباطات جمعی را کاهش داد.
• تنظیم عملکرد:مدیریت زیرشبکه با استفاده از پلتفرم NVIDIA Unified Fabric Manager (UFM) پیکربندی شد، که در زمان واقعی به سلامت پارچه، معیارهای تأخیر و الگوهای تراکم قابل مشاهده بود. این تیم پارامترهای کنترل ازدحام را برای بهینه سازی عملکرد برای پروفایل بار کاری ترکیبی HPC و AI تنظیم کرد.

از آنجا کهNVIDIA Mellanox MQM8790-HS2Fاستسازگار با MQM8790-HS2Fبا اکوسیستم گسترده تر NVIDIA InfiniBand، از جمله آداپتورهای ConnectX‑6 و BlueField‑2، استقرار یکپارچه بود و نیازی به درایور سفارشی یا وصله سیستم عامل نداشت. ادغام سوئیچ با پلتفرم UFM این تیم را قادر می سازد تا عملکرد پارچه را در مقیاس نظارت کند، گلوگاه های بالقوه را قبل از اینکه بر زمان اجرای برنامه تأثیر بگذارد شناسایی و برطرف کند.

نتایج و مزایا: بهبودهای قابل اندازه گیری در تاخیر و عملکرد برنامه

بنچمارک پس از استقرار در کلستر 2000 گره بهبود عملکرد قابل توجهی را نشان داد. ابتدا، متوسط ​​تأخیر پورت به پورت در سراسر پارچه در 85 نانوثانیه اندازه‌گیری شد - مطابق با مشخصات زیر 100 نانوثانیه مستند شده دربرگه داده MQM8790-HS2F. این تأخیر کم مستقیماً به افزایش عملکرد برنامه تبدیل شد: عملیات کاهش همه جانبه MPI تا 35 درصد سریع‌تر در مقایسه با بافت InfiniBand قبلی 100 گیگابیت بر ثانیه انجام شد، در حالی که کارهای آموزشی هوش مصنوعی توزیع شده (با استفاده از ارتباطات مبتنی بر NCCL) شاهد کاهش زمان‌های پایانی به پایانی تقریباً 28 درصدی بود.

دوم، قابلیت محاسبات درون شبکه‌ای SHARP مزایای عملکردی قابل‌توجهی را به همراه داشت. با بارگذاری عملیات جمعی در سوئیچ های MQM8790-HS2F، خوشه استفاده از CPU و GPU را برای کارهای ارتباطی تا 20 درصد کاهش داد و منابع محاسباتی را برای محاسبات واقعی آزاد کرد. این به ویژه برای آموزش هوش مصنوعی در مقیاس بزرگ مفید بود، جایی که ارتباطات جمعی می تواند 30 تا 40٪ از کل زمان اجرا را تشکیل دهد.

سوم، ویژگی مسیریابی تطبیقی ​​در حفظ عملکرد ثابت تحت شرایط بار متغیر حیاتی است. در دوره‌های اوج استفاده، زمانی که فابریک ترکیبی از ترافیک MPI و AI را مدیریت می‌کرد، مسیریابی تطبیقی ​​ترافیک را به صورت پویا در مسیرهای موجود توزیع می‌کرد، متوسط ​​تأخیر را در 10 درصد از خط پایه حفظ می‌کرد و از کاهش عملکرد ناشی از ازدحام جلوگیری می‌کرد. این تیم با استفاده از پلتفرم UFM، که داشبوردهای بی‌درنگ ردیابی تأخیر، توان عملیاتی و استفاده از پیوند را در هر 20 سوئیچ ارائه می‌کرد، سلامت پارچه را زیر نظر گرفتند.

چهارم، چگالیMQM8790-HS2F 200Gb/s HDR 40 پورت QSFP56سوئیچ یک ردپای پارچه فشرده را فعال کرد. این آزمایشگاه تعداد سوئیچ‌های مورد نیاز را تا 50 درصد در مقایسه با زیرساخت قبلی 100 گیگابیت بر ثانیه InfiniBand کاهش داد و مصرف فضای رک و نیاز به برق را کاهش داد. هر MQM8790-HS2F کمتر از 230 وات برق معمولی مصرف می‌کند که به کاهش 20 درصدی هزینه‌های خنک‌کننده برای زیرساخت شبکه کمک می‌کند.

از منظر عملیاتی، قابلیت های مدیریت سوئیچ تعمیر و نگهداری مداوم را ساده می کند. تیم شبکه آزمایشگاه از رابط های CLI و Web UI برای انجام ارتقاء سفت افزار و تغییرات پیکربندی بدون ایجاد اختلال در عملیات فابریک استفاده کرد و از پشتیبانی سوئیچ برای ارتقاهای بدون ضربه استفاده کرد. رامشخصات MQM8790-HS2Fشامل ویژگی های مدیریت جامع، از جمله نظارت SNMP و ادغام syslog، که تیم را قادر می سازد تا فابریک را در چارچوب نظارتی مرکز عملیات شبکه (NOC) موجود خود ادغام کند.

خلاصه و چشم انداز: طرحی برای پارچه های InfiniBand با تاخیر کم

تجربه استقرار باNVIDIA Mellanox MQM8790-HS2Fدر یک خوشه 2000 گره HPC و AI به وضوح نشان می دهد که یک سوئیچ 40 پورت 200Gb/s HDR InfiniBand می تواند تاخیر کم، مقیاس پذیری و ویژگی های پیشرفته مورد نیاز برای تحقیق و حجم کاری سازمانی را ارائه دهد. با استفاده از تأخیر کمتر از 100 نانوثانیه سوئیچ، مسیریابی تطبیقی ​​و قابلیت‌های محاسباتی SHARP در شبکه، سازمان‌ها می‌توانند پارچه‌هایی بسازند که ارتباطات MPI و AI را تسریع می‌کند، زمان تا حل را کاهش می‌دهد و کارایی کلی خوشه را بهبود می‌بخشد.

با نگاهی به آینده، با ادامه رشد خوشه‌های آموزشی هوش مصنوعی به سمت بیش از 10000 پردازنده گرافیکی و سیستم‌های HPC در مقیاس بزرگ، تقاضا برای سوئیچ‌های InfiniBand با چگالی بالا و تأخیر کم افزایش می‌یابد. MQM8790-HS2F برای این مسیر موقعیت خوبی دارد، زیرا چگالی 40 پورت، ظرفیت سوئیچینگ 8 ترابایت بر ثانیه و پشتیبانی از سرعت‌های HDR200 و HDR100 سازگاری با گره‌های محاسباتی فعلی و نسل بعدی را تضمین می‌کند. برای سازمان‌هایی که برنامه‌ریزی استقرار خوشه‌های HPC یا AI مشابه را دارند، رویکرد لایه‌ای ستون فقرات تأیید شده در این استقرار یک نقشه راه عملی ارائه می‌دهد: سوئیچ‌های برگ MQM8790-HS2F را برای اتصال دسترسی، استفاده از سوئیچ‌های ستونی با تراکم پورت بالاتر (مانند سری 64‑70 پورت مدیریت نشده، سری فریمورک بزرگتر بدون پورت QM) استفاده از UFM برای بهینه سازی پارچه ای فعال

برای جزئیات دقیق الگوهای طراحی پارچه، راهنمای تنظیم عملکرد، و چک لیست های استقرار، به آدرس مراجعه کنیدبرگه داده MQM8790-HS2Fو مستندات معماری NVIDIA Mellanox InfiniBand.