راهنمای فنی NVIDIA Mellanox 920-9B210-00FN-0D0: بهینه‌سازی اتصال با تأخیر کم 400 گیگابیت بر ثانیه NDR

راهنمای فنی NVIDIA Mellanox 920-9B210-00FN-0D0: بهینه‌سازی اتصال کم‌تأخیر 400 گیگابیت بر ثانیه NDR برای خوشه‌های RDMA/HPC/AI

1. پیش‌زمینه پروژه و تحلیل الزامات

با گسترش خوشه‌های آموزش هوش مصنوعی فراتر از 4000 پردازنده گرافیکی و نزدیک شدن شبیه‌سازی‌های HPC به عملکرد اگزاسکیل، شبکه‌های ارتباطی با تقاضاهای بی‌سابقه‌ای برای پهنای باند، تأخیر و قطعیت روبرو هستند. تغییر از 200 گیگابیت بر ثانیه HDR به 400 گیگابیت بر ثانیه NDR دیگر برای سازمان‌هایی که مدل‌های تریلیون پارامتری یا شبیه‌سازی‌های آب و هوایی در مقیاس کیلومتری را هدف قرار می‌دهند، اختیاری نیست - بلکه یک ضرورت استراتژیک است. الزامات کلیدی شناسایی شده در استقرار پیشرو در تحقیقات و سازمانی شامل موارد زیر است:

• تأخیر قطعی فوق‌العاده کم: تأخیر پورت به پورت کمتر از 100 نانوثانیه برای به حداقل رساندن سربار ارتباطات MPI و all-to-all.
• شبکه بدون افت در مقیاس بزرگ: صفر افت بسته در زمان ازدحام در هزاران نقطه پایانی، تضمین می‌کند که عملکرد RDMA قابل پیش‌بینی باقی می‌ماند.
• تخلیه محاسباتی در شبکه: تخلیه عملیات جمعی (all-reduce، all-to-all، broadcast) به شبکه ارتباطی برای به حداکثر رساندن استفاده از پردازنده گرافیکی.
• مقیاس‌پذیری رادیکس بالا: پشتیبانی از توپولوژی‌های fat-tree و dragonfly+ در مقیاس بزرگ با پهنای باند کامل تقاطع تا 8000+ گره.
• حفاظت از سرمایه‌گذاری: سازگاری بی‌نقص با کابل‌ها، اپتیک‌ها و ابزارهای مدیریتی HDR موجود برای ارتقاء مرحله‌ای.

برای پاسخگویی به این الزامات، این راهکار از NVIDIA Mellanox 920-9B210-00FN-0D0 به عنوان بلوک اصلی استفاده می‌کند - یک سوئیچ InfiniBand 400 گیگابیت بر ثانیه NDR که تراکم، عملکرد و هوشمندی مورد نیاز برای استقرار در مقیاس اگزاسکیل را ارائه می‌دهد.

2. طراحی کلی معماری شبکه

راهکار پیشنهادی از توپولوژی دو لایه leaf-spine استفاده می‌کند که یک شبکه مقیاس‌پذیر و بدون مسدودکننده با تأخیر قطعی و کابل‌کشی ساده را فراهم می‌کند. در لایه leaf، هر رک محاسباتی مجهز به یک یا دو واحد 920-9B210-00FN-0D0 InfiniBand switch OPN است که 64 پورت اتصال 400 گیگابیت بر ثانیه NDR را از طریق کابل‌های مسی مستقیم (DAC) یا کابل‌های نوری فعال (AOC) OSFP به OSFP به سرورهای GPU ارائه می‌دهد. در لایه spine، یک لایه دوم از سوئیچ‌های 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR تمام سوئیچ‌های leaf را به هم متصل می‌کند و یک شبکه fat-tree با پهنای باند تقاطع کامل ایجاد می‌کند.

برای خوشه‌هایی که بیش از 5000 گره دارند، می‌توان از معماری سه لایه folded-Clos استفاده کرد، که در آن 920-9B210-00FN-0D0 هم به عنوان leaf و هم به عنوان spine عمل می‌کند تا عملکرد ثابت در تمام سطوح حفظ شود. این سوئیچ تا 64 سوئیچ را در یک شبکه واحد تحت یک مدیر زیرشبکه پشتیبانی می‌کند و امکان کنترل یکپارچه توپولوژی‌های در مقیاس بزرگ را فراهم می‌سازد.

جدول زیر پارامترهای کلیدی مقیاس‌پذیری را برای یک شبکه NDR دو لایه که بر اساس 920-9B210-00FN-0D0 ساخته شده است، خلاصه می‌کند:

3. نقش و ویژگی‌های کلیدی NVIDIA Mellanox 920-9B210-00FN-0D0

در این معماری، NVIDIA Mellanox 920-9B210-00FN-0D0 به عنوان عنصر سوئیچینگ پایه عمل می‌کند و چندین قابلیت حیاتی را ارائه می‌دهد که مستقیماً به الزامات شناسایی شده در بخش 1 پاسخ می‌دهند:

• 64 پورت 400 گیگابیت بر ثانیه NDR: هر پورت OSFP از 400 گیگابیت بر ثانیه دوطرفه با تصحیح خطای پیشرو (FEC) برای اتصال قابل اعتماد در فواصل طولانی پشتیبانی می‌کند. ظرفیت سوئیچینگ تجمعی 51.2 ترابیت بر ثانیه، فضای کافی را حتی برای پرکاربردترین بار کاری ارتباطی فراهم می‌کند.
• تأخیر برش فوق‌العاده کم: تأخیر پورت به پورت کمتر از 100 نانوثانیه، همانطور که در 920-9B210-00FN-0D0 datasheet مستند شده است، حداقل سربار را برای عملیات MPI و RDMA تضمین می‌کند.
• پروتکل یکپارچه SHARPv3 (Scalable Hierarchical Aggregation and Reduction Protocol): عملیات جمعی را از پردازنده‌های میزبان تخلیه می‌کند و تأخیر all-reduce را تا 40% و all-to-all را تا 35% در کارهای در مقیاس بزرگ کاهش می‌دهد.
• مسیریابی تطبیقی و کنترل ازدحام: به طور پویا ترافیک را برای جلوگیری از نقاط داغ مجدداً مسیریابی می‌کند و عملکرد قابل پیش‌بینی را تحت الگوهای ترافیکی نامطلوب تضمین می‌کند. تله‌متری پیشرفته دید جامعی از هر جریان و هر پورت را برای مدیریت پیشگیرانه فراهم می‌کند.
• قابلیت مدیریت جامع: ادغام کامل با مدیر یکپارچه شبکه (UFM) انویدیا برای تأمین صفر لمسی، نظارت بر سلامت و جایگزینی خودکار در صورت خرابی.

مشخصات 920-9B210-00FN-0D0 همچنین شامل منابع تغذیه دوگانه افزونه، ماژول‌های فن قابل تعویض در حین کار و پشتیبانی از پیکربندی‌های مدیر زیرشبکه افزونه است که در دسترس بودن 99.999% را برای بارهای کاری حیاتی تضمین می‌کند.

4. توصیه‌های استقرار و مقیاس‌پذیری

برای سازمان‌هایی که قصد دارند از راهکار 920-9B210-00FN-0D0 InfiniBand switch OPN استفاده کنند، دستورالعمل‌های استقرار زیر توصیه می‌شود:

• استراتژی کابل‌کشی: از کابل‌های DAC OSFP به OSFP برای اتصالات درون رک (تا 3 متر) و از کابل‌های AOC یا فرستنده‌های نوری برای پیوندهای بین رک و بین leaf و spine (تا 100 متر) استفاده کنید. تأیید کنید که تمام کابل‌ها 920-9B210-00FN-0D0 compatible طبق ماتریس سازگاری انویدیا هستند تا از مشکلات یکپارچگی سیگنال جلوگیری شود.
• افزونگی: منابع تغذیه دوگانه را به PDUs جداگانه متصل کنید. از حداقل دو سوئیچ spine در هر leaf برای حذف نقاط شکست منفرد استفاده کنید. برای بارهای کاری حیاتی، افزونگی N+1 را در لایه spine در نظر بگیرید.
• مدیریت فریمور: اطمینان حاصل کنید که تمام سوئیچ‌ها از نسخه‌های فریمور یکسان انویدیا استفاده می‌کنند. از ویژگی ارتقاء فریمور خودکار UFM برای به‌روزرسانی‌های غلتان بدون وقفه استفاده کنید. سازگاری فریمور با آداپتورهای میزبان و کابل‌ها را قبل از استقرار تأیید کنید.
• مسیر مقیاس‌پذیری: برای خوشه‌هایی که از 4096 گره فراتر می‌روند، به توپولوژی سه لایه folded-Clos منتقل شوید یا از dragonfly+ با مسیریابی تطبیقی استفاده کنید. 920-9B210-00FN-0D0 تا 64 سوئیچ را در یک شبکه واحد پشتیبانی می‌کند، با چندین شبکه که از طریق گیت‌وی‌ها برای استقرارهای بزرگتر به هم متصل می‌شوند.
• اعتبارسنجی عملکرد: قبل از استقرار تولیدی، تست‌های استرس جامع را با استفاده از ابزارهایی مانند معیارهای عملکرد OpenFabrics Enterprise Distribution (OFED) اجرا کنید تا عملکرد شبکه را در برابر 920-9B210-00FN-0D0 datasheet تأیید کنید.

هنگام محاسبه کل هزینه مالکیت، تعداد کمتر لایه‌های سوئیچ و کابل‌کشی ساده‌تر را در مقایسه با جایگزین‌های با رادیکس پایین‌تر در نظر بگیرید. در حالی که قیمت 920-9B210-00FN-0D0 در هر واحد بالاتر از سوئیچ‌های HDR است، هزینه هر پورت و هزینه شبکه هر GPU در استقرارهای در مقیاس بزرگ به طور قابل توجهی کمتر است و آن را به یک انتخاب مقرون به صرفه برای پروژه‌های اگزاسکیل تبدیل می‌کند.

5. عملیات، نظارت و عیب‌یابی

مدیریت مؤثر یک شبکه NDR نیازمند یک چارچوب جامع نظارت و عیب‌یابی است. UFM انویدیا یک نمای واحد برای کل شبکه مبتنی بر NVIDIA Mellanox 920-9B210-00FN-0D0 ارائه می‌دهد و شامل موارد زیر است:

• تجسم توپولوژی: کشف خودکار و نمایش گرافیکی تمام سوئیچ‌ها، پیوندها و نقاط پایانی، با به‌روزرسانی‌های وضعیت بی‌درنگ.
• داشبوردهای عملکرد: نماهای بی‌درنگ از استفاده پورت، نرخ خطا، شاخص‌های ازدحام و اشغال بافر در سراسر شبکه.
• هشدار پیشگیرانه: آلارم‌های مبتنی بر آستانه برای افت پیوند، ناهنجاری‌های دما، خرابی منبع تغذیه و فرسودگی کابل.
• جداسازی خطا: گردش کارهای عیب‌یابی هدایت شده که کابل‌های معیوب، فرستنده‌ها یا پورت‌های سوئیچ را شناسایی می‌کنند و میانگین زمان رفع خطا (MTTR) را کاهش می‌دهند.
• تحلیل‌های تاریخی: تحلیل روند و برنامه‌ریزی ظرفیت بر اساس داده‌های عملکرد تاریخی، امکان تصمیم‌گیری‌های مقیاس‌پذیری پیشگیرانه را فراهم می‌کند.

برای عیب‌یابی پیشرفته، از ابزارهای تشخیصی داخلی سوئیچ، از جمله تست‌های loopback، تحلیل BER (نرخ خطای بیت) و نظارت تشخیصی ماژول نوری (DOM) استفاده کنید. مشکلات رایج در استقرارهای اولیه NDR شامل مسیریابی نامطلوب ناشی از سرعت‌های متفاوت پیوند، انواع کابل نامنطبق یا ناسازگاری فریمور است. فعال کردن مسیریابی تطبیقی، تأیید اینکه تمام پیوندها با سرعت 400 گیگابیت بر ثانیه با فعال بودن FEC کار می‌کنند و اطمینان از فریمور سازگار در تمام سوئیچ‌ها، اکثر ناهنجاری‌های عملکرد را برطرف می‌کند.

مهندسان شبکه همچنین باید یک خط پایه از مشخصات 920-9B210-00FN-0D0 را در طول مرحله اعتبارسنجی، از جمله تأخیر مورد انتظار، توان عملیاتی و نرخ خطا، ایجاد کنند. انحراف از این خط پایه می‌تواند به عنوان نشانگرهای اولیه مشکلات احتمالی استفاده شود. 920-9B210-00FN-0D0 InfiniBand switch OPN همچنین ثبت رویداد جامع را از طریق syslog و SNMP پشتیبانی می‌کند و امکان ادغام با پشته‌های نظارت موجود در مرکز داده را فراهم می‌سازد.

6. خلاصه و ارزیابی ارزش

920-9B210-00FN-0D0 یک پیشنهاد ارزش قانع‌کننده برای سازمان‌هایی که خوشه‌های HPC و AI مبتنی بر NDR را می‌سازند یا گسترش می‌دهند، ارائه می‌دهد. این سوئیچ 64 پورت 400 گیگابیت بر ثانیه NDR با تأخیر کمتر از 100 نانوثانیه، تخلیه SHARPv3، قابلیت مدیریت در سطح سازمانی و سازگاری کامل با اکوسیستم HDR موجود را در یک پلتفرم فشرده 1U ارائه می‌دهد. نکات کلیدی ارزش عبارتند از:

• عملکرد: کاهش تا 75% در تأخیر ارتباط all-to-all و کاهش تا 40% در تأخیر all-reduce از طریق تخلیه SHARPv3 و پهنای باند NDR.
• مقرون به صرفه بودن: هزینه شبکه کمتر به ازای هر GPU در مقایسه با جایگزین‌های HDR در استقرارهای در مقیاس بزرگ، که ناشی از رادیکس بالاتر و کاهش تعداد لایه‌های سوئیچ است.
• سادگی عملیاتی: ادغام عمیق با UFM برای مدیریت یکپارچه، تأمین خودکار، نظارت پیشگیرانه و رفع سریع خطا.
• حفاظت از سرمایه‌گذاری: سازگاری کامل با کابل‌ها، اپتیک‌ها و پشته‌های نرم‌افزاری HDR موجود، امکان ارتقاء مرحله‌ای بدون اختلال در بارهای کاری تولیدی را فراهم می‌کند.
• مقیاس‌پذیری آینده‌نگر: پشتیبانی از توپولوژی‌های folded-Clos سه لایه و dragonfly+، تضمین می‌کند که شبکه می‌تواند با رشد نیازهای محاسباتی تا 8000+ گره مقیاس‌پذیر باشد.

برای سازمان‌هایی که 920-9B210-00FN-0D0 برای فروش را از طریق شرکای کانال انویدیا ارزیابی می‌کنند، توصیه می‌شود 920-9B210-00FN-0D0 datasheet دقیق را بررسی کرده و با یک معمار راهکار معتبر درگیر شوید تا طراحی را برای نیازهای خاص بار کاری و مقیاس خود تأیید کنید. NVIDIA Mellanox 920-9B210-00FN-0D0 امروز آماده تولید است و یک پایه اتصال مقیاس‌پذیر و با کارایی بالا برای نسل بعدی نوآوری هوش مصنوعی و HPC ارائه می‌دهد.