راهنمای فنی NVIDIA Mellanox MQM9790-NS2F: بهینهسازی اتصال با تأخیر کم برای خوشههای RDMA/HPC/AI
August 24, 2026
راهنمای فنی NVIDIA Mellanox MQM9790-NS2F: بهینهسازی اتصال با تأخیر کم برای خوشههای RDMA/HPC/AI
1. پیشزمینه پروژه و تحلیل الزامات
بار کاری مدرن آموزش هوش مصنوعی و شبیهسازی HPC با الگوهای ارتباطی شدید و همهجانبه مشخص میشوند که تقاضای فوقالعادهای را بر روی زیرساخت شبکه تحمیل میکنند. با مقیاسبندی خوشههای GPU فراتر از 1000 گره، رویکرد سنتی اتکا به اترنت با کنترل ازدحام مبتنی بر نرمافزار ناکافی است. الزامات کلیدی که از این محیطها ظهور میکنند عبارتند از:
- تأخیر فوقالعاده کم و قطعی: تأخیر پورت به پورت زیر میکروثانیه برای به حداقل رساندن زمان تکمیل شغل MPI.
- زیرساخت بدون اتلاف: صفر افت بسته تحت ازدحام برای جلوگیری از اینکست TCP و فروپاشی عملکرد.
- تخلیه محاسباتی در شبکه: کاهش سربار CPU میزبان برای عملیات جمعی (مانند all-reduce، broadcast).
- توپولوژی مقیاسپذیر: پشتیبانی از توپولوژیهای fat-tree و dragonfly+ با پهنای باند کامل تقاطع تا هزاران نقطه پایانی.
NVIDIA Mellanox MQM9790-NS2F به عنوان یک سوئیچ InfiniBand 400Gb/s NDR با 64 پورت OSFP طراحی شده است تا چگالی و عملکرد مورد نیاز برای استقرار در مقیاس Exascale را ارائه دهد.
2. طراحی معماری کلی شبکه
راه حل پیشنهادی از یک توپولوژی دو لایه leaf-spine استفاده میکند که تعادلی از مقیاسپذیری، کنترل بیش از حد اشتراکگذاری و سادگی کابلکشی را فراهم میکند. در لایه leaf، هر رک محاسباتی میزبان یک یا دو واحد MQM9790-NS2F InfiniBand switch است که 64 پورت اتصال 400Gb/s را به سرورهای GPU ارائه میدهد. در لایه spine، لایه دوم سوئیچهای MQM9790-NS2F تمام leafها را به هم متصل میکند و یک زیرساخت بدون مسدود کننده ایجاد میکند.
برای استقرارهای در مقیاس بزرگ فراتر از 2000 گره GPU، میتوان از معماری سه لایه folded-Clos استفاده کرد، که در آن MQM9790-NS2F 400Gb/s NDR 64-port OSFP هم به عنوان leaf و هم به عنوان spine عمل میکند تا عملکرد ثابت در تمام سطوح حفظ شود. این طراحی تضمین میکند که هر سرور میتواند با هر سرور دیگری با سرعت خط، با حداکثر سه هاپ سوئیچ ارتباط برقرار کند.
جدول زیر پارامترهای مقیاسپذیری معمول را برای یک زیرساخت leaf-spine 2 لایه ساخته شده بر اساس MQM9790-NS2F خلاصه میکند:
| مؤلفه | مشخصات | مقدار |
|---|---|---|
| سوئیچهای Leaf | MQM9790-NS2F در هر رک | 1-2 واحد |
| سوئیچهای Spine | MQM9790-NS2F | N/2 (که N = تعداد سوئیچهای leaf) |
| حداکثر نقاط پایانی | سرورهای GPU در هر زیرساخت | تا 4096 |
| پهنای باند تقاطع | غیر مسدود کننده کامل | 51.2 ترابیت بر ثانیه در هر لایه spine |
3. نقش و ویژگیهای کلیدی NVIDIA Mellanox MQM9790-NS2F
در این معماری، NVIDIA Mellanox MQM9790-NS2F به عنوان بلوک سازنده اصلی عمل میکند و چندین قابلیت حیاتی را ارائه میدهد:
- 400Gb/s NDR در هر پورت: هر یک از 64 پورت OSFP از 400Gb/s دو طرفه با تصحیح خطای پیشرو (FEC) برای اتصال قابل اعتماد در مسافت طولانی پشتیبانی میکند.
- SHARPv3 یکپارچه (پروتکل مقیاسپذیر سلسله مراتبی تجمیع و کاهش): عملیات ارتباطی جمعی را از CPUهای میزبان تخلیه میکند و تأخیر all-reduce MPI را تا 40% در کارهای در مقیاس بزرگ کاهش میدهد.
- مسیریابی تطبیقی و کنترل ازدحام: ترافیک را به طور پویا مجدداً هدایت میکند تا از نقاط داغ جلوگیری کند و عملکرد قابل پیشبینی را حتی تحت الگوهای ترافیکی خصمانه تضمین میکند.
- تلهمتری پیشرفته: شمارندههای هر جریان و هر پورت، همراه با نظارت بر اشغال بافر، دید عمیقی به سلامت زیرساخت ارائه میدهند.
طبق MQM9790-NS2F، این سوئیچ تأخیر cut-through زیر 100 نانوثانیه را ارائه میدهد و از ظرفیت سوئیچینگ تجمعی تا 51.2 ترابیت بر ثانیه پشتیبانی میکند. این مشخصات آن را به گزینهای ایدهآل برای استقرارهای جدید و ارتقاء مرحلهای از زیرساخت HDR (200Gb/s) تبدیل میکند.
4. توصیههای استقرار و مقیاسپذیری
برای سازمانهایی که قصد دارند از راه حل سوئیچ InfiniBand MQM9790-NS2F استفاده کنند، دستورالعملهای استقرار زیر توصیه میشود:
- استراتژی کابلکشی: از کابلهای مسی اتصال مستقیم (DAC) OSFP به OSFP برای اتصالات درون رک (تا 3 متر) و کابلهای نوری فعال (AOC) یا فرستندههای نوری برای پیوندهای بین رک و spine-leaf (تا 100 متر) استفاده کنید.
- افزونگی: دو منبع تغذیه و ماژولهای فن قابل تعویض در حین کار را مستقر کنید. هر منبع تغذیه را برای تحمل خطا به PDUs جداگانه وصل کنید.
- سازگاری سفتافزار: اطمینان حاصل کنید که تمام سوئیچها از یک نسخه سفتافزار NVIDIA استفاده میکنند تا از عدم تطابق ویژگیها جلوگیری شود. از ویژگی ارتقاء خودکار سفتافزار UFM برای بهروزرسانیهای غلتان استفاده کنید.
- مقیاسپذیری: برای خوشههای فراتر از 4000 گره، توپولوژی سه لایه folded-Clos یا dragonfly+ را با مسیریابی تطبیقی فعال در نظر بگیرید. اکوسیستم سازگار با MQM9790-NS2F شامل طیف گستردهای از اپتیکها و کابلها برای پشتیبانی از این توپولوژیها است.
هنگام محاسبه کل هزینه مالکیت، تعداد کمتر لایههای سوئیچ و کابلکشی سادهتر را در مقایسه با جایگزینهای با رادیک پایینتر در نظر بگیرید. در حالی که قیمت MQM9790-NS2F در هر واحد بالاتر از سوئیچهای نسل قبل است، هزینه هر پورت و هزینه شبکه هر GPU در استقرارهای در مقیاس بزرگ به طور قابل توجهی کمتر است و آن را به گزینهای مقرون به صرفه برای پروژههای Exascale تبدیل میکند.
5. عملیات، نظارت و عیبیابی
مدیریت مؤثر یک زیرساخت NDR نیازمند یک چارچوب جامع نظارت و عیبیابی است. مدیر یکپارچه زیرساخت (UFM) انویدیا یک نمای واحد برای کل زیرساخت مبتنی بر NVIDIA Mellanox MQM9790-NS2F ارائه میدهد و موارد زیر را ارائه میدهد:
- تجسم توپولوژی: کشف خودکار و نمایش گرافیکی تمام سوئیچها، پیوندها و نقاط پایانی.
- داشبوردهای عملکرد: نمایشهای بیدرنگ استفاده از پورت، نرخ خطا و شاخصهای ازدحام.
- هشدار پیشگیرانه: آلارمهای مبتنی بر آستانه برای تخریب پیوند، ناهنجاریهای دما و خرابی منبع تغذیه.
- جداسازی خطا: گردش کارهای عیبیابی هدایت شده که کابلهای معیوب، فرستندهها یا پورتهای سوئیچ را شناسایی میکنند.
برای عیبیابی پیشرفته، مشخصات MQM9790-NS2F شامل نظارت دقیق بافر و آمار سطح جریان است که میتواند از طریق REST API برای ادغام با پشتههای نظارت سفارشی صادر شود. مهندسان شبکه همچنین باید از ابزارهای تشخیصی داخلی سوئیچ، مانند تستهای loopback و تجزیه و تحلیل BER (نرخ خطای بیت) برای تأیید یکپارچگی پیوند قبل از استقرار بارهای کاری تولیدی استفاده کنند.
مشکلات رایج در استقرارهای اولیه شامل مسیریابی نامناسب ناشی از سرعتهای متفاوت پیوند یا انواع کابل نامتناسب است. فعال کردن مسیریابی تطبیقی و تأیید اینکه همه پیوندها با سرعت 400 گیگابیت بر ثانیه (با فعال بودن FEC) کار میکنند، بیشتر ناهنجاریهای عملکرد را برطرف میکند. راه حل سوئیچ InfiniBand MQM9790-NS2F همچنین شامل پشتیبانی از افزونگی مدیر زیرشبکه است که تضمین میکند بازپیکربندی زیرساخت میتواند بدون مداخله دستی در صورت خرابی گره مدیریت انجام شود.
6. خلاصه و ارزیابی ارزش
MQM9790-NS2F پیشرفت قابل توجهی در شبکه با کارایی بالا را نشان میدهد و پهنای باند 400Gb/s NDR، چگالی 64 پورت و شتابدهنده محاسباتی در شبکه را در یک پلتفرم 1U واحد و قابل مدیریت ارائه میدهد. برای معماران و مهندسان که خوشههای هوش مصنوعی و HPC را طراحی میکنند، این سوئیچ یک مسیر اثبات شده به عملکرد Exascale را فراهم میکند و امکانپذیر میسازد:
- کاهش تا 30% در زمان تکمیل شغل برای بارهای کاری آموزش در مقیاس بزرگ از طریق تخلیه SHARPv3.
- TCO پایینتر در مقایسه با راهحلهای جایگزین، ناشی از رادیک بالاتر و تعداد لایه سوئیچ کمتر.
- عملیات سادهتر از طریق ادغام UFM و تلهمتری جامع برای مدیریت پیشگیرانه خطا.
- مقیاسپذیری آیندهنگر برای پشتیبانی از نسل بعدی اتصالات GPU و شتابدهنده.
برای سازمانهایی که MQM9790-NS2F برای فروش را از طریق شبکه شرکای انویدیا ارزیابی میکنند، توصیه میکنیم برگه داده MQM9790-NS2F را به دقت بررسی کرده و با یک معمار راهحل معتبر در ارتباط باشید تا استقرار را مطابق با نیازهای خاص بار کاری و مقیاس خود تنظیم کنید. NVIDIA Mellanox MQM9790-NS2F اکنون آماده است تا به عنوان ستون فقرات اتصال با کارایی بالا برای دهه آینده اکتشافات علمی و نوآوری هوش مصنوعی عمل کند.