Mellanox 920-9B210-00FN-0D0 InfiniBand Switch ♪ راه حل فنی برای RDMA، HPC و AI Cluster کم تاخیر

سوئیچ InfiniBand Mellanox 920-9B210-00FN-0D0 | راه حل فنی برای RDMA، HPC و بهینه سازی اتصال کم تاخیر خوشه هوش مصنوعی

یک راهنمای جامع معماری و استقرار فنی که شبکه‌های NVIDIA Quantum-2 NDR InfiniBand، شتاب RDMA، اتصالات کلاستر GPU مقیاس‌پذیر، مدیریت پارچه و بهینه‌سازی عملکرد را پوشش می‌دهد.

محصول:NVIDIA QM9790 / MQM9790-NS2F |SKU:920-9B210-00FN-0D0 |تکنولوژی:400 گیگابیت بر ثانیه NDR InfiniBand

هوش مصنوعی، محاسبات با کارایی بالا (HPC) و بارهای کاری GPU توزیع شده، تقاضاهای بی‌سابقه‌ای را برای زیرساخت‌های شبکه مرکز داده ایجاد می‌کنند. همانطور که خوشه های محاسباتی رشد می کنند، کارایی ارتباطات شبکه به طور فزاینده ای تعیین می کند که آیا منابع GPU گران قیمت می توانند با پتانسیل کامل خود کار کنند یا خیر. راNVIDIA Mellanox 920-9B210-00FN-0D0سوئیچ InfiniBand یک بستر سوئیچینگ با پهنای باند بالا و با تأخیر کم برای ساخت شبکه‌های محاسباتی شتاب‌پذیر مقیاس‌پذیر فراهم می‌کند.

QM9790 با پشتیبانی از فناوری NVIDIA Quantum-2، از 64 پورت غیر مسدود کننده 400 گیگابیت بر ثانیه NDR InfiniBand از طریق 32 کانکتور OSFP، با خروجی سوئیچینگ دو طرفه مجموع تا 51.2 ترابایت بر ثانیه پشتیبانی می کند. این مقاله فنی توضیح می‌دهد که چگونه می‌توان سوئیچ را در معماری‌های شبکه با قابلیت RDMA ادغام کرد، ارتباطات هوش مصنوعی توزیع‌شده را بهینه کرد، پارچه‌های HPC انعطاف‌پذیر را طراحی کرد و شیوه‌های عملیاتی و استقرار مؤثر را ایجاد کرد.

01. تحلیل پیشینه و نیازمندی های پروژه

پلتفرم های آموزشی هوش مصنوعی مدرن معمولا چندین سرور GPU را به خوشه های محاسباتی توزیع شده متصل می کنند. در طول آموزش مدل، پردازنده‌های گرافیکی اغلب با استفاده از کتابخانه‌های ارتباطی مانند NVIDIA NCCL، گرادیان‌ها، پارامترها و نتایج میانی را مبادله می‌کنند. برنامه‌های HPC به طور مشابه به پیام‌هایی با تاخیر کم که از MPI و سایر چارچوب‌های محاسباتی موازی ارسال می‌شوند، بستگی دارند.

با افزایش تعداد گره های محاسباتی، ترافیک ارتباطی پیچیده تر می شود. برنامه ها ممکن است با اشباع پهنای باند، نقاط داغ تراکم، تاخیرهای ارتباط جمعی و عملکرد ناسازگار ناشی از مشاجره شبکه مواجه شوند.

یک راه حل InfiniBand با کارایی بالا باید الزامات فنی زیر را برآورده کند:

• پهنای باند بالا:ظرفیت اتصال کافی برای جابجایی داده در مقیاس بزرگ بین سرورهای GPU و گره های محاسباتی را فراهم کنید.
• تأخیر کم ارتباط:تأخیرهای مرتبط با همگام سازی مکرر و تبادل پیام های کوچک را به حداقل برسانید.
• پشتیبانی RDMA:ارتباط کارآمد حافظه به حافظه را با کاهش درگیری CPU فعال کنید.
• مقیاس پذیری شبکه:پشتیبانی از گسترش از رک‌های سرور جداگانه تا پارچه‌های چند رک AI و HPC.
• بهینه سازی ترافیک:بهبود استفاده از شبکه از طریق مسیریابی تطبیقی ​​و مدیریت ازدحام.
• قابلیت اطمینان عملیاتی:رویه‌های نظارت، جداسازی خطا و تأیید عملکرد را ایجاد کنید.

هدف طراحی:یک پارچه InfiniBand مقیاس‌پذیر و با پهنای باند بالا بسازید که گلوگاه‌های مرتبط با شبکه را به حداقل می‌رساند و از عملکرد قابل پیش‌بینی RDMA برای آموزش توزیع‌شده هوش مصنوعی، محاسبات علمی و برنامه‌های HPC با داده فشرده پشتیبانی می‌کند.

02. معماری کلی شبکه و سیستم

معماری پیشنهادی از920-9B210-00FN-0D0 سوئیچ InfiniBand OPNبه عنوان یک بلوک اصلی ساختمان در یک پارچه NDR با سرعت بالا. بسته به مقیاس استقرار، سوئیچ ها می توانند در یک طراحی تک لایه یا توپولوژی چند لایه برگ-خطار کار کنند.

برای خوشه‌های GPU چند رک، معماری دو لایه Fat Tree یک نقطه شروع عملی است. سوئیچ های برگ سرورهای محاسباتی را به هم متصل می کنند، در حالی که سوئیچ های ستون فقرات ارتباطات پهنای باند بالایی را بین رک ها فراهم می کنند. تخصیص Uplink باید بر اساس الگوهای ترافیک مورد انتظار، پهنای باند دوبخشی مورد نیاز و اشتراک بیش از حد قابل قبول محاسبه شود.

توپولوژی شبکه مرجع

آموزش هوش مصنوعی / برنامه های کاربردی HPC
NCCL / MPI / UCX / RDMA
↓
سرورهای GPU و گره های محاسباتی
آداپتورهای NVIDIA ConnectX InfiniBand
↓
لایه برگ
سوئیچ های NDR Quantum-2 QM9790 NVIDIA
↓
لایه ستون فقرات
سوئیچ های NDR Quantum-2 QM9790 NVIDIA
↓
سایر رک‌های GPU / گره‌های محاسبه HPC
External Subnet Manager / NVIDIA UFM Fabric Management

در این معماری، گره های محاسباتی از آداپتورهای شبکه با قابلیت RDMA برای دسترسی به فابریک InfiniBand استفاده می کنند. لایه برگ اتصال رو به سرور را فراهم می کند، در حالی که لایه ستون فقرات از ارتباط بین بخش های مختلف شبکه پشتیبانی می کند. یک طراحی غیر مسدود کننده نیاز به پهنای باند بالا لینک کافی نسبت به لینک های پایین متصل دارد.

استقرارهای بزرگ هوش مصنوعی همچنین ممکن است ارتباطات را در چندین ریل شبکه مستقل توزیع کند تا جداسازی خطا و استفاده از پهنای باند را بهبود بخشد. تراز ریلی، قرار دادن آداپتور، وابستگی NUMA و توپولوژی GPU باید با هم در نظر گرفته شوند تا از کاهش محدودیت‌های سمت میزبان از کاهش مزایای سوئیچینگ با سرعت بالا جلوگیری شود.

03. نقش و ویژگی های کلیدی NVIDIA Mellanox 920-9B210-00FN-0D0

را920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRسوئیچ متعلق به خانواده NVIDIA Quantum-2 QM9790 است. این یک سیستم سوئیچینگ InfiniBand بدون مدیریت است که برای پارچه های مدیریت شده خارجی طراحی شده است و از اتصال متراکم و ارتباطات پرسرعت بین گره های محاسباتی شتابدار پشتیبانی می کند.

موارد زیرمشخصات 920-9B210-00FN-0D0ویژگی های محصول مربوط به معماری شبکه و انتخاب سخت افزار را خلاصه کنید.

بهینه سازی ارتباطات مبتنی بر RDMA

دسترسی مستقیم به حافظه از راه دور به سیستم‌های شرکت‌کننده امکان می‌دهد تا داده‌ها را بین مناطق حافظه ثبت‌شده انتقال دهند و در عین حال سربار پردازش CPU را کاهش دهند. در محیط های AI و HPC، این قابلیت از ارتباطات بین گره ای کارآمد پشتیبانی می کند و می تواند هزینه های انتقال داده های مربوط به نرم افزار را کاهش دهد.

با آداپتورهای NVIDIA ConnectX سازگار و یک پشته نرم افزاری با پیکربندی مناسب، برنامه ها می توانند از انتقال RDMA از طریق چارچوب هایی مانند UCX، MPI و NCCL استفاده کنند. GPU Direct RDMA ممکن است حرکت داده را در جایی که پلتفرم سخت افزاری، درایورها و پیکربندی برنامه از آن پشتیبانی می کند، بیشتر بهینه کند.

مسیریابی تطبیقی ​​و مدیریت ازدحام

NVIDIA Quantum-2 از مکانیسم های مسیریابی تطبیقی ​​پشتیبانی می کند که می تواند ترافیک را در مسیرهای شبکه موجود توزیع کند. این فناوری‌ها همراه با کنترل ازدحام InfiniBand، قابلیت‌های کیفیت خدمات و مدیریت خطوط مجازی، به رسیدگی به نقاط داغ ترافیک و بهبود پایداری ارتباطات کمک می‌کنند.

مزایای واقعی به توپولوژی فابریک، سیاست‌های مسیریابی، قابلیت‌های میان‌افزار و پیکربندی مدیریت زیرشبکه بستگی دارد. معماران شبکه باید این تنظیمات را به جای اتکای انحصاری بر ظرفیت سوئیچینگ نظری، تحت ترافیک برنامه های کاربردی تأیید کنند.

NVIDIA SHARP محاسبات درون شبکه ای

پروتکل تجمیع و کاهش سلسله مراتبی مقیاس پذیر NVIDIA (SHARP) عملیات جمعی پشتیبانی شده را قادر می سازد تا در بافت شبکه پردازش شوند. با کاهش حجم داده های مبادله شده در طول عملیات کاهش پشتیبانی شده، SHARP می تواند کارایی ارتباط را برای بارهای کاری انتخابی AI و HPC بهبود بخشد. استقرار به سیستم عامل سازگار، اجزای مدیریتی و پشتیبانی نرم افزار کاربردی نیاز دارد.

04. استراتژی استقرار و گسترش شبکه

استقرارراه حل OPN سوئیچ 920-9B210-00FN-0D0 InfiniBandباید یک فرآیند پیاده سازی ساختاریافته را دنبال کند که سازگاری سخت افزار، برنامه ریزی فابریک، اعتبارسنجی شبکه و ظرفیت مورد نیاز آینده را پوشش می دهد. رویکرد مرحله‌ای ریسک‌های پیکربندی را کاهش می‌دهد و شناسایی مسائل عملکرد را آسان‌تر می‌کند.

فاز 1: سخت افزار و زیرساخت فیزیکی

• کلید SKU، OPN قدیمی، ابعاد رک، نیازهای منبع تغذیه و جهت جریان هوا P2C را تأیید کنید.
• آداپتورهای سازگار ConnectX، ماژول‌های نوری OSFP، کابل‌های DAC یا کابل‌های نوری فعال را بر اساس سرعت و فاصله پیوند انتخاب کنید.
• مسیریابی کابل، خنک کننده رک، افزونگی برق و تخصیص پورت فیزیکی را برنامه ریزی کنید.
• قبل از استقرار تولید، نسخه های سفت افزار پشتیبانی شده و قابلیت همکاری سخت افزار را تأیید کنید.

فاز 2: پیکربندی و اعتبار سنجی پارچه

از آنجایی که QM9790 یک سوئیچ مدیریت نشده است، یک InfiniBand Subnet Manager خارجی برای مقداردهی اولیه فابریک و پیکربندی مسیر مورد نیاز است. NVIDIA UFM می‌تواند مدیریت پارچه، نظارت و قابلیت‌های عملیاتی اضافی را در صورت استقرار با اجزای پشتیبانی شده ارائه دهد.

مدیران شبکه باید وضعیت پیوند پورت، سرعت مذاکره، کشف زیرشبکه، پیکربندی مسیریابی و اتصال RDMA سرتاسر را بررسی کنند. در صورت لزوم، پارتیشن بندی، سطوح خدمات، خطوط مجازی، کنترل های تراکم و مسیریابی تطبیقی ​​را با توجه به الزامات برنامه پیکربندی کنید.

فاز 3: مقیاس بندی و برنامه ریزی ظرفیت

گسترش خوشه باید ریشه سوئیچ، ظرفیت آپلینک موجود، توزیع ترافیک و تعداد لایه‌های شبکه را در نظر بگیرد. اگرچه QM9790 64 پورت NDR منطقی را فراهم می کند، اما آرایش رابط فیزیکی و تنظیمات شکست کابل پشتیبانی شده باید به طور دقیق در طرح تخصیص پورت منعکس شود.

برای استقرارهای بزرگتر، سوئیچ های برگ و ستون اضافی را می توان برای قرار دادن رک های سرور جدید معرفی کرد. برنامه های توسعه باید افزونگی، جداسازی ریل شبکه، فاصله کابل کشی و حفظ پهنای باند مورد نیاز بین گروه های محاسباتی را در نظر بگیرند.

05. عملیات، نظارت و عیب یابی

عملیات قابل اعتماد InfiniBand نیاز به مشاهده مداوم وضعیت پیوند، سلامت پارچه، رفتار تراکم و عملکرد بار کاری دارد. NVIDIA UFM و ابزارهای تشخیصی سازگار InfiniBand می توانند برای نظارت بر شرایط شبکه و شناسایی الگوهای ارتباطی غیرعادی استفاده شوند.

نظارت عملیاتی توصیه شده شامل:

• لینک سلامت:سرعت های مذاکره، خطاهای فیزیکی، فلپ های پیوند و رویدادهای پورت پایین را نظارت کنید.
• استفاده از پهنای باند:ترافیک ارسال شده و دریافتی را برای شناسایی پیوندهای بیش از حد اشتراک ردیابی کنید.
• شاخص های تراکم:شمارنده‌های انتظار انتقال، فعالیت‌های کنترل جریان و نقاط داغ ترافیک را بررسی کنید.
• مدیریت پارچه:در دسترس بودن Subnet Manager، سازگاری مسیریابی، تغییرات توپولوژی و دستگاه های کشف شده را بررسی کنید.
• عملکرد برنامه:اندازه‌گیری‌های شبکه را با معیارهای NCCL، MPI و حجم کار تولید مرتبط کنید.

برای تست عملکرد در سطح شبکه، مهندسان می توانند از ابزارهای InfiniBand مانندibstat،ibdiagnet،پرفکوئریو ابزارهای عملکرد RDMA مانندib_write_bwوib_send_lat. تست‌های NVIDIA NCCL و معیارهای MPI می‌توانند بینش بیشتری در مورد عملکرد ارتباطات در سطح برنامه ارائه دهند.

هنگام عیب یابی کاهش عملکرد، ابتدا اتصال فیزیکی و سپس سرعت پورت، شمارنده خطا، مسیریابی پارچه و نشانگرهای تراکم را بررسی کنید. اگر معیارهای شبکه سالم باقی می‌مانند، پهنای باند PCIe سمت میزبان، قرارگیری NUMA، وابستگی GPU، نسخه‌های درایور و تنظیمات ارتباطی برنامه را بررسی کنید.

پذیرش عملکرد باید شامل پهنای باند مؤثر، تأخیر ارتباط، توان عملیات جمعی و زمان تکمیل حجم کار باشد. اندازه‌گیری تأخیر P50، P95 و P99 می‌تواند به آشکار کردن تغییرات عملکرد در ترافیک پایدار یا شدید کمک کند. آستانه پذیرش باید با استفاده از اهداف خدمات خاص پروژه و داده های پایه اندازه گیری شده تعریف شود.

06. ارزش راه حل و ارزیابی عملکرد

را920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRپلت فرم سوئیچینگ ظرفیت و معماری شبکه مورد نیاز برای محیط های محاسباتی توزیع شده را فراهم می کند. ارزش اصلی آن در برقراری ارتباط با سرعت بالا، طراحی پارچه مقیاس پذیر و ادغام کارآمد با سیستم های محاسباتی با قابلیت RDMA نهفته است.

از منظر زیرساخت، اتصال NDR 400 گیگابیت بر ثانیه و تراکم پورت بالا می‌تواند محدودیت‌های شبکه را با افزایش اندازه کلاستر GPU کاهش دهد. قابلیت‌های پیشرفته InfiniBand از توزیع کارآمدتر ترافیک پشتیبانی می‌کنند، در حالی که مدیریت پارچه خارجی دید عملیاتی و عیب‌یابی را بهبود می‌بخشد.

یک ارزیابی ارزش کامل باید هزینه‌های استقرار را با پیشرفت‌های قابل اندازه‌گیری در توان عملیاتی برنامه، استفاده از GPU، پایداری شبکه و کارایی عملیاتی مقایسه کند. تیم های در حال ارزیابی920-9B210-00FN-0D0 قیمتهمچنین باید آداپتورهای سازگار، اپتیک، کابل‌ها، نرم‌افزار مدیریت، برق و نیازهای پشتیبانی را در نظر بگیرد.

اصل ارزیابی فنی:موفقیت یک ارتقاء شبکه InfiniBand باید از طریق محک زدن قابل تکرار و اعتبارسنجی حجم کاری تولید تعیین شود. سوئیچینگ پهنای باند به تنهایی کاهش ثابتی در زمان آموزش یا تأخیر برنامه را تضمین نمی کند.

07. نتیجه گیری و توسعه آینده

راNVIDIA Mellanox 920-9B210-00FN-0D0سوئیچ InfiniBand یک راه حل شبکه با چگالی بالا است که برای آموزش هوش مصنوعی، برنامه های HPC و محیط های مرکز داده شتاب یافته طراحی شده است. با فناوری NVIDIA Quantum-2، 64 پورت NDR و توان عملیاتی دو طرفه تا 51.2 ترابایت بر ثانیه، پایه‌ای برای ساخت پارچه‌های محاسباتی مقیاس‌پذیر و با تأخیر کم ارائه می‌کند.

استقرار موفقیت آمیز به چیزی بیش از نصب سخت افزار نیاز دارد. یک راه حل خوب مهندسی شده باید توپولوژی شبکه، آداپتورهای با قابلیت RDMA، اتصالات نوری، پیکربندی Subnet Manager، تنظیم حجم کار، و نظارت عملیاتی را هماهنگ کند.

همانطور که خوشه‌های GPU گسترش می‌یابند و حجم‌های کاری توزیع‌شده به طور فزاینده‌ای به ارتباطات فشرده می‌شوند، پارچه‌های InfiniBand با کارایی بالا جزء مهم زیرساخت‌های محاسباتی شتاب‌دار مدرن باقی خواهند ماند. QM9790 یک گزینه عملی برای سازمان هایی که به دنبال اتصال NDR قابل اعتماد و مسیری روشن به سمت معماری شبکه های چند رک بزرگتر هستند ارائه می دهد.

مرجع فنی:راهنمای کاربر NVIDIA QM97XX 1U NDR 400Gbps InfiniBand Switch Systems. مشخصات نهایی استقرار، ویژگی‌های پشتیبانی‌شده، سازگاری میان‌افزار، و پیکربندی‌های فیزیکی باید با مستندات مربوط به SKU دقیق محصول بررسی شوند.

راه حل های شبکه NVIDIA Mellanox InfiniBand

Beijing Zhongke Xinyuan Technology Co., Ltd. سخت افزار و راه حل شبکه NVIDIA Mellanox را برای مراکز داده هوش مصنوعی، خوشه های GPU، سیستم های HPC و زیرساخت های سازمانی ارائه می دهد. مجموعه محصولات ما شامل سوئیچ‌های NVIDIA Quantum InfiniBand، آداپتورهای شبکه ConnectX، فرستنده‌های نوری و کابل‌های DAC/AOC پرسرعت است.

برای مشتریانی که به دنبال آن هستند920-9B210-00FN-0D0 سازگار استاجزای شبکه، پشتیبانی انتخاب محصول، اطلاعات در دسترس بودن یا نقل قول پروژه، تیم ما می تواند در شناسایی مدل، تطبیق پیکربندی و برنامه ریزی تدارکات کمک کند.