NVIDIA Mellanox 920-9B110-00FH-0D0 راه حل فنی سوئیچ InfiniBand

راه حل فنی سوئیچ InfiniBand انویدیا ملانوکس 920-9B110-00FH-0D0 | بهینه سازی اتصال با تأخیر کم برای خوشه های RDMA، HPC و هوش مصنوعی

پیشینه پروژه و تحلیل الزامات

مراکز داده مدرن که از آموزش هوش مصنوعی، شبیه سازی HPC و ذخیره سازی توزیع شده پشتیبانی می کنند، با فشار دوگانه بر پهنای باند و تأخیر در لایه شبکه مواجه هستند. تراکم گره های GPU همچنان در حال افزایش است، در حالی که تأخیر انتهایی ارتباطات بین گره ها و لرزش به عامل محدود کننده برای بهره وری کلی خوشه تبدیل می شود. برای بسیاری از سازمان ها، سوال عملی این نیست که آیا از 400 گیگابیت بر ثانیه NDR استفاده شود یا خیر، بلکه چگونه یک شبکه HDR اثبات شده و مقرون به صرفه بسازیم که همچنان عملکرد قطعی را ارائه دهد.

الزامات معمول برای چنین پروژه ای شامل انتقال RDMA با تأخیر کم، رفتار بدون اتلاف شبکه، سازگاری با عقب ماندگی با زیرساخت های موجود EDR و FDR، و یک مسیر مقیاس پذیری واضح است. NVIDIA Mellanox 920-9B110-00FH-0D0 به عنوان یک سوئیچ InfiniBand 200 گیگابیت بر ثانیه HDR در خانواده NVIDIA Quantum برای برآورده کردن این الزامات قرار گرفته است.

طراحی کلی معماری شبکه و سیستم

معماری پیشنهادی یک شبکه InfiniBand دو لایه اسپاین-لیف است که بر روی لینک های 200 گیگابیت بر ثانیه HDR ساخته شده است. سوئیچ های لیف گره های محاسباتی، اهداف ذخیره سازی و سرورهای مدیریتی را متصل می کنند، در حالی که سوئیچ های اسپاین اتصال بین لیف ها و تنوع مسیر را فراهم می کنند. این طراحی تعداد هاپ را کم نگه می دارد و پهنای باند غیر مسدود کننده را برای ترافیک شرق-غرب تضمین می کند که بار کاری HPC و هوش مصنوعی را غالب می کند.

در لایه نقطه پایانی، آداپتورهای کانال میزبان در حالت RDMA عمل می کنند و انتقال حافظه به حافظه را بدون دخالت CPU فعال می کنند. شبکه کنترل ازدحام، مسیریابی تطبیقی و شتاب جمعی را مدیریت می کند. ترافیک مدیریت و تله متری همان زیرساخت فیزیکی را به اشتراک می گذارد اما از طریق سیاست های QoS ایزوله می شود تا نظارت با بار کاری تولید تداخل نداشته باشد.

اصول کلیدی طراحی شامل موارد زیر است:

• توپولوژی مسطح برای به حداقل رساندن تأخیر و ساده سازی عیب یابی
• لینک های غیر مسدود کننده یا با نسبت اشباع کم بین لایه ها
• HDR ثابت سرتاسری، با سازگاری با عقب ماندگی EDR/FDR در صورت نیاز
• مسیرهای افزونه برای دسترسی بالا و تعادل بار
• مدیریت استاندارد InfiniBand برای ثبات عملیاتی

نقش و ویژگی های کلیدی NVIDIA Mellanox 920-9B110-00FH-0D0

NVIDIA Mellanox 920-9B110-00FH-0D0 به عنوان بلوک سازنده اصلی این شبکه عمل می کند. به عنوان یک پلتفرم MQM8790-HS2F 920-9B110-00FH-0D0 200 گیگابیت بر ثانیه HDR، 40 پورت QSFP56 و ظرفیت سوئیچینگ غیر مسدود کننده 16 ترابیت بر ثانیه را در فرم فاکتور 1U ارائه می دهد. این تراکم از نقش های لیف با رادیکال بالا پشتیبانی می کند و کابل کشی را در رک های متراکم ساده می کند.

برای تیم هایی که مشخصات 920-9B110-00FH-0D0 را بررسی می کنند، سوئیچ از RDMA، MPI و NVIDIA SHARP برای تخلیه عملیات جمعی پشتیبانی می کند. کنترل ازدحام پیشرفته و مسیریابی تطبیقی، مشکلات تأخیر انتهایی و اینکست رایج در آموزش هوش مصنوعی و بارهای کاری MPI را هدف قرار می دهند. OPN سوئیچ InfiniBand 920-9B110-00FH-0D0 همچنین با ابزارهای مدیریت استاندارد InfiniBand ادغام می شود و منحنی یادگیری عملیاتی را کاهش می دهد.

هنگام برنامه ریزی یک راه حل OPN سوئیچ InfiniBand 920-9B110-00FH-0D0، معماران باید اجزای سازگار با 920-9B110-00FH-0D0، از جمله کابل های QSFP56، آداپتورهای کانال میزبان و نسخه های سفت افزار را تأیید کنند. بررسی برگه داده 920-9B110-00FH-0D0 در مراحل اولیه طراحی به اعتبارسنجی الزامات برق، خنک کننده و فضای رک قبل از خرید کمک می کند.

توصیه های استقرار و مقیاس پذیری

یک استقرار معمول با یک پاد آزمایشی از 32 تا 64 گره محاسباتی متصل به یک جفت سوئیچ لیف 920-9B110-00FH-0D0 آغاز می شود. اتصال اسپاین با رشد خوشه اضافه می شود و پهنای باند غیر مسدود کننده بین لیف ها را حفظ می کند. این رویکرد افزایشی امکان اعتبارسنجی تأخیر و توان عملیاتی را قبل از استقرار در مقیاس کامل فراهم می کند.

برای مقیاس پذیری، شبکه را متقارن نگه دارید: ظرفیت لیف و اسپاین را در افزایش های منطبق اضافه کنید تا نسبت های اشباع قابل پیش بینی باقی بمانند. مدیریت کابل و برچسب گذاری پورت باید از ابتدا استاندارد شوند، زیرا استقرار QSFP56 با تراکم بالا در صورت ناسازگاری طرح فیزیکی، نگهداری دشوار می شود.

جدول زیر ملاحظات طراحی دو لایه نماینده را خلاصه می کند:

عملیات، نظارت، عیب یابی و بهینه سازی

موفقیت عملیاتی به دید بستگی دارد. شبکه های InfiniBand شمارنده هایی برای خطاهای لینک، رویدادهای ازدحام و استفاده از بافر ارائه می دهند. اینها باید به طور مداوم جمع آوری شده و با داده های زمانبند کار همبسته شوند، بنابراین می توان رگرسیون های عملکرد را به بخش های خاصی از شبکه نسبت داد و نه حدس و گمان.

سناریوهای عیب یابی رایج شامل توقف اعتبار، QoS پیکربندی نادرست و عدم تطابق سفت افزار بین سوئیچ ها و آداپتورها است. یک چک لیست ساختاریافته - سرعت لینک را تأیید کنید، شمارنده های خطا را بررسی کنید، سیاست مسیریابی را تأیید کنید، تله متری ازدحام را بازرسی کنید - می تواند میانگین زمان حل را کاهش دهد. تلاش های بهینه سازی باید بر تأخیر انتهایی به جای توان عملیاتی متوسط تمرکز کنند، زیرا بارهای کاری HPC و هوش مصنوعی به رفتار بدترین حالت حساس هستند.

برای برنامه ریزی خرید و چرخه عمر، تیم ها اغلب قیمت 920-9B110-00FH-0D0 و گزینه های 920-9B110-00FH-0D0 برای فروش را در کانال های مجاز مقایسه می کنند. قیمت گذاری به پیکربندی، سطح پشتیبانی و منطقه بستگی دارد، بنابراین تعامل زودهنگام با توزیع کنندگان و نمایندگان سازمانی انویدیا توصیه می شود.

خلاصه و ارزیابی ارزش

NVIDIA Mellanox 920-9B110-00FH-0D0 یک پایه HDR 200 گیگابیت بر ثانیه اثبات شده برای اتصال خوشه های RDMA، HPC و هوش مصنوعی فراهم می کند. با کاهش لایه های شبکه، پشتیبانی از شتاب جمعی و فعال کردن انتقال بدون اتلاف با تأخیر کم، تنگناهایی را که بهره وری واقعی خوشه را محدود می کنند، برطرف می کند. برای معماران شبکه و مهندسان پیش فروش، این یک بلوک سازنده عملی و مقیاس پذیر برای شبکه های InfiniBand HDR با مسیری رو به جلو است.