راه حل فنی دستگاه شبکه NVIDIA Mellanox 980-9I45J-00H010

NVIDIA Mellanox 980-9I45J-00H010 راه حل فنی دستگاه شبکه.

1. پیشینه پروژه و تحلیل نیازهای

مراکز داده های سازمانی در حال گذراندن یک انتقال حیاتی از شبکه "بهترین تلاش" به شبکه "تعینگر" هستند. خوشه های هوش مصنوعی / HPC مستلزم ثبات تاخیر در سطح میکروسکنید هستند.ذخیره سازی توزیع شده به حمل و نقل بدون از دست دادن بسته متکی است، و اتصال چند ابری نیاز به خود بهبود خطای زیر ثانیه دارد. معماری های شبکه سه لایه سنتی از نظر تعادل بار، سرعت همگرایی خطای،و دید عملیاتیاین راه حل بر رویNVIDIA Mellanox 980-9I45J-00H010به عنوان سنگ بنای زیرساخت های شبکه نسل بعدی که به صورت همزمان به سه نیاز اصلی پاسخ می دهد:در دسترس بودن بالا(تغییر خطا در سطح لینک/ دستگاه کمتر از 100ms)خروجی بالا با تاخیر بسیار کم(400G خط-سرعت انتقال با تاخیر زیر 600ns) ، وعملیات هوشمندانه(تلی متری از انتهای به انتهای و پیش بینی پیشگیرانه ناهنجاری).

2طراحی معماری شبکه کلی

این راه حل یک معماری CLOS دو طبقه Spine-Leaf را اتخاذ می کند، که در آن هر سوئیچ Leaf به طور کامل با هر دستگاه Spine متصل می شود،اطمینان از یک تعداد ثابت دو (Leaf→Spine→Leaf) بین هر دو نقطه پایانیلایه Leaf توسط دامنه خدمات تقسیم شده است: منطقه محاسبات (آموزش GPU / AI) ، منطقه ذخیره سازی (NVMe-oF) ، منطقه مدیریت (iBMC / خارج از باند) و منطقه مستاجر (عزل مستاجر VXLAN).980-9I45J-00H010به عنوان گره اصلی ستون فقرات عمل می کند و پورت های 32 × 400G QSFP-DD یا پورت های 128 × 100G را از طریق کابل های شکسته با ظرفیت سوئیچینگ 12.8 Tbps ارائه می دهد.دستگاه های Leaf می توانند با استفاده از سوئیچ های سری NVIDIA Spectrum-2 استفاده شوند، از طریق 100G / 200G uplinks به سطح ستون فقرات متصل می شوند و یک توپولوژی درخت چربی غیر مسدود کننده را تشکیل می دهند.

در سطح کنترل، این راه حل BGP-EVPN را به عنوان پروتکل سطح کنترل یکپارچه مستقر می کند و مجازی سازی شبکه مبتنی بر VXLAN را انجام می دهد.MLAG (Multi-Chassis Link Aggregation) در لایه Leaf برای امکان دسترسی دو فعال به سرور اجرا می شوددر لایه ستون فقرات، قابلیت NSR درجه سخت افزاری (غیر متوقف کردن مسیر)980-9I45J-00H010تضمین شفافیت خط انتقال در طول تغییر ناظر، تکمیل شده با BFD (ابراز دو جهت انتقال) برای دستیابی به همگرایی مسیر زیر ثانیه.

3نقش و ویژگی های کلیدیNVIDIA Mellanox 980-9I45J-00H010در محلول

این دستگاه نقش اصلی ستون فقرات را در راه حل در نظر می گیرد و ارزش متمایز آن در چهار ابعاد آشکار می شود:

• تاخیر بسیار کم با انتقال تعیین کننده:با استفاده از حالت انتقال برش، تاخیر پورت به پورت کمتر از 600ns با jitter محدود به ± 50ns است، ارائه زمان تکمیل قابل پیش بینی برای ترافیک RoCEv2.
• مدیریت هوشمند ترافیک:موتور کنترل ازدحام جاسازی شده تسریع سخت افزاری را برای DCQCN (اطلاعات ازدحام مرکز داده) و کنترل جریان اولویت (PFC) فراهم می کند.با تنظیم اتوماتیک آستانه ECN پویا برای کاهش خطرات تعطیلی PFC.
• ماتريسهاي پيشرفته تليمتري:پشتیبانی از In-band Network Telemetry (INT) و streaming telemetry (gRPC) امکان صادرات عمق صف، استفاده از لینک و نرخ خطای CRC در هر پورت را در زمان واقعی فراهم می کند.ایجاد یک پایگاه داده برای عملیات.
• قابل برنامه ریزی باز:تیم های عملیاتی که بر روی سخت افزار آماده SONiC با پشتیبانی از خط لوله قابل برنامه ریزی P4 ساخته شده اند، می توانند منطق پردازش داده را سفارشی کنند تا به طور انعطاف پذیر با تکامل پروتکل آینده سازگار شوند.

به عنوان جزء اصلی980-9I45J-00H010 مرکز داده شبکه ی پرسرعتراه حل، مشخصات منابع سخت افزاری آن در زیر خلاصه شده است:

4توصیه های استقرار و مقیاس بندی (با توپولوژی معمولی)

توپولوژی انتشار معمولی (با استفاده از 128 سوئیچ برگ به عنوان یک مثال): هر برگ از طریق لینک های 4 × 100G به 4 گره ستون فقرات (به عنوان مثال، 4 واحد980-9I45J-00H010), به دست آوردن نسبت اشتراک بیش از حد 4: 1 (عرض باند لینک پایین: عرض باند لینک بالا = 4: 1), مناسب برای بار های کاری آموزش هوش مصنوعی حساس به خروجی.در لایه ستون فقرات، 20 درصد ذخایر بندری توصیه می شود.برای انتخاب کابل های شکسته: از کابل های 400G ZR برای اتصال طولانی مدت (≥2km) و کابل های 400G SR8 یا AOC فعال برای لینک های کوتاه مدت (<100m) استفاده کنید.برای اطمینان از سازگاری با فهرست های نوری موجودلطفاً با980-9I45J-00H010 سازگارماتریس و اولویت بندی ماژول های QSFP-DD/OSFP از فروشندگان واجد شرایط.

توصیه های مقیاس بندی از یک رویکرد سه مرحله ای پیروی می کنند:فاز 1 (پاشگاه اولیه): 2 ستون + 16 سوئیچ برگ، پشتیبانی از حدود 1000 سرور؛مرحله 2 (افزایش عملکرد): مقیاس به 4 Spines، دو برابر شدن پهنای باند Leaf uplink برای رسیدن به ظرفیت کل پارچه 50 Tbps؛فاز 3 (ارتباط بین چندین سایت): استفاده از پورت های 400G ZR در گره های ستون فقرات برای اتصال مستقیم حمل و نقل نوری DCI، امکان ایجاد یکپارچه980-9I45J-00H010 راه حل محصول شبکهگسترش در میان مراکز داده های متعدد.

5نظارت بر عملیات، رفع مشکل و توصیه های بهینه سازی

در جبهه عملیاتی، این راه حل یک حلقه بسته را ایجاد می کند که شامل "جمع آوری داده ها → تشخیص ناهنجاری → محلی سازی علت ریشه → اصلاح خودکار" است:

• چارچوب نظارت:استفاده از NVIDIA NetQ یا Prometheus+Grafana برای جمع آوری داده های تله متری در زمان واقعی (از جمله عمق صف، نرخ خطا بیت لینک، دمای ماژول نوری)980-9I45J-00H010از طریق gRPC، با هشدار مبتنی بر آستانه پویا.
• پیشگیری فعال از نقص:استفاده از جریان داده های INT برای ساخت یک "نقشه گرما" در سراسر بافت، شناسایی پیشگامان ازدحام میکرو-برست و امکان تنظیم پیشگیرانه دانه های هش ECMP یا آستانه های ECN.
• جايگزيني مرز خطا سريع:هنگامی که تخریب لینک رخ می دهد، از کد های خطای و گزارش های رویداد تعریف شده درصفحه اطلاعات 980-9I45J-00H010، در ترکیب با تکنیک های همبستگی تایم استیمپ، برای مشخص کردن پورت فیزیکی خاص یا گیرنده.
• اصلاح خودکار:ادغام با Ansible یا NVIDIA UFM (Unified Fabric Manager) برای توسعه کتاب های بازی که به طور خودکار پورت های معیوب را غیرفعال و جدا می کنند، باعث ایجاد لینک آماده سازی می شود.

توصیه بهینه سازی: برای سناریوهای ترافیک مخلوط (از ذخیره سازی + محاسبه + مدیریت) ، سیاست های ECN و PFC متمایز را بر روی سیستم تنظیم کنید.980-9I45J-00H010، تخصیص صف های با اولویت بالاتر به ترافیک ذخیره سازی برای جلوگیری از مصرف پهنای باند ذخیره سازی.

6خلاصه و ارزیابی ارزش

این راه حل فنی که در اطرافNVIDIA Mellanox 980-9I45J-00H010به عنوان هسته ستون فقرات، یک شبکه مرکز داده نسل بعدی را ارائه می دهد که با تاخیر کمتر از یک مایکرو ثانیه، از دست دادن بسته صفر و عملیات پیش بینی شده مشخص می شود. تجزیه و تحلیل مقایسه ای نشان می دهد که،نسبت به طرح های سنتی پارچه 25G/100G، این معماری می تواند عملکرد آموزش هوش مصنوعی را تقریباً 35٪ بهبود بخشد در حالی که MTTR رفع مشکل عملیاتی را تا 70٪ کاهش می دهد.980-9I45J-00H010 قیمتسرمایه گذاری اولیه بیشتری در مقایسه با سوئیچ های استاندارد را نشان می دهد.دوره بازپرداخت کل هزینه مالکیت را می توان به مدت 14-18 ماه از طریق استفاده مجدد از نوری محدود کرد (توافق با ماژول های موجود 100G / 200G)، بهره وری از انرژی (40٪ کاهش وات در هر گیگابایت) ، و صرفه جویی در اتوماسیون عملیات.

به عنوان یک برنامه جامع980-9I45J-00H010 محصول شبکهراه حل، این پیشنهاد همزمان با نیازهای پهنای باند بالا از980-9I45J-00H010 مرکز داده شبکه ی پرسرعتو استانداردهای قابلیت اطمینان متعهد بهمشخصات 980-9I45J-00H010. اين محصول در حال حاضر به عنوان980-9I45J-00H010 برای فروش، با راهنمای پیاده سازی همراه و زنجیره ابزار اتوماسیون منتشر شده در پورتال مستندات رسمی NVIDIA (بهصفحه اطلاعات 980-9I45J-00H010) برای شرکت هایی که در حال برنامه ریزی برای ارتقاء شبکه های مراکز داده هستند، این راه حل یک تعادل بین آینده نگر بودن فنی و امکان پیاده سازی را ارائه می دهد.ایجاد یک پایه شبکه قوی برای عصر هوش مصنوعی.