NVIDIA Mellanox MMA4Z00-NS مرکز داده گیرنده نوری در عمل

NVIDIA Mellanox MMA4Z00-NS مرکز داده گیرنده نوری در عمل موازنه پهنای باند و فاصله در سراسر راک به راک و لینک های بین تاسیسات

پیش زمینه و چالش: مشکل فاصله پهنای باند 800G در مراکز داده مبتنی بر هوش مصنوعی

همانطور که خوشه های آموزش هوش مصنوعی از صدها تا هزاران GPU مقیاس پذیر می شوند، بافت شبکه اساسی باید پهنای باند در مقیاس ترابیت را ارائه دهد در حالی که فاصله لینک قابل قبول را در سالن داده حفظ می کند.برای 800G Ethernet و 400G InfiniBand، چالش لایه فیزیکی به ویژه حاد است: فرستنده های چند حالت مبتنی بر VCSEL 850nm سنتی برای پیوندهای کوتاه مدت (کمتر از 30 متر) هزینه های بسیار خوبی را ارائه می دهند.اما دامنه آنها معمولاً در سرعت 800G PAM4 به 5070 متر کاهش می یابد ، فاصله ای که ممکن است برای اتصالات مرزی یا توپولوژی های بین ردیف ناکافی باشددر مقابل، راه حل های تک حالت مانند گیرنده های DR8 یا FR8 دسترسی به صدها متر را گسترش می دهند اما با هزینه و مصرف انرژی به طور قابل توجهی بالاتر هستند.از نظر اقتصادی غیرقابل استفاده برای استفاده از لایه دسترسی با تراکم بالا.

این چالش به تازگی توسط یک ارائه دهنده ابری در مقیاس بزرگ با استفاده از یک خوشه آموزش هوش مصنوعی 8,000-GPU در 12 سالن مرکز داده مواجه شد.خوشه نیاز به اتصال 800G بین سوئیچ های برگ و گره های محاسبات GPU در میان قفسه های مجاور و غیر مجاور دارد، با فاصله ای از 5 متر (در داخل ریک) تا 65 متر (در راهرو).تیم مهندسی به یک SKU فرستنده واحد نیاز داشت که می تواند اکثر این پیوندها را بدون قربانی یکپارچگی سیگنال پوشش دهد، بهره وری از انرژی یا انعطاف پذیری پروتکل، زیرا پارچه شامل هر دو Ethernet برای ذخیره سازی و InfiniBand برای ارتباطات GPU به GPU است.NVIDIA Mellanox MMA4Z00-NSبه عنوان کاندیدای بهینه به نظر می رسد که عملکرد 800G OSFP SR8 را با قابلیت شکستن 2 × 400G در هر دو پروتکل ارائه می دهد.

راه حل و استقرار: یک استراتژی نوری 800G متحد

برای رسیدگی به تعادل پهنای باند و فاصله، ارائه دهنده استاندارد بر رویNVIDIA Mellanox MMA4Z00-NSبه عنوان تنها گیرنده نوری 800G برای تمام پیوندهای فیبر چند حالت تا 60 متر.فرستنده MMA4Z00-NS 800G OSFP SR8بر روی فیبر چند حالت OM5 کار می کند،پشتیبانی از 70 متر دسترسی در 800G، فراهم کردن حاشیه ی کافی برای اتصال متقابل در حالی که سازگار با زیرساخت های موجود OM4 برای پیوندهای کوتاه تر حفظ می شودبرای پیوندهایی که بیش از ۶۰ متر هستند، این تیم یک فهرست کوچک از فرستنده های تک حالت (DR8/FR8) را برای پوشش چند اتصال بین سالن اختصاص داده است.

این راه اندازی در سه منطقه جداگانه انجام شد، هر کدام با الزامات خاص کابل و اتصال:

• در داخل قفسه (2-5 متر):سیم های پچ MPO-12 مستقیم از پورت های سوئیچ OSFP به گره های محاسبات GPU، با استفاده از گیرنده های MMA4Z00-NS در هر دو طرف. حاشیه پیوند بیش از 5 دی بی،اطمینان از عملکرد قوی حتی با تخریب متوسط کانکتور.
• قفسه های مجاور (۸/۲۰ متر):کابل گذاری OM5 ساختاری از طریق سینی های فوقانی با پانل های پچ میانگین. تعداد کل کانکتورها: 2 جفت جفت شده در هر پیوند. حاشیه پیوند: 4به خوبی در بودجه نوری ماژول به عنوان مستند درورق اطلاعات MMA4Z00-NS.
• راهرو متقاطع / بین ردیف ها (25-55 متر):تا حداقل ۳٫۰ دبیل را حفظ کنیم،این تیم قبل از نصب تمام کانکتورها را تمیز کرده و از دست دادن ورودی را با استفاده از یک اندازه گیری قدرت نوری در طول راه اندازی بررسی کرده است..

برای بخش InfiniBand از پارچه ️ اتصال سرورهای GPU به سوئیچ های Quantum-2 ️MMA4Z00-NS 2x400G InfiniBand/Ethernetدر این پیکربندی، یک گیرنده MMA4Z00-NS در سمت سوئیچ دو نقطه پایانی 400G را از طریق یک مجموعه کابل MPO-12 به 2 × MPO-8 تغذیه می کند.این قابلیت نفوذ بومی نیاز به ماژول های خارجی فن را از بین می برد، مصرف فضای ریک را حدود 20٪ در مقایسه با معماری مبتنی بر 400G قبلی کاهش می دهد.NVIDIA Mellanox MMA4Z00-NSهستسازگاری با MMA4Z00-NSبا هر دو پروتکل اترنت و InfiniBand، تیم یک SKU فرستنده واحد را در سراسر بافت حفظ کرد و مدیریت خرید و قطعات یدکی را ساده کرد.

نتایج و مزایای: سود قابل اندازه گیری در هزینه، تراکم و سادگی عملیاتی

تجزیه و تحلیل پس از راه اندازی در سراسر 2400 پیوند نوری چندین مزیت قابل اندازه گیری را نشان داد.MMA4Z00-NS 800G OSFP SR8 راه حل گیرنده، سازمان نیاز به SKU های جداگانه کوتاه مدت و متوسط را از بین برد، موجودی فرستنده را 60٪ کاهش داد و فرآیندهای سفارش را ساده کرد.قیمت MMA4Z00-NS، زمانی که در مقایسه با ماژول های یک حالت قابل مقایسه با محدوده گسترده ارزیابی می شود، 45٪ صرفه جویی در هزینه برای هر پیوند برای مسافت های کمتر از 60 متر،چون هیچ جایزه ای برای قابلیت هایی که مورد نیاز نبودند پرداخت نشد.

دوم، نرخ شکست عملیاتی در طول شش ماه اول به طور استثنایی پایین بود: تنها دو جایگزینی گیرنده از 2400 واحد مورد نیاز بود٪ ٪ ٪ ٪ ٪ ٪ ٪ ٪ ٪ ٪ ٪ ٪ ٪ ٪ ٪ ٪.51٪ برای گیرنده های 800G نسل اولیه. این قابلیت اطمینان به محور نوری بهینه شده کارخانه و کنترل کیفیت دقیق MMA4Z00-NS مربوط می شود.و همچنین رعایت تیم به روش های تمیز کردن مشخص شده درمشخصات MMA4Z00-NS.

سوم، بهره وری انرژیNVIDIA Mellanox MMA4Z00-NSدر طول کل ناوگان مستقر شده، 2،5W در هر ماژول مصرف می شود و تقریباً 8،2W در حالت شکستن 2 × 400G400 فرستنده مصرف شده حدود 24.6 کیلو وات در حالت 2 × 400G و 25.2 کیلو وات در حالت 800G، در مقایسه با 35 کیلو وات تخمین زده شده اگر ماژول های تک حالت جایگزین با مصرف قدرت بالاتر (معمولاً 12 14W) انتخاب شده بودند.این کاهش قدرت 28-30٪ به طور مستقیم میزان بهره وری مصرف برق (PUE) را با تخمین.۳ امتیاز

از منظر مهندسی، رابط نظارت تشخیصی دیجیتال (DDM) ماژول در هنگام عیب یابی بسیار ارزشمند بود.کاهش تدریجی در قدرت نوری دریافت شده از طریق نظارت فعال تشخیص داده شده است.، اجازه می دهد تا تیم عملیات برای برنامه ریزی تمیز کردن کانکتور در طول یک پنجره تعمیرات به جای واکنش به یک سقوط پیوست غیر منتظره.این رویکرد پیشگیرانه متوسط زمان ترمیم (MTTR) برای حوادث لایه نوری را حدود 55٪ کاهش داد.، چون تیم می تونست قبل از اینکه باعث اختلال در سرویس بشه، لینک های خراب شده رو شناسایی کنه.

خلاصه و چشم انداز: یک طرح برای معماری نوری 800G مقیاس پذیر

تجربه کار باNVIDIA Mellanox MMA4Z00-NSدر مناطق فاصله چندگانه به وضوح نشان می دهد که یک، well-chosen 800G OSFP SR8 transceiver can effectively address the bandwidth-distance trade-off in modern AI data centers — provided its specifications are carefully matched to the installed fiber plant and distance requirementsبا استفاده از 70 متريفرستنده MMA4Z00-NS 800G OSFP SR8از طریق فیبر OM5، معماران می توانند از هزینه و پیچیدگی چندین SKU نوری در حالی که حفظ یکپارچگی سیگنال و سادگی عملیاتی در داخل ریک، بین ریک،و ارتباطات متقاطع راهرو.

به جلو نگاه کنید، به عنوان 800G اترنت و 400G InfiniBand همچنان در آموزش هوش مصنوعی، HPC و محیط های ذخیره سازی سازمانی، تقاضا برای قابل اعتماد،فرستنده های نوری 800G صرفه جویی فقط رشد خواهند کردMMA4Z00-NS براي اين مسير موقعيت خوبي دارهزیرا قابلیت پروتکل دوگانه و پشتیبانی بومی از شکستن 2 × 400G، سازگاری را هم با زیرساخت های 400G فعلی و هم با نقاط نهایی 800G بومی آینده تضمین می کند.برای سازمان هایی که قصد مهاجرت 800G مشابهی را دارند، رویکرد طبقه بندی شده در این استقرار یک نقشه راه عملی را ارائه می دهد: استاندارد سازی در MMA4Z00-NS برای تمام لینک ها تا 60 متر در OM5,فرستنده های تک حالت ذخیره شده برای اتصالات طولانی تر بین سالن هاو حفظ یک چارچوب نظارت یکپارچه که از داده های DDM برای مدیریت فعال سلامت نوری در سراسر پارچه های Ethernet و InfiniBand استفاده می کند.

برای نمونه های بودجه لینک دقیق، چک لیست های نصب و پروتکل های تمیز کردن، مراجعه کنید بهورق اطلاعات MMA4Z00-NSو یادداشت های کاربردی نودیا ملانوکس.