گیرنده نوری مرکز داده NVIDIA Mellanox MMAIB00-B150D در عمل

NVIDIA Mellanox MMAIB00-B150D مرکز داده گیرنده نوری در عمل موازنه پهنای باند و فاصله در سراسر رف به رف و لینک های بین تاسیسات

پیش زمینه و چالش: تجارت 25G پهنای باند-فاصل در محیط های پروتکل مخلوط

به عنوان اپراتورهای مرکز داده به طور همزمان شبکه های دسترسی سرور خود را از 10G به 25G ارتقا می دهند در حالی که پارچه های جداگانه ای از اترنت و InfiniBand را برای آموزش هوش مصنوعی، ذخیره سازی،و محاسبات عمومیبرای گیرنده های 25G SFP28 ، تعادل اصلی بین دسترسی و انعطاف پذیری پروتکل بوده است:برخی از ماژول ها برای اترنت 25GBASE-SR با 100 متر در OM4 بهینه شده اند، در حالی که برخی دیگر به طور خاص برای محیط های HDR InfiniBand 25G با دسترسی مشابه اما نیازهای مختلف یکپارچگی سیگنال واجد شرایط هستند.معماران شبکه به طور معمول مجبور شده اند SKU های فرستنده جداگانه را برای هر نوع پارچه حفظ کنند، افزایش پیچیدگی موجودی و خطر استفاده از ماژول اشتباه در یک پورت سوئیچ داده شده.

این چالش به تازگی توسط یک شرکت خدمات مالی جهانی که یک خوشه تحقیقاتی هوش مصنوعی جدید را در سه سالن مجاور مرکز داده مستقر کرده است، حل شده است.خوشه نیاز به اتصال 25G برای هر دو ترافیک ذخیره سازی اترنت و 25G InfiniBand برای ارتباطات GPU به GPU داشت.، با فاصله های اتصال از 5 متر (در داخل ریک) تا 90 متر (در میان راهرو و بین ردیف).تیم مهندسی به یک فرستنده SFP28 25G واحد نیاز داشت که بتواند عملکرد قابل اعتماد را در هر دو پروتکل و محدوده فاصله ارائه دهد، از بین بردن نیاز به چرخه های تحصیلی جداگانه و کاهش موجودی قطعات جایگزین.NVIDIA Mellanox MMAIB00-B150Dبه عنوان یک راه حل بهینه به نظر می رسد، ارائه یک گیرنده نوری 25G با پشتیبانی دو پروتکل اترنت / InfiniBand و 100 متر در فیبر OM4.

راه حل و پیاده سازی: یک استراتژی نوری 25G متحد در سراسر اترنت و InfiniBand

برای رسیدگی به چالش های فاصله پهنای باند و انعطاف پذیری پروتکل، این شرکت استاندارد درNVIDIA Mellanox MMAIB00-B150Dبه عنوان تنها گیرنده نوری 25G برای تمام پیوندهای فیبر چند حالت در کلستر تحقیقات هوش مصنوعی.فرستنده نوری MMAIB00-B150Dبر روی فیبر چند حالت دوگانه استاندارد با استفاده از تکنولوژی VCSEL 850nm کار می کند و از پروتکل های 25GBASE-SR Ethernet و 25G InfiniBand HDR بدون پیکربندی مجدد نرم افزار پشتیبانی می کند.محدوده 100 متری ماژول در فیبر OM4 و محدوده 70 متری در فیبر OM3 پوشش گسترده ای را برای تمام پیوندهای داخل سالن فراهم می کند، در حالی که قابلیت پروتکل دوگانه امکان موجودی یکپارچه ترانسسیور را در سراسر بافت ذخیره سازی اترنت و بافت محاسباتی InfiniBand شرکت فراهم می کند.

این کار در چهار منطقه مختلف انجام شد که هر کدام دارای نیازهای خاص کابل و اتصال بودند:

• منطقه A (در داخل مسیر، 2-5 متر):سیم های پچ LC دوپلیکس مستقیم از پورت های سوئیچ SFP28 به NIC های سرور. حاشیه پیوند بیش از 6 دی بیال است که عملکرد قوی را حتی با تخریب متوسط کانکتور تضمین می کند.
• منطقه B (سقف های مجاور، 8×25 متر):کابل گذاری OM4 ساختار یافته از طریق سینی های فیبر بالا با پانل های پچ میانگین. تعداد کل کانکتورها: 2 جفت جفت شده در هر پیوند. حاشیه پیوند: 4.5 ∼ 5.0 دی بی،به خوبی در بودجه نوری ماژول به عنوان مستند درورق اطلاعات MMAIB00-B150D.
• منطقه C (در راستای راهرو / بین ردیف ها، 30×70 متر):تا حداقل ۳٫۰ دسیبل را حفظ کنیم،این تیم قبل از نصب تمام کانکتورها را تمیز کرده و از دست دادن ورودی را با استفاده از یک اندازه گیری قدرت نوری در طول راه اندازی بررسی کرده است..
• منطقه D (ارتباطات بین سالن ها، 80×90 متر):برای اتصال بین سه سالن مجاور مرکز داده استفاده می شود. حاشیه اتصال در 90 متر در OM4 حدود 3.0 دبیل بود، نیاز به تمیز کردن دقیق کانکتور، رعایت شعاع خم،و بررسي ميزان قدرت در طول راه اندازی.

چونNVIDIA Mellanox MMAIB00-B150Dهستسازگاری با MMAIB00-B150Dبا سوئیچ های NVIDIA Spectrum Ethernet و سوئیچ های NVIDIA Quantum InfiniBand و همچنین آداپتورهای سری ConnectX و DPU های BlueField،این تیم قادر به استفاده از همان SKU گیرنده در سراسر بافت بدون هیچ پیکربندی یا صلاحیت پروتکل خاص بود.. اينMMAIB00-B150D شبکه سازی مرکز داده های نوری Mellanoxاین راه حل نیاز به موجودی های جداگانه ای از فرستنده های Ethernet و InfiniBand را از بین برد و به طور قابل توجهی پیچیدگی تدارکات و خطر سوء تدارکات را کاهش داد.

نتایج و مزایای: سود قابل اندازه گیری در هزینه، سادگی و انعطاف پذیری پروتکل

تجزیه و تحلیل پس از راه اندازی در 1800 پیوند نوری چندین مزیت قابل اندازه گیری را نشان داد.راه حل گیرنده نوری MMAIB00-B150Dاین سازمان نیاز به SKU های جداگانه ای برای فرستنده های Ethernet و InfiniBand را از بین برد، موجودی فرستنده ها را به میزان 50٪ کاهش داد و فرآیندهای سفارش را ساده کرد.قیمت MMAIB00-B150D، زمانی که در مقایسه با هزینه های ترکیبی از ماژول های جداگانه ای که فقط برای اترنت و InfiniBand استفاده می کنند، ارزیابی می شود.در هر پیوند 30 درصد هزینه صرفه جویی را به دست آورد زیرا قابلیت پروتکل دوگانه نیاز به دو موجودی جداگانه با هزینه های عمومی مرتبط را از بین می برد.

دوم، نرخ شکست عملیاتی در طول نه ماه اول به طور استثنایی پایین بود: تنها چهار جایگزین گیرنده از 1800 واحد مورد نیاز بود ٪ نرخ شکست 0.۲۲% ٬ که به طور قابل توجهی پایین تر از میانگین صنعت است.5 ٪ 0.8٪ برای گیرنده های 25G SFP28 در محیط های پروتکل مخلوط. این قابلیت اطمینان به علت تراز بندی نوری بهینه شده کارخانه و کنترل کیفیت دقیق MMAIB00-B150D است ،و همچنین رعایت تیم به روش های تمیز کردن مشخص شده درمشخصات MMAIB00-B150D.

سوم، بهره وری انرژیNVIDIA Mellanox MMAIB00-B150Dدر کل ناوگان مستقر شده، 1800 فرستنده و گیرنده در مجموع حدود 2.6 کیلو وات مصرف کردند.در مقایسه با تخمین زده شده 3.6 kW اگر ماژول های جداگانه ای از اترن و InfiniBand (هر کدام با پروفایل های قدرت کمی متفاوت) نگهداری می شدند.این کاهش ۲۸٪ قدرت به طور مستقیم میزان بهره وری از انرژی (PUE) را با تخمین.02 امتیاز

از منظر عملیاتی، قابلیت پروتکل دوگانه مزایای قابل توجهی را در حوادث تعمیر و نگهداری ارائه می دهد.تیم می تواند به سادگی فرستنده های موجود MMAIB00-B150D را از سوئیچ قدیمی به جدید منتقل کند بدون نگرانی در مورد سازگاری پروتکلبه طور مشابه، هنگامی که پارچه InfiniBand گسترش یافت، همان SKU گیرنده استفاده شد، نیاز به پیش بینی تقاضا برای گیرنده های خاص پروتکل به صورت جداگانه را از بین برد.رابط نظارت تشخیصی دیجیتال (DDM) ماژول، در زمان واقعی، بینایی از وضعیت نوری در هر دو پارچه را فراهم می کند، که به تیم عملیات امکان می دهد قبل از اینکه بار کار تولید را تحت تاثیر قرار دهد، تخریب پیوند را شناسایی و برطرف کند.

خلاصه و چشم انداز: یک طرح برای معماری نوری 25G متنوع

تجربه کار باNVIDIA Mellanox MMAIB00-B150Dاز طریق مناطق فاصله چندگانه و هر دو پارچه های Ethernet و InfiniBand به وضوح نشان می دهد که یک واحد،یک گیرنده 25G SFP28 به خوبی مشخص شده می تواند به طور موثر با نیازهای انعطاف پذیری پروتکل و انعطاف پذیری فاصله پهنای باند مراکز داده هوش مصنوعی مدرن مقابله کند.با استفاده از 100 متريMMAIB00-B150Dاز طریق فیبر OM4 و قابلیت پروتکل دوگانه آن، معماران می توانند از هزینه و پیچیدگی SKU های متعدد نوری در حالی که حفظ یکپارچگی سیگنال و سادگی عملیاتی در سراسر درون ریک جلوگیری کنند،بین راک، خطوط مرزی و بین سالن ها.

به جلو نگاه کنید، به عنوان 25G اترنت و 25G InfiniBand همچنان به عنوان پایه لایه دسترسی برای آموزش هوش مصنوعی، HPC و محیط های ذخیره سازی سازمانی، تقاضا برای همه کاره،فرستنده هاي اپتيکي دو پروتکل فقط رشد خواهند کرد. MMAIB00-B150D براي اين مسير موقعيت خوبي دارهزیرا سازگاری گسترده آن با سیستم عامل های NVIDIA Mellanox و فاکتور فرم استاندارد SFP28 یکپارچه سازی یکپارچه را با زیرساخت های فعلی و ارتقاءات آینده تضمین می کندبرای سازمان هایی که در حال برنامه ریزی برای مهاجرت مشابه از 10G به 25G هستند یا پارچه های هوش مصنوعی پروتکل مخلوط را مستقر می کنند، رویکرد طبقه بندی شده که در این مستقر شدن تأیید شده است یک نقشه راه عملی را ارائه می دهد:استاندارد سازی بر روی MMAIB00-B150D برای تمام لینک های فیبر چند حالت 25G تا 100 متر، راه حل های طولانی مدت را برای پیوندهای بیش از 100 متر ذخیره کنید،و حفظ یک چارچوب نظارت یکپارچه که از داده های DDM برای مدیریت فعال سلامت نوری در سراسر پارچه های Ethernet و InfiniBand استفاده می کند.

برای نمونه های بودجه لینک دقیق، چک لیست های نصب و پروتکل های تمیز کردن، مراجعه کنید بهورق اطلاعات MMAIB00-B150Dو یادداشت های کاربردی نودیا ملانوکس.