NVIDIA Mellanox MMA4Z00-NS راه حل فنی گیرنده نوری مرکز داده

NVIDIA Mellanox MMA4Z00-NS Data Center Optical Transceiver راه حل فنی. تعادل پهنای باند و فاصله در میان لینک های بین رک و مرکز.

1. پیش زمینه پروژه و تجزیه و تحلیل نیازهای

به عنوان هوش مصنوعی (AI) و محاسبات با عملکرد بالا (HPC) بار کار همچنان در حال افزایش است،زیرساخت های زیربنایی شبکه باید برای پشتیبانی از سرعت دسترسی 800G Ethernet و 400G InfiniBand تکامل یابد.معماران مرکز داده اکنون با یک چالش طراحی لایه فیزیکی بحرانی روبرو هستند: how to deliver 800G bandwidth across varying distances — from intra-rack connections (2–5 meters) to cross-aisle links (30–60 meters) and even inter-row or inter-building connections (up to 100 meters) — without proliferating transceiver typesرویکرد سنتی انتخاب ماژول های نوری متمایز برای هر سطح فاصله (به عنوان مثال SR8 برای محدوده کوتاه) ،DR8/FR8 برای دسترسی گسترده) پیچیدگی عملیاتی را معرفی می کند و خطر سوء تهیه را افزایش می دهد، جایی که یک ماژول کوتاه مدت به طور ناخواسته در یک پیوند طولانی تر مستقر می شود و باعث می شود نرخ خطای بیت (BER) غیر قابل پیش بینی شود.

این چالش به دلیل سه روند همزمان در صنعت افزایش می یابد.پذیرش گسترده OSFP (Octal Small Form Factor Pluggable) در میان سوئیچ های Ethernet و InfiniBand یک رابط مشترک ایجاد کرده است، اما همه گیرنده های OSFP عملکرد ثابت را در فیبر چند حالت با سرعت 800G PAM4 ارائه نمی دهند. دوم، دستورات پایداری کاهش مصرف برق در هر پورت را ایجاد می کنند،زیرا سوئیچ های چگالی بالا با 32 یا 64 پورت OSFP می توانند قدرت قابل توجهی را مصرف کنند اگر ترانسسیورها بهینه نشده باشندسوم، تیم های عملیاتی نیاز به قابلیت های تشخیصی یکنواخت در تمام لینک های نوری برای ساده سازی نظارت و کاهش متوسط زمان ترمیم (MTTR) دارند.یک راه حل فنی ساختاری مورد نیاز است، یک گیرنده SR8 800G با ویژگی های خوب در حالی که دستورالعمل های روشنی برای برنامه ریزی فاصله، اعتباربخشی بودجه لینک و مدیریت سلامت پیشگیرانه در سراسر پارچه های Ethernet و InfiniBand را ارائه می دهد.

2طراحی معماری شبکه / سیستم

معماری پیشنهادی یک توپولوژی دو لایه ای با پورت های OSFP 800G را به عنوان رابط دسترسی اصلی برای گره های محاسباتی GPU و سیستم های ذخیره سازی اتخاذ می کند.به طور معمول مجهز به 32 یا 64 پورت OSFP، به سوئیچ های ستون فقرات بالا از طریق 800G یا 1.6T متصل می شود، در حالی که پورت های پایین به گره های محاسباتی و کنترل کننده های ذخیره سازی توزیع شده در چندین قفسه و راهرو اختصاص داده می شود.برای به حداکثر رساندن استفاده از پورت و کاهش اثر سوئیچ، معماری از پیکربندی های شکستن 2 × 400G استفاده می کند: یک پورت OSFP 800G به دو اتصال مستقل 400G تقسیم می شود، که هر کدام در یک سرور GPU جداگانه یا نقطه آخر ذخیره سازی به پایان می رسد.این طراحی به طور موثر دو برابر تراکم بندر موثر لایه برگ، که به ویژه در محیط های غنی از GPU که فضای قفسه ای در آن فوق العاده است، ارزشمند است.

کابل فیزیکی بین سوئیچ ها و نقاط پایانی با استفاده ازNVIDIA Mellanox MMA4Z00-NSبه عنوان گیرنده نوری استاندارد 800G برای تمام پیوندهای فیبر چند حالت تا 65 متر.فرستنده MMA4Z00-NS 800G OSFP SR8بر روی فیبر چند حالت OM4 (50 متر) و OM5 (70 متر) با استفاده از 8 خط موازی با سرعت 100G PAM4 در هر خط کار می کند.مطابق با مشخصات اترنت 800GBASE-SR8 و 400G-SR4 و همچنین نرخ داده های HDR و NDR InfiniBandقابلیت پروتکل دوگانه ماژول، پشتیبانی از هر دو اترنت و InfiniBand بدون پیکربندی مجدد نرم افزار، یک استراتژی نوری یکپارچه را در سراسر پارچه های ناهمگن امکان پذیر می کند.کاهش تعداد SKU های گیرنده مورد نیاز در محیط های پروتکل مخلوط.

معماری همچنین شامل یک طراحی استاندارد کارخانه فیبر با استفاده از کانکتورهای MPO-12 و فیبر چند حالت OM5 برای تمام تاسیسات جدید است.با مقررات برای استفاده مجدد از زیرساخت های موجود OM4 برای پیوندهای کوتاه تر در صورتی که حاشیه پیوندها اجازه دهداین طراحی تضمین می کند که هر پورت OSFP را می توان به هر نقطه آخر در محدوده 65 متر متصل کرد و حداکثر انعطاف پذیری را برای تعادل مجدد ظرفیت و چرخه های به روزرسانی سخت افزار فراهم می کند.راهنمای طراحی اشاره بهمشخصات MMA4Z00-NSبرای شعاع خم (حداقل 30 میلی متر پویا) ، تمیز کردن کانکتور (بر اساس IEC 61300-3-35) و بودجه های از دست دادن ورودی (حداقل 3.0 dB در کل برای کل پیوند، از جمله کانکتورها و پیوند).

3نقش و ویژگی های کلیدی NVIDIA Mellanox MMA4Z00-NS در راه حل

در این معماری،فرستنده MMA4Z00-NS 800G OSFP SR8به عنوان رابط نوری استاندارد که دامنه الکتریکی سوئیچ / آداپتور را با زیرساخت فیبر نوری متصل می کند.ویژگی های فنی کلیدی آن برای موفقیت استراتژی واحد واحد بسیار مهم است:

• عملیات پروتکل دوگانه:از هر دو 800G Ethernet (800GBASE-SR8) و 400G InfiniBand (NDR) با تشخیص خودکار پشتیبانی می کند و امکان موجودی یکپارچه ترانسسیور را در پارچه های ناهمگن فراهم می کند.
• امکان نفوذ اصلي 2×400G:درMMA4Z00-NS 2x400G InfiniBand/Ethernetاین حالت به یک پورت OSFP اجازه می دهد تا دو نقطه پایانی مستقل 400G را با استفاده از یک مجموعه کابل MPO-12 به 2 × MPO-8 تغذیه کند، و نیاز به ماژول های فن-آوت خارجی را از بین ببرد.
• 850nm VCSEL array با 8 خط:قدرت خروجی نوری قابل اعتماد (معمولاً -2.0 تا +4.0 dBm در هر خط) را با سر و صدای کم شدت نسبی (RIN) فراهم می کند و از نمودارهای چشم تمیز در فیبر چند حالت در 100G PAM4 پشتیبانی می کند.
• آرایه گیرنده PIN با حساسیت بالا:حساسیت معمولی -5.5 دبیلم در هر خط، ارائه حاشیه اتصال حداقل 3.0 دبیل در OM5 در 70 متر، حسابداری از دست دادن کانکتور و پیری.
• بهره وری انرژی:مصرف معمولی کمتر از 10.5W در حالت 800G و حدود 8.2W در حالت شکستن 2 × 400G، که پیکربندی های بندر متراکم را بدون تجاوز از بودجه های حرارتی امکان پذیر می کند.
• نظارت دیجیتال تشخیصی یکپارچه (DDM):گزارش در زمان واقعی از قدرت Tx، قدرت Rx، درجه حرارت، ولتاژ و جریان انحراف برای هر خط از طریق رابط مدیریت استاندارد I2C،امکان شناسایی خطای پیشگیرانه و رفع مشکلات در سطح خط.
• طیف گسترده ای از دمای کار:درجه حرارت اتاق از 0°C تا 70°C، که عملکرد قابل اطمینان را در محیط های رف با تراکم بالا و گرمای محیط بالا تضمین می کند.

این ویژگی ها به طور جامع درورق اطلاعات MMA4Z00-NS، که شامل ماسک های نمودار چشم، منحنی های تحمل جیتر و نقشه های مکانیکی برای ادغام در ابزارهای طرح کابینت است. The datasheet also provides detailed link budget tables that are referenced during the architectural planning phase to validate that each link's total insertion loss remains within the module's optical budget.

4توصیه های استقرار و مقیاس بندی (با توصیف توپولوژی معمولی)

برای استقرار اولیه، ما یک رویکرد منطقه بندی ساختاری را توصیه می کنیم که سطوح فاصله را به انواع کابل استاندارد می کند و حاشیه اتصال سازگار را در تمام اتصالات تضمین می کند.توپولوژی معمولی زیر برای یک سوئیچ 32 پورت استفاده می شود که 64 گره GPU را در هشت کابینت (8 گره در هر کابینت) ارائه می دهدبا فاصله بین کابینت ها بین 5 تا 50 متر:

• منطقه A (در داخل مسیر، 2-5 متر):سیم های پچ MPO-12 مستقیم از سوئیچ برگ (در همان کابینت) به گره های GPU. حاشیه پیوند بیش از 6 دی بی است که عملکرد قوی را حتی با تخریب متوسط کانکتور تضمین می کند.
• منطقه B (کابینتهای مجاور، 8×20 متر):کابل گذاری OM5 ساختاری از طریق سینی های فیبر بالا با پانل های پچ میانگین. تعداد کل کانکتورها: 2 جفت جفت در هر لینک. حاشیه لینک: 4.0 ∼ 4.5 دی بی، به خوبی در حداقل 3.0 دی بی ماژول.
• منطقه C (در راستای راهرو / بین ردیف ها، 25×50 متر):صندوق های OM5 از پیش با اتصال های پلاستیکی از کارخانه، زیر کف های بالا هدایت می شوند. حاشیه اتصال: 3.0 ∼ 3.5 دی سی بی، هنوز راحت است حتی در برابر 0.5 دی سی بی پیری بیش از 5 سال.
• منطقه D (بین ساختمان های محوطه دانشگاهی، 50×65 متر):فقط برای اتصال های کوتاه دانشگاه استفاده می شود که زیرساخت OM5 وجود دارد. حاشیه اتصال در 65 متر حدود 3.0 دی سی بی است، نیاز به تمیز کردن دقیق کانکتور، رعایت شعاع خم،و بررسي ميزان قدرت در طول راه اندازی.

مقیاس گذاری فراتر از یک پاد تک از همان اصول منطقه بندی پیروی می کند، با اضافه کردن سوئیچ های جمع آوری میانگین که لینک های دسترسی 800G را از چند پاد به پایان می رسانند.MMA4Z00-NS 800G OSFP SR8 راه حل گیرندهاز یک SKU واحد با قابلیت دو پروتکل استفاده می کند، گسترش نیازی به پیش بینی انواع گیرنده ها برای هر پروتکل یا فاصله ندارد.این امر لجستیک را ساده می کند و به تیم عملیات اجازه می دهد تا یک مخزن بافر کوچک از فرستنده های ذخیره (معمولاً 5٪ از واحدهای مستقر شده) را برای تعویض سریع در حوادث نگهداری حفظ کند.

برای برنامه ریزی فاصله، جدول زیر دستورالعمل هایی را برای حداکثر دسترسی بر اساس نوع فیبر و بودجه پیوند ارائه می دهد:

در صورت استفاده در مسافت های نزدیک به حداکثر دسترسی، توصیه می کنیم که اندازه گیری قدرت نوری را در طول راه اندازی با استفاده از منبع نور و اندازه گیری قدرت انجام دهید.مقایسه خسارت اندازه گیری شده با بودجه محاسبه شده ازورق اطلاعات MMA4Z00-NSاین مرحله اعتباربخشی تضمین می کند که هرگونه نقص کابل یا آلودگی قبل از قرار دادن پیوند در تولید تشخیص داده شود.

5عملیات و نگهداری: نظارت، رفع مشکل و بهینه سازی

چرخه عمر عملیاتی زیرساخت های نوری مبتنی بر MMA4Z00-NS نیاز به یک رویکرد سیستماتیک برای نظارت و مدیریت خطا دارد، با استفاده از قابلیت های DDM در سطح مسیر ماژول.ما توصیه می کنیم که یکپارچه سازی رابط مدیریت I2C در سیستم مدیریت شبکه مرکزی (NMS) با استفاده از استاندارد CMIS (تفصیلات رابط مدیریت مشترک) برای ماژول های OSFPمحدوده های کلیدی برای پیکربندی هشدار های پیشگیرانه شامل:

• کاهش قدرت Tx:هشدار اگر قدرت خروجی در هر خط با بیش از ۲٫۰ دبیل از مقدار اسمی کاهش یابد، که نشان دهنده پیری بالقوه VCSEL یا آلودگی کانکتور در سمت فرستنده است.
• حاشیه قدرت Rx:هشدار در صورتی که قدرت دریافت شده در هر خط به -5.0 dBm نزدیک شود (با حساسیت -5.5 dBm) ، که نشان دهنده از دست دادن بیش از حد پیوند، آسیب به کابل یا تراز ناقص کانکتور MPO است.
• سفرهای دمایی:هشدار اگر دمای کابین بیش از 65 درجه سانتیگراد باشد که نشان دهنده مانع جریان هوا، خرابی فن یا افزایش دمای محیط است.
• حرکت جریان تعصب:تغییرات جریان انحراف لیزر را در طول زمان نظارت کنید؛ افزایش پایدار بیش از 30٪ از نامی در هر خط می تواند نشان دهنده تخریب VCSEL باشد.

در صورت خراب شدن یا خرابی لینک باید یک پروتکل راه حل مشکلات ساختاری دنبال شود:

1. بررسی مقادیر DDM در سطح خط برای جدا کردن کدام یک از 8 خط از تخریب رنج می برند؛ مقایسه مقادیر Tx و Rx با محدوده های انتظار شده ازمشخصات MMA4Z00-NS.
2. کنتاکتورهای MPO را در هر دو طرف با استفاده از میکروسکوپ انتهای صفحه بررسی کنید؛ اگر آلودگی تشخیص داده شود مطابق با استانداردهای IEC 61300-3-35 تمیز کنید و توجه ویژه ای به هر خط آسیب دیده داشته باشید.
3. پیوند را با یک گیرنده MMA4Z00-NS خوب آزمایش کنید تا تأیید کنید که آیا خطا در ماژول یا کارخانه فیبر است.
4. اگر مشکل در یک خط خاص ادامه داشته باشد، یک آزمایش OTDR انجام دهید یا از یک تشخیص حلقه استفاده کنید تا خطا را به مسیر فیبر یا مسیر نوری داخلی گیرنده جدا کنید.

فرصت های بهینه سازی شامل بازرسی های دوره ای مدیریت کابل برای اطمینان از حداقل انطباق شعاع خم و برای تأیید اینکه تخفیف فشارهای کانکتور MPO به خطر نمی افتد.چونقیمت MMA4Z00-NSبا سایر ماژول های واجد شرایط 800G SR8 رقابتی باشد.توصیه می کنیم که یک مخزن کوچک از فرستنده های اضافی (حدود 5٪ از کل واحدهای مستقر شده) را حفظ کنید تا جایگزین شدن سریع و به حداقل رساندن MTTRبرای استقرار در مقیاس بزرگ، در نظر گرفتن پیاده سازی داشبورد های سلامت نوری خودکار که داده های DDM سطح خط را در تمام لینک ها جمع آوری می کنند، امکان نگهداری پیش بینی و برنامه ریزی ظرفیت را فراهم می کند.

6خلاصه و ارزیابی ارزش

درNVIDIA Mellanox MMA4Z00-NSراه حل فنی مبتنی بر 800G یک روش عملی و معتبر را برای تعادل پهنای باند و فاصله در شبکه های دسترسی به مرکز داده 800G فراهم می کند.فرستنده OSFP SR8 سازگار با IEEEفرستنده MMA4Z00-NS 800G OSFP SR8معماری از پیچیدگی مدیریت چندین SKU برای سطوح و پروتکل های فاصله مختلف جلوگیری می کند، موجودی قطعات جایگزین را کاهش می دهد و برنامه ریزی استقرار را ساده می کند.تکنولوژی VCSEL 850nm ماژول، در ترکیب با یک آرایه گیرنده PIN با حساسیت بالا، عملکرد قابل اعتماد را در فیبر چند حالت OM4 و OM5 تا 70 متر ارائه می دهد،پوشش اکثریت قریب به اتفاق از پیوندهای درون مرکز داده در حالی که پشتیبانی از هر دو پارچه Ethernet و InfiniBand.

معیارهای کلیدی ارزش از پیاده سازی قابل مقایسه عبارتند از:

• کاهش موجودی:یک SKU فرستنده واحد جایگزین چهار شماره قطعات خاص فاصله / پروتکل می شود (به عنوان مثال SR8 ، SR4 ، DR8 ، FR8) ، کاهش هزینه های عمومی لجستیک 60 ٪ 70٪.
• بهره وری انرژی:در < 10.5W در حالت 800G و < 8.2W در حالت شکستن 2 × 400G، MMA4Z00-NS به کاهش هزینه های خنک کننده و بهبود PUE کمک می کند.
• قابلیت اطمینان عملیاتی:نظارت پیشگیرانه DDM فعال در سطح مسیر، MTTR را تا 60٪ برای نقص های لایه نوری کاهش می دهد.
• بهینه سازی هزینه:درقیمت MMA4Z00-NSبا سایر ماژول های واجد شرایط 800G SR8 رقابتی است، در حالی که قابلیت پروتکل دوگانه و پشتیبانی بومی از شکستن هزینه های واجد شرایط اضافی و سخت افزار خارجی را از بین می برد.

برای معماران شبکه و مدیران مهندسی، MMA4Z00-NS یک رابط نوری "set-and-forget" را ارائه می دهد که عملکرد سازگار را در میان تغییرات دمایی و فشارهای مکانیکی حفظ می کند.این راه حل به ویژه برای مراکز داده هوش مصنوعی سبز توصیه می شود که شبکه های دسترسی استاندارد 800G را برنامه ریزی می کنند.، و همچنین محیط های brownfield که از 400G به 800G ارتقا می یابند در حالی که از زیرساخت های فیبر چند حالت موجود استفاده می کنند.و محیط های ذخیره سازی شرکت، معماری نوری مبتنی بر MMA4Z00-NS یک پایه قوی و مقیاس پذیر را فراهم می کند که هم با محدودیت های عملیاتی فعلی و هم با نقشه های راه ظرفیت بلند مدت مطابقت دارد.

برای راهنمایی های دقیق ادغام، داده های شبیه سازی حرارتی و بسته های گواهینامه انطباق، لطفاً به مستندات رسمی محصول مراجعه کنید.