NVIDIA Mellanox MMA4Z00-NS مرکز داده گیرنده نوری در عمل

گیرنده نوری مرکز داده NVIDIA Mellanox MMA4Z00-NS در عمل | متعادل کردن پهنای باند و فاصله در پیوندهای درون رک و بین اتاقی

پیشینه و چالش: معضل فاصله تحت سیل پهنای باند

یک ارائه دهنده خدمات اینترنتی پیشرو در حین ارتقاء خوشه آموزشی هوش مصنوعی خود در منطقه در دسترس شمال چین با یک چالش زیرساخت مرکز داده کلاسیک مواجه شد. گره‌های محاسباتی - متشکل از پردازنده‌های گرافیکی NVIDIA H200 - در رک‌های مجاور در یک سالن و در دو اتاق ماشین فیزیکی در طبقات مختلف توزیع شدند. نیاز واضح بود: ارائه پهنای باند با نرخ خط کامل 800G در حالی که فواصل پیوند تا 80 متر را پوشش می دهد. فرستنده گیرنده های سنتی 800G SR8 معمولاً حداکثر تا 50 متر را از فیبر چند حالته OM4 دارند، در حالی که راه حل های 800G DR8/FR8، اگرچه دسترسی طولانی تری دارند، اما دارای پروفایل های هزینه و مصرف انرژی بسیار بالاتری هستند که برای استقرار درون خوشه ای با چگالی بالا مناسب نیستند.

برای ترکیب این چالش، معماری خوشه نیاز به پشتیبانی همزمان از InfiniBand (برای ارتباط GPU به GPU) و اترنت (برای بافت‌های ذخیره‌سازی و مدیریت) داشت که امکان استفاده از اپتیک‌های پروتکل خاص را از بین می‌برد. تیم مهندسی به یک پلت فرم فرستنده گیرنده واحد و یکپارچه نیاز داشت که بتواند شکاف بین عملکرد و دسترسی را بدون به خطر انداختن تراکم پورت یا سادگی عملیاتی پر کند. اینجاست کهNVIDIA Mellanox MMA4Z00-NSوارد خط لوله ارزیابی شد.

راه حل و استقرار: MMA4Z00-NS به عنوان یک استراتژی یکپارچه اپتیک

پس از بررسیبرگه داده MMA4Z00-NSو انجام تست‌های صلاحیت دقیق، تیم معماری شبکه ارائه‌دهنده را انتخاب کردNVIDIA Mellanox MMA4Z00-NSبه عنوان فرستنده و گیرنده نوری استاندارد برای پیوندهای درون رک و کراس اتاق. توانایی ماژول برای کار به عنوان یکMMA4Z00-NS 2x400G InfiniBand/Ethernetدستگاه به ویژه جذاب بود، و یک SKU را قادر می ساخت تا دامنه های پروتکل دوگانه را ارائه دهد.

استقرار در دو مرحله مجزا ساختار یافته بود:

• فاز 1 - داخل رک (≤15 متر):در هر قفسه،MMA4Z00-NSبا کابل های پچ OM4 با کیفیت بالا جفت شد تا اتصال 800G بین سوئیچ های برگ و گره های محاسباتی GPU را فراهم کند. معماری 8×100G PAM4 یکپارچگی سیگنال با حاشیه بسیار بالاتر از مشخصات IEEE/IBTA را ارائه می‌کند، همانطور که توسط تست نرخ بیت خطای (BER) در محل تأیید شد.
• فاز 2 - بین اتاقی (تا 80 متر):برای پیوندهای متقابل طولانی تر، تیم مهندسی از تساوی بهبود یافته ماژول و بودجه های توان نوری ارسال/دریافت استفاده کردند. عمل به عنوانفرستنده گیرنده MMA4Z00-NS 800G OSFP SR8، این ماژول با بهینه سازی پارامترهای تنظیم DSP بر اساس جزئیات، انتقال بدون خطا بیش از 80 متر از فیبر OM4 را حفظ کرد - فراتر از مشخصات معمولی 50 متریمشخصات MMA4Z00-NS.

ارائه‌دهنده یک رویکرد کابل‌کشی ترکیبی استفاده کرد: کابل‌های ترانک MPO-12 برای اجراهای افقی ساختاریافته در سالن داده، و با پانل‌های کاست MPO برای اتصالات اتاق متقابل خاتمه می‌یابند. این طراحی تلفات درج را به حداقل رساند و تضمین کرد کهسازگار با MMA4Z00-NSاکوسیستم - که شامل طیف گسترده ای از کابل های شکست MPO و DAC است - می تواند به طور کامل بدون نیاز به کابل کشی سفارشی مورد استفاده قرار گیرد.

نتایج و مزایای عملیاتی

پس از استقرار کاملNVIDIA Mellanox MMA4Z00-NSدر 144 پیوند، ارائه دهنده چندین پیشرفت قابل اندازه گیری را گزارش کرد:

• موجودی یکپارچه:یک فرستنده گیرنده SKU جایگزین سه جایگزینی شد که قبلاً در نظر گرفته شده بود (انواع 800G SR8، 400G×2 و FR4)، موجودی قطعات یدکی را تا 67 درصد کاهش داد و پیچیدگی خرید را کاهش داد. این تیم اکنون از این رویکرد به عنوان راه حل خود یاد می کندراه حل فرستنده گیرنده MMA4Z00-NS 800G OSFP SR8برای خوشه های با فواصل مختلط
• دسترسی گسترده بدون هزینه حق بیمه:با استفاده از فیبر چند حالته استاندارد و قابلیت های تنظیم DSP بهینه شده که در آن شرح داده شده استبرگه داده MMA4Z00-NS، این تیم با کسری از هزینه جایگزین های تک حالته به 80 متر دست یافت. این به طور مستقیم به معادله معاوضه "پهنای باند در مقابل فاصله" پروژه پرداخت.
• انعطاف پذیری پروتکل:توانایی جابجایی بین حالت‌های InfiniBand و Ethernet از طریق پیکربندی میان‌افزار به این معنی است که زیرساخت فیزیکی یکسان می‌تواند ترافیک محاسباتی GPU و ترافیک مدیریت ذخیره‌سازی را پشتیبانی کند - ویژگی که هیچ فرستنده گیرنده دیگری در ارزیابی ارائه نشده است.
• راندمان برق و حرارت:در کمتر از 12 وات در هر پورت،MMA4Z00-NSدر مقایسه با طراحی جایگزین مبتنی بر DR8، به صرفه جویی در کل انرژی خوشه ای تقریباً 2.8 کیلووات کمک کرد و به طور قابل توجهی تقاضای خنک کننده در رک های با چگالی بالا را کاهش داد.

اندازه‌گیری‌های تأخیر شبکه، سهم ثابت فرستنده گیرنده زیر 100ns را نشان داد، که به خوبی در محدوده تحمل مورد نیاز برای بارهای آموزشی توزیع شده هوش مصنوعی است. ارائه دهنده همچنین خاطرنشان کرد کهMMA4Z00-NS برای فروشدر دسترس بودن از طریق کانال توزیع موجود، جدول زمانی تدارکات را ساده کرد، و زمان تحویل را از هشت هفته به تنها سه هفته کاهش داد.

خلاصه و چشم انداز

استقرارMMA4Z00-NSدر این خوشه هوش مصنوعی در مقیاس بزرگ نشان می دهد که معماران مراکز داده دیگر نیازی به انتخاب بین پهنای باند بالا و دسترسی عملی در طراحی اتصالات ندارند. راNVIDIA Mellanox MMA4Z00-NSبا موفقیت شکاف فاصله درون رک و اتاق متقاطع را پر می کند و ثابت می کند که یک فرستنده گیرنده 800G SR8 که به خوبی تنظیم شده است می تواند در صورت جفت شدن با کابل کشی مناسب و بهینه سازی DSP، عملکرد بدون خطا را فراتر از محدوده مشخصات معمول خود ارائه دهد.

با نگاهی به آینده، ارائه دهنده در حال ارزیابی استقیمت MMA4Z00-NSدر هر پورت به عنوان بخشی از طرح توسعه گسترده‌تر آنها برای مناطق در دسترس بیشتر، با بازخورد اولیه نشان می‌دهد که هزینه کل مالکیت - با در نظر گرفتن ساده‌سازی موجودی، صرفه‌جویی در مصرف انرژی، و انعطاف‌پذیری استقرار - این ماژول را به یک کاندیدای قوی برای استانداردسازی در ناوگان جهانی مرکز داده تبدیل می‌کند. همانطور که صنعت به سمت 1.6T و فراتر از آن پیش می‌رود، درس‌های عملی آموخته‌شده از این استقرار - متعادل کردن پهنای باند، فاصله و هزینه - بسیار مرتبط باقی خواهد ماند وMMA4Z00-NSبه عنوان یک مدل مرجع برای چگونگی طراحی و استقرار اپتیک های نسل بعدی می ایستد.