Mellanox (NVIDIA Mellanox) MFS1S00-H005V AOC کاربردهای کاربردی کابل نوری فعال

راهنمای عملی استفاده از کابل نوری فعال Mellanox (NVIDIA Mellanox) MFS1S00-H005V | اتصال بین رک‌های کوتاه برد با سرعت بالا و ساده‌سازی کابل‌کشی

پیش‌زمینه و چالش‌ها: گلوگاه کابل‌کشی در اتصال بین رک‌ها

یک مرکز ملی ابررایانه پس از ارتقاء شبکه InfiniBand HDR 200G خود با یک گلوگاه غیرمنتظره روبرو شد - اتصال فیزیکی بین رک‌ها. این مرکز شامل 48 رک محاسباتی است که هر کدام 16 سرور GPU را در خود جای داده‌اند و هر سرور به دو لینک بالادستی 200G به سوئیچ Leaf بالای رک (ToR) نیاز دارد. در رویکرد سنتی، اتصال بین رک‌ها به سیم‌های پچ فیبر نوری به همراه ماژول‌های نوری مجزا متکی بود: فرستنده‌های QSFP56 SR4 در بالای هر رک مستقر شده و از طریق جامپرهای فیبر MPO به سوئیچ‌های Leaf در رک‌های مجاور متصل می‌شدند. این راه حل در طول استقرار اولیه چندین مشکل را آشکار کرد. اول، تکثیر کابل شدید بود - بیش از 300 اتصال فیبر نوری بین 48 رک مورد نیاز بود و سینی‌های کابل در عرض دو هفته به ظرفیت کامل رسیدند و هرگونه افزودن جدید را وابسته به حذف کابل‌های موجود می‌کرد. دوم، نرخ خرابی ماژول‌های نوری به طور قابل توجهی بالا بود، به طوری که تیم عملیات به طور متوسط ​​3 تا 4 تعویض ماژول در هفته را در سه ماه اول پس از استقرار ثبت کرد، که اغلب نیاز به ارزیابی مجدد لینک و ایجاد تاخیرهای متوالی در زمان‌بندی شغل داشت. سوم، هر جامپر MPO نیاز به مدیریت دقیق قطبیت و تمیز کردن داشت و در طول راه‌اندازی اولیه 15 تا 20 دقیقه به ازای هر لینک اضافه می‌کرد. سرپرست عملیات چالش را خلاصه کرد: "ما به راه حلی نیاز داشتیم که بتواند همان عملکرد 200G را ارائه دهد اما با اجزای کمتر، مدیریت ساده‌تر و نرخ خرابی میدانی به شدت کاهش یافته."

راه حل و استقرار: معرفی کابل نوری فعال MFS1S00-H005V

برای رفع این نقاط درد، مرکز چندین جایگزین را ارزیابی کرد و در نهایت MFS1S00-H005V از Mellanox (NVIDIA Mellanox) را انتخاب کرد - یک کابل AOC با سرعت 200G QSFP56 MFS1S00-H005V که فرستنده‌های نوری و فیبر را در یک مجموعه از پیش خاتمه یافته ادغام می‌کند. به عنوان یک کابل نوری فعال InfiniBand HDR با سرعت 200 گیگابیت بر ثانیه MFS1S00-H005V، نیاز به ماژول‌ها و جامپرهای جداگانه را از بین می‌برد و یک اتصال پلاگ اند پلی را ارائه می‌دهد که تا 50 متر را پوشش می‌دهد - ایده‌آل برای فواصل 5 تا 15 متری معمول بین رک‌ها در این مرکز.

استراتژی استقرار در سه آخر هفته به صورت مرحله‌ای انجام شد. در فاز 1، تیم تمام اتصالات Leaf-to-Leaf را در لایه هسته ستون فقرات با NVIDIA Mellanox MFS1S00-H005V جایگزین کرد و تأیید کرد که لیست سازگار با MFS1S00-H005V سوئیچ‌های Quantum موجود آنها را پوشش می‌دهد. فاز 2 استقرار AOC را به لینک‌های بالادستی بالای رک گسترش داد و هر گره محاسباتی را به سوئیچ‌های Leaf متصل کرد. فاز 3 بر روی شبکه GPU به ذخیره‌سازی متمرکز شد، جایی که راه حل کابل AOC با سرعت 200G QSFP56 MFS1S00-H005V تأخیر قطعی را برای ترافیک سیستم فایل موازی فراهم کرد. تیم به دیتاشیت MFS1S00-H005V برای تأیید بودجه لینک و اطمینان از کافی بودن برد 50 متری برای طولانی‌ترین مسیر خود (اندازه‌گیری شده در 37 متر شامل حلقه‌های سرویس) تکیه کرد.

یک مزیت کلیدی رویکرد AOC حذف مرحله تمیز کردن جداگانه فرستنده بود - هر MFS1S00-H005V تست شده در کارخانه و مهر و موم شده تحویل داده شد و فقط نیاز به بازرسی چشمی انتهای کانکتور قبل از نصب داشت. تیم از چکمه‌های کابل با کد رنگی برای تمایز اتصالات Leaf-to-Spine از اتصالات Leaf-to-Compute استفاده کرد که مستندات را بیشتر ساده می‌کرد.

نتایج و مزایا: بهبودهای ملموس در قابلیت اطمینان و بهره‌وری عملیاتی

معیارهای پس از استقرار نشان‌دهنده افزایش قابل توجهی در ابعاد مختلف بود. مشخصات MFS1S00-H005V - از جمله مصرف برق معمول کمتر از 1.5 وات در هر سر و نرخ خطای بیتی (BER) کمتر از 1e-15 - به طور کامل در محیط تولید تحقق یافت و مرکز در دو ماه پس از قطع، صفر خرابی شغل مرتبط با لینک را گزارش کرد. جدول زیر بهبودهای کلیدی را خلاصه می‌کند:

تیم عملیات همچنین متوجه شد که روکش انعطاف‌پذیر کابل MFS1S00-H005V و شعاع خمش حداقل 30 میلی‌متری امکان مسیریابی بسیار مرتب‌تر در داخل سینی‌های کابل را فراهم می‌کند و نیاز به بست‌های کابل را کاهش داده و جریان هوا را بهبود می‌بخشد. هنگام ارزیابی هزینه کل، مرکز دریافت که در حالی که قیمت MFS1S00-H005V در هر واحد کمی بالاتر از ترکیب ماژول به علاوه جامپر جداگانه در هر لینک بود، حذف موجودی قطعات یدکی، کاهش نیروی کار عیب‌یابی و نرخ خرابی نزدیک به صفر، هزینه کل مالکیت (TCO) را مطلوب‌تر کرد. MFS1S00-H005V برای فروش از طریق کانال NVIDIA نیز جایگزینی سریع واحدهای معیوب را تضمین کرد (اگرچه هیچ کدام در سه ماه اول رخ نداد).

خلاصه و چشم‌انداز: طرحی برای شبکه‌های HDR ساده شده

پذیرش موفقیت‌آمیز MFS1S00-H005V توسط مرکز ابررایانه نشان می‌دهد که چگونه کابل‌های نوری فعال می‌توانند اتصال بین رک‌ها را در محیط‌های HDR 200G به طرز چشمگیری ساده کنند. با ادغام فرستنده‌ها و فیبر در یک مجموعه واحد و از پیش واجد شرایط، رویکرد AOC تعداد اجزا را کاهش می‌دهد، خرابی‌های میدانی مرتبط با ماژول را از بین می‌برد و زمان استقرار را بیش از 80% کاهش می‌دهد. برای معماران شبکه و مدیران IT که با چالش‌های مشابه تراکم کابل‌کشی روبرو هستند، NVIDIA Mellanox MFS1S00-H005V مسیری اثبات شده به سوی قابلیت اطمینان بالاتر و سربار عملیاتی کمتر ارائه می‌دهد. جزئیات فنی کامل، از جمله دیتاشیت MFS1S00-H005V و ماتریس‌های سازگاری تأیید شده، از طریق کانال‌های رسمی در دسترس هستند. این مرکز اکنون قصد دارد استراتژی AOC را به بال جدید توسعه GPU خود گسترش دهد و انتظار دارد همین مزایا را در مقیاس حتی بزرگتر تکرار کند.