NVIDIA Mellanox MMA4Z00-NS راه حل فنی گیرنده نوری مرکز داده

راه حل فنی فرستنده نوری مرکز داده NVIDIA Mellanox MMA4Z00-NS: تعادل پهنای باند و فاصله در لینک‌های درون رک و بین اتاق

1. پیش‌زمینه پروژه و تحلیل الزامات

با مقیاس‌بندی خوشه‌های آموزش هوش مصنوعی از هزاران به ده‌ها هزار پردازنده گرافیکی، شبکه‌های مرکز داده با چالش‌های بی‌سابقه‌ای در تراکم پهنای باند و فاصله فیزیکی به طور همزمان روبرو هستند. به عنوان مثال، در یک مرکز محاسباتی هوشمند (AI) معمولی، گره‌های محاسباتی GPU آن در چندین رک در همان طبقه و همچنین در دو اتاق ماشین مرکزی در طبقات مجاور توزیع شده‌اند. الزامات شبکه‌سازی سختگیرانه هستند: ارائه پهنای باند کامل خطی 800 گیگابیت بر ثانیه بین تمام گره‌های محاسباتی، پشتیبانی از InfiniBand (برای ارتباط مستقیم GPU) و اترنت (برای ذخیره‌سازی و شبکه‌های مدیریتی)، و پوشش فواصل لینک از 5 متر (درون رک) تا 80 متر (بین اتاق) بدون ایجاد گلوگاه در ترجمه پروتکل.

رویکردهای طراحی سنتی معمولاً به ترکیبی از انواع مختلف فرستنده متکی هستند: 800G SR8 برای لینک‌های درون رک با برد کوتاه (تا 50 متر روی OM4) و راه‌حل‌های تک حالته 800G DR8/FR8 برای اتصالات طولانی‌تر بین اتاق. با این حال، این استراتژی چند SKU، سربار عملیاتی قابل توجهی را در مدیریت موجودی، تست صلاحیت و تامین قطعات یدکی ایجاد می‌کند. علاوه بر این، هزینه بالاتر و مصرف برق اپتیک‌های تک حالته، آنها را برای استقرار در مقیاس بزرگ و با تراکم بالا نامناسب می‌سازد. NVIDIA Mellanox MMA4Z00-NS به عنوان یک راه‌حل پلتفرم واحد بالقوه ارزیابی شد که قادر به یکپارچه‌سازی هر دو دامنه فاصله با حفظ انعطاف‌پذیری پروتکل و کارایی هزینه است.

2. طراحی معماری کلی شبکه/سیستم

معماری پیشنهادی از توپولوژی ستون فقرات-برگ (spine-leaf) استفاده می‌کند که در آن گره‌های محاسباتی GPU از طریق پورت‌های OSFP 800G به سوئیچ‌های برگ متصل می‌شوند و سوئیچ‌های برگ با استفاده از همان نوع فرستنده به سوئیچ‌های ستون فقرات متصل می‌شوند تا سازگاری حفظ شود. تصمیم معماری کلیدی، استانداردسازی بر روی یک مدل فرستنده نوری واحد - NVIDIA Mellanox MMA4Z00-NS - در تمام بخش‌های لینک، از درون رک تا بین اتاق، با بهره‌گیری از DSP پیشرفته و بودجه توان نوری آن برای گسترش برد مؤثر فراتر از مشخصات استاندارد 50 متری بود.

برای به حداکثر رساندن یکپارچگی سیگنال در فواصل طولانی، معماری شامل چندین اصل طراحی است:

• بهینه‌سازی تاسیسات فیبر: استفاده از فیبر چند حالته OM4 با کیفیت بالا (حداقل پهنای باند مد مؤثر ≥ 4700 مگاهرتز·کیلومتر) برای تمام لینک‌ها، با کانکتورهای MPO-12 APC برای به حداقل رساندن افت درج و بازتاب پشتی. مسیرهای کابل‌کشی ساختاریافته برای جلوگیری از خم شدن‌های شدید و پرش‌های بیش از حد از پنل‌های پچ طراحی شده‌اند.
• ذخیره بودجه لینک: بودجه افت معماری برای اطمینان از حاشیه کافی برای عملکرد بدون خطا در MMA4Z00-NS حتی در 80 متر، کمتر از 3.0 دسی بل برای تمام لینک‌ها حفظ می‌شود. این امر با محدود کردن تعداد جفت کانکتورهای جفت شده به حداکثر چهار عدد در هر لینک حاصل می‌شود.
• ارسال بدون وابستگی به پروتکل: سوئیچ‌های برگ (NVIDIA Spectrum-4 برای اترنت و Quantum-2 برای InfiniBand) برای تشخیص حالت عملیاتی MMA4Z00-NS 2x400G InfiniBand/Ethernet پیکربندی شده‌اند و امکان تخصیص پروتکل پویا در هر پورت را بدون تغییر سخت‌افزار فراهم می‌کنند.

معماری از استقرار تک رک و چند رک پشتیبانی می‌کند، که در آن MMA4Z00-NS به عنوان فعال‌کننده لایه فیزیکی جهانی در تمام محدوده‌های فاصله عمل می‌کند.

3. نقش NVIDIA Mellanox MMA4Z00-NS و ویژگی‌های کلیدی

در قلب این راه‌حل، NVIDIA Mellanox MMA4Z00-NS به عنوان یک پل لایه فیزیکی یکپارچه عمل می‌کند و نیاز به انواع مختلف فرستنده را از بین می‌برد. ویژگی‌های فنی کلیدی آن که مربوط به این معماری است عبارتند از:

برگه داده MMA4Z00-NS جزئیات مشخصات نوری و الکتریکی جامع، از جمله ویژگی‌های فرستنده و گیرنده را ارائه می‌دهد که برای اعتبارسنجی محاسبات بودجه لینک برای تمام بخش‌های این استقرار استفاده شد. مشخصات MMA4Z00-NS توان ارسالی معمول -2.5 دسی بل تا 4.0 دسی بل و حساسیت گیرنده -6.5 دسی بل (نرخ خطای بیت 5E-8) را تأیید می‌کنند و هد روم نوری لازم برای هدف 80 متری را فراهم می‌کنند.

از نظر عملکردی، فرستنده MMA4Z00-NS 800G OSFP SR8 با تجمیع هشت لاین سیگنال الکتریکی 100G PAM4 از ASIC سوئیچ، تبدیل آنها به سیگنال‌های نوری و ارسال از طریق فیبر چند حالته موازی از طریق رابط MPO-12 کار می‌کند. در سمت دریافت، DSP یکپارچه بازیابی ساعت و داده، اکولایزاسیون و دمولتی‌پلکسینگ را به دامنه الکتریکی انجام می‌دهد. این خط پردازش برای حفظ یکپارچگی سیگنال در فواصل طولانی که پراکندگی مد و تضعیف در غیر این صورت عملکرد را کاهش می‌دهند، حیاتی است.

4. توصیه‌های استقرار و مقیاس‌پذیری (با توپولوژی معمول)

برای استقرار بهینه NVIDIA Mellanox MMA4Z00-NS، توپولوژی و دستورالعمل‌های کابل‌کشی زیر توصیه می‌شود:

توپولوژی معمول - مقیاس‌پذیری سه سطحی:

• سطح 1 (درون رک، ≤15 متر): کابل‌های پچ MPO-12 مستقیم بین گره‌های محاسباتی GPU و سوئیچ‌های بالای رک (TOR). MMA4Z00-NS در هر دو انتها نصب می‌شود. نیازی به تنظیمات اضافی نیست.
• سطح 2 (بین رک، 15-45 متر): کابل‌های ترانک MPO از پیش خاتمه یافته که از طریق سینی‌های بالای سر اجرا می‌شوند و سوئیچ‌های TOR را به سوئیچ‌های تجمیع برگ متصل می‌کنند. حداکثر دو پنل پچ مجاز است.
• سطح 3 (بین اتاق، 45-80 متر): کابل‌کشی ساختاریافته با ترانک‌های MPO تقویت شده، با استفاده از کانکتورهای پولیش زاویه‌دار و حداقل اتصال. هر لینک قبل از راه‌اندازی برای افت درج و بازتاب تست می‌شود.

چک لیست استقرار:

• تمام لینک‌های فیبر را با استفاده از بازتاب‌سنج دامنه زمانی نوری (OTDR) و پاور متر تأیید کنید تا افت کمتر از 3.0 دسی بل را تأیید کنید.
• پورت‌های سوئیچ را به پروتکل دلخواه (InfiniBand یا اترنت) پیکربندی کنید و تأیید کنید که MMA4Z00-NS به طور خودکار حالت عملیاتی صحیح را طبق برگه داده MMA4Z00-NS مذاکره می‌کند.
• برای محیط‌های ترکیبی 400G/800G، حالت تقسیم 2×400G را در پورت‌های انتخاب شده فعال کنید، که به قابلیت MMA4Z00-NS 2x400G InfiniBand/Ethernet اجازه می‌دهد تا دو اتصال 400G را از یک فرستنده پشتیبانی کند.
• به صورت مرحله‌ای مستقر کنید: با یک رک شروع کنید، معیارهای BER و تأخیر را تأیید کنید، سپس به لینک‌های بین رک و بین اتاق گسترش دهید.

برای مقیاس‌بندی در مقیاس بزرگ فراتر از 80 متر، معماری توصیه می‌کند که کابل‌های نوری فعال (AOC) یا راه‌حل‌های تک حالته فقط برای طولانی‌ترین لینک‌های ستون فقرات قرار داده شوند، در حالی که راه حل فرستنده MMA4Z00-NS 800G OSFP SR8 برای اکثریت قریب به اتفاق اتصالات برگ به ستون فقرات و گره به برگ حفظ شود.

5. عملیات، نظارت، عیب‌یابی و بهینه‌سازی

MMA4Z00-NS برای سادگی عملیاتی طراحی شده است، با پشتیبانی جامع نظارت تشخیصی دیجیتال (DDM) از طریق رابط I²C. اقدامات عملیاتی کلیدی عبارتند از:

• نظارت در زمان واقعی: دما، ولتاژ تغذیه، توان نوری ارسالی/دریافتی و جریان بایاس لیزر را ردیابی کنید. پلتفرم‌های مدیریت شبکه NVIDIA می‌توانند در صورت نزدیک شدن به آستانه‌ها هشدار ایجاد کنند و امکان نگهداری پیشگیرانه را فراهم کنند.
• حاشیه لینک: از قابلیت‌های تنظیم DSP برای انجام تست‌های حاشیه لینک در حین نصب و به عنوان بخشی از بررسی‌های سلامتی فصلی استفاده کنید. MMA4Z00-NS از تنظیمات اکولایزاسیون درخواستی از طریق فریمور پشتیبانی می‌کند که می‌تواند پیری تدریجی فیبر یا تخریب کانکتور را جبران کند.
• جداسازی خطا: اگر یک لینک دچار رویدادهای نرخ خطای بیت بالا یا از دست دادن سیگنال شد، داده‌های DDM از هر دو انتهای لینک باید مقایسه شوند. حالت‌های خرابی رایج شامل کانکتورهای MPO کثیف/آلوده (با استفاده از پاک‌کننده‌های کارتریجی تمیز کنید)، افت خمیدگی بیش از حد (مسیر فیزیکی را بررسی کنید) یا تخریب فرستنده (روند جریان بایاس و توان نوری را بررسی کنید) است.
• به‌روزرسانی فریمور: NVIDIA به طور دوره‌ای به‌روزرسانی‌های فریمور را منتشر می‌کند که می‌تواند الگوریتم‌های اکولایزاسیون را بهبود بخشد و سازگاری را افزایش دهد. اطمینان حاصل کنید که تمام واحدهای MMA4Z00-NS طبق توصیه سازنده در آخرین نسخه فریمور قرار دارند.

برای بهینه‌سازی عملکرد، معماری انجام یک جاروب پایه از تمام لینک‌ها در حالت‌های 800G و 2×400G، ثبت آمار توان نوری و BER را توصیه می‌کند. این پایه به عنوان مرجعی برای عیب‌یابی آینده و برنامه‌ریزی ظرفیت عمل می‌کند. علاوه بر این، MMA4Z00-NS برای فروش در دسترس بودن از طریق توزیع جهانی استاندارد شده تضمین می‌کند که واحدهای یدکی را می‌توان به سرعت تهیه کرد و در صورت خرابی، زمان خرابی را به حداقل رساند.

6. خلاصه و ارزیابی ارزش

NVIDIA Mellanox MMA4Z00-NS یک راه‌حل نوری یکپارچه جذاب برای مراکز داده مدرن هوش مصنوعی ارائه می‌دهد که باید پهنای باند بالا را با فواصل فیزیکی متغیر متعادل کند. با استانداردسازی بر روی یک نوع فرستنده واحد در لینک‌های درون رک و بین اتاق، معماری پیچیدگی موجودی را کاهش می‌دهد، فرآیندهای صلاحیت را ساده می‌کند و نگهداری را ساده می‌کند، در حالی که از قابلیت‌های پیشرفته DSP و نوری ماژول برای گسترش برد فراتر از محدودیت‌های سنتی SR8 بهره می‌برد.

نتایج ارزش کلیدی:

• ساده‌سازی موجودی: یک SKU واحد جایگزین انواع مختلف فرستنده می‌شود و هزینه‌های نگهداری قطعات یدکی را به طور تخمینی 60% کاهش می‌دهد.
• کارایی هزینه: زیرساخت فیبر چند حالته به طور قابل توجهی ارزان‌تر از تاسیسات تک حالته است و قیمت MMA4Z00-NS در هر پورت به طور قابل توجهی کمتر از جایگزین‌های معادل DR8/FR8 است.
• انعطاف‌پذیری آماده برای آینده: حالت تقسیم 2×400G یک مسیر ورود برای محیط‌هایی که هنوز کاملاً آماده 800G نیستند فراهم می‌کند، در حالی که حالت 800G از خوشه‌های GPU نسل بعدی امروز پشتیبانی می‌کند.
• تاب‌آوری عملیاتی: DDM قوی، هشدار پیشگیرانه و پارامترهای DSP قابل تنظیم در میدان تضمین می‌کنند که لینک‌ها در طول عمر عملیاتی خود در محدوده مشخصات باقی بمانند.

برای معماران شبکه، مهندسان راه‌حل و تیم‌های عملیاتی، MMA4Z00-NS یک ستون فقرات عملی، با کارایی بالا و مقرون به صرفه برای ساخت شبکه‌های هوش مصنوعی مقیاس‌پذیر است که می‌توانند بدون مصالحه در رک‌ها و اتاق‌ها گسترش یابند. برگه داده MMA4Z00-NS جامع و مستندات فنی پشتیبان برای تسهیل برنامه‌ریزی ادغام و اعتبارسنجی استقرار در دسترس هستند.