NVIDIA Mellanox MCX631432AN-ADAB راه حل فنی: RDMA / RoCE انتقال کم تاخیر و افزایش خروجی سرور

این کاغذ سفید فنی برای معماران شبکه، مهندسین پیش فروش و سرنخ های عملیات در نظر گرفته شده است. این جزئیات چگونه استNVIDIA Mellanox MCX631432AN-ADABآداپتور سرور، حمل و نقل با تأخیر کم مبتنی بر RDMA/RoCE را فعال می کند و به طور چشمگیری عملکرد سرور را در محیط های مرکز داده مدرن بهبود می بخشد.

شبکه TCP/IP متعارف به دلیل پردازش پروتکل، کپی داده ها و مدیریت وقفه، سربار قابل توجهی از CPU را تحمیل می کند. با افزایش تراکم سرورها و برنامه‌هایی مانند ذخیره‌سازی توزیع‌شده (Ceph، vSAN)، پایگاه‌های داده درون حافظه (Redis، Aerospike) و چارچوب‌های آموزشی هوش مصنوعی نیاز به تأخیر میکروثانیه‌ای تک رقمی دارند، پشته‌های شبکه سنتی به تنگناهای غیرقابل عبور تبدیل می‌شوند. الزامات کلیدی عبارتند از: تأخیر دسترسی به ذخیره سازی زیر 300 میکرو ثانیه، استفاده از CPU کمتر از 10 درصد برای پردازش شبکه، توان خروجی 25 گیگا بایتی در هر پورت با نرخ خط، و ادغام یکپارچه با زیرساخت سوئیچینگ موجود با قابلیت RoCE.

معماری پیشنهادی از یک توپولوژی برگ ستون فقرات غیر مسدود کننده با پشتیبانی RoCE v2 استفاده می کند. هر گره محاسباتی یا ذخیره سازی مجهز به迈络思 (NVIDIA Mellanox) MCX631432AN-ADABآداپتور، اتصال به سوئیچ های برگ از طریق اپتیک 25GbE SFP28. سوئیچ های برگ DCQCN (اعلان تراکم کوانتیزه شده مرکز داده) را برای کنترل تراکم سرتاسر اجرا می کنند. صفحه کنترل از PFC (Priority Flow Control) فقط در صف های اولویت بندی شده با ضرر استفاده می کند، در حالی که صفحه داده RDMA از RoCE v2 با مسیریابی IP برای عبور از مرزهای لایه 3 استفاده می کند. این طراحی انسداد سر خط را حذف می کند و تأخیر قطعی را در بین حداکثر 2000 گره تضمین می کند.

راکارت آداپتور اترنت MCX631432AN-ADABبه عنوان نقطه پایانی حیاتی برای تخلیه های RDMA عمل می کند. آنMCX631432AN-ADAB ConnectX-6 Lx دو پورت 25GbE SFP28سیلیکون RoCE مبتنی بر سخت افزار، تگ تطبیق و مونتاژ بسته های خارج از نظم را یکپارچه می کند. در مقایسه با نرم افزار iWARP یا هسته TCP، آداپتور تاخیر را تا بیش از 70% کاهش می دهد. برای معمارانی که بهبرگه داده MCX631432AN-ADAB، تخلیه های کلیدی عبارتند از:

• تخلیه سخت افزار RoCE v2:انتقال داده بدون کپی، تاخیر پورت به پورت زیر 600ns.
• فرمان FlexFlow:تجزیه کننده بسته قابل برنامه ریزی برای توزیع جریان دانه ای.
• موتورهای کریپتو درون خطی:IPsec/TLS با نرخ خط بدون دخالت CPU.
• تله متری و علامت گذاری ECN:مشاهده تراکم در زمان واقعی از طریق شمارنده های SPIFFY.

هنگام ارزیابیمشخصات MCX631432AN-ADAB، توجه داشته باشید که این کارت از هر دو سرعت 25 گیگابیت و 10 گیگابایت پشتیبانی می کند و امکان مهاجرت های مرحله ای را فراهم می کند. علاوه بر این،سازگار با MCX631432AN-ADABاکوسیستم شامل تمام فروشندگان اصلی سرور است که صلاحیت را ساده می کند.

یک توپولوژی دو لایه معمولی برای یک خوشه 500 گره: هر رک شامل 20 سرور است که هر یک مجهز به یک سرور است.NVIDIA Mellanox MCX631432AN-ADAB(هر دو پورت برای افزونگی یا تجمیع پهنای باند فعال هستند). سوئیچ های برگ از طریق کابل های 25 گیگا بایتی SFP28 DAC (تا 5 متر) یا اپتیک های AOC برای مسافت های طولانی تر به سرورها متصل می شوند. لایه ستون فقرات از پیوندهای 100 گیگابایتی برای حفظ اشتراک بیش از حد 4:1 استفاده می کند. برای ترافیک ذخیره سازی، یک پورت به ازای هر آداپتور به ترافیک پشتیبان Ceph با RoCE اختصاص دهید، و پورت دوم را برای بارهای کاری محاسباتی رزرو کنید. مقیاس گذاری فراتر از 2000 گره نیاز به یک طراحی فوق العاده سه لایه با BGP-EVPN برای انتشار مسیر RoCE دارد. معماران باید مشورت کنندراه حل کارت آداپتور اترنت MCX631432AN-ADABراهنمای ماتریس های دقیق کابل کشی و بودجه بندی توان.

پس از استقرار، تیم های عملیاتی باید NVIDIA را فعال کنندmlx5ctlوettoolبرای آمار پورت بلادرنگ معیارهای کلیدی برای نظارت: توقف های ارسال RoCEv2 (نشان دهنده طوفان های PFC)، نسبت بسته های علامت گذاری شده با ECN، و خوانش های حرارتی آداپتور. برای عیب یابی تاخیر دم بالا، آن را تایید کنیدپارامترهای DCQCN(ضریب کاهش آلفا، بتا و نرخ) با پروفایل‌های بافر سوئیچ تراز شود. استفاده کنیدبرگه داده MCX631432AN-ADABبرای تفسیر شمارنده های پیشرفته مانند "out_of_seq" و "retransmissions". اسکریپت های اتوماسیون را برای تخلیه دوره ای فراهم کنید/sys/class/infiniband/mlx5_*/ports/*/counters/. برای برنامه ریزی هزینه، تیم های تدارکات می توانند به دست آورندقیمت MCX631432AN-ADABبرآورد و بررسیMCX631432AN-ADAB برای فروشلیست ها از طریق توزیع کنندگان مجاز؛ قیمت حجم برای سفارشات بیش از 100 واحد موجود است.

راMCX631432AN-ADABپیشنهاد ارزش قانع‌کننده‌ای را ارائه می‌کند: تأخیر ذخیره‌سازی زیر 300 میکرو ثانیه، کمتر از 5 درصد سربار CPU برای ترافیک 25GbE با نرخ خط، و تخلیه کامل RoCE v2 بدون تغییر برنامه. با جایگزینی پشته‌های TCP قدیمی با حمل و نقل RDMA، سازمان‌ها می‌توانند تا 30 درصد ظرفیت اصلی را برای بارهای کاری حیاتی کسب و کار بازیابی کنند. معماری ConnectX-6 Lx در مقایسه با آداپتورهای رقیب 25GbE، خطوط لوله قابل برنامه ریزی و عمق تله متری عالی را ارائه می دهد. این راه‌حل فنی در محیط‌های تولیدی شامل ذخیره‌سازی ابری، شبیه‌سازی HPC و تجزیه و تحلیل بلادرنگ تأیید شده است. برای تیم‌هایی که آماده استفاده از پارچه‌های RoCE با ظرفیت ۲۵ گیگابایت هستند،NVIDIA Mellanox MCX631432AN-ADABنشان دهنده پایه ای مقرون به صرفه و مقرون به صرفه برای شبکه های سرور با تاخیر کم و بازده بالا است.