NVIDIA Mellanox MCX556A-ECAT سرور آداپتور در عمل.

آداپتور سرور NVIDIA Mellanox MCX556A-ECAT در عمل | انتقال با تأخیر کم RDMA/RoCE و افزایش توان عملیاتی سرور

پیش‌زمینه و چالش: زمانی که 100GbE با دیوار تأخیر روبرو می‌شود

یک شرکت پیشرو در معاملات کمی - بیایید آنها را "AlphaQuant" بنامیم - با یک بحران حیاتی زیرساختی روبرو بود. پلتفرم معاملات با فرکانس بالا (HFT) آنها که بیش از 2 میلیون پیام بازار در ثانیه را پردازش می‌کرد، دچار افزایش تأخیر غیرقابل پیش‌بینی بود که مستقیماً بر سود و زیان تأثیر می‌گذاشت. این شرکت قبلاً شبکه 100GbE خود را ارتقا داده بود، اما آداپتورهای سرور موجود آنها نمی‌توانستند همگام شوند. پشته TCP/IP بیش از 30 درصد از هسته‌های CPU سرورهای معاملاتی آنها را مصرف می‌کرد و پشته شبکه مبتنی بر نرم‌افزار، لرزشی را معرفی می‌کرد که دستیابی به زمان‌های رفت و برگشت مداوم زیر 10 میکروثانیه را غیرممکن می‌ساخت. بک‌اند ذخیره‌سازی آنها که آرایه‌های NVMe را از طریق iSCSI اجرا می‌کرد نیز عملکرد ضعیفی داشت و تأخیر خواندن از 150 میکروثانیه فراتر می‌رفت - برای محاسبات ریسک در زمان واقعی بسیار کند بود. AlphaQuant نیاز به بازنگری اساسی در معماری I/O شبکه خود داشت.

جستجوی آنها آنها را به سمتNVIDIA Mellanox MCX556A-ECATهدایت کرد - یک آداپتور سرور که برای حساس‌ترین محیط‌ها از نظر تأخیر مهندسی شده است. تیم معماری این شرکت تشخیص داد کهکارت شبکه آداپتور MCX556A-ECAT ConnectX، قابلیت‌های تخلیه سخت‌افزاری و RDMA مورد نیاز برای حذف گلوگاه پشته نرم‌افزاری را ارائه می‌دهد.

راه حل: استقرار کارت آداپتور اترنت MCX556A-ECAT

AlphaQuantکارت آداپتور اترنت MCX556A-ECATرا در 80 سرور معاملاتی مستقر کرد که هر کدام مجهز به دو پورت QSFP28 متصل به یک شبکه 100GbE برگ-ستون بودند. این استقرار از پشتیبانی بومی RoCE v2 آداپتور برای فعال کردن انتقال اترنت بدون اتلاف برای داده‌های معاملاتی و ترافیک ذخیره‌سازی استفاده کرد. نکته کلیدی راه حل، توانایی آداپتور برای اجرای RDMA بر روی اترنت همگرا بود که نیاز به شبکه InfiniBand جداگانه را از بین می‌برد. تیم PFC (کنترل جریان اولویت) و ECN (اعلان ازدحام صریح) را در سطح سوئیچ پیکربندی کرد و اولویت 3 را برای ترافیک معاملاتی و اولویت 4 را برای ذخیره‌سازی اختصاص داد. در عرض سه هفته، کل شبکه معاملاتی و ذخیره‌سازی بر روی RDMA اجرا می‌شد - انتقالی که به لطف سازگاری گسترده آداپتور با محیط مبتنی بر لینوکس موجود آنها، بدون مشکل انجام شد.

از دیدگاه عملیاتی، اکوسیستمسازگار با MCX556A-ECATارزشمند بود. کارت‌ها به طور بی‌نقص با سرورهای Dell PowerEdge و سوئیچ‌های Arista AlphaQuant ادغام شدند و فقط به نصب درایور استاندارد NVIDIA نیاز داشتند. این تیم بهبرگه داده MCX556A-ECATمراجعه کرد تا تخصیص بافر و تنظیمات تجمیع وقفه را برای دستیابی به عملکرد بهینه برای محیط کاری ترکیبی خود - که شامل دریافت داده‌های بازار، اجرای سفارش و تجزیه و تحلیل ریسک در زمان واقعی بود - تنظیم کند.

نتایج قابل اندازه‌گیری: تأخیر، توان عملیاتی و بهره‌وری CPU

افزایش عملکرد فوری و قابل اندازه‌گیری بود. با فعال شدن RDMA از طریق RoCE با استفاده ازNVIDIA Mellanox MCX556A-ECAT، برنامه معاملاتی شاهد کاهش تأخیر سرتاسری از میانگین 42 میکروثانیه به تنها 6.5 میکروثانیه بود - بهبود 6.5 برابری. لرزش (انحراف معیار) از ±18 میکروثانیه به کمتر از ±1.2 میکروثانیه کاهش یافت و به میز معاملاتی، قطعیت لازم برای اجرای سودآور را داد. برای بک‌اند ذخیره‌سازی آنها، تأخیر خواندن NVMe-oF از 152 میکروثانیه به کمتر از 18 میکروثانیه کاهش یافت - بهبود 8 برابری که محاسبات ریسک را 70 درصد تسریع کرد.

فراتر از تأخیر، افزایش توان عملیاتی سرور نیز به همان اندازه چشمگیر بود. موتور تخلیه سخت‌افزاری - که شامل تخلیه چک‌سام، LSO/LRO و برچسب‌گذاری VLAN است - استفاده از CPU برای پردازش شبکه را از 32 درصد به کمتر از 5 درصد در تمام سرورها کاهش داد. این امر بیش از 24 هسته CPU در هر سرور را برای الگوریتم‌های معاملاتی آزاد کرد و مستقیماً توان عملیاتی سفارش را از 1.2 میلیون به 2.1 میلیون پیام در ثانیه افزایش داد.

مزایای عملیاتی: TCO و ادغام زیرساخت

در حالی که اعداد عملکرد خام داستان قانع‌کننده‌ای را بیان می‌کنند، مزایای عملیاتی نیز به همان اندازه قابل توجه بودند. راه حلکارت آداپتور اترنت MCX556A-ECATبا حذف نیاز به یک شبکه RDMA جداگانه (صرفه‌جویی بیش از 350 هزار دلار در زیرساخت سوئیچ)، هزینه کل مالکیت را کاهش داد. مصرف برق در هر سرور نسبت به NICهای قبلی 8 وات کاهش یافت که منجر به صرفه‌جویی سالانه در خنک‌کننده تقریباً 20 درصد شد. علاوه بر این، طراحی دو پورت آداپتور افزونگی بومی را فراهم می‌کرد - هنگامی که یک لینک دچار نوسان می‌شد، ترافیک به طور خودکار به پورت ثانویه منتقل می‌شد و هیچ بسته‌ای از دست نمی‌رفت، همانطور که توسط گزارش‌های تلمتری آداپتور تأیید شد.

برای مدیران IT کهقیمت MCX556A-ECATرا در مقایسه با راه حل‌های جایگزین ارزیابی می‌کنند، رهبر زیرساخت AlphaQuant خاطرنشان کرد که دوره بازپرداخت کمتر از هشت ماه بود که عمدتاً ناشی از افزایش توان عملیاتی معاملات و کاهش جریمه‌های تأخیر بود. این تیم همچنین از معماری آینده‌نگر قدردانی کرد - همانMCX556A-ECAT برای فروشامروزه از 100GbE پشتیبانی می‌کند اما می‌تواند با اپتیک مناسب در 40GbE یا 50GbE نیز کار کند و حفاظت از سرمایه‌گذاری را برای ارتقاء‌های آینده تضمین می‌کند.

بر اساسمشخصات MCX556A-ECAT، این آداپتور شامل ویژگی‌های پیشرفته تلمتری - شمارنده‌های بسته در هر پورت، آمار خطا و نظارت بر دما - است که AlphaQuant به طور بومی با پشته Prometheus/Grafana خود ادغام کرد. این امر امکان تشخیص پیشگیرانه تخریب کابل و ازدحام سوئیچ را قبل از تأثیرگذاری بر عملکرد معاملات فراهم کرد.

خلاصه و چشم‌انداز: طرحی برای زیرساخت فوق‌العاده با تأخیر کم

سفر AlphaQuant باNVIDIA Mellanox MCX556A-ECATیک طرح واضح را برای سازمان‌هایی که به دنبال آزادسازی پتانسیل کامل زیرساخت 100GbE هستند، نشان می‌دهد. با ترکیب توان عملیاتی دو پورت 100GbE، RoCE شتاب‌دهنده سخت‌افزاری و ادغام بی‌نقص با اکوسیستم‌های موجود،کارت آداپتور اترنت MCX556A-ECAT، I/O شبکه را از یک گلوگاه عملکرد به یک مزیت رقابتی تبدیل می‌کند. نتایج - 6.5 برابر تأخیر کمتر، 87% کاهش سربار CPU و 75% توان عملیاتی سفارش بیشتر - نشان‌دهنده توانایی آداپتور در ارائه نتایج تجاری قابل اندازه‌گیری در خواسته‌ترین محیط‌ها است.

با نگاه به آینده، با توجه به اینکه بارهای کاری هوش مصنوعی/یادگیری ماشین و تجزیه و تحلیل در زمان واقعی همچنان تقاضا برای شبکه‌های قطعی را افزایش می‌دهند،کارت شبکه آداپتور MCX556A-ECAT ConnectXیک پایه محکم برای پذیرش RDMA بدون ارتقاء کامل فراهم می‌کند. برای معماران و رهبران IT که در حال برنامه‌ریزی برای به‌روزرسانی بعدی زیرساخت خود هستند، این آداپتور نه تنها یک جزء، بلکه یک دارایی استراتژیک است. پارامترهای تنظیم دقیق و بهترین شیوه‌های استقرار دربرگه داده MCX556A-ECATرسمی موجود است - یک مرجع ضروری برای هر استقرار جدی.