?

NVIDIA Mellanox MCX631432AN-ADAB سرور آداپتور در عمل.

پیش زمینه و چالش: تنگنای تاخیر در ذخیره سازی توزیع شده

تیم زیرساخت در یک شرکت بزرگ اینترنت به تازگی با یک چالش آشنا روبرو شد: خوشه ذخیره سازی توزیع شده آنها، ساخته شده بر روی یک Ceph backend،تلاش می کرد تا با تقاضای رو به رشد درخواست را دنبال کند.در حالی که گره های ذخیره سازی با پردازنده های قدرتمند و درایوهای NVMe سریع مجهز بودند، تاخیر شبکه به خنک اصلی تبدیل شده بود خصوصاً در زمان اوج عملیات I / O.آداپتورهای موجود 10GbE فاقد قابلیت های تخلیه سخت افزاری بودند، که باعث مداخله بیش از حد CPU برای هر بسته پردازش شده می شود.

این هزینه بیشتر در بار های کاری فشرده ی نوشتن بود، جایی که هر عملیات I/O نیاز به چندین سفر شبکه ای داشت.تیم به راه حلی نیاز داشت که بتواند به طور چشمگیری تاخیر دم را کاهش دهد در حالی که سرعت سرور را افزایش دهدپس از ارزیابی گزینه های متعدد، آنها به سیستم عامل های Ethernet تبدیل شدند.NVIDIA Mellanox MCX631432AN-ADABیک آداپتور دو پورت 25GbE SFP28 که به طور خاص برای RDMA در مورد استقرارات اترنت تبدیل شده (RoCE) ساخته شده است.

راه حل و استقرار: استقرار RoCE با ConnectX-6 Lx

این کار سه گره ذخیره سازی را هدف قرار داد که به عنوان سرورهای متا داده در خوشه Ceph عمل می کنند، جایی که حساسیت تاخیر بالاتر است.MCX631432AN-ADAB ConnectX-6 Lx دو پورت 25GbE SFP28آداپتور، اتصال به یک سوئیچ 25GbE با پشتیبانی RoCEv2 تیم هر دو پورت را در حالت اتصال فعال فعال تنظیم کرد،جمع آوری تا 50Gb / s از پهنای باند کل در حالی که ارائه فالوور افزوده.

یک جنبه حیاتی از پیاده سازی امکان RoCEv2 با کنترل جریان اولویت (PFC) و اطلاع رسانی فشرده سازی صریح (ECN) برای اطمینان از رفتار شبکه بدون ضرر بود.کارت آداپتور اترنت MCX631432AN-ADABبه طور بومی از این مکانیسم های پیشرفته مدیریت ازدحام پشتیبانی می کند و نیاز به سوئیچ های اختصاصی یا مجوز اضافی را از بین می برد.این تیم همچنین از تایم ستامپ های سخت افزاری و شمارنده های دومیتری برای نظارت بر سلامت پارچه در زمان واقعی در طول مرحله اولیه سوزاندن استفاده کرد.

بر اساسصفحه اطلاعات MCX631432AN-ADAB، آداپتور از PCIe Gen 4.0 x8 پشتیبانی می کند، که برای اشباع کامل پورت های دوگانه 25GbE بدون خنک کردن اتوبوس میزبان ضروری بود. سرورهای موجود در حال حاضر قادر به Gen 4.0 بودند،ارتقا را ساده تر می کندبرای محیط هایی که هنوز روی PCIe Gen 3 هستند.0، آداپتور به طور کامل باقی می ماندبا MCX631432AN-ADAB سازگار استبا سازگاری با گذشته یک انعطاف پذیری که برنامه پیاده سازی مرحله ای را ساده می کند.

فرآیند استقرار به طور قابل توجهی ساده شده است. با استیک درایور شبکه NVIDIA ، آداپتورها بلافاصله در سراسر محیط CentOS 8 شناخته می شدند. تیم از نسخه رسمی استفاده کرد.مشخصات MCX631432AN-ADABبرای تنظیم دقیق تخصیص های بافر و قطع تنظیمات همگام سازی، تنظیم رفتار آداپتور به الگوهای بار کاری خاص آنها.

نتایج و مزایای قابل اندازه گیری

افزایش عملکرد بلافاصله و قابل اندازه گیری بود. جدول زیر مقایسه معیارهای کلیدی قبل و بعد از استفاده ازNVIDIA Mellanox MCX631432AN-ADAB:

فراتر از اعداد، تیم ثبات بهبود یافته در زمان پاسخ I / O را مشاهده کرد، از بین بردن اثر "همسایه سر و صدا" که قبلا بر برنامه های مستاجر که پشتیبان ذخیره سازی را به اشتراک می گذارند تاثیر می گذاشت.تخلیه های سخت افزاری ارائه شده توسطMCX631432AN-ADAB راه حل کارت آداپتور اترنتCPU را به میزان قابل توجهی کاهش داد که گره ها می توانستند حدود 60٪ IOPS بیشتری را قبل از رسیدن به اشباع CPU اداره کنند، به طور موثر یک چرخه به روزرسانی سخت افزار برنامه ریزی شده را به تاخیر بیندازند.

برای تیم عملیات شبکه، تله متری داخلی آداپتور و توانایی دسترسی به شمارنده های عملکرد در زمان واقعی از طریقمشخصات MCX631432AN-ADABمشکل حل و برنامه ریزی ظرفیت را به طور قابل توجهی آسان تر کرد. تیم می توانست مشکلات ریز و مسائل عمق صف را قبل از اینکه بر حجم کار تولید تأثیر بگذارد، شناسایی کند.

خلاصه و چشم انداز: پایه ای برای مقیاس آینده

این کار تایید کرد کهNVIDIA Mellanox MCX631432AN-ADABتنها یک ارتقاء تدریجی نیست بلکه یک جزء تحولگر برای سیستم های توزیع شده حساس به تاخیر است.آداپتور کاهش قابل توجهی در هر دو متوسط و تاخیر دم ارائه شده در حالی که همزمان افزایش تراکم سرور مجموع تقریبا 6xچرخه های CPU آزاد شده در حال حاضر به پردازش در سطح برنامه اختصاص داده می شوند، که باعث بهبود کارایی کلی خوشه می شود.

به جلو نگاه می کنیم، تیم در حال بررسی موارد استفاده اضافی برای آداپتورها است،از جمله NVMe over Fabrics (NVMe-oF) برای ذخیره سازی بلوک با عملکرد بالا و احتمالا GPUDirect برای بار های کاری آموزش هوش مصنوعیانعطاف پذیری معماری ConnectX-6 Lx تضمین می کند که همانMCX631432AN-ADABبرای سازمان هایی که یک مسیر ارتقاء مشابه را ارزیابی می کنند،قیمت MCX631432AN-ADAB، زمانی که با پس انداز عملیاتی و سود عملکرد سنجیده می شود، یک مورد تجاری قانع کننده را ارائه می دهد.

تجربه تیم یک روند گسترده تر را نشان می دهد: با افزایش استفاده مراکز داده از 25GbE و پارچه های بالاتر، انتخاب آداپتور سرور به یک تصمیم معماری حیاتی تبدیل می شود.کارت آداپتور اترنت MCX631432AN-ADABارائه یک راه حل اثبات شده و آماده تولید برای کسانی که به دنبال برقراری فاصله بین زیرساخت های موجود و خواسته های عملکرد نسل بعدی هستند.