Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Server Adapter راه حل فنی

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Server Adapter راه حل فنی: RDMA / RoCE انتقال کم تاخیر و افزایش خروجی سرور Design White Paper

1. پیشینه پروژه و تحلیل نیازهای

مراکز داده مدرن در حال تغییر اساسی از معماری های "محاسبات محور" به "داده محور" هستند، که توسط رشد انفجاری بار های کاری AI / ML، سیستم های ذخیره سازی توزیع شده،و پلتفرم های تجزیه و تحلیل در زمان واقعیدر این زمینه، آداپتور شبکه دیگر یک جزء اتصال منفعل نیست، بلکه یک عامل تعیین کننده عملکرد کلی برنامه است.با محدودیت های دایپاس هسته ای و هزینه های بالای استیک پروتکل، به یک خنک عمده تبدیل شده است که تا 30٪ از چرخه های CPU را مصرف می کند در حالی که قادر به ارائه تاخیر در سطح میکروسکنید و سرعت خطی مورد نیاز برای بار های کار نسل بعدی نیست.

به طور خاص، سه چالش مرتبط با هم نیاز به پاسخ معماری دارند.سیستم های ذخیره سازی NVMe over Fabrics (NVMe-oF) نیاز به تاخیر دسترسی کمتر از 100 مایکرو ثانیه برای بهره برداری کامل از رسانه های فلاش مدرن دارند.هر تاخیر ناشی از شبکه به طور مستقیم عملکرد ذخیره سازی را تضعیف می کند.چارچوب های آموزش هوش مصنوعی توزیع شده مانند PyTorch و TensorFlow به عملیات مکرر تمام کاهش در سراسر خوشه های GPU متکی هستند، جایی که سرعت شبکه و جیتر به طور مستقیم زمان تکمیل کار را تعیین می کنند. سوم، مجازی سازی و کانتینر سازی هزینه های اضافی انکپسول را وارد می کنند.نیاز به تخلیه سخت افزار هوشمند برای حفظ عملکرد در مقیاس.ملانوکس (NVIDIA Mellanox) MCX631102AN-ADATآداپتور سرور به طور مستقیم به این الزامات پاسخ می دهد و پایه ای برای شبکه های مرکز داده با عملکرد بالا و تاخیر پایین فراهم می کند.

2. طراحی کلی معماری شبکه و سیستم

راه حل پیشنهادی یک معماری شبکه دو طبقه ای را اتخاذ می کند که برای به حداکثر رساندن قابلیت های شبکه طراحی شده است.کارت آداپتور اترنت MCX631102AN-ADATدر لایه ورق، سوئیچ های 25GbE SFP28 اتصال ToR (Top-of-Rack) را فراهم می کنند، هر سوئیچ برگ تا 48 پورت را پشتیبانی می کند. لایه ستون فقرات شامل سوئیچ های 100GbE با ظرفیت بالا است.ارائه اتصال بدون مسدود کردن هر چیزی به هر چیزیاین معماری برای انتقال RoCE v2 (RDMA over Converged Ethernet version 2) بهینه شده است.استفاده از مکانیسم های کنترل انبساط بومی آداپتور و قابلیت های PFC (کنترل جریان اولویت) برای حفظ شرایط شبکه بدون ضرر.

هر گره محاسباتی و ذخیره سازی مجهز بهMCX631102AN-ADAT ConnectX-6 Lx دو پورت 25GbE SFP28آداپتور، با پورتهای پیکربندی شده در حالت فعال فعال برای ارائه هم در دسترس بودن بالا و هم پهنای باند 50GbE جمع آوری شده. سرور میزبان با آداپتور از طریق PCIe 4.0 x8 ارتباط برقرار می کند،اطمینان از پهنای باند کافی برای حفظ ترافیک با نرخ خط کاملاز دیدگاه نرم افزار، معماری شامل مجموعه درایور OFED (OpenFabrics Enterprise Distribution) NVIDIA است که پشتیبانی بهینه شده RoCE را در سیستم عامل های اصلی فراهم می کند.برای گره های ذخیره سازی، این معماری اهداف NVMe-oF را که به طور مستقیم از طریق RoCE قابل دسترسی هستند، ادغام می کند و لایه TCP / IP را به طور کامل از مسیر داده حذف می کند.

3نقش و ویژگی های کلیدی MCX631102AN-ADAT در راه حل

درNVIDIA Mellanox MCX631102AN-ADATبه عنوان رابط شبکه پایه ای برای هر دو حوزه محاسباتی و ذخیره سازی عمل می کند، چهار نقش حیاتی در معماری کلی دارد.استفاده از موتور هدایت شتاب دهنده سخت افزاری خود برای ارائه سرعت خط 25GbE در هر پورت در تمام اندازه های بستهمشخصات MCX631102AN-ADAT، که در صورت جفت شدن با سوئیچ های فعال RoCE، تاخیر زیر ۱ میکرو ثانیه ای را نشان می دهند.

دوم، آداپتور به عنوان نقطه پایانی حمل و نقل RDMA عمل می کند و کل استیک پروتکل RDMA ٫ از جمله ثبت حافظه، ترجمه آدرس و پردازش تکمیل ٫ از CPU میزبان را خارج می کند.این تخلیه به ویژه برای بارهای کار ذخیره سازی تأثیرگذار است، کاهش بهره برداری از CPU برای ابتکارکنندگان NVMe-oF از حدود 18٪ به کمتر از 3٪ در مقایسه با پیاده سازی های تنها نرم افزار.MCX631102AN-ADAT از طریق سخت افزار برای VXLAN و NVGRE استفاده می کند، اطمینان از این که انکاپسولی شبکه مجازی عملکرد را کاهش نمی دهد.آداپتور از SR-IOV (مجازی سازی I/O تک ریشه) پشتیبانی می کند.، که حداکثر 256 عملکرد مجازی را در هر پورت برای جداسازی موثر چند مستاجر بدون به خطر انداختن خروجی امکان پذیر می کند.MCX631102AN-ADAT راه حل کارت آداپتور اترنتبه طور یکپارچه با فناوری GPUDirect Storage NVIDIA ادغام می شود و انتقال مستقیم داده ها بین حافظه GPU و دستگاه های ذخیره سازی NVMe از طریق شبکه را امکان پذیر می کند.

جدول زیر خلاصه ای از مشخصات کلیدی فنی مربوط به معماری راه حل را ارائه می دهد:

4توصیه های استقرار و مقیاس بندی با توپولوژی معمولی

برای پیاده سازی های سبز، ما یک رویکرد مقیاس بندی سه طبقه را توصیه می کنیم. در سطح پایه (در مقیاس کوچک: 16 ¢ 32 گره) ، یک خوشه سوئیچ یک برگ می تواند همه گره های محاسباتی و ذخیره سازی را میزبانی کند،با هر گره مجهز به MCX631102AN-ADAT و هر دو پورت متصل به یک سوئیچ برگ برای جمع آوری لینکدر سطح متوسط (۶۴/۱۲۸ گره) ، معماری باید یک طراحی دو طبقه ای داشته باشد.با دو پورت هر گره متصل به سوئیچ های مختلف برگ برای ارائه هر دو عملکرد و انعطاف پذیریدر مقیاس شرکت (256+ گره) ، راه حل توصیه می کند که یک معماری سه طبقه با بخش بندی پارچه RoCE اختصاصی،جدا کردن ترافیک ذخیره سازی از ترافیک محاسباتی در لایه شبکه، و استفاده ازMCX631102AN-ADAT سازگارطبیعت با سوئیچ های NVIDIA Spectrum و سوئیچ های 25GbE شخص ثالث.

برای محیط های براونفیلد، آداپتور سازگاری بی نقص با اپتیک ها و کابل های SFP + 10GbE را فراهم می کند، که به سازمان ها اجازه می دهد تا به تدریج مهاجرت کنند.ورق اطلاعات MCX631102AN-ADATماتریس های سازگاری دقیق را برای سیستم عامل های سرور اصلی، از جمله Dell PowerEdge، HPE ProLiant و خانواده های Supermicro SuperServer فراهم می کند.استقرار آداپتور باید با به روز رسانی نرم افزار هماهنگ شود تا اطمینان حاصل شود که همه گره ها همان نسخه حداقل نرم افزار را برای رفتار سازگار RoCE اجرا می کنند.ما همچنین توصیه می کنیم که استفاده از تنظیمات مبتنی بر EEPROM برای حفظ تنظیمات در راه اندازی مجدد سیستم، کاهش هزینه های عملیاتی در طول پنجره های نگهداری.

5عملیات، نظارت، رفع مشکل و بهینه سازی

درMCX631102AN-ADATارائه می دهد قابلیت های کاملی از راه دور و مدیریت از طریق ابزار MLNX_OFED NVIDIA. برای نظارت، توصیه می کنیم که شیوه های عملیاتی زیر را به کار ببرید.این امکان را به شمارنده های جریان مبتنی بر سخت افزار می دهد تا استفاده از هر صف را کنترل کنند و نقاط گرم را شناسایی کنند.mlx5_coreماژول هسته ای و می تواند با پرومتیوس یا سایر راه حل های TSDB ادغام شود.استفاده از نظارت PFC (کنترول جریان اولویت) آداپتور برای تشخیص و رفع حوادث ازدحام شبکه قبل از اینکه بر عملکرد برنامه تأثیر بگذارندسوم، اجرای هشدارهای مبتنی بر آستانه برای دمای آداپتور و وضعیت پی سی ال ای برای شناسایی پیشگیرانه تخریب سخت افزار.

برای رفع مشکل، تشخیص پیشرفته آداپتور ٫ از جمله آزمایشات حلقه در هر پورت، گزارش های آموزش پیوند و آمار همجوشی قطع ٬ دید دقیق از مسائل عملکرد را فراهم می کند.ما توصیه می کنیم که یک خط پایه برای عملیات عادی در طول انتشار اولیه ایجاد کنیم، اندازه گیری های کلیدی مانند متوسط تاخیر، خروجی، و استفاده از CPU،برای استفاده در مقایسه های آیندهدر هنگام ارزیابیقیمت MCX631102AN-ADATدر مورد مالکیت، سازمان ها باید صرفه جویی های عملیاتی حاصل از مصرف CPU کاهش یافته و روند کار ساده برای رفع مشکل را در نظر بگیرند.

استراتژی های بهینه سازی برایکارت آداپتور اترنت MCX631102AN-ADATباید روی سه زمینه تمرکز کنید. در پیکربندی میزبان، حداکثر حجم بار مفید PCIe را به 512 بایت تنظیم کنید و اعتدال قطع را فعال کنید تا تاخیر و بهره وری CPU را متعادل کنید. در شبکه،تنظیم اولویت های PFC به طور مداوم در تمام سوئیچ ها و آداپتورها توصیه می کنیم اولویت 3 را برای ترافیک RoCE و اولویت 0 را برای ترافیک مدیریت اختصاص دهید.در لایه برنامه، عمق صف RDMA را با ویژگی های بار کار هماهنگ کنید: صف های عمیق تر از بار های کار ذخیره سازی فشرده بهره می برند.در حالی که صف های کم عمق تاخیر را برای پردازش تراکنش حساس کاهش می دهند. جزئیاتمشخصات MCX631102AN-ADATارائه راهنمایی های خاص برای تنظیم این پارامترها در سیستم عامل های مختلف.

6خلاصه و ارزیابی ارزش

درملانوکس (NVIDIA Mellanox) MCX631102AN-ADATیک راه حل معماری ارائه می دهد که به چالش های اساسی شبکه های مدرن مرکز داده پاسخ می دهد: ارائه تاخیر در مقیاس میکروسکنید، حمل و نقل RDMA شتاب دهنده سخت افزاری،و 25GbE پیوسته از طریق تمام در حالی که کاهش CPU میزبان overheadبا خدمت به عنوان یک رابط شبکه ی یکپارچه برای محاسبات، ذخیره سازی و بار کاری هوش مصنوعی، آداپتور زیرساخت ها را در حالی که عملکرد را افزایش می دهد، ساده می کند.MCX631102AN-ADAT راه حل کارت آداپتور اترنتمصرف CPU مربوط به شبکه را حدود 80٪ کاهش می دهد، تاخیر دسترسی به ذخیره سازی را بیش از 80٪ بهبود می بخشد،و عملکرد قابل پیش بینی را در شرایط بار متفاوت از طریق مدیریت ازدحام مبتنی بر سخت افزار فراهم می کند.

از منظر ارزش کسب و کار،آداپتور به سازمان ها امکان می دهد تا سرمایه گذاری های سوئیچ 25GbE موجود را به حداکثر برسانند در حالی که عملکردی را که قبلاً فقط با راه حل های 40GbE یا 100GbE قابل دستیابی بود، ارائه می دهند..MCX631102AN-ADAT برای فروشارزیابی به طور مداوم ROI مثبت را در مدت 12 تا 18 ماه نشان می دهد، که به دلیل کاهش نیازهای تعداد سرورها (به دلیل بهره وری بالاتر در هر گره) و هزینه های عملیاتی کمتر است.برای سازمان هایی که شبکه های مرکز داده را می سازند یا مدرن می کنند، MCX631102AN-ADAT نشان دهنده نه تنها یک ارتقاء تدریجی، بلکه یک بهبود اساسی در بهره وری پایه شبکه است.