?

NVIDIA Mellanox MCX653105A-HDAT سرور آداپتور در عمل.

پیش زمینه و چالش: گلوی فشنی آموزش هوش مصنوعی

یک شرکت فناوری مالی پیشرو که در تجارت الگوریتمی و تجزیه و تحلیل ریسک در زمان واقعی تخصص دارد، با یک چالش زیربنایی حیاتی روبرو شد.تیم یادگیری ماشینی آنها یک خوشه آموزش توزیع شده را که شامل 32 سرور شتاب دهنده GPU بود، مستقر کرده بود.با این حال، به عنوان پیچیدگی مدل از میلیون ها به میلیاردها پارامتر رشد کرد، تاخیر شبکه به خنک کننده اصلی تبدیل شد.آداپتورهای موجود 25GbE، که با TCP / IP سنتی کار می کند، تاخیر دم غیر قابل پیش بینی را معرفی کرد که به طور قابل توجهی همگام سازی گرادینت را در کلستر کند می کند.

معماران زیرساخت شرکت دو مشکل اصلی را شناسایی کردند.استیک TCP/IP منابع قابل توجهی از CPU را در هر سرور مصرف می کند ٪ تا 30٪ از هسته های موجود ٪ که ظرفیت موجود برای آموزش مدل واقعی را کاهش می دهددوم، عدم استفاده از سخت افزار برای RDMA به این معنی بود که انتقال داده بین حافظه GPU و شبکه نیاز به کپی های متعدد حافظه دارد.اضافه کردن تاخیر در سطح میکروسکنید که در هزاران مبادله پارامتر در هر مرحله آموزش جمع شده استتیم به راه حلی نیاز داشت که بتواند ارتباطات کم تاخیر تعیین کننده را بدون قربانی کردن سرعت سرور یا نیاز به تعمیر کامل شبکه ارائه دهد.

راه حل و پیاده سازی: اجرای RoCE با MCX653105A-HDAT

پس از ارزیابی گزینه های متعدد، شرکت انتخابNVIDIA Mellanox MCX653105A-HDATاین کارت شبکه PCIe در هر یک از 32 سرور آموزش مستقر شد و جایگزین سازنده های نسل قبلی شد.کارت شبکه PCIe MCX653105A-HDAT ConnectXترکیبی مورد نیاز از پهنای باند بالا و پشتیبانی RoCEv2 شتاب دهنده سخت افزاری را فراهم می کند که امکان ارتباط RDMA واقعی را در سراسر بافت ایترنت موجود فراهم می کند.

تعبیه یک رویکرد ساختاری را دنبال کرد:

• نصب فیزیکی:هر سرورکارت آداپتور اترنت MCX653105A-HDAT، از طریق لینک های SFP28 دو پورت 25GbE به سوئیچ های فوق العاده بالا متصل می شوند.
• تنظیمات RoCEv2:سوئیچ های شبکه با کنترل جریان اولویت (PFC) و اطلاع رسانی واضح از ازدحام (ECN) برای اطمینان از حمل و نقل اترنت بدون زیان تنظیم شده اند. یک پیش شرط برای عملکرد بهینه RDMA.
• GPUDirect ادغام:این تیم از قابلیت های GPUDirect آداپتور استفاده کرد، که حرکت مستقیم داده ها بین حافظه GPU و رابط شبکه را بدون دخالت CPU میزبان امکان پذیر می کند.
• مجموعه نرم افزار:استیک درایور شبکه NVIDIA نصب شد و چارچوب آموزش (PyTorch با داده های توزیع شده موازی) برای استفاده از لایه حمل و نقل RDMA پیکربندی شد.

بر اساسورق اطلاعات MCX653105A-HDAT، آداپتور از PCIe Gen 4.0 x16 پشتیبانی می کند،ارائه حداکثر 256 GB/s پهنای باند میزبان کافی برای اشباع کامل پورت های دوگانه 25GbE در حالی که فضای کافی برای ارتقاء آینده به 50GbE یا 100GbE باقی می ماند. تیم اشاره کرد که انعطاف پذیری آداپتور باعث می شود آن را به طور کاملMCX653105A-HDAT سازگاربا سخت افزار سرور موجود خود که از هر دو PCIe Gen 3.0 و 4 پشتیبانی می کند.0.

درمشخصات MCX653105A-HDATآنها پارامترهای قطعات را برای تعادل تاخیر در مقابل استفاده از پردازنده تنظیم کردندو تنظیمات اولویت در هر صف را برای اطمینان از اینکه ترافیک همگام سازی گرادینت بالاترین درمان QoS را دریافت می کند.

نتایج و مزایای قابل اندازه گیری

بهبود عملکرد قابل توجه و به طور مستقیم در ابعاد متعدد قابل اندازه گیری بود:

علاوه بر پیشرفت های کمی،NVIDIA Mellanox MCX653105A-HDATسودهای عملیاتی را که تیم انتظار نداشت، به دست آورد.تاخیر تعیین کننده تضمین کرد که همگرایی آموزش به طور مداوم در چارچوب زمان قابل پیش بینی به دست می آید ‬ یک نیاز حیاتی برای چرخه های توسعه مدل حساس به زمان شرکتهسته های CPU آزاد شده به سمت محاسبات واقعی هدایت شدند، به طور موثر ظرفیت محاسبات موثر خوشه را بدون اضافه کردن سخت افزار جدید افزایش می دهد.

این تیم همچنین از تله متری ساخته شده در آداپتور استفاده کرد تا در الگوهای ازدحام پارچه دید داشته باشد.این داده ها به آنها کمک کرد تا پیکربندی های بافر شبکه را بهینه سازی کنند و به طور فعال کاهش عملکرد بالقوه را شناسایی کنند.MCX653105A-HDAT راه حل کارت آداپتور اترنتثابت شد که هم یک شتاب دهنده عملکرد و هم یک ابزار اطلاعاتی عملیاتی است.

خلاصه و چشم انداز

این کار تایید کرد کهNVIDIA Mellanox MCX653105A-HDATاین یک سرمایه گذاری استراتژیک در عملکرد محاسبات توزیع شده است. با فعال کردن RoCEv2 با GPUDirectآداپتور زمان آموزش را بیش از ۷۰ درصد کاهش داد.، سرعت زمان به بازار برای مدل های جدید، و به طور قابل توجهی بهبود بهره وری زیرساخت.

شرکت در حال برنامه ریزی برای گسترش این معماری به خوشه های اضافی، از جمله پلت فرم تجزیه و تحلیل ریسک در زمان واقعی،جایی که انتقال داده با تاخیر پایین بین پایگاه های داده در حافظه و گره های محاسباتی ضروری است.قیمت MCX653105A-HDAT، زمانی که با پس انداز عملیاتی و سود عملکرد ارزیابی می شود،بازگشت سرمایه قابل توجهی را نشان می دهد .

برای سازمان هایی که به طور فعال ارزیابی می کنندMCX653105A-HDAT براي فروشگزینه های، این مطالعه مورد نشان می دهد که آداپتور وعده خود را از شبکه های کم تاخیر و با سرعت بالا در محیط های تولید دنیای واقعی ارائه می دهد.ترکیبی از شتاب سخت افزاری، تلمیتر جامع و سازگاری بی نقص با زیرساخت های موجود اترنت باعث می شودNVIDIA Mellanox MCX653105A-HDATیک جزء اساسی برای معماری های مدرن مرکز داده.