مقایسه شبکه های HPC: InfiniBand در مقابل اترنت

تاریخ: ۱۲ نوامبر ۲۰۲۳

تلاش بی‌وقفه برای محاسبات اگزاسکیل و بارهای کاری پیچیده هوش مصنوعی، زیرساخت‌های محاسبات با کارایی بالا (HPC) را تا حد توان خود سوق داده است. در قلب این تکامل، یک تصمیم معماری حیاتی نهفته است: انتخاب ساختار اتصال متقابل. بحث در مورد InfiniBand در برابر اترنت برای طراحی کارآمد شبکه‌های HPC ضروری است. با خرید Mellanox توسط NVIDIA، یک رهبر در اتصالات متقابل با کارایی بالا، این رقابت تشدید شده است و نوآوری را به ارمغان آورده و مقایسه‌های مبتنی بر داده را برای مشتریان سازمانی و تحقیقاتی اجباری می‌کند.

عملکرد خام، تمایز اصلی است. InfiniBand که صریحاً برای محیط‌های مرکز داده با تأخیر کم و توان عملیاتی بالا طراحی شده است، از مزیت قابل توجهی برخوردار است.

• تأخیر: InfiniBand به‌طور مداوم تأخیر سرتاسری زیر 600 نانوثانیه را ارائه می‌دهد که برای ارتباط MPI (رابط عبور پیام) در شبیه‌سازی‌های نزدیک به هم حیاتی است. اترنت، حتی با RoCE (RDMA over Converged Ethernet)، معمولاً در محدوده میکروثانیه (بیشتر از 1.2 میکروثانیه) عمل می‌کند و باعث ایجاد گلوگاه در بارهای کاری موازی می‌شود.
• توان عملیاتی: در حالی که هر دو فناوری راه‌حل‌های 200G و 400G را ارائه می‌دهند، کنترل ازدحام و مسیریابی تطبیقی InfiniBand، استفاده از پهنای باند سازگارتر و کارآمدتر را تضمین می‌کند و عملکرد برنامه را به حداکثر می‌رساند.

برای برنامه‌هایی که زمان حل مسئله در اولویت است، مانند مدل‌سازی آب و هوا یا توالی‌یابی ژنومی، این شکاف عملکرد مستقیماً به تسریع تحقیقات ترجمه می‌شود.

فراتر از معیارهای اساسی، معماری InfiniBand ویژگی‌های تغییردهنده پارادایم را معرفی می‌کند که اترنت در مطابقت با آن مشکل دارد.

• SHARP (پروتکل تجمیع و کاهش سلسله مراتبی مقیاس‌پذیر): این ویژگی پیشگامانه از سوئیچ‌های Mellanox InfiniBand عملیات حسابی (مانند کاهش MPI) را در داخل ساختار شبکه انجام می‌دهد و این کار را از CPU حذف می‌کند. این می‌تواند عملیات جمعی را تا 50٪ تسریع کند، ویژگی‌ای که در اترنت استاندارد در دسترس نیست.
• کنترل ازدحام بومی: مسیریابی تطبیقی داخلی InfiniBand به‌طور پویا ترافیک را مدیریت می‌کند تا از نقاط داغ جلوگیری کند. اترنت برای مدیریت ازدحام به پروتکل‌های اضافی (به عنوان مثال، DCQCN) متکی است که می‌تواند کمتر کارآمد باشد و نیاز به تنظیم پیچیده داشته باشد.

تسلط اترنت در مراکز داده با هدف عمومی، یک مورد قانع‌کننده را بر اساس آشنایی و اکوسیستم ارائه می‌دهد.

• فراگیر بودن و مجموعه مهارت: اترنت به‌طور جهانی درک می‌شود و تعداد زیادی از مهندسان شبکه با مدیریت و عیب‌یابی آن آشنا هستند. این می‌تواند سربار عملیاتی و هزینه‌های آموزشی را کاهش دهد.
• همگرایی: یک ساختار اترنت واحد به‌طور بالقوه می‌تواند ترافیک ذخیره‌سازی، داده و مدیریت را حمل کند و معماری شبکه را ساده کند. با این حال، این همگرایی اغلب به سیاست‌های QoS پیچیده برای محافظت از ترافیک شبکه‌های HPC حساس به عملکرد نیاز دارد.
• هزینه: از نظر تاریخی، اجزای اترنت برچسب قیمت کمتری داشتند. با این حال، این شکاف با معرفی اترنت با سرعت بالا و در نظر گرفتن کل هزینه مالکیت (TCO) با در نظر گرفتن عملکرد به ازای هر وات و عملکرد به ازای هر دلار، به‌طور قابل توجهی کاهش یافته است و اغلب InfiniBand را برای خوشه‌های HPC اختصاصی ترجیح می‌دهد.

انتخاب بین InfiniBand و اترنت موضوع این نیست که کدام یک به‌طور جهانی بهتر است، بلکه کدام یک برای بار کاری خاص بهینه است. برای محیط‌های خالص و مأموریت‌محور شبکه‌های HPC - که در آن دستیابی به سریع‌ترین زمان حل برای محاسبات پیچیده هدف اصلی است - InfiniBand، که توسط فناوری Mellanox پشتیبانی می‌شود، همچنان رهبر بلامنازع عملکرد است. قابلیت‌های محاسباتی پیشرفته درون شبکه و راندمان برتر آن، بازگشت سرمایه (ROI) ملموسی را برای شرکت‌های تحقیقاتی و مبتنی بر هوش مصنوعی فراهم می‌کند. برعکس، برای محیط‌های بار کاری ترکیبی یا خوشه‌هایی که عملکرد شدید کمتر حیاتی است، اترنت با سرعت بالا یک جایگزین آشنا و توانا ارائه می‌دهد.