انقلابی در سرعت هوش مصنوعی: کارت جدید HighPoint گلوگاه CPU را حذف می‌کند

شرکت HighPoint، متخصص تجهیزات شبکه، از کارت سوئیچ جدید خود با نام Rocket 7638D رونمایی کرد. این کارت که بر پایه رابط PCIe 5.0 ساخته شده، یک پل ارتباطی مستقیم بین پردازنده‌های گرافیکی هوش مصنوعی انویدیا (NVIDIA AI GPUs) و حافظه‌های پرسرعت NVMe ایجاد می‌کند. این فناوری می‌تواند تأخیر سیستم (Latency) را هنگام پردازش مجموعه داده‌های عظیم به شکل چشمگیری کاهش دهد.

مشکل قدیمی: CPU، واسطه‌ای کُند بین حافظه و پردازنده گرافیکی

تا پیش از این، برای اینکه داده‌ها توسط پردازنده گرافیکی (GPU) پردازش شوند، باید ابتدا از حافظه ذخیره‌سازی خوانده شده، به پردازنده مرکزی (CPU) و حافظه رم سیستم منتقل شده و سپس در اختیار GPU قرار می‌گرفتند. در این فرآیند، CPU و رم نقش یک “واسطه” ضروری اما کُند را ایفا می‌کردند که به یک گلوگاه بزرگ در سیستم‌های هوش مصنوعی تبدیل شده بود.

راهکار انویدیا و HighPoint: فناوری GPUDirect Storage در عمل

انویدیا با معرفی فناوری GPUDirect Storage این معادله را تغییر داد. این قابلیت به داده‌ها اجازه می‌دهد تا مستقیماً از حافظه NVMe به حافظه GPU منتقل شوند و CPU و رم را به طور کامل از چرخه خارج کنند. این کار نه تنها بار پردازشی را از روی CPU برمی‌دارد، بلکه تأخیر در رسیدن داده به GPU را به حداقل می‌رساند.

با این حال، برای استفاده از GPUDirect Storage به یک سوئیچ PCIe نیاز است که از قابلیت P2P DMA پشتیبانی کند. کارت Rocket 7638D شرکت HighPoint دقیقاً برای همین منظور طراحی شده و با استفاده از چیپ قدرتمند Broadcom PEX 89048، این زیرساخت حیاتی را فراهم می‌کند.

مشخصات فنی کارت Rocket 7638D

• رابط: ۴۸ مسیر (Lane) PCIe 5.0
• حافظه ذخیره‌سازی: پشتیبانی از حداکثر ۱۶ درایو NVMe از طریق کانکتورهای MCIO 8i (تا سقف ۲ پتابایت)
• پهنای باند: ارائه پهنای باند پایدار تا ۶۴ گیگابایت بر ثانیه برای ارتباط مستقیم GPU و حافظه
• سازگاری: بدون نیاز به درایور یا نرم‌افزار خاص، با تمام سیستم‌عامل‌های اصلی سازگار است.
• پشتیبانی از چند GPU: به هر پردازنده گرافیکی پهنای باند اختصاصی ارائه می‌دهد بدون اینکه عملکرد حافظه‌های NVMe فدا شود.

کاربردها: تسریع آموزش مدل‌های هوش مصنوعی

این کارت به طور خاص برای بارهای کاری یادگیری ماشین (ML) طراحی شده است. با استفاده از Rocket 7638D:

• زمان آموزش مدل کاهش می‌یابد: مجموعه داده‌های بزرگ به صورت آنی و بدون تأخیر از حافظه به GPU استریم می‌شوند.
• پردازش آنی داده‌ها ممکن می‌شود: پاسخ‌دهی GPU به داده‌های ورودی سریع‌تر شده و برای کاربردهای لحظه‌ای ایده‌آل است.
• آماده‌سازی داده‌ها سرعت می‌گیرد: فرآیندهایی مانند Data Augmentation با سرعت بالاتری انجام می‌شوند.

این فناوری یک گام بزرگ در جهت حذف موانع سخت‌افزاری در مسیر توسعه هوش مصنوعی و پردازش داده‌های حجیم به شمار می‌رود.