هوش مصنوعی ۷۰ میلیارد پارامتری روی گرافیک ۴ گیگابایتی اجرا شد!

▪️ پروژه AirLLM به کاربران امکان می‌دهد مدل‌های هوش مصنوعی چند میلیارد پارامتری را روی کارت گرافیک‌های ارزان و حتی قدیمی اجرا کنند. با این ابزار، یک مدل ۷۰ میلیارد پارامتری روی گرافیک ۴ گیگابایتی و نسخه ۴۰۵ میلیارد پارامتری Llama 3.1 روی گرافیک ۸ گیگابایتی هم قابل اجرا است که قبلاً به سخت‌افزارهای بسیار گران‌قیمت نیاز داشتند.

▪️ مکانیزم AirLLM بر پایه تجزیه لایه به لایه مدل‌ها کار می‌کند؛ هر بار یک لایه در حافظه GPU بارگذاری و لایه بعدی نیز هم‌زمان پیش‌بارگذاری می‌شود تا وقفه‌ای در پردازش نباشد. این ابزار از فشرده‌سازی ۴ و ۸ بیتی پشتیبانی می‌کند که سرعت را تا سه برابر افزایش می‌دهد.

#ai #AirLLM

🔗 جزئیات AirLLM و اجرای هوش مصنوعی قدرتمند در زومیت

🆔 @thezoomit