Liquid LFM3 Is INSANE – Tiny Local AI That ANYONE Can Run!

در این ویدئو، خانواده جدیدی از مدل‌های هوش مصنوعی به نام LFM3 از Liquid AI مورد بررسی قرار می‌گیرد. این مدل‌ها برخلاف مدل‌های بزرگ و بسته قبلی، به گونه‌ای طراحی شده‌اند که اکثر کاربران بتوانند آن‌ها را به صورت محلی بر روی دستگاه‌های خود اجرا کنند. این امر دسترسی به هوش مصنوعی محلی را دموکراتیزه می‌کند. خانواده LFM3 شامل مدل‌هایی با حدود ۲ میلیارد پارامتر است که قابلیت‌های متنوعی را ارائه می‌دهند: * **مدل متنی (LLM):** با ۱.۷ میلیارد پارامتر، برای پردازش متن به متن طراحی شده است. * **مدل بینایی:** قابلیت درک تصاویر و پاسخ به سوالات مربوط به آن‌ها را دارد. * **مدل صوتی:** امکان مکالمه صوتی، درک صدا و رونویسی آن را فراهم می‌کند. با تغییرات جزئی، می‌توان مکالمات گفتاری-گفتاری (speech-to-speech) نیز با آن داشت. * **مدل اُمِنی (Omni):** به طور فرضی قادر به مشاهده ویدئوها و پاسخ به سوالات درباره محتوای آن‌ها است. * **مدل تصمیم‌گیری:** این مدل نیز موجود است اما در این ویدئو مورد بررسی قرار نمی‌گیرد. این مدل‌ها بر روی دستگاه‌های کم‌مصرف و لبه (edge devices) مانند گوشی‌های هوشمند به خوبی اجرا می‌شوند. برای تست، از یک رابط وب مبتنی بر VibeCode بر روی لپ‌تاپ Microsoft Surface با ۶۴ گیگابایت حافظه یکپارچه استفاده شد. این سیستم پهنای باند حافظه پایینی دارد، اما برای مدل‌های این اندازه، این موضوع تأثیر قابل توجهی بر سرعت نخواهد داشت. **مدل ۱.۷ میلیارد پارامتری (مدل متنی):** این مدل به عنوان یک LLM سنتی متن به متن عمل می‌کند. تمامی مدل‌ها در Hugging Face موجود هستند و مدل پایه نیز برای تنظیم دقیق (fine-tuning) در دسترس است. این مدل دارای پنجره زمینه (context window) ۲۵۶ هزار توکن است. لایسنس این مدل اختصاصی است و نه MIT و نه Apache 2.0. این مدل در کوانتیزاسیون Q8 تست شد. نتایج نشان داد که مدل قادر به ایجاد یک رابط کاربری ساده مرورگر OS است که دکمه‌های تعاملی دارد و حتی وضعیت "در حال پیمایش" را نیز نشان می‌دهد. این مدل همچنین با استفاده از Hermes Agent، قابلیت انجام وظایف عامل‌گونه (agentic tasks) را از خود نشان داد، مانند یافتن فایل‌ها در سیستم محلی. توانایی این مدل در انجام کارهایی که چهار سال پیش تنها در مدل‌های بسیار بزرگتر ممکن بود، قابل توجه است. با وجود اینکه مدل در ابتدا در درک کلمه "pizzazz" یا افزودن جزئیات بصری خاص مشکل داشت، اما توانست درخواست "تبدیل به مرورگر پیتزا OS" را اجرا کند. مدل توانست تغییرات را در فایل اعمال کرده و آن را در مکان مناسبی ذخیره کند، حتی اگر دسترسی به مسیر اولیه را نداشت. همچنین، توانست یک گزارش سبک ویلکی‌پدیا با ارجاعات ایجاد کند که شامل جستجو در وب و استفاده از ابزارهای مختلف بود. نکته مهم این است که این مدل حتی بدون نیاز به GPU و تنها با CPU قابل اجرا است. **مدل بینایی:** این مدل قابلیت پاسخگویی به سوالات درباره تصاویر را دارد. * **تصویر اول (سگ):** مدل با موفقیت نژاد سگ (Westy) را شناسایی کرد و همچنین توصیفی از وضعیت سگ (آرام اما هوشیار) ارائه داد، هرچند که با توجه به اینکه سگ به تازگی حمام کرده بود، این توصیف کاملاً دقیق نبود. * **تصویر دوم (میم):** این تصویر مربوط به میمی درباره خودروی Subaru WRX و مشکل واشر سرسیلندر آن بود. مدل توانست بخشی از مفهوم میم را درک کند، که فراتر از انتظار بود. * **تصویر سوم (لپ‌تاپ Toshiba Quasmio):** مدل توانست مدل لپ‌تاپ را شناسایی کند و حتی به دلیل وجود برچسب‌ها، توانایی OCR (تشخیص نوری کاراکترها) را نیز نشان داد. با وجود اینکه تشخیص جزئیات دقیق‌تر مانند چیدمان کیبورد کانادایی چالش‌برانگیز بود، مدل توانست به درستی تشخیص دهد که برخی جزئیات به دلیل کیفیت تصویر قابل تشخیص نیستند. * **تصویر چهارم (دفترچه راهنمای خودرو):** این تصویر از صفحه نمایش کامپیوتر گرفته شده بود و حاوی اطلاعاتی درباره فیوزها و رله‌های خودرو بود. مدل توانست بیشتر اطلاعات را در قالب جدول بازنویسی کند، اما برخی جزئیات از قلم افتادند. با این حال، این نتیجه برای یک تصویر غیر کامل و در یک مدل کوچک، قابل قبول تلقی شد، زیرا نشان‌دهنده قابلیت استفاده در سناریوهای دنیای واقعی است. **مدل صوتی:** این مدل امکان مکالمه صوتی را فراهم می‌کند. با اضافه شدن قابلیت تشخیص فعالیت صوتی (VAD)، مکالمه به صورت طبیعی‌تر و بدون نیاز به فشردن دستی دکمه‌ها انجام می‌شود. در یک مکالمه آزمایشی، مدل قادر به پاسخگویی به سوالات درباره مک‌بوک پرو، ارائه اطلاعات و حتی پیگیری موضوعات پیچیده مانند تماس با بخش پشتیبانی برای خرید یک CPU گران‌قیمت بود. مدل توانست نام مدیر فروش را تشخیص داده و شماره تلفن پیشنهادی ارائه دهد. همچنین، توانست پیام تهدیدآمیزی را به استیو جانسون تایلر منتقل کند، هرچند که پیام دریافتی توسط مدل کمی با پیام اصلی تفاوت داشت. این نشان می‌دهد که اگرچه مدل قادر به مکالمه صوتی آفلاین است، اما برای ایجاد یک دستیار صوتی کاملاً تعاملی و قابل قطع کردن (interruptible) نیاز به تنظیمات بیشتری دارد. سرعت مدل در این بخش قابل قبول بود، به خصوص با توجه به قابلیت اجرا بر روی دستگاه‌های لبه. **مدل اُمِنی (Omni):** این مدل قابلیت درک متن، تصویر، ویدئو و صدا را دارد و می‌تواند به صورت متن و گفتار پاسخ دهد. در تست، یک ویدئوی تبلیغاتی برای چت‌بات متن‌باز Perry به مدل داده شد. مدل توانست محتوای ویدئو را درک کرده و اطلاعاتی مانند "Join the waitlist" را استخراج کند، هرچند که بخش "copy the hat list" کمی نادرست بود. پاسخ مدل سریع بود، اما به دلیل پیکربندی نادرست، قابلیت پردازش صدا در این تست فعال نشد. با این حال، سرعت پاسخگویی مدل برای پردازش ویدئو چشمگیر بود. **تست نهایی بر روی دستگاه لبه:** برای نمایش نهایی، مدل ۱.۷ میلیارد پارامتری با کوانتیزاسیون ۴ بیتی بر روی یک دستگاه لبه واقعی، یعنی Arduino Uno Q (با پردازنده Qualcomm Dragon Wing و ۴ گیگابایت حافظه LPDDR4) با قیمت حدود ۸۰ دلار اجرا شد. این نشان می‌دهد که با هزینه‌ای اندک (حدود ۱۰۰ دلار با احتساب آداپتور و منبع تغذیه)، می‌توان یک چت‌بات هوش مصنوعی آفلاین و محلی را بر روی یک کامپیوتر تک‌بردی اجرا کرد. این قابلیت در مقایسه با ۶ سال پیش که چنین چیزی در دستگاه‌های ارزان‌قیمت غیرقابل تصور بود، پیشرفت چشمگیری محسوب می‌شود. سرعت اجرای مدل در این دستگاه حدود ۳ توکن در ثانیه بود که برای یک دستگاه لبه قابل قبول است. در مجموع، خانواده مدل‌های LFM3 از Liquid AI بسیار هیجان‌انگیز هستند، به خصوص به دلیل قابلیت اجرا بر روی دستگاه‌های کم‌مصرف و آفلاین. این مدل‌ها دسترسی به هوش مصنوعی محلی را برای طیف وسیعی از کاربران ممکن می‌سازند، برخلاف مدل‌های بزرگتر که اجرای آن‌ها نیازمند سخت‌افزار گران‌قیمت است.