Google’s New AI May Have Solved The Memory Crisis

أعلنت جوجل عن طريقة جديدة تُمكن من تشغيل تقنيات الذكاء الاصطناعي بتكلفة أقل، وقد أثار هذا الخبر ضجة عالمية. يأتي هذا الإعلان في وقت مثالي، حيث يعاني العالم من نقص في الذاكرة، مما أدى إلى ارتفاع جنوني في أسعار أجهزة الكمبيوتر المحمولة القادرة، ووحدات معالجة الرسوميات (GPUs)، وأي شيء يمكنه تشغيل أنظمة الذكاء الاصطناعي. تهدف هذه الطريقة، التي أطلقوا عليها اسم TurboQuant، إلى جعل تشغيل هذه الأنظمة أرخص بكثير. يزعمون أنها تقلل الذاكرة المطلوبة من 4 إلى 6 مرات، وتزيد سرعة الحساب بمقدار 8 مرات لجزء من الشبكة العصبية يسمى "الانتباه"، كل ذلك دون خسارة كبيرة في جودة الإخراج، وتعمل على النماذج الحالية كما هي. إذا كان هذا صحيحًا، فهو سيغير قواعد اللعبة تمامًا، وقد أثر الخبر على أسعار أسهم شركات أشباه الموصلات الكبرى. نظرًا لضخامة الخبر، فضلت عدم نشر فيديو مبكر، بل انتظرت لأرى ما إذا كان يعمل في الممارسة العملية، وسأخبركم بذلك، كما سأخبركم أن ليس الجميع سعيدًا بهذا الإعلان. لذا، هناك ثلاثة أسئلة: ما الذي تفعله هذه التقنية؟ هل تعمل؟ وما هو الجدل الدائر حولها؟ هذه التقنية تضغط ذاكرة التخزين المؤقت (KV cache) لأنظمة الذكاء الاصطناعي، مثل نماذج اللغة الكبيرة، وهي الذاكرة قصيرة المدى لمساعد الذكاء الاصطناعي. إذا نظرت إلى هذه الذاكرة، فسترى الكثير من الأرقام التي تتعلق بما تتحدث عنه حاليًا، سواء كانت أفلامًا، أو مجموعة من المستندات، أو قاعدة بيانات ضخمة. ما لفت انتباهي كعالم أبحاث لم يكن الضجة الإعلامية، بل الإثبات الرياضي الرسمي لعمل هذه التقنية. هذه الأرقام تحتوي على العديد من الأرقام العشرية. يقترح العلماء قطع الأرقام الأخيرة لتوفير الذاكرة، وهي ليست فكرة جديدة وليست جيدة إلا إذا كنت حذرًا جدًا، لأنك قد تفقد الكثير من المعلومات وقد تنتج شبكتك العصبية هراء. فكيف يتم ذلك؟ تخيل متجهًا يشبه سهمًا يشير إلى مكان ما. أحيانًا يشير هذا السهم بشكل رئيسي على طول محور واحد، بحيث تكون معظم "طاقته" في اتجاه واحد، وقليل منها في اتجاهات أخرى. عندما تقطع هذه المعلومات، فإنها تلتصق بالشبكة، وتفقد كل شيء باستثناء هذا الاتجاه الواحد، وهذا ليس مفيدًا. إليك فكرة رائعة: قبل قطعها، قم بتدوير السهم في اتجاه عشوائي. الآن تنتشر الطاقة بشكل أكثر توازناً عبر جميع الاتجاهات. لذا، عندما تقرب أجزاء منها، تفقد القليل من كل مكان بدلاً من كل شيء من معظم الأماكن. والنتيجة؟ فقدان أقل بكثير للمعلومات. هل هذه الفكرة جديدة؟ لا، إنها فكرة قديمة جدًا. يقومون بشيء آخر: يستخدمون تحويل جونسون-ليندنستراوس لضغط البيانات. ما هذا؟ تذكر أن لدينا مجموعة من الأرقام تمثل اتجاهات الأسهم، ونريد عددًا أقل من الأرقام لوصف هذه الاتجاهات، ولكن بحذر شديد. تفعل هذا بطريقة تضمن أن المسافات بين هذه الأسهم هي نفسها تقريبًا بعد الضغط. إذا أردت أن تبدو رائعًا، فقط سمها تحويل JL. هل هذا جديد؟ ليس حقًا. إنها تقنية عمرها 40 عامًا. وأعتقد أن هذا هو المفتاح. الجميع يحب اختراع أشياء جديدة براقة، ولكن هنا، التكميم ليس جديدًا، وتدوير الأشياء ليس جديدًا، وهذا التحويل ليس جديدًا. هذه ثلاث أفكار قديمة مجتمعة معًا لتحقيق تأثير كبير. أحيانًا لا تحتاج إلى اختراع نظريات جديدة عظيمة، أحيانًا تحتاج إلى مزيج ذكي من الأساليب الموجودة. السؤال الكبير الثاني: هل يعمل في الممارسة العملية؟ للاستنتاج أنه يعمل في الممارسة العملية، أردت أن أرى علماء آخرين يعيدون إنتاج التقنية ويختبرونها بأنفسهم. هذا هو السبب في ظهور هذا الفيديو بعد معظم الفيديوهات الأخرى، لكنني أعتقد أن هذا يجعله أكثر صدقًا. فهل تمكن علماء آخرون من إعادة إنتاج هذه التقنية؟ نعم. هل قاموا أيضًا باختبارها؟ نعم. هل تساعد هذه التقنية؟ نعم. لكن ليس بهذه السرعة! تكشف الاختبارات الأولى أنها قللت تكلفة الذاكرة لذاكرة التخزين المؤقت (KV cache) – الذاكرة قصيرة المدى – بنسبة 30-40%. هذا رائع. كنت سأكون سعيدًا جدًا بهذا. لكن الأمر لا يتوقف عند هذا الحد. عادة ما يكون لديك مقايضة حيث تقلل استخدام الذاكرة على حساب شيء ما. لذا يجب أن يتباطأ شيء ما. لكن تم تسريع معالجة المطالبات بنحو 40% أيضًا. ماذا؟ هذا جنوني. نحصل على مساعدين ذكاء اصطناعي أسرع يحتاجون إلى ذاكرة أقل بتكلفة شبه صفرية. هذا أمر لا يصدق. في عالم يزداد فيه صعوبة امتلاك الأشياء، هذا نعمة. ومن الملاحظ أيضًا أن الورقة لم تصدر إلا منذ أسبوع واحد، وبعضكم قام بالفعل ببرمجتها. عمل رائع. الرابط موجود في الوصف. لذا، الأمر ليس تمامًا كما تقول وسائل الإعلام. بناءً على النتائج، لا يمكننا أن نستنتج أن كل جهاز ذكاء اصطناعي يحتاج فجأة إلى ذاكرة وصول عشوائي (RAM) أقل بست مرات. لا. هذا مثالي بعض الشيء وصحيح فقط لبعض الحالات الخاصة. تعرفون عندما ترون معيارًا رسميًا لبطارية هاتف أو مدى سيارة كهربائية في ظروف مثالية إلى حد ما؟ الأمر يشبه ذلك. لذا كن حذرًا مع الضجة الإعلامية. لكنه لا يزال جيدًا. جيد حقًا! إنه يساعد معظم الأشخاص الذين يديرون أنظمة الذكاء الاصطناعي ذات السياقات الطويلة جدًا. عندما تضع مستند PDF ضخمًا، أو فيلمًا، أو قاعدة بيانات ضخمة ليحللها الذكاء الاصطناعي. نعم، ستتمكن من القيام بذلك بتكلفة أقل، وبذاكرة أقل بشكل ملحوظ. غالبًا بضعة جيجابايت أقل. وأعتقد أن هذه أخبار مذهلة للغاية. ثالثًا، أود أن أشير إلى أن باحثين آخرين أشاروا إلى أن الورقة تتداخل مع تقنيات سابقة. شعروا أن هناك تشابهات يجب مناقشتها بشكل أكثر شمولاً. كان هناك المزيد. في النهاية، تم قبول الورقة للنشر، على الرغم من أن جميع الباحثين لا يوافقون على أن المخاوف قد تم معالجتها بالكامل. لقد وضعت روابط كل هذا في وصف الفيديو. لكن هذا يثبت أنه حتى في الذكاء الاصطناعي الحديث، لا تزال هناك أشياء أساسية لم نخترعها بعد. وهذا يجعل هذا المجال مثيرًا للغاية. يا له من وقت رائع للعيش فيه!