مدلی که کد می‌نویسه، حالا با دست کار می‌کنه

وب‌سایت Artificial Analysis پنج مدل برتر هوش مصنوعی را برای انجام هشت کار ساده با یک بازوی رباتیک واقعی آزمایش کرد. این وظایف شامل فشار دادن دکمه، قرار دادن اسباب‌بازی در جعبه، ریختن نوشیدنی، بستن جعبه، جا انداختن شکل‌ها، نوشتن "hello world"، ساختن بلندترین برج و اندازه‌گیری جعبه بود. نتایج نشان داد که هیچ مدلی در همه کارها برتری نداشت؛ برخی در وظایف ساده عالی بودند و در کارهای دیگر شکست خوردند. برای مثال، GPT-6 Astra در فشار دادن دکمه خوب عمل کرد اما در ساختن برج ناموفق بود. سرعت اجرای این مدل‌ها حدود سی دقیقه در مقایسه با بیست ثانیه برای انسان بود، یعنی تقریباً صد برابر کندتر. از نظر هزینه، ارزان‌ترین مدل (Sol) حدود دو دلار و گران‌ترین (Astra) شانزده دلار برای هر کار هزینه داشت، که هنوز ده برابر گران‌تر از انسان است. هوش مصنوعی در گرفتن و جابه‌جا کردن اشیاء نیز مشکل داشت و اغلب موفقیت کمتری نسبت به انسان داشت. همچنین، مدل‌ها در تشخیص زمان اتمام کار دچار مشکل بودند و گاهی بیش از حد ادامه می‌دادند. در نهایت، GPT-6 Astra با امتیاز ۶۹ از ۱۰۰ اول شد، اما این آزمایش نشان داد که این مدل‌ها هنوز برای کاربردهای واقعی کند و گران هستند، هرچند پیشرفت قابل توجهی نسبت به گذشته داشته‌اند.