آموزش LLMOps از صفر تا اجرا | جلسه دوم: طراحی MVP برای LLM Twin

خب، در این ویدیو، ادامه‌ی کتاب «ال ام هندبوک» را پیش می‌بریم و هدف اصلی، ساخت یک اپلیکیشن هوش مصنوعی (AI Application) و انتقال آن به محیط پروداکشن است. پروژه‌ی ما شامل ساخت یک «ال ام توین» (LM Twin) یا «ای آی توین» (AI Twin) است که با اطلاعات شخصی کاربر، مانند پست‌های شبکه‌های اجتماعی (X، اینستاگرام، لینکدین)، ترین یا فاین‌تیون می‌شود تا بتواند مانند آن شخص صحبت کند، بنویسد و متن تولید کند. در مقایسه با استفاده از چت‌جی‌پی‌تی (ChatGPT)، که جنبه‌ی عمومی دارد و در تولید محتوا در حوزه‌های خاص یا تقلید دقیق لحن یک فرد محدودیت دارد، ساخت یک ال ام توین شخصی، مزایایی دارد. استفاده از چت‌جی‌پی‌تی برای این منظور ممکن است منجر به اطلاعات نادرست (Misinformation) و هالوسینیشن (Hallucination) شود، زیرا مدل اطلاعات شخصی و سبک منحصر به فرد کاربر را ندارد. راه حل جایگزین، استفاده از تکنیک‌هایی مانند Prompting یا Retrieval-Augmented Generation (RAG) است، اما این روش‌ها زمان‌بر هستند. رویکرد ما ساخت یک ال ام توین سفارشی است که شامل مراحل جمع‌آوری داده (Data Collection)، پیش‌پردازش (Preprocessing)، ذخیره‌سازی (Data Storage)، فاین‌تیونینگ (Fine-tuning)، و تولید و ارزیابی محتوا (Content Generation & Evaluation) می‌شود. هدف، ساخت سیستمی است که بتواند به صورت خودکار و بلندمدت، مانند یک دستیار هوش مصنوعی (AI Assistant) با لحن شخصی کاربر عمل کند. محصول نهایی باید «آگنوستیک» (Agnostic) باشد، یعنی مستقل از مدل خاصی عمل کند و امکان جایگزینی مدل‌ها (مانند استفاده از مدل‌های مختلف یا جایگزینی جی‌پی‌تی با مدل‌های دیگر) با تغییرات جزئی در کد را فراهم کند. ما قصد داریم یک «ام‌وی‌پی» (MVP - Minimum Viable Product) بسازیم. ام‌وی‌پی نسخه‌ای از محصول است که حداقل ویژگی‌های اصلی و ضروری را برای عملکرد درست دارد. هدف از ساخت ام‌وی‌پی، یادگیری چرخه‌ی طبیعی توسعه محصول، اعتبارسنجی ایده در بازار با کمترین هزینه و زمان، و کسب بینش از نحوه‌ی واکنش کاربران است. این رویکرد به مدیریت ریسک، کاهش هزینه‌ها و زمان کمک می‌کند. منابع مورد نیاز برای این پروژه محدود فرض شده است (مانند تیمی سه نفره شامل دو مهندس ML و یک محقق ML، لپ‌تاپ و سرمایه‌ی شخصی). بنابراین، باید استراتژیک عمل کرده و ارزش محصول را با توجه به محدودیت منابع به حداکثر رساند. مراحل ساخت ال ام توین ما شامل جمع‌آوری داده از منابع مختلف (لینکدین، مدیوم، Stack Overflow، گیت‌هاب)، فاین‌تیونینگ یک مدل اپن‌سورس، ساخت دیتابیس برای RAG، تولید پست‌های لینکدین با استفاده از پرامپت‌ها و داده‌های فاین‌تیون شده، و در نهایت ساخت یک رابط کاربری وب ساده خواهد بود. این سیستم باید مقرون به صرفه، مقیاس‌پذیر و ماژولار باشد و با استفاده از بهترین تکنیک‌های روز در حوزه هوش مصنوعی و مهندسی نرم‌افزار ساخته شود. در نهایت، به مباحث معماری و جزئیات فنی بیشتر خواهیم پرداخت.