توهم در مدل های زبانی چیست؟
مدل های زبانی بزرگ مانند GPT-5 و Claude با وجود کاربرد گسترده، گاهی اطلاعات نادرست تولید می کنند. این پدیده در حوزه فناوری با عنوان «توهم» شناخته می شود. توهم زمانی رخ می دهد که یک مدل، پاسخی اشتباه را با اطمینان کامل ارائه دهد.
ریشه اصلی مشکل
محققان OpenAI در پژوهشی تازه به بررسی این موضوع پرداختند. آن ها اعلام کردند دلیل اصلی توهم، به شیوه آموزش این مدل ها برمی گردد. الگوریتم ها در روند یادگیری برای «حدس زدن» پاداش می گیرند. بنابراین، حتی در شرایط عدم اطمینان، مدل ها ترجیح می دهند پاسخ قطعی تولید کنند.
چرا مدل ها به جای سکوت، جواب می دهند؟
طبق گزارش، مدل های زبانی طوری آموزش دیده اند که سکوت یا ابراز تردید را نشانه ضعف بدانند. در نتیجه، آن ها ناخودآگاه به دنبال پاسخی هستند که کامل به نظر برسد. این رفتار باعث می شود توهمات به شکل مکرر در خروجی ظاهر شوند.
پیشنهاد OpenAI برای کاهش خطاها
پژوهشگران OpenAI تأکید کرده اند که معیارهای ارزیابی باید تغییر کنند. به باور آن ها، مدل ها هنگام مواجهه با عدم قطعیت نباید به حدس زدن تشویق شوند. بلکه باید در چنین شرایطی سکوت کنند یا به وضوح اعلام کنند که پاسخ قطعی ندارند.
راهکاری نو برای آینده هوش مصنوعی
این استارتاپ پیشنهاد داده تا سیستم های آموزشی به جای پاداش دادن به حدس های تصادفی، رفتار مسئولانه را تقویت کنند. در این حالت، مدل ها به جای گمراه کردن کاربران، به بیان محدودیت های خود می پردازند.
چالش اعتماد در هوش مصنوعی
یکی از بزرگ ترین مشکلات توهم، خدشه دار شدن اعتماد کاربران است. زمانی که مدل ها اطلاعات غلط ارائه دهند، کارایی آن ها زیر سؤال می رود. به همین دلیل، کاهش توهمات می تواند نقطه عطفی در مسیر پذیرش عمومی هوش مصنوعی باشد.
پژوهش جدید OpenAI نشان می دهد که آینده هوش مصنوعی به تغییر در متدهای آموزشی وابسته است. اگر مدل ها بیاموزند در شرایط نامطمئن سکوت کنند، اعتماد کاربران افزایش خواهد یافت. این تحول می تواند مسیر توسعه ایمن تر و دقیق تر هوش مصنوعی را هموار کند.
0 نظر ثبت شده
0 نظر ثبت شده
تمام حقوق محفوظ است
ثبت یک نظر