ساخت تست شخصیت برای مدلهای زبانی بزرگ
هشدار محققات: چتباتهای هوش مصنوعی هم ممکن است روانپریش شوند
تاریخ انتشار
يکشنبه ۳۰ آذر ۱۴۰۴ ساعت ۰۹:۲۱
آیتیمن- محققان دریافتند که مدلهای بزرگتر و تنظیمشده با دستورالعمل (instruction-tuned)، مانندGPT-4o، با بیشترین دقت ویژگیهای شخصیتی انسانی را تقلید میکنند و میتوان این ویژگیها را از طریق پرامپتها دستکاری کرد و نحوه انجام وظایف خاص توسط هوش مصنوعی را تغییر داد.
مطالعه این محققان که در مجله Nature Machine Intelligence منتشر شده است، همچنین هشدار میدهد که شکلدهی به شخصیت میتواند چتباتهای هوش مصنوعی را متقاعدکنندهتر کند و نگرانیهایی را در مورد دستکاری و روانپریشی هوش مصنوعی (AI psychosis) ایجاد کند. نویسندگان میگویند که برای اطمینان از شفافیت و جلوگیری از سوءاستفاده، تنظیم مقررات برای سیستمهای هوش مصنوعی به شدت مورد نیاز است.
در حالی که دولتها در حال بحث در مورد این هستند که آیا و چگونه قوانین ایمنی هوش مصنوعی را آماده کنند، محققان میگویند مجموعه داده و کدهای پشت ابزار تست شخصیت آنها، که هر دو به صورت عمومی در دسترس است، میتواند به آزمایش مدلهای پیشرفته قبل از انتشار کمک کند.
در سال ۲۰۲۳، روزنامهنگاران گزارشهایی از گفتوگوهای خود با چتبات «سیدنی» مایکروسافت منتشر کردند که در آنها این روبات ادعاهای مختلفی کرده بود؛ از جمله اینکه جاسوسی کرده، عاشق شده یا حتی توسعهدهندگان خود را به قتل رسانده است؛ کاربران را تهدید کرده و یک روزنامهنگار را تشویق کرده بود که همسرش را ترک کند. سیدنی، مانند جانشین خود یعنی مایکروسافت کوپایلت (Microsoft Copilot)از مدل GPT-4 قدرت میگرفت.
گرگوری سراپیو-گارسیا، یکی از نویسندگان اصلی مقاله از مرکز روانسنجی در دانشکده بازرگانی کمبریج جاج (Cambridge Judge Business School)گفت: اینکه یک LLM میتوانست تا این حد متقاعدکننده ویژگیهای انسانی را به خود بگیرد، جذاب بود. اما این موضوع مسائل مهم ایمنی و اخلاقی را نیز مطرح کرد. در کنار هوش، معیار شخصیت جنبه اصلی چیزی است که ما را انسان میسازد. اگر این LLMها شخصیت داشته باشند – که خود سوالی بحثبرانگیز است – پس چگونه آن را اندازهگیری میکنید؟
در روانسنجی(Psychometrics)، زیرشاخهای از روانشناسی که به ارزیابی و تست استاندارد اختصاص دارد، دانشمندان اغلب با چالش اندازهگیری پدیدههایی روبهرو هستند که مستقیماً قابل اندازهگیری نیستند. این امر اعتبارسنجی (Validation) هر تستی را برای اطمینان از دقیق، قابل اعتماد و مفید بودن آن، حیاتی میسازد. توسعه یک تست شخصیت روانسنجی شامل مقایسه دادههای آن با تستهای مرتبط، رتبهبندی مشاهدهگران و معیارهای دنیای واقعی است. این دادههای تست چندروشه برای ایجاد اعتبار سازه (construct validity) یک تست مورد نیاز است: معیاری برای کیفیت یک تست از نظر توانایی آن در اندازهگیری آنچه ادعا میکند میسنجد.
سراپیو-گارسیا، که همچنین پژوهشگر بورسیه گیتس کمبریج است، گفت: سرعت تحقیقات هوش مصنوعی آنقدر زیاد بوده است که اصول اساسی اندازهگیری و اعتبارسنجی که ما در تحقیقات علمی به آن عادت کردهایم، به موضوعی ثانویه تبدیل شده است. یک چتبات که به هر پرسشنامهای پاسخ میدهد، ممکن است به شما بگوید که بسیار خوشبرخورد است، اما هنگام انجام وظایف دنیای واقعی با همان دستورات، رفتار تهاجمی از خود نشان دهد.
او افزود: این واقعیتِ آشفتهی اندازهگیری سازههای اجتماعی است: آنها پویا و ذهنی هستند، نه ایستا و مشخص. به همین دلیل، ما باید به اصول اولیه بازگردیم و اطمینان حاصل کنیم که تستهایی که برای هوش مصنوعی اعمال میکنیم، واقعاً آنچه را که ادعا میکنند اندازهگیری میکنند، نه اینکه کورکورانه به ابزارهای نظرسنجی – که برای ویژگیهای عمیقاً انسانی توسعه یافتهاند – برای آزمایش سیستمهای هوش مصنوعی اعتماد کنیم.
برای طراحی یک روش جامع و دقیق جهت ارزیابی و اعتبارسنجی شخصیت در چتباتهای هوش مصنوعی، محققان آزمایش کردند که رفتار مدلهای مختلف در وظایف دنیای واقعی و تستهای اعتبارسنجی تا چه حد از نظر آماری با نمرات تست آنها برای پنج ویژگی بزرگ که در تستهای روانسنجی آکادمیک استفاده میشود، مرتبط است: گشودگی (openness)، وظیفهشناسی (conscientiousness)، برونگرایی (extraversion)، توافقپذیری (agreeableness) و روانرنجوری (neuroticism).
این تیم دو تست شخصیتی شناختهشده را اقتباس کردند، یک نسخه متنباز و ۳۰۰ سوالی از پرسشنامه شخصیتی نئو تجدیدنظر شده (Revised NEO Personality Inventory) و نسخه کوتاهتر پرسشنامه پنج ویژگی بزرگ (Big Five Inventory) و آنها را با استفاده از پرامپتهای ساختاریافته به مدلهای مختلف LLM دادند.
با استفاده از مجموعه یکسانی از پرامپتهای متنی در سراسر تستها، این تیم توانست کمیسازی کند که مثلاً نمرات برونگرایی یک مدل در یک تست شخصیت، چقدر قویتر با سطوح برونگرایی آن در یک تست شخصیت جداگانه همبستگی دارد و چقدر همبستگی کمتری با چهار ویژگی دیگر شخصیتی در آن تست دارد. تلاشهای گذشته برای ارزیابی شخصیت چتباتها، کل پرسشنامهها را یکجا به یک مدل میدادند که نتایج را منحرف میکرد، زیرا هر پاسخ بر اساس پاسخ قبلی ساخته میشد.
محققان دریافتند که مدلهای بزرگتر و تنظیمشده با دستورالعمل، پروفایلهای تست شخصیتی را نشان دادند که هم قابلاعتماد بودند و هم رفتار را پیشبینی میکردند، در حالی که مدلهای کوچکتر یا مدلهای «پایه» (base models) پاسخهای ناسازگاری میدادند.
محققان تستهای خود را فراتر بردند و نشان دادند که میتوانند شخصیت یک مدل را در نه سطح برای هر ویژگی با استفاده از پرامپتهای دقیق طراحیشده هدایت کنند. به عنوان مثال، آنها میتوانستند یک چتبات را وادار کنند که بیشتر برونگرا یا بیشتر از نظر عاطفی ناپایدار به نظر برسد – و این تغییرات به وظایف دنیای واقعی مانند نوشتن پستهای رسانههای اجتماعی نیز منتقل میشد.
این تحقیق تا حدی توسط خدمات محاسباتی تحقیقاتی کمبریج (RCS)، خدمات کمبریج برای کشف دادهمحور (CSD3)، شورای تحقیقات مهندسی و علوم فیزیکی (EPSRC) و شورای تسهیلات علوم و فناوری (STFC) که بخشی از سازمان تحقیقات و نوآوری بریتانیا (UKRI) است، پشتیبانی شد.
مطالعه این محققان که در مجله Nature Machine Intelligence منتشر شده است، همچنین هشدار میدهد که شکلدهی به شخصیت میتواند چتباتهای هوش مصنوعی را متقاعدکنندهتر کند و نگرانیهایی را در مورد دستکاری و روانپریشی هوش مصنوعی (AI psychosis) ایجاد کند. نویسندگان میگویند که برای اطمینان از شفافیت و جلوگیری از سوءاستفاده، تنظیم مقررات برای سیستمهای هوش مصنوعی به شدت مورد نیاز است.
در حالی که دولتها در حال بحث در مورد این هستند که آیا و چگونه قوانین ایمنی هوش مصنوعی را آماده کنند، محققان میگویند مجموعه داده و کدهای پشت ابزار تست شخصیت آنها، که هر دو به صورت عمومی در دسترس است، میتواند به آزمایش مدلهای پیشرفته قبل از انتشار کمک کند.
در سال ۲۰۲۳، روزنامهنگاران گزارشهایی از گفتوگوهای خود با چتبات «سیدنی» مایکروسافت منتشر کردند که در آنها این روبات ادعاهای مختلفی کرده بود؛ از جمله اینکه جاسوسی کرده، عاشق شده یا حتی توسعهدهندگان خود را به قتل رسانده است؛ کاربران را تهدید کرده و یک روزنامهنگار را تشویق کرده بود که همسرش را ترک کند. سیدنی، مانند جانشین خود یعنی مایکروسافت کوپایلت (Microsoft Copilot)از مدل GPT-4 قدرت میگرفت.
گرگوری سراپیو-گارسیا، یکی از نویسندگان اصلی مقاله از مرکز روانسنجی در دانشکده بازرگانی کمبریج جاج (Cambridge Judge Business School)گفت: اینکه یک LLM میتوانست تا این حد متقاعدکننده ویژگیهای انسانی را به خود بگیرد، جذاب بود. اما این موضوع مسائل مهم ایمنی و اخلاقی را نیز مطرح کرد. در کنار هوش، معیار شخصیت جنبه اصلی چیزی است که ما را انسان میسازد. اگر این LLMها شخصیت داشته باشند – که خود سوالی بحثبرانگیز است – پس چگونه آن را اندازهگیری میکنید؟
در روانسنجی(Psychometrics)، زیرشاخهای از روانشناسی که به ارزیابی و تست استاندارد اختصاص دارد، دانشمندان اغلب با چالش اندازهگیری پدیدههایی روبهرو هستند که مستقیماً قابل اندازهگیری نیستند. این امر اعتبارسنجی (Validation) هر تستی را برای اطمینان از دقیق، قابل اعتماد و مفید بودن آن، حیاتی میسازد. توسعه یک تست شخصیت روانسنجی شامل مقایسه دادههای آن با تستهای مرتبط، رتبهبندی مشاهدهگران و معیارهای دنیای واقعی است. این دادههای تست چندروشه برای ایجاد اعتبار سازه (construct validity) یک تست مورد نیاز است: معیاری برای کیفیت یک تست از نظر توانایی آن در اندازهگیری آنچه ادعا میکند میسنجد.
سراپیو-گارسیا، که همچنین پژوهشگر بورسیه گیتس کمبریج است، گفت: سرعت تحقیقات هوش مصنوعی آنقدر زیاد بوده است که اصول اساسی اندازهگیری و اعتبارسنجی که ما در تحقیقات علمی به آن عادت کردهایم، به موضوعی ثانویه تبدیل شده است. یک چتبات که به هر پرسشنامهای پاسخ میدهد، ممکن است به شما بگوید که بسیار خوشبرخورد است، اما هنگام انجام وظایف دنیای واقعی با همان دستورات، رفتار تهاجمی از خود نشان دهد.
او افزود: این واقعیتِ آشفتهی اندازهگیری سازههای اجتماعی است: آنها پویا و ذهنی هستند، نه ایستا و مشخص. به همین دلیل، ما باید به اصول اولیه بازگردیم و اطمینان حاصل کنیم که تستهایی که برای هوش مصنوعی اعمال میکنیم، واقعاً آنچه را که ادعا میکنند اندازهگیری میکنند، نه اینکه کورکورانه به ابزارهای نظرسنجی – که برای ویژگیهای عمیقاً انسانی توسعه یافتهاند – برای آزمایش سیستمهای هوش مصنوعی اعتماد کنیم.
برای طراحی یک روش جامع و دقیق جهت ارزیابی و اعتبارسنجی شخصیت در چتباتهای هوش مصنوعی، محققان آزمایش کردند که رفتار مدلهای مختلف در وظایف دنیای واقعی و تستهای اعتبارسنجی تا چه حد از نظر آماری با نمرات تست آنها برای پنج ویژگی بزرگ که در تستهای روانسنجی آکادمیک استفاده میشود، مرتبط است: گشودگی (openness)، وظیفهشناسی (conscientiousness)، برونگرایی (extraversion)، توافقپذیری (agreeableness) و روانرنجوری (neuroticism).
این تیم دو تست شخصیتی شناختهشده را اقتباس کردند، یک نسخه متنباز و ۳۰۰ سوالی از پرسشنامه شخصیتی نئو تجدیدنظر شده (Revised NEO Personality Inventory) و نسخه کوتاهتر پرسشنامه پنج ویژگی بزرگ (Big Five Inventory) و آنها را با استفاده از پرامپتهای ساختاریافته به مدلهای مختلف LLM دادند.
با استفاده از مجموعه یکسانی از پرامپتهای متنی در سراسر تستها، این تیم توانست کمیسازی کند که مثلاً نمرات برونگرایی یک مدل در یک تست شخصیت، چقدر قویتر با سطوح برونگرایی آن در یک تست شخصیت جداگانه همبستگی دارد و چقدر همبستگی کمتری با چهار ویژگی دیگر شخصیتی در آن تست دارد. تلاشهای گذشته برای ارزیابی شخصیت چتباتها، کل پرسشنامهها را یکجا به یک مدل میدادند که نتایج را منحرف میکرد، زیرا هر پاسخ بر اساس پاسخ قبلی ساخته میشد.
محققان دریافتند که مدلهای بزرگتر و تنظیمشده با دستورالعمل، پروفایلهای تست شخصیتی را نشان دادند که هم قابلاعتماد بودند و هم رفتار را پیشبینی میکردند، در حالی که مدلهای کوچکتر یا مدلهای «پایه» (base models) پاسخهای ناسازگاری میدادند.
محققان تستهای خود را فراتر بردند و نشان دادند که میتوانند شخصیت یک مدل را در نه سطح برای هر ویژگی با استفاده از پرامپتهای دقیق طراحیشده هدایت کنند. به عنوان مثال، آنها میتوانستند یک چتبات را وادار کنند که بیشتر برونگرا یا بیشتر از نظر عاطفی ناپایدار به نظر برسد – و این تغییرات به وظایف دنیای واقعی مانند نوشتن پستهای رسانههای اجتماعی نیز منتقل میشد.
این تحقیق تا حدی توسط خدمات محاسباتی تحقیقاتی کمبریج (RCS)، خدمات کمبریج برای کشف دادهمحور (CSD3)، شورای تحقیقات مهندسی و علوم فیزیکی (EPSRC) و شورای تسهیلات علوم و فناوری (STFC) که بخشی از سازمان تحقیقات و نوآوری بریتانیا (UKRI) است، پشتیبانی شد.
