چت‌جی‌پی‌تی در حدود یک چهارم درس‌های دانشگاهی به خوبی یا بهتر از دانشجویان عمل می‌کند. با این حال، این تنها شامل پرسش‌هایی می‌شود که پاسخ روشن مبتنی بر حافظه دارند و نیاز به تحلیل‌های انتقادی ندارند.
چت جی‌پی‌تی، چت پردازش زبان طبیعی است که توسط فناوری هوش مصنوعی هدایت می‌شود و به کاربر این امکان را می‌دهد که با یک ربات صحبت کند و از او سوال بپرسد.
یاسر زکی و تیمش در دانشگاه نیویورک ابوظبی در امارات متحده عربی با همکارانشان در بخش‌های دیگر تماس گرفتند و از آنها خواستند تا سؤالات ارزیابی درس‌های دانشگاهی مانند کامپیوتر، روان‌شناسی، علوم سیاسی و بیزنس را ارائه دهند.
آنها همچنین پاسخ واقعی دانشجویان به سوالات را در اختیار آنها گذاشتند. سپس سوالات را به ربات چت هوش مصنوعی دادند که آن نیز پاسخ‌های خود را داد.
در مرحله بعد، هر دو مجموعه از پاسخ ها برای تیم ارزیابی ارسال شد. زکی می‌گوید: «این تیم نه از منابع پاسخ‌ها و نه از هدف نمره دادن آگاه نبود.»
در ۹ درس از ۳۲ درس بررسی شده، پاسخ های «چت‌جی‌پی‌تی» به خوبی پاسخ‌های دانش‌آموزان و بهتر از آنها ارزیابی شده بود و برخی پاسخ‌ها آن به طور قابل توجهی بهتر بود. به عنوان مثال، در پاسخ دادن به سوالات درسی به نام «سیاست عمومی»، نمره‌ای تقریباً دو برابر میانگین نمره دانش آموزان کسب کرد.
چت‌جی‌پی‌تی در سؤالاتی که نیاز به تجزیه و تحلیل انتقادی داشتند، عملکرد ضعیفی نشان داد.
پژوهشگران همچنین نظرسنجی کردند تا ببینند آیا چت‌جی‌پی‌تی می‌تواند به تکالیف دانشگاهی کمک کند یا خیر. این نظرسنجی با هزار و ششصد دانشجو و استاد از کشورهای برزیل، هند، ژاپن، آمریکا و بریتانیا مطرح شد.
۷۴ درصد از دانشجویان گفتند مایل هستند از کمک چت‌جی‌پی‌تی بهره‌مند شوند. در مقابل، ۷۰ درصد از اساتید این کمک را «سرقت ادبی» و تقلب توصیف کردند.
چت جی‌پی‌تی از زمان عرضه به ابزاری برای نوشتن مقاله حداقل برای یک نشریه خبری، تهیه چکیده مقاله‌های پژوهشی که حتی برخی دانشمندان را فریب داده است، و حتی در آزمون‌های حقوق و بازرگانی در سطح فارغ التحصیلان، البته با نمرات پایین، مورد استفاده قرار گرفته است.
این در حالی است که هشدارهایی در مورد پیامدهای بلندمدت ناشناخته مانند تأثیر آن بر آموزش و توانایی دانش‌آموزان برای تقلب در تکالیف مدرسه مطرح شده است. علی‌رغم این هشدارها، موفقیت چت جی‌پی‌تی باعث ایجاد یک رقابت جهانی برای توسعه هوش مصنوعی شده است.
