پرسش کلیدی جدید
پردازششده با هوش مصنوعی · تأییدشده توسط نویسنده
آیا تکالیف تکمیلشده با وجود دسترسی دانشجویان به هوش مصنوعی مولد، همچنان مهارت مستقل آنها را نشان میدهد؟
پخشکننده Spotify بارگذاری میشود؛ ممکن است Spotify کوکیهایی تنظیم کند. این دستگاه انتخاب شما را به خاطر میسپارد.
یافتههای کلیدی
- در یکی از دورههای برنامهنویسی، ۴۵ درصد از دانشجویانی که در تکالیف هفتگی نمره کامل گرفته بودند، در آزمون نهایی تحت نظارت نمره صفر کسب کردند که نشاندهنده همبستگی ضعیف بین تکالیف و عملکرد در آزمون است (r = ۰.۱۸).
- اعمال نظارت بر آزمون در یک امتحان برنامهنویسی یکسان در مؤسسهای دیگر، سبب افت قابلتوجه نمرات برتر از ۷۳ درصد به ۲۴ درصد شد.
- مقایسه کدهای منبع نشان داد که تکالیف دانشجویان حاوی ساختارهای آموزشدادهنشده و کدهای مازاد بوده و نشانههای سبکی هوش مصنوعی در حدود ۱۸ درصد از کدهای دانشجویان شناسایی شد.
- نتایج نظرسنجی نشان داد که دانشجویان بومی و بینالمللی الگوهای استفاده و درک متفاوتی از سودمندی هوش مصنوعی دارند که نشاندهنده فشارهای اجتماعی و نهادی متغیر است.
- ممنوعیت هوش مصنوعی از طریق آییننامهها برای حفظ اعتبار ارزیابی ناکافی بود و نیاز به حرکت بهسوی آزمونهای تحت نظارت و تکالیف نیازمند تلاش شناختی مشهود را برجسته ساخت.
معنای آن برای شما
مدیر ارشد فناوری اطلاعات
Monitor digital exam environments because unproctored take-home assignments cannot be trusted anymore during the age of AI since it is easy to skip them.
مدیر فناوری اطلاعات
Deploy secure, proctored digital testing platforms across institution-wide coursework to ensure assessment integrity.
استراتژیست کسبوکار
Reallocate institutional resources away from futile AI-ban enforcement toward scalable, supervised assessment infrastructure.
پژوهشگر
Start evaluating how students perceive their own skills when using AI, and design new learning pathways that accept AI usage while ensuring students still learn.
سیاستگذار
Prohibiting AI tools is impossible, as we cannot monitor what students are doing at home and what kind of assignments they return, and thus, we should think how to make more supervised assessments possible and scalable as just plain oral exams in large student groups are not a feasible method.
خلاصه
در سه مؤسسه آموزش عالی فنلاند و با بررسی بیش از ۱۰۰۰ دانشجو، نویسندگان نمرات ارزیابی را تحلیل کرده، ۸۸۳ نمونه کد ارسالی جفتشده از سوی دانشجو و هوش مصنوعی را مقایسه نموده و پاسخهای نظرسنجی آغاز ترم ۶۰۲ دانشجو را مورد بررسی قرار دادند.
مسئله
ارزیابی در آموزش عالی بر این فرض استوار است که تحویل یک تکلیف تکمیلشده، نشاندهنده مهارتهای شناختی بنیادین هدف آموزش است. هوش مصنوعی مولد با توانمند ساختن دانشجویان برای تولید راهحلهای کارآمد بدون درگیر شدن در فرآیند حل مسئله، این پیوند را تضعیف میکند. سیاستهای ممنوعیت هوش مصنوعی نیز نمیتوانند اعتبار ارزیابی را احیا کنند، زیرا قوانین بهتنهایی قادر به سلب امکانات کاربردی این فناوری نیستند.
متن گفتار
Expert: ممنون آنا. سلام به شما و شنوندگان گرامی. این مطالعه به یکی از چالشهای بنیادین محیطهای آموزشی و سازمانی در زمان فراگیری ابزارهای هوش مصنوعی مولد میپردازد؛ یعنی میزان اعتبار ارزیابی عملکرد و شایستگیهای فنی.
Host: موضوعی که برای رهبران کسبوکار بسیار حیاتی است. الکس، ابتدا به مسئله اصلی بپردازیم. در آموزش و فرآیندهای سنجش شایستگی، معمولاً تحویل یک پروژه یا کد کامل به معنای تسلط شناختی فرد بر حل مسئله تلقی میشود. این مطالعه چه رویکردی نسبت به این فرض دارد؟
Expert: پژوهشگران نشان میدهند که این فرض به دلیل گسترش هوش مصنوعی مولد دچار خدشه شده است. این ابزارها امکان تولید راهحلهای کاملاً کارآمد و فاقد خطا را بدون درگیر شدن عمیق شناختی کاربر فراهم کردهاند. همچنین مطالعه اشاره میکند که سیاستهای مبتنی بر ممنوعیت استفاده از هوش مصنوعی، نتوانستهاند این چالش را مهار کنند؛ چرا که چارچوبهای انضباطی توانایی حذف کارکردهای دردسترس این فناوری را ندارند.
Host: برای ارزیابی این مسئله در عمل، پژوهشگران چه دادههایی را تحلیل کردند؟
Expert: روششناسی این مطالعه مبتنی بر چند بخش است. پژوهشگران دادههای ارزیابی را در سه مؤسسه آموزش عالی فنلاند با جامعهای بیش از ۱۰۰۰ دانشجو بررسی کردند. در مرحله بعد، ۸۸۳ نمونه کد تحویل دادهشده از سوی دانشجویان را بهصورت تطبیقی در کنار خروجیهای هوش مصنوعی قرار دادند و علاوه بر آن، پاسخهای ۶۰۲ دانشجو به یک نظرسنجی در ابتدای دوره را برای تحلیل رفتارها و نگرشها سنجیدند.
Host: و نتایج حاصل از این ارزیابیها چه شاخصهایی را نمایان ساخت؟
Expert: نتایج حاکی از شکافی بارز میان تکالیف بدون نظارت و آزمونهای تحت نظارت است. در یکی از دورهها، ۴۵ درصد از دانشجویانی که در تکالیف هفتگی نمره کامل را دریافت کرده بودند، در آزمون نهایی حضوری و تحت نظارت، نمره صفر گرفتند. ضریب همبستگی میان نمرات تکالیف و نمرات آزمون بسیار ضعیف و معادل ۰.۱۸ ثبت شد. همچنین در مؤسسهای دیگر، با اضافه شدن مؤلفه نظارت به امتحانی یکسان، درصد کسبکنندگان بالاترین نمرات از ۷۳ درصد به ۲۴ درصد تنزل پیدا کرد.
Host: تفاوت بسیار محسوسی است. در بررسی ساختار کدهای ارسالی چه الگوهایی دیده شد؟
Expert: بررسی کدهای منبع نشان داد که تکالیف ارسالشده حاوی ساختارهایی خارج از سرفصلهای تدریسشده و حجم بالایی از کدهای مازاد بودهاند. الگوها و امضاهای سبکی هوش مصنوعی در حدود ۱۸ درصد از کدهای دانشجویان به ثبت رسید. همچنین در بخش نظرسنجی، تفاوت معناداری در الگوی استفاده و ارزیابی فایدهمندی هوش مصنوعی میان دانشجویان بومی و بینالمللی مشاهده شد که بیانگر تأثیر فشارهای زمینهای و اجتماعی است. در مجموع، دادهها تأیید کردند که ممنوعیت اداری کافی نبوده و نیاز به نظارت مستقیم و سنجش ملموس فرآیند شناختی وجود دارد.
Host: از زاویه دید مدیران کسبوکار و کارشناسان منابع انسانی، این شواهد چه کاربردی در عمل دارند؟
Expert: نکته کلیدی برای مدیران این است که سنجش مهارتهای فنی دیگر نباید صرفاً متکی بر تحویل خروجی نهایی از راه دور یا نمونهکارهای فاقد نظارت باشد. وقتی داوطلبان یا کارکنان میتوانند با هوش مصنوعی نتایج مطلوب تولید کنند، صلاحیت واقعی در توانایی تحلیل و فرآیند حل مسئله نهفته است. کسبوکارها در استخدام و همچنین برنامههای ارتقای مهارت داخلی، باید به سمت سنجشهای همزمان، مصاحبههای فنی مبتنی بر استدلال و محیطهای ارزیابی نظارتشده حرکت کنند تا اطمینان یابند مهارتهای تحلیلی پایه واقعاً در نیروی کار شکل گرفته است.
Host: بنابراین سازمانها باید تمرکز خود را از نتیجه نهایی به چگونگی رسیدن به آن معطوف کنند. الکس، از توضیحات دقیق و روشنت متشکرم.
Expert: خواهش میکنم آنا، موفق باشید.
Host: از شما مخاطبان گرامی نیز بابت همراهی با این قسمت از «A.I.S. Insights — powered by Living Knowledge» سپاسگزاریم. تا گفتگوی بعدی، خدانگهدار.
Generative AI, Assessment validity, Affordance theory, Introductory programming, Assessment governance, Higher education