Mentorima diplomskih AI izaziva noćne more: Profesora student za mentorstvo pitao koristeći chatbot

Od kad je umjetna inteligencija postala široko dostupna, studentima nije dugo trebalo da je počnu koristiti za pisanje radova. Stoga sveučilišta i fakulteti sastavljaju pravilnike i smjernice o korištenju umjetne inteligencije. Većina profesora s kojima smo razgovarali slaže se, AI je novi alat i prirodno je da će ga studenti koristiti. Međutim zabrinuti su oko toga kako to čine.

Profesorica Željka Tomasović s Odjela za informacijske znanosti i tehnologije Sveučilišta u Zadru priča nam da je radove koje je studentima generirao AI prvi put susrela 2022. godine. S kolegicama je ustanovila da u radovima primjećuju čudan, gotovo robotski izričaj s preopširnim opisima koji uopće ne obrađuju zadanu temu. 

- U posljednje četiri godine mentorirala sam dvadesetak završnih/diplomskih radova od kojih je u četiri rada bilo očito da je za pisanje velike količine teksta korištena umjetna inteligencija, otprilike polovina radova je imala manje dijelove teksta kod kojih sam uočila tipične obrasce generiranog teksta, a u ostalim radovima nisam uočila korištenje UI, istaknula je profesorica Tomasović.

'Čini mi se kao da nitko više ne zna samostalno napisati jednu složenu rečenicu'

Puno dramatičniju sliku opisuje nam profesorica Senka Borovac Zekan s Odjela za stručne studije Sveučilišta u Splitu. Naime, ona kaže da svi njeni studenti, bez iznimke koriste AI.

- Studenti ju ne znaju 'pametno' koristiti. Problem je što ju koriste doslovno tj. 'copy paste'. Čini mi se kao da nitko više ne zna samostalno napisati jednu složenu rečenicu. Previše se oslanjaju na umjetnu inteligenciju i uopće ne provjeravaju ono što im ona napiše. Dogodi se tako da literatura koju navode, ne postoji ili da u radu koriste riječi koje ne pripadaju hrvatskom jeziku. Naravno da je tako nešto neprihvatljivo u diplomskom radu. U tom slučaju ih kontaktiram mailom i napišem kako je u radu (vidljivo) korištena umjetna inteligencija te je rad potrebno doraditi, priča nam profesorica Borovac Zekan.

'Rezultati umjetne inteligencije dosadno su i zastarjelo prosječni'

Posve drugačiju perspektivu ima profesor Luka Perušić s Odsjeka za filozofiju Filozofskog fakulteta u Zagrebu, koji kaže da njegovi diplomanti i doktorandi uopće ne koriste AI. Kaže da prihvaća mentorirati samo studente za koje zna da to ne bi napravili.

- Podržavam da si sa sustavima AI-a studenti pomažu stimulirati ideje i argumente, ali ne i da piše ili istražuje umjesto njih. Rezultati umjetne inteligencije dosadno su i zastarjelo prosječni i kao takvi dobri su kao odskočna daska za uočiti što je bezvezno u tome što radimo i na taj se način potaknuti misliti izvan granica postojećeg, usmjeriti se na nešto što bi moglo biti značajno. Na duge staze ozbiljnom studentu sustav AI-a nužno postane nedovoljno stimulativan i nema potrebu na njemu temeljiti svoje ispitivanje, smatra profesor Perušić.

Profesor s FER-a smatra da će toga biti sve više

Profesor Marko Horvat sa Zavoda za primijenjeno računarstvo Fakulteta elektrotehnike i računarstva u Zagrebu kaže da ne bi rekao da većina studenata koristi AI za pisanje diplomskih radova. Doduše vjeruje da će takvih slučajeva biti sve više, zbog čega im je fakultet i izradio smjernice.

- Smatram da odgovor ne može biti ni potpuna zabrana, ni prešutno odobravanje svega. Potreban je razuman, odgovoran i odmjeren odgovor, komentira profesor Horvat.

'Svaki put kad se netko služi AI-jem to mora biti potkrijepljeno izvorom'

Profesorica Lidija Eret s Fakulteta političkih znanosti rekla nam je da posljednjih mjeseci na fakultetu sastavljaju Pravilnik o uporabi umjetne inteligencije. Primijetili su da studenti često koriste AI, a kao problem naglašava što studenti ne provjeravaju informacije koje im plasira.

-  Jedan od momenata koji mora postojati u pisanju diplomskih radova je navođenje izvora iz kojih je AI preuzeo podatke za tekst. Svaki put kad se netko služi AI-jem to mora biti potkrijepljeno izvorom i navedeno kad se i s kojom namjerom AI koristio. Jer bez navođenja izvora korištenje AI-ja je u suvremenom vremenu plagiranje koje nosi sankcije kao i svi drugi oblik plagiranja, istaknula je profesorica Eret.

Po kojim detaljima prepoznaju AI?

Pitali smo profesore i po kojim detaljima prepoznaju da je za pisanje rada korišten AI. Profesorica Tomasović kaže da to prepoznaje po nedostatku referenci ili referencama koje ne odgovaraju kontekstu, određenim frazama koje AI 'voli' poput 'digitalni ekosustav', a koje studenti gotovo nikad ne bi upotrijebili te po tome da su tekstovi nepotrebno opširni. Dodaje da je bilo i slučajeva kad su studenti zaboravili ukloniti dijelove teksta u kojima ih AI pita 'Ako želiš, mogu ti objasniti' i slično.

- Kad su studenti ovako neoprezni, onda je lako uočiti da je tekst generiran. Međutim, naši studenti su često u korak s tehnologijama i modernim alatima pa lako pronađu rješenja za prethodne probleme jer za svaku specifičnost koju neki alat unosi u tekst, postoji alat koji je uklanja. Pa tako imamo razne alate koji mogu generirani tekst učiniti 'ljudskijim' i tako smanjiti vjerojatnost otkrivanja da je generiran, navodi profesorica Tomasović.

Studentici je cijeli rad napisao AI

Profesorica Borovac Zekan ispričala nam je da je doživjela da je studentici kojoj je bila u povjerenstvu čitav rad napisao AI. Mentori radove provjeravaju u Turnitin softveru, no budući da on ne razlikuje pravilno citiranje od plagiranja, ocjenu o autentičnosti profesori donose sami.

- Rad je imao dvanaest poglavlja, umjesto uobičajenih šest. Svako poglavlje imalo je tek po nekoliko rečenica koje su bile preduge, što je tipično za ChatGPT. Studentici sam dala negativnu ocjenu za taj rad i ona ga je trebala prepraviti. Nikakvih sankcija nije bilo jer nisu ni predviđene postojećim pravilnicima, ispričala nam je profesorica Borovac Zekan.

Novi pojmovi: AI shaming i AI-giarizam

Profesor Horvat kaže da je tekst koji je pisao AI površan s mnogo nebitnih općih činjenica. Struktura odlomaka i poglavlja ujednačena je u tekstovima koje generiraju isti modeli, a mogu se primijetiti i karakteristične riječi i fraze. Profesorima signal može biti i što jezik koji se koristi u radu odudara od dotadašnjeg načina izražavanja.

- Primjećuje se također, određena nelagoda, čak i sram, kada treba otvoreno reći da su takvi alati korišteni, vjerojatno zbog straha od osude. U novijoj literaturi ta se pojava već povezuje s pojmom AI shaming, odnosno društvene i akademske stigmatizacije onih koji priznaju uporabu umjetne inteligencije, čak i kada je ona bila ograničena i odgovorna. U literaturi se pojavljuje i pojam AI-giarizam, kojim se opisuje novo, hibridno područje između plagiranja i prikrivenog oslanjanja na AI alate. Znanstvena istraživanja pritom pokazuju da velik broj studenata nije posve siguran gdje završava legitimno korištenje alata umjetne inteligencije, a gdje počinje plagiranje, priča nam profesor Horvat.

Profesoru se student za mentorstvo javio koristeći AI

Naglašava da unatoč smjernicama velik broj studenata odluči sakriti da su koristili AI u pisanju radova, ponajprije od straha da će djelovati manje sposobno. Profesor Horvat kaže da je rezultat toga sve veći jaz između stvarne prakse i pravila, jer se većina institucije bori s definiranjem granica. Smatra da studenti traže modernu AI pismenost. I sam je vidio više slučajeva u kojima su studenti predali seminarske radove koje je u potpunosti pisao AI. Međutim kao najbizarniju istaknuo je priču kad ga je student pitao da mu bude mentor baš koristeći AI.

- Poruka je glasila nekako ovako: 'Poštovani/-la, vrlo me zanima područje s kojim se bavite. S tim područjem se i ja bavim. Jeste li zainteresirani/-la za mentorstvo?'. Drugim riječima, nije prepustio umjetnoj inteligenciji samo stilsku doradu teksta, nego i sam čin osobnog obraćanja, motivacijskog iskaza i uspostavljanja akademske komunikacije. Kada student ni vlastiti interes za temu, ni vlastitu molbu za mentorstvo ne može izraziti svojim riječima, tada je jasno da problem više nije samo tehničke prirode, nego puno dublji, smatra profesor Horvat.

Studentu je tom prilikom odgovorio da mogu razgovarati, ali bez korištenja AI-ja. Dodaje da cilj nije sankcioniranje, nego studentu objasniti da smisao studiranja nije proizvesti tekst koji izgleda uvjerljivo, nego razviti vlastito mišljenje, znanje i sposobnost samostalnog rada.

'Često se dogodi i da nastavnik ne prepozna da je tekst generiran'

U slučaju pretjeranog korištenja AI-ja i profesorica Tomasić studentima da priliku da iznova napišu problematične dijelove teksta. I ona je uočila da neki studenti ne žele priznati da su koristili AI te se na različite načine izmotavaju, a u tim slučajevima ključ rješenja je otvorena komunikacija i objašnjavanje studentima što je prihvatljivo, a što ne, i što se od njih očekuje.

- U pojedinim situacijama su studenti trebali čitav rad napisati iznova jer je bio u potpunosti neprikladan ili netočan. Naravno, često se dogodi i da nastavnik ne prepozna da je tekst generiran, ali znanje studenta se ne vrednuje samo čitanjem napisanog rada, pa i u ovim situacijama vrlo brzo, već nakon nekoliko pitanja, izađe na vidjelo jesu li studenti imali pomoć pri pisanju ili su samostalno istražili temu, ispričala je profesorica Tomasović.

Treba li promijeniti kako funkcioniraju obrane?

Iz tog razloga pitali smo ove mentore smatraju li da bi zbog pojave AI-ja trebalo promijeniti model obrane diplomskih radova. Profesorica Tomasović kaže da je puno problema koje je AI danas povećao postojao i prije i da su nove tehnologije uvijek zrcalo društva.

- Morat ćemo puno toga promijeniti dolaskom AI, od načina na koji podučavamo do načina na koji vrednujemo znanje. Domaće zadaće, pisani seminarski radovi i slični zadaci će se polako napuštati kao dio procesa vrednovanja znanja, a naglasak će se morati staviti na usmeno predstavljanje, usmene ispite ili druge oblike vrednovanja. Isto vrijedi i za vrednovanje obrana završnih i diplomskih radova, pitanja će se vjerojatno promijeniti tako da će se još više fokusirati na argumentiranje metodologije, analizu i interpretaciju rezultata, a manje na reprodukciju definicija ili općih informacija, smatra profesorica Tomasović.

'U takvim situacijama AI ne može pomoći

Profesorica Borovac Zekan smatra da bi se zbog toga fokus trebao pomaknuti na praktične projekte u kojima se može provjeriti koliko su studenti doista radili i naučili.

- Na Odjelu za stručne studije važan dio kurikuluma je predmet Stručna praksa, koji povezuje teorijska znanja s praktičnim radom u odabranim tvrtkama. Studenti kroz praksu stječu ECTS bodove te izrađuju izvještaj ili dnevnik prakse koji je često povezan s temom diplomskog rada. Zato smatram da bi povjerenstvo na obrani diplomskog rada trebalo postavljati pitanja koja traže primjenu znanja na konkretnom primjeru, primjerice na poduzeću u kojem je student obavljao stručnu praksu. U takvim situacijama umjetna inteligencija ne može pomoći već je presudno kritičko i analitičko razmišljanje studenta te iskustvo i znanje koje je student stekao tijekom studija, zaključuje profesorica Borovac Zekan.

'Vrlo se brzo može detektirati je li student samostalno razradio problem'

Za veliku promjenu u obranama diplomskih radova zalaže se i profesor Horvat. Smatra da usmene provjere trebaju biti temeljitije i da trebaju biti usmjerenije na stvarno razumijevanje rada, kritičko korištenje cjelokupnog znanja i na definiranje novih rješenja ili ideja.

- Kroz kvalitetno postavljena pitanja u usmenom ispitivanju vrlo se brzo može detektirati je li student samostalno razradio problem, razumije li metodologiju koju je primijenio, može li obrazložiti vlastite odluke, braniti zaključke i povezati pojedine dijelove rada u smislenu cjelinu. Jer upravo tu AI alati za učenje pokazuju svoje najveće ograničenje: mogu pomoći proizvesti tekst, ali ne mogu umjesto studenta pokazati stvarno znanje i razumijevanje. Mislim da je to ujedno i šira pouka koju nam donosi ova tehnologija. Umjetna inteligencija ne bi trebala dovesti do nepovjerenja prema svim studentima, ali nas mora potaknuti da ozbiljnije promislimo kako vrednujemo znanje. Ako želimo očuvati vjerodostojnost visokog obrazovanja, tada obrana rada mora biti više od administrativnog završnog koraka, poručuje profesor Horvat.

Neki studenti i dalje kupuju radove

Profesor Perušić ističe da je dio problema to što je u Republici Hrvatskoj prepisivanje i varanje prešutno prihvaćeno, zbog čega mnogi studenti nisu svjesni koliko je plagiranje pogrešno. Osim AI-ja ističe da je problem što neki studenti još uvijek plaćaju za pisanje radova.

- Komisije koje ne postavljaju ozbiljna pitanja i ne razgovaraju na obrani presječno o problematici ne rade dobar posao. To nema veze sa sustavima umjetne inteligencije, zaključio je profesor Perušić.

Profesorica Eret naglašava da diplomski rad služi da student pokaže zrelost i kompetentnost koju je stjecao tijekom studija. To je jako važan dokument jer u njemu student sumira što je radio pet godina.

- AI nam degradira mišljenje i vjerodostojnost informacija ako se ne koristi na ispravan način, o tome razmišljam kao nastavnik i pedagog. Naravno da razmišljam i o akademskom poštenju da se studente obrani od plagiranja, ali meni je veća problematika to što mladi nisu uopće svjesni na koji način AI degradira kognitivne sposobnosti, zaključuje profesorica Eret.