Wyniki badania przeprowadzonego przez naukowców z Uniwersytetu w Pittsburghu dotyczącego odróżnienia poezji stworzonej przez sztuczną inteligencję a tej, stworzonej przez człowieka, poruszyły Internet. Okazuje się, że dla badanych poezja napisana przez m.in. Williama Szekspira czy Emily Dickinson, oceniana jest niżej niż wiersze autorstwa AI. Czytelnicy twierdzą, że są bardziej zrozumiałe.
AI w życiu codziennym
Rozwój sztucznej inteligencji idzie naprzód. AI odgrywa w codziennym życiu użytkownika Internetu czy social mediów dużą rolę. Jak się okazuje nie tylko w strefie mediów społecznościowych. Badania opublikowane w „Scientific Reports” 14.11.2024 wniosły do oceny sztucznej inteligencji, w tym jej możliwości i zaufania społecznego, kompletnie nowe spojrzenie.
Eksperymenty
Przeprowadzone zostały dwa eksperymenty. Celem pierwszego eksperymentu było sprawdzenie czy ludzie potrafią odróżnić poezję generowaną przez AI, od poezji stworzonej przez człowieka. Drugi eksperyment skupił się na ocenie jakościowej obu poezji. Łącznie w badaniu brało udział 2330 osoby.
Pierwszy eksperyment
W przypadku pierwszego eksperymentu, wybranych zostało 5 utworów autorstwa 10 najbardziej znanych anglojęzycznych poetów. Wśród nich byli m.in. William Shakespeare, Lord Byron, Walt Whitman, Emily Dickinson, Allen Ginsberg, Sylvia Plath. Przy użyciu ChatGPT 3.5 zostało stworzone 5 tekstów „w stylu” każdego z artystów. Każdemu z 1 634 badanych, na podstawie przypadku przypisano jednego z 10 poetów. Dany uczestnik otrzymał 10 wierszy w losowej kolejności: 5 wierszy napisanych przez przypisanego poetę i 5 wygenerowanych przez AI. Wszystkim zadano to samo pytanie – który, według nich, został stworzony przez człowieka, a który przez sztuczną inteligencję.
Drugi eksperyment
W przypadku drugiego eksperymentu 696 uczestników zostało losowo przydzielonych do jednej z trzech grup – „powiedziano, że ludzkie”, „powiedziano, że AI”, „nic nie powiedziano”. Badani z grupy pierwszej dostali informację, że wszystkie wiersze zostały napisane przez profesjonalnego poetę, niezależnie od rzeczywistego autorstwa. Grupie drugiej powiedziano, że wszystkie wiersze zostały wygenerowane przez AI, grupie trzeciej natomiast nie wspomniano nic o autorstwie utworów. Wszyscy uczestnicy otrzymali te same wiersze: 5 wygenerowanych przez AI i 5 napisanych przez poetów. Uczestników poproszono o ocenę każdego wiersza pod kątem m.in. ogólnej jakości, poruszającego charakteru, oryginalności, dowcipu.
Czy twórczość AI da się odróżnić?
Uczestnicy obu badań nie byli w stanie skutecznie rozróżnić poezji AI od ludzkiej. Ich dokładność wynosiła zaledwie 46,6%, co jest wynikiem niższym niż losowy. Oznacza to, że częściej błędnie klasyfikowali wiersze sztucznej inteligencji jako napisane przez człowieka. Doświadczenie z poezją nie poprawiało dokładności rozróżniania. Ani znajomość przypisanego poety, ani ogólne doświadczenie z poezją (częstotliwość czytania, ukończenie kursu poezji) nie miały istotnego pozytywnego wpływu na dokładność. Badacze zauważyli, że uczestnicy częściej używali zwrotów typu „nie ma sensu” w odniesieniu do wierszy napisanych przez człowieka niż do wierszy AI, wyjaśniając swoje odpowiedzi. Sugeruje to, że wiersze sztucznej inteligencji są postrzegane jako bardziej przejrzyste i łatwiejsze do zrozumienia.
Oceny uczestników
Uczestnicy konsekwentnie oceniali wiersze niżej, gdy powiedziano im, że zostały one wygenerowane przez AI, niezależnie od ich rzeczywistego autorstwa. Wbrew wcześniejszym badaniom i pomimo uprzedzeń wobec autorstwa sztucznej inteligencji, uczestnicy oceniali te wiersze wyżej w większości kategorii jakościowych. Wyjątkiem była oryginalność, w której nie stwierdzono istotnej różnicy między wierszami AI a ludzkimi. Najsilniejszy efekt zaobserwowano w przypadku rytmu – wiersze sztucznej inteligencji zostały ocenione jako posiadające znacznie lepszy rytm.
Oryginalność AI
To nie pierwsze badania przeprowadzona na temat poezji AI przestrzeganej przez człowieka. Podobne badania zostały przeprowadzone przez zespół studentów z Wydziału Psychologii i Kognitywistyki Uniwersytetu im. Adama Mickiewicza w Poznaniu pod kierunkiem dr Mai Stanko-Kaczmarek. W październiku studenci przedstawili ich wyniki, będące kompletnym przeciwieństwem do badań z Uniwersytetu w Pittsburghu. Wiersze przypisywane sztucznej inteligencji były oceniane niżej pod względem oryginalności, estetyki oraz emocjonalnego zaangażowania. Co ciekawe, uznano je za bardziej złożone i trudniejsze w interpretacji.