Deze tool herkent bijna elke wetenschappelijke tekst die door ChatGPT is gegenereerd

Heather Desire en haar team aan de Universiteit van Kansas hebben een tool ontwikkeld die door ChatGPT gegenereerde academische teksten met een nauwkeurigheid van 99 procent kan herkennen. Het enige probleem: de tool werkt alleen met academische teksten, en dat is zo ontworpen.

Wetenschappers hebben de tool getest en er één apparaat van gemaakt Stady Het is gerapporteerd en gepubliceerd in het tijdschrift Cell Reports Physical Science. Om dit niveau van nauwkeurigheid te bereiken, moest de tool zich specialiseren in een specifiek type tekst.

Verlangen zegt het tegenovergestelde Wetenschappelijk dagbladHet is relatief eenvoudig om een ​​tool te maken die menselijke tekst kan onderscheiden van getypte tekst met ChatGPT. Deze tools zijn echter niet zo nauwkeurig als de tools van hun team. Om ervoor te zorgen dat dit hulpmiddel nauwkeurig is, moet het worden gespecialiseerd voor een kleine groep mensen; In dit geval wetenschappers.

“We gebruikten een veel kleinere dataset en een veel grotere hoeveelheid menselijke tussenkomst om de belangrijkste verschillen te identificeren waarop onze detector zich zou moeten concentreren”, zei Desire. “Om precies te zijn, we hebben onze strategie opgebouwd met behulp van 64 door mensen gegenereerde documenten en 128 AI-documenten als trainingsgegevens.”

De grootte van deze datasets is slechts een honderdduizendste van die van andere detectoren. Dit heeft als voordeel dat records van ingevoerde gegevens sneller kunnen worden verwerkt en feitelijk allemaal vooraf door mensen kunnen worden gelezen.

De verschillen in scripts waar de tool zich op moet richten worden ook door het team zelf bepaald. Bij andere tools wordt het bepaald door de tool zelf. Nogmaals, dit kan alleen als de detector op een kleine groep mensen is gericht.

“Ik schaam me een beetje om dit toe te geven, maar we hebben de AI-tekstherkenningsliteratuur pas echt geraadpleegd toen we onze eigen tool bij de hand hadden”, zei Desire. “We hebben het niet gebaseerd op hoe computerwetenschappers denken over tekstherkenning, maar we gebruikten onze intuïtie over wat zou kunnen werken.”

Dit heeft ertoe geleid dat onderzoekers zich afvragen hoe andere onderzoekers hun academische papers schrijven. De meeste AI-tekstherkenningstools werken andersom. Je vraagt ​​je af hoe teksten geschreven door kunstmatige intelligentie eruit zien.

Nogmaals, deze aanpak is alleen mogelijk omdat de tool gespecialiseerd is in het herkennen van tekst van een kleine groep mensen.