Izgalmas témát feszegetünk 😊 Vajon egy algoritmus képes-e teljes mértékben átvenni a manuális tesztelő munkáját? Erre a kérdésre keressük a választ. Az OpenAI egyik legújabb, és nagy port kavaró fejlesztése a ChatGPT, azaz mesterséges intelligencia-alapú chatbotja, melyet azzal a céllal hoztak létre, hogy forradalmasítsa az emberek munkáját.
Hogyan működik program?
A program egy mély tanulási technikát, az úgynevezett „transzformátor architektúrát” használ, hogy többmillió terrabájtnyi adatot rostáljon át, hogy a belőle származó többmilliárdnyi szó álljon rendelkezésre, hogy megadhassa a számunkra releváns válaszokat. A korábbi fejlesztéshez, a GPT-3-hoz képest gyorsabb, és sokkal „emberszerűbb” válaszokat ad.
Miben tud hozzájárulás lenni az emberek munkájához?
Képes e-maileket, esszéket, akár még verseket írni, kérdésekre tud válaszolni, vagy utasítás alapján kódsorokat generálhat. Az intelligens chatbot marketingcélú felhasználása éppoly hasznos lehet, mint ahogy a tesztelés területén is megkönnyítheti a munkánkat. Vagy mégsem…? A cikkünk további részében erre fogunk vetni egy pillantást.
Miben a chatGPT korlátai, és a vele kapcsolatos aggályok?
Mint minden programnak, ennek is megvannak a maga korlátai: nem úgy értelmezi a bemeneti és kimeneti értékeket, mint az ember, a megbízhatóság tekintetében nem stabil, valamint korlátozott értelmezési tartománnyal bír, ezért mindenképpen szükség van emberi felügyeletre.
A rossz adatokon alapuló algoritmusok képesek hamis információkat közvetíteni tényként, ezért szükséges lesz olyan intézkedéseket bevezetni, ami mérsékelni tudja a bot által adott információk korlátozott vagy téves mivoltát, ami jelenleg gyerekciópőben jár még.
Érdekesség: tavaly a Meta arra figyelmeztette a felhasználókat, hogy a Blenderbot 3 chatbotja hamis, vagy önmagának ellentmondásos állításokat tehet, tévesen emlékezhet részletekre, és „elfelejtheti, hogy ő egy bot”.
Miután megnéztük a mellette és ellene szóló érveket, lássuk mit tapasztaltunk a valóságban, amikor egyszerű ok-hatás analízis mátrixot kértünk tőle.
ChatGPT tesztelése
A játék kedvéért többször adtuk meg ugyanazokat a a bemeneti értékeket chatGPT-nek, hogy lássuk, ugyanazt a választ kaptuk-e meg, és ugyanazzal a logikával dolgozott-e.
Az alábbi feladatot adtuk meg bemeneti értéknek:
Készíts nekem egy ok-hatás analízis mátrixot, melynek oszlopai definiálják a teszteseteket, sorai pedig a teszteseteket leíró feltételeket, illetve lehetséges lépéseket az alábbi példa szerint: pénzt szeretnénk kivenni egy bankjegykiadó automatából.
Feltételek:
-A bankkártyánk érvényes
-Helyes PIN kódot adtunk meg
-Legfeljebb háromszor próbálkoztunk a PIN kód megadásával
-Van elegendő pénz a gépben is, és a számlánkon is
Az automata az alábbi műveletekre képes:
-Kártya visszautasítása
-PIN újbóli bekérése
-Kártya elnyelése
-Új kívánt összeg bekérése
-Kifizetés
Majd foglald az eredményt egy táblázatba, ahol a vízszintesen sorokban az okok és hatások szerepeljenek, a függőleges oszlopokban a tesztesetek.
Erre a feladatra minden alkalommal más megoldást kaptunk a chatbottól:
Egy másik alkalommal ezt kaptuk, ami már kicsit jobban hasonlít az általunk készített megoldásra:
Harmadjára már ezt az eredményt kaptuk:
Végül megmutatjuk a saját mátrixunkat is:
Összegzés
Bár valóban vannak vészjósló tendenciák a mesterséges intelligencia fejlődésével és képességeivel kapcsolatban, jelen helyzetben még nem elég megbízható ahhoz, hogy tesztelőként valóban okunk legyen félni attól, hogy egy AI bot teljes mértékben képes legyen helyettesíteni a munkánkat. Ha elakadnánk valamiben, ott viszont jól jöhet a segítsége. 😊
