Izgalmas témát feszegetünk 😊 Vajon egy algoritmus képes-e teljes mértékben átvenni a manuális tesztelő munkáját? Erre a kérdésre keressük a választ. Az OpenAI egyik legújabb, és nagy port kavaró fejlesztése a ChatGPT, azaz mesterséges intelligencia-alapú chatbotja, melyet azzal a céllal hoztak létre, hogy forradalmasítsa az emberek munkáját.

Hogyan működik program?

A program egy mély tanulási technikát, az úgynevezett „transzformátor architektúrát” használ, hogy többmillió terrabájtnyi adatot rostáljon át, hogy a belőle származó többmilliárdnyi szó álljon rendelkezésre, hogy megadhassa a számunkra releváns válaszokat. A korábbi fejlesztéshez, a GPT-3-hoz képest gyorsabb, és sokkal „emberszerűbb” válaszokat ad.

Miben tud hozzájárulás lenni az emberek munkájához?

Képes e-maileket, esszéket, akár még verseket írni, kérdésekre tud válaszolni, vagy utasítás alapján kódsorokat generálhat. Az intelligens chatbot marketingcélú felhasználása éppoly hasznos lehet, mint ahogy a tesztelés területén is megkönnyítheti a munkánkat. Vagy mégsem…? A cikkünk további részében erre fogunk vetni egy pillantást.

Miben a chatGPT korlátai, és a vele kapcsolatos aggályok?

Mint minden programnak, ennek is megvannak a maga korlátai: nem úgy értelmezi a bemeneti és kimeneti értékeket, mint az ember, a megbízhatóság tekintetében nem stabil, valamint korlátozott értelmezési tartománnyal bír, ezért mindenképpen szükség van emberi felügyeletre.

A rossz adatokon alapuló algoritmusok képesek hamis információkat közvetíteni tényként, ezért szükséges lesz olyan intézkedéseket bevezetni, ami mérsékelni tudja a bot által adott információk korlátozott vagy téves mivoltát, ami jelenleg gyerekciópőben jár még.

Érdekesség: tavaly a Meta arra figyelmeztette a felhasználókat, hogy a Blenderbot 3 chatbotja hamis, vagy önmagának ellentmondásos állításokat tehet, tévesen emlékezhet részletekre, és „elfelejtheti, hogy ő egy bot”.

Miután megnéztük a mellette és ellene szóló érveket, lássuk mit tapasztaltunk a valóságban, amikor egyszerű ok-hatás analízis mátrixot kértünk tőle.

ChatGPT tesztelése

A játék kedvéért többször adtuk meg ugyanazokat a a bemeneti értékeket chatGPT-nek, hogy lássuk, ugyanazt a választ kaptuk-e meg, és ugyanazzal a logikával dolgozott-e.

Az alábbi feladatot adtuk meg bemeneti értéknek:

Készíts nekem egy ok-hatás analízis mátrixot, melynek oszlopai definiálják a teszteseteket, sorai pedig a teszteseteket leíró feltételeket, illetve lehetséges lépéseket az alábbi példa szerint: pénzt szeretnénk kivenni egy bankjegykiadó automatából.

Feltételek:

• A bankkártyánk érvényes
• Helyes PIN kódot adtunk meg
• Legfeljebb háromszor próbálkoztunk a PIN kód megadásával
• Van elegendő pénz a gépben is, és a számlánkon is

Az automata az alábbi műveletekre képes:

• Kártya visszautasítása
• PIN újbóli bekérése
• Kártya elnyelése
• Új kívánt összeg bekérése
• Kifizetés

Majd foglald az eredményt egy táblázatba, ahol a vízszintesen sorokban az okok és hatások szerepeljenek, a függőleges oszlopokban a tesztesetek.

Erre a feladatra minden alkalommal más megoldást kaptunk a chatbottól:

Egy másik alkalommal ezt kaptuk, ami már kicsit jobban hasonlít az általunk készített megoldásra:

Harmadjára már ezt az eredményt kaptuk:

Végül megmutatjuk a saját mátrixunkat is:

Összegzés

Bár valóban vannak vészjósló tendenciák a mesterséges intelligencia fejlődésével és képességeivel kapcsolatban, jelen helyzetben még nem elég megbízható ahhoz, hogy tesztelőként valóban okunk legyen félni attól, hogy egy AI bot teljes mértékben képes legyen helyettesíteni a munkánkat. Ha elakadnánk valamiben, ott viszont jól jöhet a segítsége. 😊