Az Abigel.ai Teacher 26 nyelven beszéltet, és menet közben javít

Aki egy éve tanul spanyolul, az gyakran tud már olvasni, de egy étteremben nem mer rendelni. Az Abigel.ai Teacher erre a megfigyelésre épül: a nyelvtanulók többségének a megszólalás okozza a legnagyobb gondot, a nyelvtan kevésbé. A hangalapú AI-tanárnál beszélni kell, valós időben, és a hibákra azonnal jön a visszajelzés. A termék az abigel.ai/teacher oldalon érhető el, a DIMOP Plusz pályázati projektünk második termékeként.

26 nyelv, A1-től B2-ig

A Teacher 26 nyelven tanít, és a tanuló szintjéhez igazodik, A1-től B2-ig. A szint a szókincsnél többet szabályoz. A1-en a tanár lassabban, rövidebb mondatokban beszél, gyakran visszakérdez, és a tanuló az anyanyelvén is kérhet segítséget. B2-n természetes tempóban, összetettebb fordulatokkal folyik a beszélgetés, a tanár kevesebbet segít és többet javít.

A tanulás szcenáriókra épül. A katalógusban valós élethelyzetek szerepelnek: bejelentkezés egy szállodába, orvosi időpontkérés, állásinterjú, panasz egy vásárlás miatt, útbaigazítás kérése, beszélgetés egy szomszéddal. Minden szcenáriónak van célja, amelyet a beszélgetés végére el kell érni, és a tanár szerepet játszik: ő a recepciós, az orvos asszisztense, az interjúztató. A tanuló szódolgozat helyett egy helyzetet old meg.

Javítás menet közben

A tanár kétféleképpen javít. A kisebb hibákat (ragozás, szórend, névelő) a saját válaszába szőve, helyesen ismétli vissza, ahogy egy jó tanár is tenné, a beszélgetés megakasztása nélkül. Nagyobb hibánál vagy érthetetlen mondatnál megáll, és röviden elmagyarázza, mi volt a gond.

A beszélgetés végén részletes összefoglaló készül: a tanuló mondatai, azok javított változata, a visszatérő hibatípusok és néhány kifejezés a következő alkalomra. Az összefoglalókból idővel személyes hibanapló áll össze, amelyből látszik, mi javult és mi nem.

Gyerekeknek külön szabályok

A gyerekeknek szánt KIDS mód külön kialakítást kapott. A tanár hangja és stílusa játékosabb, a szcenáriók rövidebbek és mesésebbek: látogatás az állatkertben, egy elveszett játék keresése. A visszajelzés mindig bátorító, a javítás „így is lehet mondani” formában jelenik meg, sosem hibaként. A tartalom szigorúan szűrt: a tanár nem lép ki a szcenárióból, és nem beszél olyan témáról, amelyet a szülő nem engedélyezett. A szülő a saját fiókjából látja a gyerek beszélgetéseit és haladását.

Házi feladat és ranglista

A nyelvtanároknak szóló csomagban egy tanár több tanulót kezelhet. Szcenáriókat adhat ki házi feladatnak, látja a tanulók beszélgetéseinek összefoglalóit és hibanaplóját, és ebből tudja, mire szánjon időt a következő órán. Az élő óra ettől megmarad, a csomag azt egészíti ki. A beszédgyakorlás az órán a legdrágább, mert egyszerre egy tanuló beszélhet. Itt párhuzamosan és korlátlan ideig folyik.

A csoportokon belül ranglista mutatja a gyakorlással töltött időt és a teljesített szcenáriókat. A ranglistát szándékosan nem a hibátlanságra építettük, mert az a megszólalás ellen dolgozna. A gyakorlás mennyiségét és a haladást jutalmazza.

A recepciósból lett tanár

A Teacher fejlesztésénél az volt a legnagyobb nyereség, hogy a hangpipeline-t nem kellett újraépíteni. A Virtual Assistantban már megvolt a streaming beszédfelismerés, a tokenenként streamelt nyelvi modell, a mondatrészenkénti beszédszintézis, a barge-in (a tanuló közbevághat), a hívó nyelvének felismerése és a több szolgáltatós fallback. Ugyanez a pipeline fut a Teacher alatt is, csak a kliens más: telefon helyett böngésző és mobilalkalmazás, SIP helyett WebRTC.

Négy elem volt új:

• a tanári réteg: a nyelvi modell külön „javítói” szerepet kapott, amely a tanuló mondatát a válasz előtt elemzi, és a hibákat strukturáltan adja tovább, hogy az összefoglalóba is bekerüljenek;
• a beszédfelismerés hangolása tanulói kiejtésre: a recepciós anyanyelvi beszélőkre volt optimalizálva, a tanuló viszont hibás kiejtéssel, akcentussal, félbehagyott mondatokkal beszél. Ezt a rendszernek simítás nélkül, pontosan kell átírnia, különben a tanár nem látja a hibát;
• a szintezés: a tanár válaszainak hosszát, tempóját és szókincsét a beállított szint szabályozza, és ezt a prompt mellett a TTS sebessége is követi;
• a szcenárió-motor: a katalógus elemei strukturált leírások (szerepek, cél, elvárt fordulatok, tipikus hibák), ezekből indul a beszélgetés, és a végén a rendszer ellenőrzi, teljesült-e a cél.

A legfontosabb tanulságunk az, hogy két termék épült ugyanarra a valós idejű alapra. A hangpipeline infrastruktúra. Ha jól el van választva a felhasználási esettől, a következő termék nagyrészt tartalom és szabályok kérdése.