Kompiuterinė rega

virtualiajame mokymesi
Povilas Kripas IFM-8/5
 Kompiuterinė rega
Kompiuterinės regos užduotys apima skaitmeninių
vaizdų gavimo, apdorojimo, analizės ir supratimo
metodus bei duomenų gavimą iš realaus pasaulio,
norint iš jų gauti skaitmeninę ar simbolinę
informaciją.

Šaltinis:
http://vision.stanford.edu/teaching/cs13
1_fall1415/lectures/lecture1_introductio
n_cs131.pdf
Povilas Kripas IFM 8-5 2/13
 Kompiuterinės regos principai

Šaltinis:
http://vision.stanford.edu/teaching/cs13
1_fall1415/lectures/lecture1_introductio
n_cs131.pdf
Povilas Kripas IFM 8-5 3/13
 Intelektualumas
● Kompiuterinė rega naudojama, kai siekiama
vaizde atpažinti objektus arba identifikuoti
tam tikras vaizdo savybes.
● Vaizdinė informacija greitai kinta
● sunku diskrečiai apibūdinti, kaip informacija
turėtų būti apdorojama
● Rezultatams pasiekti pasitelkiamas
mašininis mokymasis.
Šaltinis: i-Lids duomenų rinkinys

Povilas Kripas IFM 8-5 4/13

 Kompiuterinė rega ir dirbtinis intelektas
https://www.youtube.com/watch?v=kopoLzvh5jY

Povilas Kripas IFM 8-5 5/13

Kompiuterinės regos su DI pavyzdys

Šaltinis: Purdue University’s E-lab 6

 O virtualusis mokymasis?
Naudojant kompiuterine rega paremtus DI modelius realiu laiku galima:

● analizuoti dalyvių emocijas

● analizuoti žvilgsnio padėtį
● analizuoti kūno laikyseną

Kuo tai gali būti naudinga virtualiajame mokymesi?

Povilas Kripas IFM 8-5 7/13

 Apie ką mes čia?

Šaltinis: HolonIQ 2019 Artificial Intelligence & Global

Povilas Kripas IFM 8-5 8/13
Education Report)
Emocijų atpažinimas
Duomenys apmokymui - žmonių veidų rinkiniai

Naudojami įvairūs algoritmai ir priemonės - Haar

kaskados, konvoliuciniai neuronų tinklai ir kt.

Vyraujanti emocija parenkama kaip reikšmė su

aukščiausiu užtikrintumo procentu.

Komercinių sprendimų su pritaikymu švietimui

šiuo metu nėra, pritaikymas tyrimų stadijoje.

Šaltinis: https://github.com/atulapra/Emotion-detection 9
Laikysenos atpažinimas
Laikysena - kitas svarbus neverbalinės kalbos
indikatorius.

2019 m. Osakos universitete buvo atliktas

tyrimas, kuris vertino, kiek studentų laikysena
koreliuoja su jų įsitraukimu į paskaitą. Tyrimas
išskyrė 33 esmines viršutinės kūno dalies savybes
ir pagal jas buvo apmokyti klasifikatoriai, kurie
vertino, ar studentas aktyviai dalyvauja
paskaitoje. Vidutinis įvertinimo tikslumas buvo
79,3%.
Šaltinis:
https://www.hackster.io/justin-shenk/posture-pal-c
10
omputer-vision-cbe67c
Žvilgsnio sekimas
Žmogaus žvilgsnis rodo asmens susidomėjimo lygį
ir dėmesio sutelkimą.

Stebima:

● žvilgsnio padėtis
● žvilgsnio fiksacijos dažnis ir trukmė
● mirksėjimo dažnis

Žvilgsnio sekimas yra itin sudėtingas uždavinys,

net ir su DI pagalba kartais nutinka taip :)

Šaltinis: https://github.com/TadasBaltrusaitis/OpenFace/issues/589 11
Priemonės ir įrankiai
Neuroniniai tinklai/mašininis mokymasis: Įdomu pastebėti, kad besiruošiant šiam
pristatymui radau įrankį OpenFace, kuris
● TensorFlow supaprastina OpenCV ir TensorFlow sąsają
● pyTorch vartotojams, ir prie kurio kūrimo prisidėjo lietuvis
mokslininkas Tadas Baltrušaitis.
Kompiuterinė rega:

● OpenCV
● Mathematica (mokama)

12
Ačiū už dėmesį!