Evaluation specifikáció

A modellek tesztjeinél nem csak az osztályozási metrikákra vagyunk kíváncsiak, hanem a

kereskedésre, főleg a profitra vonatkozó metrikákra is. Ehhez az szükséges, hogy megnézzük, hogy az
egyes 1-eseknél, amit a modell adott mennyit nyertünk/veszítettünk.
A következő megoldás tűnik a leglogikusabbnak:

1. A futtatás során lementjük MLflowba a bar adatok predikcióval és returnökkel/ equity

görbével együtt.
2. MLflowból beolvassuk a fájlt notebookba és ott számolunk metrikákat. (Azt is megtehetnénk,
hogy a frame-be berakjuk az evaluationt és a futtatás során számoljuk a metrikákat, de mivel
a profitra vonatkozó metrikákat optimalizálásra nem akarjuk használni, ezért elég, ha csak az
osztályozási metrikák (amikre akarunk optimalizálni) van kiszámolva a frameben.)
3. Report generálás, amiben benne van minden metrika

Maga a kereskedés szimulációjával kapcsolatban:

Jelenlegi evaluationben megnézzük, hogy egy kereskedés melyik ticknél teljesült volna, volt-e
elég volume, milyen áron sikerült vennünk, eladni szintén tickenként nézzük. Viszont ezek olyan
random dolgok, hogy ha megismétlődne az egész árgörbe, a kereskedés akkor sem lenne
ugyanolyan. Tehát a vásárlás és eladás bonyodalmait nem érdemes figyelembe venni. Ezért az
evaluation során ideális kereskedést fogunk szimulálni, azaz feltételezzük, hogy ha vásárolni
akarunk akkor azon az áron, amin szeretnénk, abban a bárban, amiben szeretnénk, azzal a
volume-mal amivel szeretnénk minden teljesül, és ugyanígy az eladásnál. A tranzakciós
költségekkel persze számolunk, mert a barrierek megszabásánál is beleszámoljuk a tranzakciós
költséget.

A reportban szereplő metrikák (bővülhet):

https://egroupicthu.sharepoint.com/:w:/s/QTrading/EbPg0SsU5eBImZukrAOp3dwBHXK0ID3iGWl
PNk943q0yCQ?e=nZl4CC