Professional Documents
Culture Documents
Ishodi učenja su jasni opisi onoga što bi student trebalo da zna, razume i ume da uradi po završetku
učenja. Ciljevi učenja (kod nas mnogo poznatiji koncept koji se koristi prilikom definisanja sadržaja
predmeta) i ishodi učenja su dva različita koncepta. Prvi opisuje ono što nastavnik želi da nauči studenta u
toku realizacije predmeta, drugi ono što je student na kraju procesa učenja naučio, pod pretpostavkom da je
dobio prelaznu ocenu. Cilj učenja je namera, a ishod učenja je merljivi rezultat ostvarenja te namere. Teško
je proceniti da li su ciljevi učenja postignuti, ali je relativno lako proveriti da li studenti znaju, razumeju i
umeju da urade ono što je definisano jasno postavljenim ishodima učenja.
Zahtev za jasnom i eksplicitnom formulacijom ishoda učenja deo je šireg konteksta u kome se fokus
obrazovanja pomera od nastave, nastavnika i onoga čemu oni žele da nauče studente, ka studentima,
odnosno onome šta oni znaju da rade kao rezultatu učenja u toku nastavnog procesa. Sama nastava i učenje
prilagođeni su postizanju prethodno definisaih rezultata učenja. Ovakvo razumevanje obrazovanja zahteva i
to da je način provere naučenog na transparentan način povezan sa jasno definisanim ishodima učenja.
Svaki rezultat učenja se detaljno proverava i konzistentno ocenjuje u skladu sa eksplicitnim kriterijumima
za svaku ocenu, od prelazne – za minimalno ostvareni standard rezultata učenja, do najviše – za
maksimalno postignute rezultate učenja.
Moderno obrazovanje nije privilegija manjine. To nije proces ličnog usavršavanja bez ikakve veze sa
širim društvenim okruženjem. Savremeni nastavnik nije mudrac u čijem se posedu nalaze ekskluzivne
informacije koje on po svom nahođenju prenosi maloj grupi vernih sledbenika svog učenja. Moderno
obrazovanje ima jasnu društvenu funkciju da, između ostalog, obuči široke slojeve populacije da na
efikasan i kompetentan način obave različite poslove neophodne za funkcionisanje društva u različitim
segmentima, u skladu sa područjem svoje ekspertize. Kao što moderno društvo može samo u ograničenoj
meri da ostvari pretpostavke svog opstanka i funkcionisanja u lokalnim okvirima, a veći deo tih
pretpostavki ostvaruje u nacionalnom i međunarodnom prostoru, tako i zahtevi koji se postavljaju pred
moderno obrazovanje prevazilaze interne standarde pojedinih obrazovnih insitucija. Moderni univerzitet
može ostvariti svoju društvenu funkciju samo ako se rezultati obrazovnog procesa mogu komunicirati i
procenjivati kako od strane ostalih obrazovnih institucija, tako i od strane korisnika usluga obrazovnih
institucija – studenata, ali i od korisnika usluga eksperata (diplomiranih studenata) koji su u ovim
institucijama obučeni.
U ovom kontekstu, jasno, transparentno i precizno definisani ishodi učenja, su, po našem mišljenju,
ključni.
Posmatrano iz perspektive nastavnika koji osmišljavaju nastavni program predmeta, ishodi učenja -
jasni opisi onoga što bi student trebalo da zna, razume i ume da uradi po završetku učenja, predstavljaju
osnovu u odnosu na koju planiraju sadržaj predmeta, nastavni materijal i metode podučavanja. Ishodi
učenja koji se žele postići diktiraju i način provere znanja, koji mora na transparentan način biti povezan sa
svakim pojedinim ishodom učenja.
Posmatrano iz perspektive studenata, jasno definisani ishodi učenja pomažu studentima u izboru i
savladavanju programa studija. Dobro definisani ishodi učenja predočeni studentima na početku nastavnog
procesa, predstavljaju jasnu poruku o tome šta se od njih očekuje i sužavaju prostor za arbitrarnu
interpretaciju da li je svaki pojedini student ostvario očekivane rezultate.
1
Na engleskom - learning outcomes, kod nas se ustalio prevod ishodi učenja. Alternativno, može se
prevesti kao rezultati učenja.
Za potencijalne poslodavce, univerzitetske institucije i društvenu zajednicu u celini, eksplicitno
definisani ishodi učenja na nivou studijskog programa olakšavaju prepoznavanje i priznavanje pojedinih
kvalifikacija i zvanja.
U međunarodnim okvirima, eksplicitno, jasno i precizno definisani ishodi studijskih programa i
pojedinih predmeta olakšavaju mobilnost studenata i priznavanje kredita i diploma.
Definicije ishoda učenja su neophodne za obezbeđenje i kontrolu kvaliteta obrazovanja jer
ustanovljavaju standarde kvaliteta sa kojima upoređujemo stečena i demonstrirana znanja i veštine
studenata na kraju procesa učenja.
O ishodima učenja se u ovom tekstu govori pre svega u kontekstu obebeđenja kvaliteta, pa ćemo se na
toj vezi još malo zadržati.
Ishodi učenja se obično definišu kroz stečena znanja i veštine, mentalne procese (misaone
transformacije prikupljenih informacija) koje su diplomirani studenti u stanju da izvedu, i stavove razvijene
u toku studija. Dobro definisani ishodi učenja jasno i nedvosmisleno ukazuju na misaone procese i
praktične postupke koje je student osposobljen da izvede. Najbolji test dobro formulisanih ishoda učenja je
da li se ovi procesi i postupci kojima studenti demonstriraju svoju osposobljenost mogu meriti - oceniti.
Otuda tri osnovne karakteristike dobro formulisanih ishoda učenja:
1. Ishod učenja mora biti definisan kroz aktivnost koju je moguće posmatrati
2. Ishod učenja mora biti definisan kroz aktivnost koju je moguće meriti
3. Student mora izvesti pred ocenjivačem aktvinost predviđenu ishodom učenja
Gornji primeri ilustruju definisanje ishoda učenja koje je teško posmatrati i meriti. Teško ih je meriti
jer definišu ishode učenja preko termina koji nisu dovljno jasni, ne ukazuju dovoljno precizno na misone
procese i praktične postupke za koje će studenti biti osposobljeni i zbog toga mogu biti različito
interpretirani. Generalno, treba izbegavati sledeće termine u definisanju ishoda učenja: znati, biti svestan,
uvažavati, naučiti, razumeti, biti upoznat sa.
Umesto njih, ishode učenja treba definisati upotrebom sledećih termina: prikupiti, kreirati, planirati,
analizirati, dizajnirati, izabrati, koristiti, upotrebiti, primeniti, demonstrirati, izračunati, prodiskutovati,
objasniti, predivideti, proceniti, uporediti, rangirati, kritikovati. Ovako definisani ishodi mogu biti
demonstrirani pred ocenjivačima koji mogu proceniti i adekvatno oceniti stepen osposobljenosti studenata
da izvedu ove operacije. Ishode učenja iz gore navedenih primera možemo redefinisati upotrebom
drugačijih termina, i tako ih učiniti opažljivim i merljivim:
Studenti će nabrojati i obrazložiti devet razloga zbog kojih je potrebno obaviti procenu potreba.
Studenti će pismeno sumirati svoje stavove o kulturnoj raznovrsnosti na random mestu.
2
C. Kazin, D.G.Payne, 2009, “Ensuring Educational Quality Means Assessing Learning”, Trusteeship,
March/April. Pp. 31.
3
Vidi American Association of Law Libraries, Writing Learning Outcomes,
http://www.aallnet.org/prodev/outcomes.asp
Studenti će pismeno sumirati i obrazložiti svoje stavove o principima rodne ravnopravnosti.
Studenti će umeti da dizajniraju eksperiment primenom naučnog metoda.
Studenti će biti u stanju da razlikuju hemijsku strukturu ugljenih hidrata, masti, proteina i
nukleinskih kiselina.
Da bi se potencirao značaj upotrebe termina koji se odnose na opažljive i merljive procese i postupke u
definisanju ishoda učenja, često se kao još jedna karakteristika dobro formulisanih ishoda učenja navodi:
4. Ishode učenja treba definisati upotrebom reči koje ukazuju na misaone procese i praktične postupke
koje je moguće opažati i meriti.
4
Bloom, B.S. (Ed.) (1956) Taxonomy of educational objectives: The classification of educational goals:
New York; Toronto: Longmans.
5
U čestoj upotrebi je i revizija Blumove taksonomije koju je uradila Lorin Anderson, Blumov student.
Prema ovoj reviziji, sinteza – shvaćena kao kreiranje novog, rangirana je iznad evaluacije – kao
sposobnosti upoređivanja različitih rešenja s obzirom na dati set kriterijuma (prema: Pohl, M. 2000,
Learning to Think, Thinking to Learn: Models and Strategies to Develop a Classroom Culture of Thinking.
Cheltenham, Vic.: Hawker Brownlow.)”.
6
Brojni su izvori koji popisuju ključne reči čija upotreba olakšava definisanje ishoda učenja, počev od
same Blumove originalne publikacije. Ovde navodimo publikaciju prevedenu na srpski jezik koja je
generalno odličan izvor za pisanje i upotrebu ishoda učenja: Declan Kennedy, 2009, Pisanje i upotreba
ishoda učenja, Savet Evrope (izdato u okviru projekta EU i Saveta Evrope „Unapređenje sistema visokog
obrazovanja u Srbiji“). U originalu se ova publikacija može naći na www.bologna.msmt.cz/files/learning-
outcomes.pdf
7
Preuzeto i prilagođeno sa Internet stranice University of Waterloo, Canada, Centre for Learning Teaching
Excellence, http://cte.uwaterloo.ca/teaching_resources/tips/writing_learning_outcomes.html
BLUMOVA TAKSONOMIJA KOGNITIVNIH REZULTATA UČENJA
ZNANJE / REPRODUKCIJA
Ključne reči
Opis kognitivnog domena
(Student će biti u stanju da):
• Posmatranje i prepoznavanje informacija uredi, prikupi, definiše, opiše, nabroji, označi,
• Poznavanje podataka, slučajeva, mesta navede, imenuje, grupiše, predstavi, citira,
• Uočavanje trendova i redosleda izbroji, pokaže, saopšti, zabeleži, klasifikuje,
• Poznavanje klasifikacija i podela pročita, prepozna
• Poznavanje glavnih pojmova, ideja i teorija
Nakon uspešnog završetka kursa (programa) od studenta se očekuje da bude u stanju da:
RAZUMEVANJE
Opis kognitivnog domena Ključne reči (Student će biti u stanju da):
• Razumevanje informacije poveže, objasni, suprotstavi, razlikuje, razvrsta,
• Razumevanje značenja protumači, proceni, locira, obrazloži, uopšti, utvrdi,
• Prenošenje znanja u novi kontekst ilustruje, zaključi, parafrazira, predvidi, izvede, ustanovi,
• Interpretiranje činjenica, upoređenje, preradi, pregleda, odabere, oceni, prevede, sumira,
kontrastiranje sažme, interpretira, poveže, napravi razliku, uporedi,
• Rangiranje, grupisanje, zaključivanje prodiskutuje, isključi, uskladi
• Predviđanje posledica
Nakon uspešnog završetka kursa (programa) od studenta se očekuje da bude u stanju da:
• Koja je zemlja zadražala više kolonijalnog nasleđa Kanada ili Australija? Ponudi evidenciju u prilog
odgovoru.
• Šta je glavna razlika između Misisipija i Amazona?
• Koji teleskop je pogodniji za posmatranje Meseca, reflektorski ili refraktorski?
• Uporedi poslovanje dve kompanije na osnovu njihovog finansijskog izveštaja.
PRIMENA ZNANJA
Opis kognitivnog domena Ključne reči (Student će biti u stanju da):
• Upotreba informacija primeni, oceni, izračuna, promeni, izabere, završi, konstruiše,
• Upotreba metoda, koncepata, teorija u pokaže, razvije, ispita, dramatizuje, upotrebi, ilustruje,
novim situacijama protumači, upravlja, organizuje, pripremi, govori o, rasporedi,
• Rešavanje problema uptrebom naučenih skicira, reši, sastavi, demonstrira, uopšti, izmeni, dopuni,
znanja i veština pokaže, prouči, poveže, klasifikuje, izvede eksperiment,
pronađe, predvidi...
Nakon uspešnog završetka kursa (programa) od studenta se očekuje da bude u stanju da:
ANALIZA
Opis kognitivnog domena Ključne reči (Student će biti u stanju da):
• Uviđanje pravilnosti analizira, razdvoji, uredi, objasni, poveže, klasifikuje,
• Organizacija delova podeli, uporedi, izabere, zaključi, proceni, organizuje,
• Prepoznavanje skrivenog značenja razlikuje, istraži, postavi pitanje, testira
• Identifikacija sastavnih delova
Nakon uspešnog završetka kursa (programa) od studenta se očekuje da bude u stanju da:
Napravi razliku (Identifikuje ključna obeležja fenomena ili ključne oznake pojmova)
SINTEZA
Opis kognitivnog domena Ključne reči (Student će biti u stanju da):
• Upotreba starih ideja da se razviju nove iskombinuje, integriše, promeni, reorganizuje, zameni,
• Uopštavanje na osnovu datih činjenica isplanira, napravi, dizajnira, izmisli, sastavi, formuliše,
• Povezivanje znanja iz raznih oblasti pripremi, uopšti, komponuje, (re)konstruiše, projektuje,
• Predviđanje i zaključivanje razvije, osmisli, proizvede, predloži novo rešenje, šta
ako?
Nakon uspešnog završetka kursa (programa) od studenta se očekuje da bude u stanju da:
• Predloži alternativni teorijski okvir za razumevanje visokog stepena nasilja nad ženama Aboridžina.
• Na osnovu prikupljenih podataka razvije hipotezu koja objašnjava geografsku distribuciju rakuna u
Kitchener-Waterloo.
• Osmisli alternativnu strategiju za promociju mobilinih personalnih informacionih menadžera (PDA).
Nakon uspešnog završetka kursa (programa) od studenta se očekuje da bude u stanju da:
Kritički proceni (Oceni u kojoj meri rešenje odgovara zahtevima zadatka i situaciji)
• Da li je autor u pravu kada tvrdi da se visoka stopa nasilja nad ženama Aboridžina može bolje objasniti
mizoginijom nego rasizmom?
• Da li su zaključci koje je autor izveo zasnovani na evidenciji predstavljenoj u tekstu?
• Identifikuje slabosti u metodologiji datog eksperimenta.
• Proceni kako će proširenje gradskog zemljišta na štetu šuma i livada uticati na atmosferu, biosferu,
hidrosferu i litosferu.
• Uporedi tri predložena arhitektonska dizajna za ekološki park u zatvorenom prostoru i oceni njihovu
vrednost u odnosu na estetiku, strukturu, funkciju i upotrebljivost.
8
http://www.qaa.ac.uk/acadeicinfrastructure/benchmark
9
U Srbiji trenutno ne postoje nacionalni standardi visokog obrazovanja za različite discipline.
evropski obrazovni prostor – EHEA, ili kod nas u Nacionalnom okviru kvalifikacija10) ili konkretno za
svaku disciplinu na različitim nivoima obrazovanja. Generalno, ishodi učenja na različitim nivoima
studiranja se razlikuju po zahtevima koji se postavljaju pred studente s obzirom na obuhvat i dubinu
poznavanja oblasti i s obzirom na autonomiju i kreativnost studenata u rešavanju zadataka koji se pred njih
postavljaju. Primeri ishoda učenja definisanih na različitim nivoima studiranja priloženi su u dodatku ovom
tekstu (PRILOG 4).
Već je naglašeno da dobro definisani ishodi učenja ukazuju na misaone procese i praktične postupke
koji se mogu opažati i meriti. Samo tako definisani ishodi učenja omogućavaju proveru da li su očekivana
znanja, veštine i sposobnosti zaista i postignuti. Prva linija obezbeđenja kvaliteta obrazovanja jeste
uspostavljanje sistema provere naučenog koji razdvaja minimalni nivo kvaliteta od prosečnog i izuzetnog, i
kojim se identifikuju studenti čije znanje, sposobnosti i veštine ne zadovoljavaju minimum propisanih
standarada kvaliteta.
Načini provere naučenog na raspolaganju nastavnicima su mnogobrojni: testovi, eseji, projektni rad,
usmeni ispit, zadaci, dnevnici, izveštaji, studije slučaja, prezentacije, praktične demonstracije...11 Važno je
osigurati da izabrani metodi provere znanja na odgovarajući način procenjuju ostvarenje ishoda učenja.
Student mora izvesti pred ocenjivačem aktivnost predviđenu ishodom učenja. Kriterijumi ocenjivanja
definišu vrstu ishoda učenja i nivo njihovog postignuća za svaku pojedinu ocenu. U izboru načina provere
naučenog i formulisanju kriterijuma ocenjivanja, kao i kod definisanja ishoda učenja, može nam pomoći
Blumova taksonomija. Metode provere naučenog dizajniraju se tako da procenjuju ishode učenja na
različitim nivoima složenosti misaonih operacija (od reprodukcije do evaluacije i kreiranja novog). Jedan
od mogućih kriterijuma ocenjivanja (koji koristi Blumovu taksonomiju) jeste da se demonstriranje ishoda
učenja na manje složenim nivoima ocenjuje nižim ocenama, a demonstriranje ishoda učenja na nivou
složenih misaonih operacija visokim ocenama.12
10
Nacionalni savet za visoko obrazovanje Republike Srbije definisao je opšti Nacionalni okvir kvalifikacija
za različite nivoe studija (prateći standarde evropskog obrazovnog prostora, European Higher Education
Area – EHEA).
11
Načinima provere naučenog i kriterijumima ocenjivanja se ovde bavimo samo u kontekstu kontrole
kvaliteta ishoda učenja.
12
Vidi Prilog 4.
Donji primer ilustruje kako se test pitanja mogu formulisati tako da mere ishode učenja na različitim
Test pitanja za proveru ishoda učenja o modelima porodične organizacije prema Blumovoj
takosnomiji (Izbor iz University of Victoria Test Questions - Six Levels Of Learning):
A: Pitanja na nivou reprodukcije
Društvo u kome se od ćerki očekuje da ostanu u domaćinstvu svojih roditelja, a od sinova da
se odsele u domaćinstvo svojih supruga, naziva se:
a. matrilokalno društvo
b. neolokalno društvo
c. matrijarhalno društvo
d. bilateralno društvo
B: Pitanja na nivou razumevanja
Opišite glavne razlike između patrilinealnih, matrilinealnih i bilateralnih društava.
C: Pitanja na nivou primene
Stefanovi roditelji su na proslavu njegovog petog rođendana pozvali babe i dede, brata
Stefanovog oca i njegovu decu. Ova grupa ljudi čini:
a. konsanginalnu porodicu (consanguine)
b. konjugalnu porodicu (conjugal)
c. egalitarnu porodicu
d. patrijarhalnu porodicu
D: Pitanja na nivou analize
Analizirajte patrilokalna društva s obzirom na način ustanovljavanja srodstva (lineage) i
dominaciju polova.
E: Pitanja na nivou sinteze
Objasnite zašto je verovatno da će matrilokalna ili matrilinealna društva imati matrijarhalni
porodični sistem.
F: Pitanja na nivou evaluacije
Opišite ekonomske posledice neolokalne društvene organizacije.
nivoima složenosti misaonih operacija prema Blumu i njegovim saradnicima.
Ishodi učenja su polazna tačka za organizaciju celog procesa učenja. Videli smo da način provere
znanja mora na transparentan način biti povezan sa ishodima učenja koji se žele postići. S druge strane,
definicije ishoda učenja i način na koji se procenjuje njihovo postizanje, obavezuju nastavnike da tome
prilagode i sadržaj i način podučavanja. Znanja, veštine i sposobnosti studenata po uspešnom okončanju
predmeta / programa (ishodi učenja), treba da budu, u nastavnim programima i njihovoj realizaciji, direktno
i transparentno povezani sa načinom na koji ćemo studente tome naučiti (nastava i nastavni materijali) i sa
načinom na koji ćemo proveriti da li studenti to stvarno i znaju, razumeju i umeju da urade (metod provere
znanja, odnosno ocenjivanje). O ovome se u literaturi govori kao o usklađenosti komponenata učenja.
Pokušaj direktnog povezivanja ishoda učenja, načina podučavanja i metoda provere znanja predstavljen je
u nastavku teksta.
Povezanost komponenti učenja
Nastavni predmet: Socijalne nejednakosti i siromaštvo (Filozofski fakultet, Niš, Departman za sociologiju, nastavnik Gorana Đorić)
ISHODI UČENJA NAČIN PODUČAVANJA PROVERA ZNANJA
Nakon uspešnog završetka kursa studenti će biti u Analiziranje baza podataka o prihodima i potrošnji Test u kome studenti odgovaraju na pitanja o
stanju da: (Srbija i Mađarska); serija vežbanja na kojima veličini i strukturi nejednakosti i siromaštva na
studenti odgovaraju na pitanja koristeći baze osnovu statističkih podataka.
Pročitaju, protumače i objasne statističke
podataka. Njihovi odgovori se upoređuju sa
pokazatelje o socijalnim nejednakostima i
rezultatima analiza objavljenih u Studiji o životnom
siromaštvu
standardu.
Izmere nejednakost životnog standarda i stope Predavanja o merama nejednakosti i siromaštva. Zadaci u kojima studenti pokušavaju da ponove
siromaštva za različite grupe Vežbanja merenja na postojećim bazama podataka. rezultate analize podataka objavljene u Studiji o
životnom standardu (na ovaj način se delimično
proverava i osposobljenost za objašnjenje
nejednakosti pod 2 & 3).
Navedu postojeću evidenciju o veličini Predavanje o trendovima nejednakosti i siromaštva Evidencija o nejednakosti i siromaštvu treba da
nejednakosti i siromaštva. Uoče pravilnosti u van Srbije. Grupne vežbe pronalaženja informacija bude navedena u Eseju, kao osnova za objašnjenja i
promenama veličine nejednakosti i siromaštva o nejednakosti i siromaštvu u Srbiji. zaključivanje.
Objasne: Vežbanja kojima se evocira prethodno znanje i Esej o različitim objašnjenjima nejednakosti i
1) Razlike u agregatnoj veličini nejednakosti i iskustvo studenata o nejednakosti i siromaštvu. siromaštva:
siromaštva između zemalja
Predavanja o problemima, osnovim pojmovima i Obajšnjenja moraju da ukažu na različite
2) Nejednake prihode domaćinstava i pojedinaca
teorijskim debatama. institucionalne aranžmane, strukturu prihoda i
3) Razlike u prosečnim prihodima različitih
mehanizam koji determiniše distribuciju pojedinih
kategorija domaćinstava (klasa, pol, životni ciklus, Brejnstorming vežbanja o mogućim objašnjenjima
elemenata prihoda.
forma porodice, etnička pripadnost, radni status) uočenih razlika i trendova u nejednakosti i stopama
siromaštva.
Definišu teorijski i operacionalno pojmove klasa i Diskusija o objašnjenjima nakon čitanja relevantne (Grupni) Zadaci u kojima studenti mere veličinu
rod, i analiziraju razlike prihoda i siromaštva literature. klasne i rodne nejednakosti i siromaštva i obrazlažu
povezane sa klasom i rodom. način na koji su konceptualizovali i
operacionalizovali pojmove.
Nabroje, analiziraju i uporede glavne mere za Grupne vežbe dizajniranja mera za smanjenje Grupni izveštaj o merama za smanjenje
smanjenje nejednakosti i siromaštva nejednakosti i siromaštva: “Kad bih ja bio nejednakosti i siromaštva u nekoliko zemalja.
Ministar…” Čitanje relevantne literature. Diskusija: Izveštaji treba da ukažu na uzroke nejednakosti i
“Šta kreatori državnih mera zaista rade na siromaštva koji se žele ukloniti dizajniranim
smanjenju nejednakosti i siromaštva, u različitim merama. Obavezni usmeni ispit se koristi za
državama i u različito vreme.” procenu individualnog doprinosa izveštajima.
7. Podsetnik nastavnicima za pisanje ishoda učenja predmeta
Sledeći koraci u postupku pisanja ishoda učenja za pojedine nastavne predmete rezimiraju dosadašnje izlaganje
i mogu da posluže kao podsetnik predmetnim nastavnicima.
Pođite od profesionalnih kvalifikacija diplomiranog studenta u oblasti iz koje je vaš predmet (proučite
nacionalne i međunarodne standarde i opise kvalifikacija i standarde i opise stručnih udruženja iz vaše oblasti).
Ukoliko su definisani, konsultujte ishode učenja konkretnog studijskog programa u okviru koga se ostvaruje
nastava iz vašeg predmeta. Prepoznajte koje ishode učenja programa u celini možete postići obučavanjem
studenata u okviru vašeg predmeta.
Definišite ishode učenja za vaš predmet tako što ćete odgovoriti na pitanje: Šta će studenti koji polože ispit iz
mog predmeta znati, razumeti i umeti da urade? Koristite standardne smernice za definisanje ishoda učenja
(npr. Blumovu taksonomiju) i vodite računa o tome:
o da ishodi učenja jasno ukazuju na misaone operacije i praktične postupke koji se mogu demonstrirati
pred ocenjivačima i meriti;
o i da su definisani različito za različite nivoe studija.
Razvijte strategiju nastave i podučavanja koji će omogućiti studentima da savladaju znanja i veštine predviđene
definisanim ishodima učenja.
dizajn
realizacija
PROVERA ZNANJA
Osnovna ideja ovog teksta je da se kvalitet obrazovnog procesa može najbolje postići i kontrolisati preko
definisanja standarda kvaliteta rezultata učenja i sistematske kontrole da li se ti standardi i ostvaruju. Za nas kontrola
kvaliteta obrazovanja je pre svega kontrola kvaliteta ishoda učenja. Najveći deo teksta bio je posvećen promovisanju
ove ideje, izlaganju opštih smernica za pisanje ishoda učenja razvijenih u literaturi i predstavljanju primera koji to
ilustruju. Dobro definisani ishodi učenja su centralni za organizaciju obrazovnog procesa u celini i prethode kontroli
kvaliteta postignutog znanja, veština i sposobnosti. U ovom odeljku se vraćamo kontroli kvaliteta ishoda učenja i
mogućim pokazateljima ostvarenja standarda kvaliteta. Možemo govoriti o tri vrste pokazatelja kvaliteta ishoda
učenja: kontekstualnim, direktnim i indirektnim pokazateljima.
Kontekstualni pokazatelji ne omogućavaju proveru kvaliteta ishoda učenja direktno, ali ukazuju na to da li su
ispunjene sve pretpostavke za direktnu proveru kvaliteta ishoda učenja. Tako na primer, prvi kontekstualni
pokazatelj kvaliteta ishoda učenja je da li su ishodi učenja uopšte definisani i da li su definisani tako da se mogu
demonstrirati i oceniti, i kao takvi poslužiti kao standardi kvaliteta. Drugi kontekstualni pokazatelj kvaliteta ishoda
učenja je da li su standardi discipline, definicije ishoda učenja studijskog programa i definicije ishoda učenja
pojedinih predmeta u programu povezani i usklađeni. Treći kontekstualni pokazatelj kvaliteta je da li su ishodi
učenja, način podučavanja i metode provere znanja povezani i usklađeni među sobom. Četvrti konteksualni
pokazatelj ukazuje na to da li su kriterijumi ocenjivanja dovoljno diskriminativni da razdvajaju minimalni, prosečni i
izuzetni nivo kvaliteta ishoda učenja od rezultata učenja koji ne zadovoljavaju minimalne standarde kvaliteta.
Tek kad su gornje pretpostavke zadovoljene moguće je direktno proveravati kvalitet ishoda učenja. Prvi direktni
pokazatelj kvaliteta ishoda učenja su ocene studentskih ispitnih obaveza dokumentovane studentskim radovima,
testovima, esejima, ispitnim zadacima, studentskim portfoliom. Drugi direktni pokazatelj kvaliteta ishoda učenja su
rezultati nezavisnog ocenjivanja slučajnog uzorka studentskih radova. Treći direktni pokazatelj kvaliteta ishoda
učenja je uspeh studenata završnih godina na standardnim nacionalnim ili internacionalnim testovima ili drugim
formama standardizovane provere znanja.
Konačno, indirekni načini provere kvaliteta ishoda učenja obuhvataju stepen „zapošljivosti“ diplomiranih
studenata, broj studenata na poslediplomskim studijama, stepen mobilnosti studenata (odnosno lakoća sa kojim
nastavljaju studije na drugom univerzitetu ili se zapošljavaju van mesta ili zemlje u kojima su studirali). Indirektni
pokazatelji često zavise od konkretnih društvenih okolnosti i moraju se tako i interpretirati.
13
Direktni i indirekni pokazatelji kvaliteta su prerađeni na osnovu Performance Indicators for Economics Majors:
Lousiana State University, US, E. J. Ourso College of Business.
Broj studenata na poslediplomskim i specijalističkim studijama
Stepen mobilnosti studenata
Studentska evaluacija nastave može jednim svojim delom ukazivati na kvalitet ishoda učenja preko procene
kontekstualnih pokazatelja kvaliteta – odnosno preko procene da li su uspostavljeni mehanizmi neophodni za
direktnu proveru kvaliteta ishoda učenja. Da bi se to postiglo, u upitnike za studentsku evaluaciju mogla bi se
uvrstiti i neka od sledećih pitanja:
Da li su rezultati/ishodi učenja jasno definisani za program u celini i pojedine predmete?
Da li su ciljevi i rezultati učenja različito definisani za različite nivoe studiranja: osnovne, master i doktorske
studije?
Da li se izabranim metodama ocenjivanja mogu proceniti/izmeriti rezultati učenja za svakog studenta?
Da li postoji eksplicitan (pisani) opis rezultata učenja za svaku ocenu: šta student treba da zna za 6, 7, 8, 9, ili
10?
Da li su kriterijumi ocenjivanja poznati studentima?
Kako se postiže objektivnost ocenjivanja?
Da li su, i na koji način, usaglašeni kriterijumi ocenjivanja različitih predmetnih nastavnika?
PRILOG 1: PRIMERI ISHODA UČENJA ZA POJEDINE DISCIPLINE
I
ISHODI UČENJA ZA STUDIJE SOCIOLOGIJE
Preuzeto iz publikacije Američkog sociološkog udruženja: Liberal Learning and the Sociology Major Updated:
Meeting the Challenge of Teaching Sociology in the Twenty-First Century by K. McKinney, C. Howery, K. Strand,
E. Kain, and C. Berheide; A Report of the ASA Task Force on the Undergraduate Major, 2004, American
Sociological Association.
1. sociološke discipline i njene uloge u razumevanju društvene stvarnosti, tako da je student u stanju da:
(a) opiše sličnosti i razlike između sociologije i drugih društvenih nauka i navede primere za ovo
razlikovanje;
(b) primeni sociološku imaginaciju i prepozna sociološke principe i koncepte u analizi sopstvenog života;
3. uloge evidencije i kvalitativnih i kvantitativnih metoda u sociologiji, tako da je student u stanju da:
(a) prepozna osnovne metodološke pristupe i opiše ulogu metoda u izgradnji sociološkog znanja;
(b) uporedi i protivstavi osnovne metodološke pristupe prikupljanju podataka;
(c) dizajnira istraživanje u jednoj oblasti po izboru i obrazloži izbor metode i istraživačkog dizajna; i
(d) kritički proceni publikaciju u kojoj su objavljeni rezultati jednog istraživanja i obrazloži kako se
istraživanje i publikacija mogu poboljšati;
4. fundamentalinih koncepata u sociologiji i osnova njihove teorijske međupovezanosti, tako da je student u stanju
da definiše, navede primere i demonstrira značaj pojmova kultura, društvena pormena, socijalizacija, stratifikacija,
socijalna struktura, institucije, i socijalna diferencijacija (duž linija etničke/rasne, polne, starosne i klasne
pripadnosti) za razumevanje društvene stvarnosti.
(a) uporedi i portivstavi teorije razvijene na jednom nivou sa teorijama razvijenim na drugom nivou
analize;
(b) sumira nekoliko istraživanja u kojima je dokumentovana povezanost oba nivoa analize; i
(c) napravi listu istraživanja ili analitičkih problema kojima bi trebalo pristupiti da bi se bolje razumela
povezanost fenomena analiziranih na mikro i makro nivou.
8. najmanje dve posebne sociološke oblasti do detalja, tako da je student u stanju da:
9. unutrašnje raznovrsnosti nacionalnog društva i njegovo mesto u međunarodnom kontekstu, tako da je student u
stanju da:
(a) opiše socijalni sastav društva duž linija etniciteta, pola, rase, klase i starosne grupe;
(b) prepozna kad može a kad ne može uopštavati rezultate analize na sve grupe.
10. Tehničke veštine potrebne za prikupljanje informacija i podataka sa Interneta i odgovarajuću upotrebu
kompjutera za analizu podataka; sposobnost pisanja stručnih tekstova u kojima se precizno prikazuju rezultati
istraživanja; razumevanje i primena principa etičkog kodeksa sociologa.
(a) se lako kreće između reprodukcije znanja, analize, primene znanja, evaluacije i kreiranja novog znanja -
sinteze;
(b) prepozna skrivene pretpostavke konkretnih teorijskih orijentacija ili određene argumentacije;
(c) prepozna skrivene pretpostavke konkretnog metodološkog pristupa nekom problemu;
(d) pokaže kako su modeli mišljenja i znanje uslovljeni političko-ekonomsko-socijalnim strukturama;
(e) predstavi suprotstavljena stanovišta i alternativne hipoteze o različitim pitanjima; i
(f) učestvuje u timskom radu u kome su zastupana različita stanovišta.
* “Demonstrirati” znači da je student u stanju da pokaže ili dokumentuje odgovarajuće ovladavanje materijalom i/ili
veštinama, tako da to ovladavanje može biti provereno (na ispitu, kroz prezentaciju, studentski portfolio ili neki
drugi način provere znanja).
Mapiranje doprinosa pojedinih predmeta ishodima učenja studijskog programa (Sociologija)
1. Ukaže na ulogu ponude i potražnje u tržišnoj ekonomiji i navede neophodne uslove za dobro funkcionisanje
tržišne ekonomije;
2. Prodiskutuje prednosti tržišnog sistema u obezbeđivanju ekonomske efikasnosti i objasni ulogu cena u
postizanju ekonomske efikasnosti;
3. Razume ekonomsku ulogu vlade, fiskalne i monetarne politike, nacionalnih rezervi, Nacionalne banke i
strukture tržišta;
4. Navede alternativne državne mere i proceni koliko je verovatno da one dovedu do povećanja ekonomskog
rasta i ekonomske efikasnosti;
5. Demonstriraju sposobnost primene ekonomske teorije na niz ekonomskih problema i uspešno prezentuju
svoju analizu;
6. Demonstriraju sposobnost da definišu i analiziraju ekonomske probleme upotrebom algebarskih i statističkih
metoda;
7. Ukažu na koristi/dobitke i štete/gubitke od globalne ekonomije;
8. Demonstriraju razumevanje osnovne istraživačke metodologije, uključujući prelgedavanje literature,
prikupljanje podataka, analizu podataka i preporuke za mere državne politike.
Diplomirani student medicini trebalo bi da bude u stanju da demonstrira kompetinciju u širokom izboru kliničkih
veština, samostalno i na nivou unapred definisanog standarda kvaliteta.
Što uključuje:
Ovladavanje odgovarajućim praktičnim procedurama nakon okončanja osnovnih studija je od suštinske važnosti za
prelaz od osnovnih studija na status stažiste (PRHO). Nabrojane su neke od procedura koje novi student
poslediplimskih studija mora da bude u stanju da izvede bez supervizije (samostalno)....
Što uključuje:
• frekvenca rada srca • krvni pritisak • temperaturu tela
• forsirani ekspirijumski volumen
• nivo šećera u krvi korišćenjem reagens papirića sa i bez glukometra
• Merenje i beleženje • analizu urina upotrebom Multistix
• testiranje tragova krvi u stolici
• test na trudnoću
• izvođenje i interpretacija EKG (elektrokardiograma)
………………………………………………………………………………………………………
Završeni student osnovnih studija medicine mora biti osposobljen za donošenje odluka, kliničko rezonovanje i
izvođenje zaključaka. Novi student poslediplomskih studija medicine mora da nastavi da demonstrira te sposobnosti
sa dodatnim opterećenjem odgovornosti za svoje odluke i akcije. Ovo je nesumnjvo jedan od najstresnijih aspekata
prelaza od osnovnih studija na PRHO i zog toga je postizanje ovih ishoda na najvišem standardu kvaliteta ključno.
Što uključuje:
Kako prepoznati i definisati problem, kako analizirati i interpretirati informacije i kako se
• Kliničko
snaći u situacijama u kojima nedostaju potpune informacije i postoje ograničenja lične
rezonovanje
prirode.
Kako prikupiti najbolju raspoloživu evidenciju i pratiti promene.
• Zasnivanje odluka Kako analizirati i interpretirati prikupljene informacije i primeniti usvojena uputstva i
na prikupljenoj protokole.
evidenciji Razumevanje povezanosti između prakse donošenja odluka na osnovu prikupljene
evidencije, provere medicinske prakse i razloga za postojanje različitih kliničkih praksi.
IV
ISHODI UČENJA ZA STUDIJE MAŠINSKE TEHNOLOGIJE
Laney College, Oakland, CA
http://www.laney.peralta.edu/apps/comm.asp?Q=31028
Mediji 131, "Nelinearno editovanje za masovne medije: Final Cut Pro II."
Laney College, Oakland, CA
http://www.laney.peralta.edu/apps/comm.asp?Q=31028
Hemija 1A/1B
Laney College, Oakland, CA
http://www.laney.peralta.edu/apps/comm.asp?Q=31028
Penologija LW545
Univerzitetski koledž Kork
Ishode učenja napisala dr Shane Kilcommins
14
Ishodi učenja definisani na Univerzitetskom koledžu Kork preuzeti su iz Dr Declan Kennedy, 2009, Pisanje i
upotreba ishoda učenja, Savet Evrope, Beograd. Engleska verzija priručnika može se naručiti na internet adresi:
www.nairtl.ie
Društveno-pravno tumače slučajeve nacionalnog krivičnog prava, nacionalno zakonodavstvo i proporuke za
delovanje.
Povežu promenu u vrednostima i sklonostima prilikom kažnjavanja sa promenama u naglašavanju značaja
krivičnog prava i postupka.
Procene aktuelnu politiku krivičnog prava s obzirom na uticaj koji može imati na optužene, žrtve, agencije i
političare.
Ispitaju stepen do kog krivično pravo zaista jeste objektivno i nepristrasno.
Nastavna jedinica: Demografske i ekonomske promene i izazovi ruralnog razvoja i razvoja zajednice
15
Jennifer Steele, 2009, “Model learning outcomes for Introductory Rural Sociology”, Southern Rural Sociology,
24(3), pp. 17–28.
PRILOG 4: DEFINISANJE ISHODA UČENJA ZA RAZLIČITE NIVOE STUDIRANJA
Preuzeti su i prilagođeni opšti standardi kvalifikacija jedinstvenog evropskog obrazovnog prostora – EHEA, tzv. 'Dublin descriptors'. Dablinski opisi su opšte
tvrdnje o tipičnim postignućima i sposobnostima koje se očekuju od studenata nakon završetka svakog ciklusa kvalifikacija prema Bolonjskim standardima. Ovaj
opšti pristup se može specifikovati za svaku disciplinu, program i predmet posebno. Izvor: www.bolognabergen2005.no/Docs/00-
Main_doc/050218_QF_EHEA.pdf
Prvi stepen studija Prvi stepen studija Drugi stepen studija Treći stepen studija
Osnovne studije (3 godine) Osnovne studije (4 godine) Master studije Doktorske studije
Studenti su demonstrirali znanja i Studenti su demonstrirali Studenti su demonstrirali znanja i Studenti su demonstrirali sistematsko
razumevanje oblasti studija koje znanja i razumevanje oblasti razumevanje oblasti studija kojim se razumevanje područja studija i
se nastavlja na opšte studija koje se nastavlja na produbljuje i uvećava znanje stečeno na ovladali veštinama i metodama
Znanje i razumevanje
srednjoškolsko obrazovanje16 i opšte srednjoškolsko osnovnim studijama. Na osnovu ovog istraživanja relevantnim za to
zasniva se na informacijama koje obrazovanje, na nivou koji se znanja studenti mogu samostalno područje.
se mogu naći u naprednim zasniva na naprednim razvijati i primenjivati ideje, često u
udžbenicima; ovo znanje udžbenicima, ali obuhvata i istraživačkom18 kontekstu.
predstavlja osnovu za neke aspekte najnovijih
zapošljavanje, profesionalni dostignuća u oblasti studija17.
razvoj i dalje studiranje.
Studenti su osposobljeni da Studenti su u stanju da Studenti su u stanju da primene svoja Studenti su demonstrirali sposobnost
primenjuju stečeno znanje i primenjuju stečena znanja i znanja, razumevanje i stečene da osmisle, dizajniraju, sprovedu i
razumevanje u profesionalnom razumevanje pristupajući poslu sposobnosti rešavanja problema, u primene obuhvatan istraživački
kontekstu. i zanimanju na ekspertski novom ili nepoznatom okruženju, u širem poduhvat uz upotrebu naučne
način. Studentska ekspertiza i (interdisciplinarnom) kontekstu metode; istraživački rad studenata
Primena znanja i
16
Opšte srednjoškolsko obrazovanje uključuje i stručne škole, pod pretpostavkom da njihovi programi sadrže dovoljno opšteobrazovnih sadržaja.
17
Kurzivom smo podcrtali razlike između ishoda za pojedine nivoe studiranja (G.Đ.)
18
Termin “istraživanje” se odnosi na raznovrsne aktivnosti u zavisnosti od oblasti studiranja; označava temeljno studiranje ili proučavanje koje se zasniva na sistematičnom
razumevanju i kritičkom promišljanju znanja. Termin je upotrebljen u širokim smislu tako da može da obuhvati aktivnosti originalnog i inovativnog rada u čitavom nizu
akademskih, profesionalnih i tehnoloških oblasti, uključujući humanističke nauke i tradicionalne, izvođačke i druge kreativne umetnosti. Nije upotrebljen u uskom značenju, niti se
isključivo odnosi na tradicionalno shvaćen „naučni metod“.
Prvi stepen studija Prvi stepen studija Drugi stepen studija Treći stepen studija
Osnovne studije (3 godine) Osnovne studije (4 godine) Master studije Doktorske studije
Studenti su osposobljeni da Studenti su osposobljeni da Studenti su oposobljeni da povezuju Studenti su osposobljeni za kritičku
Sposobnost prosuđivanja
prepoznaju i koriste podatke prikupljaju i interpretiraju informacije i savladavaju složene analizu, evaluaciju i formulaciju
potrebne za formulisanje rešenja relevantne informacije probleme. Osposobljeni su da izvode novih i složenih ideja.
jasno definisanih konkretnih i (uglavnom u oblasti studija), zaključke na onovu nepotpunih ili
abstraktnih problema. na osnovu kojih mogu da ograničenih informacija koji uključuju
donose zaključke, koji promišljanje društvenih i etičkih
uključuju promišljanje implikacija i odgovornosti povezanih sa
relevantnih društvenih, primenom njihovog znanja i zaključaka
naučnih i etičkih pitanja. do kojih su došli.
razgovaraju o svojim prezentuju informacije, ideje, jednoznačno predstave i obrazlože svoje pitanjima iz oblasti svoje ekspertize
mišljenjima, veštinama i probleme i rešenja publici zaključke (iznesu razloge i dokaze na raspravljaju sa svojim kolegama,
Sposobnost
aktivnostima sa kolegama, sastavljenoj i od stručnjaka i kojima se oni zasnivaju), kako naučnom zajednicom i
znanja:
supervizorima i klijentima. od ljudi van struke. stručnjacima tako i publici sastavljenoj predstavnicima šire društvene
od ljudi van struke. zajednice.
Studenti su stekli veštine koje im Studenti su stekli veštine Studenti su stekli veštine učenja koje im Od uspešnih studenata doktorskih
Osposobljenost za
omogućavaju da nastave učenje učenja neophodne da nastave omogućavaju da nastave dalje studiranje studija se očekuje da budu u stanju
sa određenim stepenom dalje studiranje sa visokim gotovo potpuno samostalno. da, u modernom društvu koje se
autonomije. stepenom autonomije. zasniva na znanju, promovišu
dalje učenje
Podaci i relevantne Podaci i relevantne Podaci i informacije su Podaci i informacije su Podaci i informacije su
Izvori informacija
informacije su informacije su prikupljeni prikipljeni korišćenjem prikipljeni korišćenjem prikipljeni na osnovu svih
prikupljeni na osnovu na osnovu uskog izbora više relevantnih izvora. širokog izbora relevantne relevantnih izvora i
uskog izbora relevantnog materijla – literature i prezentovani na prezentovani jasno,
relevantnog materijla – minimum zadate literature. jasan i koherentan način. koherentno i sistematično.
manje od minimuma
zadate literature.
Studentski radovi su Studentski radovi / Studentski radovi / Studentski radovi / odgovori Studentski radovi / odgovori
samo marginalno odgovori demonstriraju odgovori su relevantni za su relevantni za zadata su relevantni za zadata
relevantni za zadata elementarnu relevantnost zadata pitanja i sadrže niz pitanja i sadrže niz mogućih pitanja i sadrže niz mogućih
pitanja i sadrže vrlo za zadata pitanja, ali su mogućih rešenja / rešenja / pristupa. rešenja / pristupa.
mali broj odgovora. rešenja i pristupi sadržani u pristupa.
odgovoru jednostrani i
Reprodukcija
ograničeni u obimu.
Studenti veruju da postoji
samo jedan tačan odgovor:
onaj iz zadatog udžbenika.
Studenti memorišu i Studenti memorišu i Studenti prepričavaju Studenti aktivno Studenti aktivno procenjuju i
prepričavaju nastavni prepričavaju nastavni nastavni material na interpretiraju i procenjuju interpretiraju relevantne
material i mišljenje material i mišljenje autora strukturisan način uz relevantne informacije. informacije. Studentski
autora udžbenika, bez udžbenika, bez misaone delimično procenjivanje Studenti demonstriraju odgovori izražavaju
ikakve misaone transformacije informacija. raspoloživih informacija. sposobnost misaone nezavisne lične zaključke
Razumevanje
transformacije, ali i na Studenti demonstriraju Studenti uviđaju transformacije informacija i ukazujući na sposobnost
nivou prepričavanja tendenciju da redukuju složenost debata o uzimaju učešće u autonomnog učenja.
često nisu uspešni. složene debate o problemu problemu o kome govore. akademskim debatama o
na iznošenje jednostavnih problemu.
„crno-belih“ odgovora.
Zadovoljavajućom Primena znanja za ovu Primena znanja za ovu Uspešnom primenom znanja
primenom znanja se smatra ocenu je poznavanje svih ocenu zahteva da studenti za ovu ocenu se smatra
sposobnost upotrebe važnih pravila, porcedura budu u stanju da objasne na zasnivanje praktičnog
naučenih procedura i i uputstava i kojim se teorijskim i ponašanja na poznavanju
poštovanje propisa. demonstrirana sposobnost empirijskim informacijama relevantnih informacija. Uz
primene odgovarajućih zasnivaju praktične to, za najvišu ocenu studenti
procedura u različitim procedure i zašto su moraju da demonstriraju da
situacijama. Studenti su u određena pravila i su usvojili vrednosti
stanju da objasne kako se prodecure odgovarajuća u profesionalne etike i da su
Primena znanja
uključujući i stanovišta
razvijena van oblasti o kojoj
je direktno reč.
Bilo kakvo iznošenje Studentski radovi / Studentski radovi / Studenti kritički Specifičnost studentskog
mišljenja je odgovori sadrže odgovori sadrže pokušaje interpretiraju problem, rada za najvišu ocenu je u
nezasnovano i sporadične pokušaje procene informacija, tako oslanjajući se na širok izbor sposobnosti studenata da
neobrazloženo. procenjivanja informacija. što se studenti relevantnih izvora. Studenti izvedu i odbrane autonomne
Studenti ponekad opredeljuju za jedno od su u stanju da izvedu i brane zaključke, koji prevazilaze
izražavaju svoja mišljenja, ponuđenih ekspertskih autonomne zaključke u okvire zadatog problema i
ali su ona često mišljenja. Studenti biraju okviru zadatog problema. naučenih koncepata, tako da
nepotkrepljna i zasnivaju između većeg broja Evaluacija se sastoji u rad sadrži kreativne i
se na naučenim “tačnim” jednako valjanih ili formiranju, izvođenju i originalne elemente. Ovo
odgovorima. jednako upitnih potkrepljavanju tvrdnji, uključuje nezavisnu
ekspertskih odgovora. često na opštijem nivou, u interepretaciju problema i
složenim situacijama i na njegovo lociranje u širi
osnovu nepotpunih teorijski ili vrednosni
informacija. kontekst. Istovremeno,
studenti demonstriraju
razumevanje ograničenosti
našeg znanja. Evaluacija se
Evaluacija
sastoji u formulisanju
smislenih zaključaka na
osnovu trenutno rasploživih
informacija.
Studentski radovi nisu Studentski radovi Studenti su osposobljeni Studenti su osposobljeni da Studenti su osposobljeni da
prezentovani na jasan predstavljaju veći deo da prezentuju svoje prezentuju svoje radove prezentuju svoje radove na
način i u materijala na jasan način i radove na jasan način i u jasno i efektno, i da ih jasan, artikulisan i ubedljiv
Prezentacija
odgovarajućem formatu. u odgovarajućem formatu. odgovarajućem formatu. logično strukturišu. Izvori način. Izvori informacija su
Izvori podataka i Izvori informacija su informacija su navedeni uz navedeni uz poštovanje
informacija su navedeni na navedeni uz poštovanje poštovanje akademskih akademskih konvencija.
način da ih čitalac može akademskih konvencija. konvencija.
pronaći.