UniTe= 5 LLM nguén mo tét nhat (thang 2023 nam XNUMX) 8p nhat on Thang Mubi Hai 12, 2023 By Alex McFarland va Antoine Tardit SEAR Trong thé giéi tri tué nhan tao (Al) dang phat trién nhanh chéng, cdc Mé hinh ngén ngér én (LLM) 48 ndi én nh mét nén tang, thie dy sy dBi méi va dinh hinh Iai céch chaing ta tong tac véi céng nghé. Khi cdc mé hinh nay ngay cang tréy nén phite tap, thi viée dan chi héa viéc tiép can ching gay cang durge chil trong. Bac biét, céc mé hinh nguén mé dang déng mot vai tr then chét trong qua trinh dan chii héa nay, cung ep cho ede nha nghién civu, nha phat trién va nhimng rngudi dam mé ca’ hdi 48 tim higu su v8 nhimng dim phitc tap cia chiing, tinh chinh chung cho cdc nhiém vy cy thé hod thm chi xay dung dya trén nén tang ctia chting. Trong blog nay, chiing ta s& khém pha mét s6 LLM ma ngudn mé hang dau dang tao nén lan Huong ¢ sséng trong céng ding Al, mi gidi phap d&u mang dén nhéeng diém manh va khé nang déc dao higu sud cua minh, 7 1. lac da khéng buéu 2 SeMeta’s Llama 2 la mét bd sung dét pha cho dang sén phdm mé hinh Al cia ho. Bay khéng chi la mét mé hinh khac; né durge thiét ké dé cung cép nhién ligu cho mét loat céc Geng dung hién ai. Dir ligu dao tao cia Llama 2 rat lon va da dang, khién né trd thanh mét bude tién dang ké so véi ngudi tién nhigm. Sy da dang trong dao tao nay dam bao rang Llama 2 khéng chi la mét cai tién gia ting ma con la m@t bude tién lén huéng toi twong lai cia cdc twrong tac do Al iu khién, Sy hgp tac gitra Meta va Microsoft 48 mé réng tm nhin cho Llama 2. Mé hinh ma ngudn mé hign dug hé tre trén cae nén tang nhw Azure va Windows, nhdim myc dich cung cp cho céc nha phat trién va t6 chute cdc céng cy a8 t20 ra trai nghigm dya trén Al. Sy hop téc nay nhdn manh sy céng hién cia ca hal céng ty trong vigc lam cho Al tre nén dé tiép can hon va cdi ma hon v6i tat c8 moi ngudi Llama 2 khéng chi la sy ké thiva cila m6 hinh Llama ban du; né dai dign cho mot sy thay ddi m6 hinh trong du trréng chatbot. Mac di mé hinh Llama dau tién mang tinh cach mang trong vigc tao van ban va ma, nhung tinh kha dung etia né bj han ché a tranh sir dung sai myc dich, Mat khac, Llama 2 duge thiét lap dé tiép cn nhiéu déi tong hon. No dugc téi wu hoa cho cdc nn tang nhu AWS, Azure va n&n tang lvu tror mé hinh Al cla Hugging Face. Hon niva, véi sy hop tac cia Meta v6i Microsoft, Llama 2 sn sang ghi dau 4n khéng chi trén Windows ma con trén cae thiét bj dec cung cdp béi hé théng trén chip Snapdragon cua Qualcomm, An toan la trong tam trong thiét ké cia Llama 2. Nhan thay nhiing thach thirc ma cdc mé hinh gan nat lén truée day nhur GPT gap phai, 46i khl tao ra ngi dung gy hiu lam ho&e c6 hai, Meta 0 thye hign nhiBu bign phép dé dm bao d6 tin cy cla Llama 2. Nawéi mBu da trai qua qua trinh a0 tao nghiém nga dé giém thiéu ‘do gide’ théng tin sai Iéch va thanh kién, Céc tinh nang hang dau cua LLaMa 2: Hidu cde Midjourr to hinh Kham pt DeepMir+ Dir ligu dao tgo da dang: Dir ligu dao tao cia Llama 2 vira phong phi va da dang, dam bao sy hidu biét va higu sudt toan din + Hop tc v6i Microsoft: Llama 2 duge hé tr trén cae nn tang nhu Azure va Windows, mé réng pham vi ing dung cia n6, + Sn €6 mé: Khong gidng nh Nguoi tién nhigm ca n6, Llama 2 ¢6 sn cho nhibu d6l tweng hon, sn sang tinh chinh trén nhigu nén tang + Thiét ké ldy an toan lam trung tam: Meta 4a nhdn manh dén sy an toan, dim bao rng Llama 2 tao ra két qua chinh xéc va dang tin c@y dng thar glam thiéu cdc du ra 66 hal. + Phién ban duge t6i wu héa: Llama 2 66 hai phién ban chinh ~ Llama 2 va Llama 2-Chat, phién ban sau dug thiét ké dac bigt cho cdc cuge trd chuyén hal chidu. Cac phién ban nay 66 46 phire tap tir 7 ty dn 70 ty tham s6. + Bio tao nang cao: Llama 2 durgc dao tao trén hai trigu ma théng bao, ting ding ké so véi 1.4 aghin ty ma thong bao ca Llama ban dau. 2. Hoa ‘Vao nam 2022, sau né lye hgp tac toan cau véi sy tham gia cla cdc tinh nguyén vién tir hon. 70 quéc gia va cdc chuyén gia tir Om Mat, dy n BLOOM da durge céng bé. M6 hinh ngén gtr lén (LLM) nay, durge tao ra théng qua mét sang kién kéo dai mét nam, durge thiét ké 8 tgo vn ban ty héi quy, c6 kha nang mé réng mot ddu nhac van ban nhdt dinh. Né dugc dao tao trén mot kho di ligu van ban khéng 16 sir dung stre manh tinh toan ding ké. Sy ra mat cla BLOOM [a mét bu6c quan trong trong vige lam cho céng nghé Al téng hop tro nén dé tiép can hon, La m6t LLM nguén may, né ty hao c6 176 ty tham 86, khién né tré-thanh mt trong nhieng LLM dang gém nhdt trong 16p. BLOOM cé kha nang tao van ban mach lac va chinh xéc trén 46 ngon ngit va 13 ngon ngi lap trinh Dy an nh&n manh tinh minh bach, cho phép céng chiing truy cap vao ma ngudn va dir gu a0 tao. Sy cdi ma nay mdi goi vie kiém tra, str dung va nang cao mé hin lién tue.C6 thé truy cp mi8n phi thng qua nén tng Om mat, BLOOM 1a minh ching cho sy déi méi hop tac trong Al Cac tinh nang hang dau cua Bloom: + Kha nang da ngén ngiv: BLOOM thanh thao trong viée tao van ban bang 46 ngén ngi va 13 ing6n ngi lap trinh, thé hign pham vi ngén ngi réng ca né. + Truy c&p nguén més: Ma nguén va di ligu dao tgo cia m6 hinh durge cung e&p eBng Khai, thic dy tinh minh bach va cdi thign tinh hop tée + Tao van ban ty déng: Duce thiét ké a8 tfp tye van ban tir mét di nhde nhét ginh, BLOOM uot tr trong vie mér rong va hoan thign chubi van ban. +86 lugng tham $6 lén: V6i 176 ty tham s6, BLOOM Ia mét trong nhiing LLM ngudn me manh mé nhat hign 06. + Hop tée toan edu: Due phat trién thong qua mét dy an kéo dai mot nam voi su déng gép ciia ccc tinh nguygn vién trén hon 70 quéc gia va cdc nd nghién ecru Om Mat + Kha nang truy cp mién phi: Nguoi ding 06 thé truy cp va sir dung BLOOM min phi thong qua hé sinh thai Om Mat, tang cng tinh dan chii héa trong finh wy Al. + Bao tao quy mé céng nghigp: Mo hinh durye dao tao trén mot lugng In dor igu vn ban sir dung cc tai nguyén tinh todn dng ké, dim bao higu sudt manh mé: 3. MPT-7B MosaicML Foundations da déng gép dang ké cho khéng gian nay véi vi6c gil thigu MPT-7B, LLM ma ngudn mé méi nhat ciia ho. MPT-7B, tir vit tt cla MosaicML Pretraining Transformer, fa kiéu may bién Ap chi danh cho b9 giai ma, kidu GPT. Mo hinh nay tyr hao c6 mot s6 cai tién, bao gém trién khai lop durge t6i uu héa higu sudt va thay di kién trac a8 dm bao d6 én dinh dao tao cao hon,Mot tinh ning néi bat ctia MPT-78 Ia dao tao trén b6 dir ligu mé réng bao gém 1 nghin ty ma théng bao van ban va ma. Qua trinh dao tao nghiém ngat nay duge thyc hién trén nén tang MosaicML trong khoang thai gian 9.5 ngay. Ban chat ngudn mé ca MPT-7B dinh vi né nhu mét céng cu cé gia tri cho cdc tng dung throng mai. Né 06 kha néing tac déng dang ké dén cdc phan tich die doan va qua trinh ra quyét dinh cita cae doanh nghiép va td chite. Ngoai mé hinh co’ sé, MosaicML Foundations cing dang phat hanh cdc mé hinh chuyén biét dug diéu chinh cho cac tac vy oy thé, chang han nhu MPT-7B-Huéng din cho huéng din dang ngan sau, MPT-7B-Trd chuyén dé tao déi thoai va MPT-7B-StoryWriter-65k+ dé tao ra cu chuyén dai, Hanh trinh phat trién cla MPT-78 rat toan dign, voi nhém MosaicML quan ly tt c& cc gial Goan tir chudn bi dt ligu dn trién khai trong vong vai tun. Da ligu durge iy tir nhibu kho Iu tt khde nhau va nhém da str dung cae céng cy nhu GPT-NeoX cila EleutherAl va ma théng bao 20B dé dim bao két hop dao tao da dang va toan dién Cac tinh nang chinh Téng quan vé MPT-7B: + Cp phép Throng mai: MPT-7B duge cp phép siz dyng cho myc dich thong mai, Khién nd {rd thanh ti san quy gid cho cc doanh nghigp. + Dip ligu dao tao mé rong: Mo hinh tyr hao dao tao trén mot bd dir ligu khéng 16 gdm 1 nghin ty rma théng béo. + Xir ly dau vo dai: MPT-7B duoc thitké a8 xir ly cde dau vao cure ky dai ma knéng anh huéng + Téc dé va higu qua: Mé hinh duge tdi vu héa 48 dao tao va suy luan nhanh chéng, dém bao két qua kip thei. + Ma nguén mé: MPT-7B di kém voi ma dao tao ma ngudn mé hiéu qua, thc day tinh minh bach va dé sir dung. + So sénh xuét sic: MPT-78 da thé hign sy vugt ti so v6i cdc mu ngubn mé kha trong pham Vi7B-208, véi chét lygng tong dong véi LLaMA-7B,Falcon LLM, la mot m6 hinh da nhanh chéng vuron én dn dau trong hé théng phan cp LLM. Falcon LLM, cy thé la Falcon-40B, la mét LLM nén tang duge trang bj 40 ty tham sé va da dug dao tao trén mt nghin ty ma théng bdo 4n twrong. Né hoat dong nhu mét mé hinh chi danh cho bé giai ma ty hdi quy, vé co’ ban cé nghia la né dy doan ma théng bao tiép theo theo trinh ty dya trén ma théng bdo truéc dé. Kién tric nay ggi nho dén mé hinh GPT. Dang chi y la kién trac cla Falcon 43 thé hign higu sudt wot tr6i so vei GPT-3, dat duoc ky tich nay chi Voi 75% ngan séch tinh toan dao tao va yéu edu tinh toan it han dang ké trong qua trinh suy luan. Nhém tai Vién B4i moi Céng nghé da dat trong tam vao chat lugng dé ligu trong qué trinh phat trién Falcon. Nh@n thdy mize d6 nhay cm cia LLM d6i véi chat iveng dit ligu dao tao, ho @ xy dung mét duéng dan dir ligu c6 quy mé Ién téi hang chuc nghin léi CPU. Bidu nay cho phép xir ly nhanh chéng va trich xudt néi dung ch4t lunong cao tir web, dat éuvoc théng qua qua trinh loc va chéng tring lp mé réng Ngoai Falcon-40B, TIl cing da gi6’ thigu cdc phién ban khac, bao gm Falcon-78, sé hiru 7 ty théng sé va duoc hudn luyén trén 1,500 ty token. Ngoai ra cén 06 cac mau chuyén dung nh Falcon-40B-Instruct va Falcon-7B-Instruct, doc thiét ké riéng cho cdc nhiém vy cy thé. Hudn luygn Falcon-40B la mét qua trinh sau rong. Mé hinh nay dug dao tao trén bé dir igu RefinedWeb, mét b6 dir ligu web 48 s6 bang tiéng Anh do TIl xay dung. BS dir ligu nay duge xay dung dya trén CommonCraw! va trai qua qua trinh loc nghiém ngat dé dam bao chat lvong. Sau khi mé hinh duc chun bj xong, n6 dug xac thye dya trén mot sé tiéu chudn nguén mé, bao gdm EAI Hamess, HELM va BigBench. Céc tinh ning chinh Téng quan vé Falcon LLM: + Théng 86 mé rng: Falcon-408 dizgc trang bj 40 ty tham s6, dm bao kha nang hoc tap va hoat dong toan dién.+ Mé hinh chi danh cho bé giai ma hai quy ty déng: Kién tric nay cho phép Falcon dy doan cdc ma tiép theo dya trén cdc ma truée 46, tong ty nhu mé hinh GPT. + Higu suét vwgt tréi: Falcon vurgt tri so voi GPT-3 trong khi chi sir dung 75% ngan sch dign toan dao tao. + Burong éng dir ligu chat Iveng cao: Budng dan di igu cia TIl dim bao trich xudt ndi dung chat luging cao tir web, rét quan trong cho vige dao tao mé hin + Nhigu mau ma: Ngoai Falcon-408, TIl cén cung cép Falcon-78 va céc mu chuyén dung nhur Falcon-40B-Instruct va Falcon-78-Instruct, + Tinh kha dung ciia ngudn mé: Falcon LLM da due ma ngubn mé, thiic day khd nding truy c&p va tinh toan din trong finh vy Al 5. Vicuna-13B LMSYS ORG da tao dug déu 4n quan trong trong linh vue LLM nguén mé véi viée gid’ thiéu Vicuna-13B. Chatbot ma nguén ma nay da duro dao tao ti mi bang céch tinh chinh LLaMA trén céc cube hdi thoai do ngudi diing chia sé cé ngudn géc tir ShareGPT. Banh gia so” b6, do GPT-4 lam gidm khdo, cho thy Vicuna-13B dat chAt lugng hon 90% so voi cac mAu ndi tiéng nhu OpenAl ChatGPT va Google Bard. That 4n tung, Vicuna-13B vugt tr6i so v6i cdc mau dang chit y khac nhu LLaMA va Stanford Alpaca trong hon 90% trréng hop, Toan bé qua trinh dao tao Vicuna-13B durge thy hién véi chi phi khong 300 USD. Béi v6i nhing ngudi quan tam dn viéc khém phd cdc khé nang cla 1n6, ma, trong s6 va bain trinh ign trye tuyén da duzgc cung cp céng khai cho cdc muc dich phi thong mai. Mé hinh Vicuna-13B 4a dug tinh chinh véi 70 cuc héi thoai ChatGPT do ngwéi ding chia 86, cho phép mé hinh tao ra cae phan hai chi tiét va cé cu tric tét hon. Chat lygng cia nhieng phan hdi nay tong duong véi ChatGPT. Tuy nhién, danh gid chatbot la mot nd lye phic tap. Voi nhiing tién bé trong GPT-4, ngay cang cé nhiéu ngudi ta md vé tiém nang déngvai trd [a khung danh gid ty dong cila GPT-4 a8 tao aidm chudn va dénh gid higu sudt. Nig phat hign ban du cho thay GPT-4 c6 thé tao ra thir hang nhét quén va dah gi chi tit khi so ‘sdnh cdc phan héi cia chatbot. Banh gia so bé dya trén GPT-90 cho thay Vicuna dat duoc XNUMX% kha nang cia céc mau nh Bard/ChatGPT. Cac tinh nang chinh Téng quan vé Vicuna-13B: + Ban chat ngudn ma: Vicuna-13B 6 sn 48 cong chting truy op, thie dy tinh minh bach va sy tham gia cla céng dng. + Dir ligu dao tao mé réng: Mé hinh da duge dao tao trn 70 nghin cuse hoi thoai do ngudi ding chia s6, dam bdo hiéu bidttoan dign v8 céc tuong tac da dang sudt canh tranh: Higu sudt cla Vicuna-138 ngang bang v6i céc céng ty hang dau trong nganh nhu ChalGPT va Google Bard + Bao tao higu qua vé chi phi: Toan b6 qua trinh dao tao Vicuna-13B duge thy hién véi chi phi thdp khong 300 USD. + Tinh chinh trén LLaMA: Mé hinh da dug tinh chinh trén LLaMA, dam bao higu suat va chat lugng phan hai duge nding cao. + Ban demo trye tuyén eé sin: Bin demo tryc tuyén twang tée o6 sn dB ngudi ding kiém tra va trl nghigm kha nang cia Vieuna-138, Vuong quéc mé réng cilia cdc m6 hinh ng6n ngit Ién Linh ve Mé hinh ngén ngir Ién rdt rong Ion va khéng ngi¢ng mé réng, v6i mdi mé hinh méi sé vuot qua ranh gidi olia nhiing gi cé thé. Ban chat ngudn m@ otia cdc LLM durgc thao luén trong blog nay khéng chi thé hign tinh than hgp tac cia cOng déng Al ma cbn mé du’ng cho nhting 481 méi trong twong lai Nhiing mé hinh nay, ttr kha nang chatbot dn twong clia Vicuna dén cae thud do higu suat wuot tri ciia Falcon, dai dién cho dinh cao cia céng nghé LLM hién tai. Khi chting ta tiép tue cchizng kién nhGing tién bé nhanh chéng trong Minh vue nay, r6 rang la céc mé hinh nguén mo sé déng mét vai tr quan trong trong viée dinh hinh twong lai cia Al. Cho du ban la nha nghién ctu day dan kinh nghiém, ngudi moi bat du dam mé Al hay ai dé te md ve tiém nang cia nhing mé hinh nay, thi khéng c6 thd’ gian nao tét hon dé di sdu vao va khém pha nhéing kha nang to lan ma chting mang lai (CHU OE LIEN QUAN: #TOT NHAT pune 8o.e ep THEO, 10 ngudi ghi chép y té Al gidi nhat 10 cdng cy Al tot nhat cho tiép thilién => (Thang 2023 ndm XNUMX) ét (Thang 2023 nam XNUMX) Alex McFarland on‘Alex MeFarland la mgt aha van & Brazil, chuyén vidt vb nding phat tridn méi nt trong Finh wwe te tu8 ahdn tao, [Anh Ay a lam vige véi ede cng ty va &n phém Al hang dau tn toan ef ay Antoine Tardif on [Mot d6i tac sng lap cia unity Al & m9tthanh vién eda Hoi ébng Cong nghd Forbes, Antoine la mt nha tvong la hoc nguoi dam mé twong lai cia Al va robot. (Ong cang ld ngubi sang lap cla Ching khodn.o mét rang wb du ty, nin ting Al téng hop hinh nha, & € pha anh dy hign dang lam vigc dB ra mat thin ti. mot nén ting 66 cung cp cho nqubi ding kha nang dinh cu hinh Va rin keal cde te nh Wy te bing eich chia lr nh than ede te We ph 10 Chatbot Al tat nhét cho doanh 10 trinh tao“Chuyén van ban thin 10 Phin mém va Dich vy Phién im AL nghiép vi trang wob (Thing 2023 _giong ni" tat nhat (Thing 2023 nam “Tot nhat” (Thing 2023 nam XMUMX) ‘nam XNUMX) AXNUMX) 10 Tinh tgo ma Al tt nhat Thing 10 cng.cu tao trd choi Al tat nhit 10 cing 2023 nim XNUMX) (dng 2023 nm XNUM) nat (Thing 2023 nm XMUNX) Vé ching t6i Gidi thigu v8 Images.ai_ Gap g6 cdc dgi_didu Ié cia chting 161 Céng cy bao chi _Lién hé ‘Tiét 6 ca nha quang c4o: UniteAl cam két tua thd céc iu chun bién tp nghiém ng@t dB cung cép cho abc gi thong tn va tin tre chin xa Ching ti 6 thé nhn diz tdn bbl thug khi ban nhdp vaso ign két dB céc san phdm ma ching ti d8 xem xet mafiSzeccnstlls =en