Machine Translated by Google

допринели чланци

ДОИ:10.1145/3381831
Овај тренд је вођен снажним фокусом
Стварање ефикасности у истраживању вештачке заједнице АИ на до ијање „најсавременијих“
резултата, као што је илустровано
интелигенције ће смањити његов угљични отисак и популарношћу та ли са лидерима,53,54
повећати његову инклузивност јер студија ду оког учења које о ично извештавају о тачности (или
другим сличним мерама), али изостављају
не и тре ало да захтева најду ље џепове.
свако помињање трошкова или ефикасности
(погледајте, на пример,
РОИ СЦХВАРТЗ, ЈЕССЕ ДОДГЕ, НОАХ
леадер оардс.алленаи.орг).ц Упркос јасним
А. СМИТХ И ОРЕН ЕТЗИОНИ предностима по ољшања тачности модела,
фокус на ову јединствену метрику занемарује

Зелени АИ
економске, еколошке и друштвене трошкове
достизање пријављених резултата.
Залажемо се за повећање истраживачке
активности у истраживању Зелене вештачке
интелигенције – АИ која је еколошки
прихватљивија и инклузивнија. Наглашавамо
да је истраживање црвеног вештачке
интелигенције дало вредан научни допринос
овој о ласти, али је ило превише
доминантно. Желимо да померимо равнотежу
ка опцији Зелене вештачке интелигенције
— да осигурамо да сваки студент који је
инспирисан додипломским студијама са
лаптопом има прилику да напише
висококвалитетне радове који и могли
ОД 2012. године, о ласт вештачке интелигенције (АИ) је ити прихваћени на врхунским
известила о изузетном напретку у широком спектру истраживачким конференцијама. Конкретно,
предлажемо да се ефикасност учини чешћим
могућности укључујући препознавање о јеката, играње критеријумом евалуације за АИ радове поред тачности и
игара, препознавање говора и машинско превођење.43
То у пракси значи да је тачност система на неком
Велики део овог напретка постигнут је све већим и енчмарку већа од тачности ило ког
рачунарски интензивнијим ду оким модели учења.а Слика претходно о јављеног система. ц
Неке листе лидера се фокусирају на ефикасност
1, репродукована од Амодеи ет ал.,2 приказује повећање (хттпс://давн.цс.станфорд.еду/ енцхмарк/).

трошкова о уке током времена за најсавременије моделе

кључни увиди
ду оког учења почевши од АлекНет-а 2012.24 до АлпхаЗеро-
а у 2017.45 Графикон показује укупно повећање од 300.000к , ˽ Рачунски трошкови стања
Истраживање вештачке интелигенције порасло је
при чему се трошкови о уке удвостручују сваких неколико 300.000 пута последњих година. Овај тренд,
означен као црвена АИ, произилази из фокуса
месеци. Још оштрији тренд се може уочити у НЛП приступима АИ заједнице на тачност уз о раћање пажње на ефикасност.

уграђивања речи гледајући ЕЛМо34 праћен БЕРТ,8 ˽ Црвени АИ води до изненађујуће великог
угљенични отисак, и отежава академицима,
опенГПТ-2,35 КСЛНет,56 Мегатрон-ЛМ,42 Т5,36 и ГПТ-3.4 студентима и истраживачима да се укључе у
Важан рад47 процењује угљенични отисак неколико истраживање ду оког учења.

модела НЛП-а и тврдили да је овај тренд и еколошки ˽ Алтернатива је Греен АИ, која третира
ефикасност као примарни критеријум
неповољан и изузетно скуп, што подиже препреке за евалуације поред тачности. Да исмо
измерили ефикасност, предлажемо да
учешће у НЛП истраживању. Такав рад називамо се пријави рој операција са помичним
Црвени АИ. зарезом потре них за генерисање резултата. ИЛУСТРАЦИЈА
СХЕЕХАН
ЛИСА

˽ Зелена АИ истраживање ће смањити АИ

а Ради краткоће, у овом чланку се позивамо на АИ, али наш фокус је на истраживању вештачке интелигенције која се ослања на ду око еколошки отисак и повећати његову
методе учења. инклузивност.

54 КОМУНИКАЦИЈЕ АЦМ | ДЕЦЕМБАР 2020 | ВОЛ. 63 | НЕ. 12

Machine Translated by Google

ДЕЦЕМБАР 2020 | ВОЛ. 63 | НЕ. 12 | КОМУНИКАЦИЈЕ АЦМ 55

Machine Translated by Google
допринели чланци

Истраживање вештачке интелигенције може Слика 1 илуструје да се рачунски трошкови дуга историја истраживања одрживог и
ити рачунарски скупо на више начина, али високо уџетног истраживања експоненцијално енергетски ефикасног рачунарства (на пример,
сваки пружа могућности за ефикасна повећавају, темпом који далеко превазилази видети часопис Сустаина ле Цомпутинг:
по ољшања; на пример, радови могу приказати Муров закон.33 Црвени АИ је у порасту упркос Информатицс анд Системс).
учинак као функцију величине скупа за о уку, до ро познатим опадајућим повратима У овом чланку анализирамо праксе које
омогућавајући удућем раду да упореди учинак повећања трошкова (на пример, слика 3 ). померају истраживање ду оког учења у о ласт
чак и са малим уџетима за о уку. Извештавање црвене вештачке интелигенције. Затим

о рачунској цени модела за развој, о уку и Овај чланак идентификује кључне факторе разговарамо о нашим предлозима за зелену
покретање је кључна пракса зелене вештачке који доприносе црвеној вештачкој интелигенцији вештачку интелигенцију и разматрамо сродни
интелигенције (погледајте једначину 1). и заговара увођење једноставне метрике рад и правце за удућа истраживања.

ефикасности која се лако израчунава која и

Поред о ез еђивања транспарентности, цене могла да помогне да нека истраживања вештачке Црвена

су основне линије које и други истраживачи интелигенције уду зеленија, инклузивнија и вештачка интелигенција Црвена вештачка

могли да по ољшају. можда когнитивно веродостојнија. Зелена интелигенција се односи на истраживање

Наша емпиријска анализа на Слици 2 вештачка интелигенција је део ширег, вештачке интелигенције која настоји да
сугерише да је истраживачка заједница АИ дугогодишњег интересовања за еколошка по ољша тачност (или сродне мере)
посветила релативно мало пажње рачунарској научна истраживања (на пример, погледајте Јоурнал коришћењем
Греен Цхемистри).
огромне рачунарске снаге ез
ефикасности. У ствари, као Рачунарство, посе но, има а о зира на цену — у суштини „куповином“ јачих
резултата. Ипак, дуго се схватало да је однос
Слика 1. Количина рачунара која се користи за о уку модела ду оког учења повећала се
између перформанси модела и сложености
300.000 пута за шест година. Слика преузета од Амодеи ет ал.2
модела (мерен као рој параметара или време
закључивања) у нај ољем случају логаритамски;
АлекНет на АлпхаГо Зеро: 300.000к повећање у рачунању
за линеарно повећање перформанси, потре ан
10.000
је експоненцијално већи модел.20 Слични
АлпхаГо Зеро • трендови постоје са повећањем количине
1,000
АлпхаЗеро • података о о уци14,48 и роја експеримената.9,10
100 Неурално машинско превођење • У сваком од ових случајева долази до смањења
Претрага неуронске архитектуре • приноса. рачунски трошак.
10
• Ксцептион• ТИ7 Дота 1в1

1
ВГГ Овај одељак анализира факторе који
• ДеепСпеецх2 •
.1 • РесНетс доприносе црвеној вештачкој интелигенцији и
• Сек2Сек
показује како то доводи до смањења приноса
Петафлопс/
(тренинг)
дан
с-

• ГооглеНет •
.01
• АлекНет Визуелизација и разумевање конв мрежа током времена (види слику 3). Примећујемо да је
• Одустајање рад са црвеном вештачком интелигенцијом
.001
вредан, и у ствари, много тога доприноси ономе

.0001 што знамо померањем граница АИ.

Наше излагање овде је намењено о ластима
.00001
са високим осветљењем где су рачунарски
2013 2014 2015 2016 2017 2018 2019
трошкови високи, и да свако представи као
Година
прилику за развој ефикаснијих техника.

Да исмо демонстрирали распрострањеност

Слика 2. АИ папири имају тенденцију да циљају тачност пре него ефикасност. На слици је црвене АИ, насумично смо узорковали 60 радова
приказан удео радова који циљају на тачност, ефикасност, и једно и друго из случајног узорка од 60
са врхунских АИ конференција (АЦЛ, НеурИПС и
радова са врхунских АИ конференција.
ЦВПР).д За сваки рад смо приметили да ли аутори
тврде да је њихов главни допринос (а)
Прецизност
по ољшање тачности или неке повезане мере,
И једно и друго

Ефикасност Остало
( ) по ољшање ефикасности, (ц) о е, или (д)
16
друге. Као што је приказано на слици 2, на свим
14
конференцијама које смо разматрали, велика
12
већина радова циља на тачност (90% АЦЛ радова,
10
80% НеурИПС радова и 75% ЦВПР радова).
радова
Број

8
Штавише, за о е емпиријске АИ конференције
6
(АЦЛ
4

АЦЛ 2018 ЦВПР 2019 НеурИПС 2018

д хттпс://ацл2018.орг; хттпс://нипс.цц/Цонференцес/
2018; и хттп://цвпр2019.тхецвф.цом.

56 КОМУНИКАЦИЈЕ АЦМ | ДЕЦЕМБАР 2020 | ВОЛ. 63 | НЕ. 12

Machine Translated by Google
допринели чланци

Слика 3. Опадајући принос о уке на више података: тачност детекције о јеката расте линеарно како се рој примера о уке
експоненцијално повећава.30

Инстаграм (1,5к ознака)/32×4д Инстаграм (17к ознака)/32×4д

Инстаграм (1,5к ознака)/32×8д Инстаграм (17к ознака)/32×8д
Инстаграм (1,5к ознака)/32×16д Инстаграм (17к ознака)/32×16д

Циљни задатак: ИмагеНет–1к Циљни задатак: ИмагеНет–5к

90 60

85
55
80
50
75

70 45
ИмагеНет
тачност
топ-1
%)
(у ИмагеНет
тачност
топ-1
%)
(у

65
40
60
35
55

50 30
107 108 109 107 108 109
Број слика за о уку у изворном задатку (Инстаграм) Број слика за о уку у изворном задатку (Инстаграм)

Циљни задатак: ИмагеНет–9к Циљни задатак: ЦУБ2011

50 90

45
80

40 Тачност
%)
(у

70

35
ИмагеНет
тачност
топ-1
%)
(у

60
30

50
25

20 40
107 108 109 107 108 109
Број слика за о уку у изворном задатку (Инстаграм) Број слика за о уку у изворном задатку (Инстаграм)

и ЦВПР) само мали део (10% и 20% респективно) скуп података за о
се залаже за нови резултат ефикасности.е Ово
наглашава фокус АИ заједнице на мере
перформанси као што је тачност, на рачун
мера ефикасности као што је као рзина или
величина модела. У овом чланку тврдимо да
овом другом тре а дати већу тежину.
Да исте оље разумели различите
начине на које истраживање вештачке
интелигенције може ити црвено, размотрите
резултат АИ који је о јављен у научном раду. који контролише колико пута се модел
Овај резултат типично карактерише модел о учен
о на а
учава током развоја модела. Укупни
е Занимљиво је да су многи НеурИПС радови
укључивали стопе конвергенције или
границе жаљења које описују перформансе
као функцију примера или итерација,
циљајући на тај начин ефикасност (55%). То
указује на повећану свест о значају овог
концепта, ар у теоријским анализама.
уку и процењен на скупу
Цена (Р) Е Д Х
тест података, а процес развоја тог модела
често укључује више експеримената за
Једначина 1. Једначина црвеног
подешавање његових хиперпараметара. АИ: Цена АИ (Р) резултата расте линеарно
Стога разматрамо три димензије које са ценом о раде једног (Е) примера,
о ухватају велики део рачунарских трошкова величином скупа података за о уку
(Д) и ројем експеримената (Х)иперпараметара .
за до ијање таквог резултата: трошак
извршавања модела на једном (Е)примеру
( ило током о уке или у време закључивања); Једначина 1 је поједностављење (на
величина скупа података за о уку (Д) који пример, различити хиперпараметри као
контролише рој извршавања модела током знаци могу довести до различитих трошкова
о уке и рој експеримената (Х)иперпараметара, о раде једног примера). Такође игнорише
друге факторе као што је рој епоха о уке
или повећање података. Ипак, он илуструје
трошкови производње (Р)резултата у три величине од којих је свака важан фактор
машинском учењу расте линеарно са сваком у укупним трошковима генерисања резултата.
од ових величина. Овај трошак се може Затим разматрамо сваку количину посе но.
проценити на следећи начин:
Скупа о рада једног примера.
Наш фокус је на неуронским моделима, где је

ДЕЦЕМБАР 2020 | ВОЛ. 63 | НЕ. 12 | КОМУНИКАЦИЈЕ АЦМ 57

Machine Translated by Google
допринели чланци
уо ичајено је да сваки корак о уке
захтева закључак, тако да разматрамо
о уку и трошкове закључивања заједно
као пример „о раде“ (иако погледајте
дискусију у наставку). Неки радови су
користили све веће моделе у смислу, на
пример, параметара модела, и као
резултат тога, у овим моделима извођење
закључивања може захтевати много
рачунања, а још више о уке. На пример,
Гоогле-ов БЕРТ-ларге8 садржи отприлике
350 милиона параметара. ОпенГПТ2-КСЛ
модел35 компаније Опен нАИ садржи 1,5
милијарди параметара. АИ2, наша матична
организација, о јавила је Гровер,57 који
такође садржи 1,5 милијарди параметара.
НВИДИА је о јавила Мегатрон-ЛМ,42 мањег модела заснованог на великом
који садржи преко 8 милијарди параметара. о ученом моделу. Ови модели често не
Гуглов Т5-11Б36 садржи 11 милијарди
параметара. Недавно је опенАИ издао
опенГПТ-3,4 који садржи 175 милијарди
параметара. У заједници рачунарског
вида примећује се сличан тренд (Слика 1).
Овако велики модели имају високе
трошкове о раде сваког примера, што
доводи до великих трошкова о уке. БЕРТ
ларге је четири дана ио о учен на 64
ТПУ чипа по процењеној цени од 7.000
долара. Гровер је две недеље ио о учен
на 256 ТПУ чипова, по процењеној цени
од 25.000 долара. КСЛНет је имао сличну
архитектуру као БЕРТ-ларге, али је
користио скупљу функцију циља (поред
ред величине више података) и ио је
о учен на 512 ТПУ чипова 2,5 дана, што
је коштало више од 60.000 долара.ф То је
немогуће да репродукују нај оље БЕРТ-
велике резултате или КСЛНет резултате
користећи један ГПУ,г и модели као што
је опенГПТ2 су превелики да и се захтевало око 25.000 ГПУ сати за о уку.
користили у производњи.х Специјализовани Т5-11Б36 је о учен на 1 трилион токена,
модели могу имати још екстремније 300 пута више од БЕРТ-ларге. У
трошкове, као што је АлпхаГо, нај оља
верзија који је захтевао 1.920 ЦПУ-а и 280
ГПУ-а за играње једне игре Го,44 са
процењеним трошковима за репродукцију
овог експеримента од
35.000.000 УСД.и,ј Када се испитују
варијанте једног модела (на пример, БЕРТ-
смалл и БЕРТ- велики) видимо да већи модели
ф хттпс://синцедревиев.цом/2019/06/27/тхе
стаггеринг-цост-оф-траининг-сота-аимоделс/
г Погледајте хттпс://гитху .цом/гоогле-ресеарцх/
ерт и хттпс://гитху . цом/зихангдаи/
клнет. х хттпс://товардсдатасциенце.цом/тоо-
иг-то деплои-хов-гпт-2-ис-
реакингпродуцтион 63а 29ф0897ц
и хттпс://ввв.иузех.цом/дата/агз-цост.хтмл ј
Недавне верзије АлпхаГо-а су далеко ефикасније
цент.46
58 КОМУНИКАЦИЈЕ АЦМ | ДЕЦЕМБАР 2020 | ВОЛ. 63 | НЕ. 12
може имати јаче перформансе, што је некомпримовани подаци, тако да је чак и
вредан научни допринос. складиштење података скупо. Коначно,
Међутим, ово имплицира да се финансијски као иу случају величине модела, ослањање
и еколошки трошкови све већих АИ на више података за по ољшање
модела неће ускоро смањити, пошто перформанси је ноторно скупо з ог све
темпо раста модела далеко премашује мање поврата од додавања више
резултирајуће повећање перформанси података.48 На пример, слика 3, преузета
модела.18 Као резултат тога, иће од Махајан ет ал.,30 показује логаритамски
потре но све више ресурса да се однос између топ-1 тачности препознавања
наставите да по ољшавате АИ моделе о јеката и роја примера о уке.
тако што ћете их једноставно повећати. Огроман рој експеримената.
На крају, напомињемо да у неким Неки пројекти су уложили велике количине
случајевима цена о раде једног примера прорачуна у подешавање хиперпараметара
може ити другачија у време о уке и или претраживање неуронских
тестирања. На пример, неке методе архитектура, што је далеко ван домашаја
циљају на ефикасан закључак учењем већине истраживача. На пример,
истраживачи из Гоогле-а59 о учили су
преко 12.800 неуронских мрежа у
доводе до ефикасније о уке, јер се трошак претраживању неуронске архитектуре
Е смањује само у тренутку закључивања. како и по ољшали перформансе
Модели који се користе у производњи детекције о јеката и моделирања језика.
о ично имају рачунске трошкове у којима Са фиксном архитектуром, истраживачи
доминира закључивање, а не о ука, али из ДеепМинд31 су проценили 1.500
у истраживању је о ука типично много додељивања хиперпараметара како и
чешћа, па се залажемо за проучавање показали да ЛСТМ језички модел17 може
метода за ефикасну о раду једног да постигне најсавременије резултате
примера и у о уци иу закључивању. з уњености. Упркос вредности овог
резултата у показивању да перформансе
О рада многих примера. Повећане ЛСТМ-а не падну након само неколико
количине података о о уци такође су испитивања хиперпараметара, потпуно
допринеле напретку у врхунским истраживање потенцијала других
перформансама у АИ. БЕРТ-ларге је имао конкурентских модела за фер поређење је изузетно ск
врхунске перформансе у 2018. у многим Вредност масовног повећања роја
НЛП задацима након о уке на три експеримената није тако до ро проучена
милијарде речи. КСЛНет је надмашио БЕРТ као прва два о којима је раније ило речи.
након о уке за 32 милијарде речи, У ствари, рој експеримената изведених
укључујући део Цоммон Цравл-а; опенГПТ-2- током изградње модела је често недовољно
КСЛ о учен за 40 милијарди речи; ФАИР- пријављен.
ов РоБЕРТа28 је о учен на 160 ГБ текста, Ипак, докази за логаритамску миц
отприлике 40 милијарди речи, што је релацију постоје и овде.9,10
Дискусија. Све већи трошкови
експеримената са вештачком
интелигенцијом нуде природну економску
компјутерској визији, истраживачи из мотивацију за развој ефикаснијих метода
Фаце оок30 су унапред о учили модел вештачке интелигенције. Може се десити
класификације слика на 3,5 милијарди да у одређеном тренутку цене уду
слика са Инстаграма, три реда величине превисоке, приморавајући чак и
веће од постојећих означених скупова истраживаче са великим уџетом да
података слика као што је Опен Имагес.к развију ефикасније методе. Наша анализа
Употре а масивних података на слици 2 показује да је тренутно највећи
ствара препреке за многе истраживаче део труда и даље посвећен тачности, а не
да репродукују резултате ових модела и ефикасности. Истовремено, АИ технологија
да тренирају сопствене моделе на истој је већ веома скупа за о уку или извођење,
поставци (посе но пошто је о ука за што ограничава спосо ност многих
више епоха стандардна). На пример, истраживача да је проучавају, а практичара
Цоммон Цравл из јула 2019. садржи 242ТБ да је усвоје. У ком инацији са еколошком
ценом вештачке интелигенције,47
верујемо да и тре ало уложити више напора ка ефи
к хттпс://опенсоурце.гоогле.цом/пројецтс/
опен-имагес-датасет л хттп://цоммонцравл.орг/2019/07/
Machine Translated by Google
Желимо да поновимо да је рад на црвеној
вештачкој интелигенцији изузетно вредан и да у
ствари, много тога доприноси ономе што знамо о
померању граница вештачке интелигенције. У
ствари, постоји вредност у померању границе
величине модела, величине скупа података и
уџета за претрагу хиперпараметара.
Поред тога, Црвена вештачка интелигенција
може да пружи могућности за удући рад на
промовисању ефикасности; на пример, евалуација
модела на основу различитих количина података о
о уци пружиће прилику удућим истраживачима
да надограђују рад ез потре е за довољно
великим уџетом за о уку на огромном скупу
података. Тренутно, упркос огромној количини
ресурса уложених у недавне моделе вештачке
интелигенције, таква улагања се и даље исплате у
смислу перформанси низводно (иако по све нижој
стопи). Проналажење тачке засићења (ако таква
постоји) је важно питање за удућност АИ.
Штавише, трошкови Ред АИ могу се чак понекад
амортизовати, јер модул о учен за Црвену вештачку
интелигенцију може поново да се користи у многим
истраживачким пројектима као уграђена
компонента, која не захтева поновну о уку.
Циљ овог чланка је двострук: прво, желимо да
подигнемо свест о трошковима црвене вештачке
интелигенције и охра римо истраживаче који
користе такве методе да предузму кораке како и Емисија угљеника. Емисија угљеника је
омогућили правичнија поређења, као што је
извештавање о кривуљама о уке. Друго, желимо
да подстакнемо АИ заједницу да препозна вредност
рада истраживача који иду другачијим путем,
оптимизујући ефикасност, а не тачност. Затим ћемо
разговарати о конкретним мерама за повећање
зелене интелигенције.
ЗЕЛЕНИ АИ
Термин Зелени АИ односи се на истраживање
вештачке интелигенције које даје нове резултате
узимајући у о зир трошкове рачунара, подстичући
старење и смањење утрошених ресурса.
Док је црвена АИ резултирала рзим повећањем
трошкова рачунара (а самим тим и емисија
угљеника), Зелена АИ промовише приступе који
имају повољне компромисе између перформанси/
ефикасности. Ако мере ефикасности уду широко
прихваћене као важне метрике евалуације за
истраживање поред тачности, онда ће истраживачи
имати могућност да се фокусирају на ефикасност
својих модела са позитивним утицајем и на
инклузивност и на животну средину. Овде
разматрамо неколико мера ефикасности које и се
могле извести и оптимизовати, и заговарамо једну
одређену меру — ФПО — која
допринели чланци
тврдимо да и тре ало да уде пријављено када
се о јаве истраживања АИ.
Мере ефикасности. Да исмо измерили
ефикасност, предлажемо да пријавите количину
Неки пројекти
посла потре ног за постизање резултата. Конкретно,
количина посла потре ног за о уку модела и, ако
су уложили је примењиво, укупна количина посла потре на
за све експерименте подешавања хиперпараметара.
велике количине Како се цена експеримента разлаже на цену о раде
прорачуна у једног примера, величину скупа података и рој
експеримената (једначина 1), смањење количине
подешавање посла у сваком од ових корака ће резултирати
хиперпараметара
вештачком интелигенцијом која је више зелена.
или
претраживање
Ми подстичемо практичаре вештачке
неуронских интелигенције да користе ефикасан хардвер за
смањење трошкова енергије, али драматично
архитектура, што је
повећање трошкова рачунара примећено током
далеко ван домашаја већине
последњих истраживача.
година првенствено је резултат
моделирања и алгоритамских из ора; наш фокус
је на томе како да ту ефикасност уградимо.
Када извештавамо о количини посла који је урадио
модел, желимо да измеримо количину која
омогућава фер поређење између различитих
модела. Као резултат, ова мера и идеално
тре ало да уде ста илна у различитим
ла ораторијама, у различито време и користећи
различит хардвер.
привлачна јер је то количина коју желимо директно
да минимизирамо. Без о зира на то, тешко је
измерити тачну количину угљеника осло ођеног
о уком или извођењем модела, и сходно томе –
генерисањем резултата вештачке интелигенције,
пошто ова количина у великој мери зависи од
локалне инфраструктуре електричне енергије (мада
видети почетне напоре Хендерсона и др. .16 и
Лацосте ет ал.25). Као резултат тога, он није
упоредив између истраживача на различитим
локацијама или чак на истој локацији у различито
време.16
Потрошња електричне енергије. Потрошња
електричне енергије је у корелацији са емисијом
угљеника, а истовремено је агностика времена и локације.
Штавише, ГПУ-ови често извештавају о количини
електричне енергије коју свако од њихових језгара
троши у свакој временској тачки, што олакшава
процену укупне количине потрошене електричне
енергије генерисањем АИ резултата. Без о зира на
то, ова мера зависи од хардвера и као резултат
тога не дозвољава фер поређење између
различитих модела развијених на различитим
машинама.
Протекло у реалном времену. Укупно време
рада за генерисање АИ резултата је природна мера
ефикасности, као и све друге
ДЕЦЕМБАР 2020 | ВОЛ. 63 | НЕ. 12 | КОМУНИКАЦИЈЕ АЦМ 59
Machine Translated by Google
допринели чланци
подједнаке ствари, ржи модел о авља
мање рачунарског рада. Без о зира на
то, на ову меру у великој мери утичу
фактори као што су основни хардвер,
други послови који се извршавају на истој
машини и рој коришћених језгара. Ови
фактори ометају поређење између
различитих модела, као и одвајање
доприноса моделирању од по ољшања
хардвера.
Број параметара. Још једна уо ичајена
мера ефикасности је рој параметара
(који се могу научити или укупни) које
користи модел. Као и код времена рада,
ова мера је у корелацији са количином
посла. За разлику од других претходно
описаних мера, то не зависи од основног
хардвера. Штавише, ова мера такође у
великој мери корелира са количином
меморије коју модел троши. Без о зира
на то, различити алго ритми различито
користе своје параметре, на пример тако
што модел чине ду љим у односу на
шири. Као резултат тога, различити модели
са сличним ројем параметара често
о ављају различите количине посла.
ФПО. Као конкретну меру, предлажемо
да се пријави укупан рој операција са
помичним зарезом (ФПО) потре них за
генерисање резултата.м ФПО даје процену
количине посла о ављеног рачунарским
процесом. Израчунава се аналитички
дефинисањем цене за две основне
операције, АДД и МУЛ. На основу ових
операција, ФПО трошак ило које
апстрактне операције машинског учења
(на пример, танх операција, множење
матрице, операција конволуције или БЕРТ
модел) може се израчунати као рекурзивна
функција ове две операције ције. ФПО је
коришћен у прошлости за квантификацију
енергетског отиска модела ,13,32,50,51 ,
али није широко прихваћен у АИ. ФПО има
неколико привлачних својстава. Прво,
директно израчунава количину посла који
је извршила машина за покретање
приликом извршавања одређене инстанце
модела и тако је везан за количину
потрошене енергије. Друго, ФПО је
агностичан према хардверу на којем се
модел покреће. Ово олакшава поштена
поређења
м Операције са помичним зарезом се често називају
ФЛОП(и), иако овај термин није једнозначно
дефинисан.13 Да исмо из егли за уну, користимо термин
ФПО.
60 КОМУНИКАЦИЈЕ АЦМ | ДЕЦЕМБАР 2020 | ВОЛ. 63 | НЕ. 12
Термин Зелена АИ се
односи на
истраживање вештачке
интелигенције које
даје нове резултате
узимајући у о зир
трошкове рачунара,
подстичући
смањење утрошених ресурса.
истраживачке заједнице, али генерално
између различитих приступа, за разлику
од горе описаних мера. Треће, ФПО је
често у корелацији са временом рада
модела5 (мада види дискусију у наставку).
За разлику од асимптотичног времена
извршавања, ФПО такође узима у о зир
количину посла о ављеног у сваком временском кор
Постоји неколико пакета за рачунање
ФПО у разним и лиотекама неуронских
мрежа, иако ниједан од њих не садржи
све градивне локове потре не за
конструисање свих модерних АИ модела.
Подстичемо креаторе
неуронских мрежа да директно
и лиотека
имплементирају такву функционалност.
Дискусија. Ефикасни приступи
машинском учењу привукли су пажњу
нису мотивисани тиме што су зелени. На
пример, значајан део рада у заједници
рачунарског вида авио се ефикасним
закључивањем,13,38,58 које је неопходно
за о раду слика у реалном времену за
апликације као што су аутомо или који
се сами возе,27,29,37 или за постављање
модела на уређајима као што су мо илни
телефони.18,40 Већина ових приступа
само минимизира трошкове о раде
једног примера, док се занемарују друге
две црвене праксе о којима се претходно
расправљало.о Други методи за
по ољшање ефикасности имају за циљ да
развију ефикасније архитектуре, почевши
од усвајања графичких јединица за о раду
(ГПУ) до АИ алгоритама, што је ила
покретачка снага иза револуције ду оког
учења, до новијег развоја хардвера као
што су десеторске процесорске јединице (ТПУс22).
Примери овде указују на то како да АИ
постане зелена зависи од тога како се
користи. Када се развија нови модел, већи
део истраживачког процеса укључује
о уку многих варијанти модела на скупу
за о уку и извођење закључивања на
малом скупу за развој. У таквом окружењу,
ефикаснији поступци о уке могу довести
до већих уштеда, док у производном
окружењу ефикасније закључивање може
ити важније. Залажемо се за холистички
поглед на уштеду на рачунару који се не
жртвује у неким о ластима да и се
постигао напредак у другим.
ФПО има нека ограничења. Оно што
је најважније, потрошња енергије а
н На пример, хттпс://гитху .цом/Свалл0в/ торцхстат;
хттпс://гитху .цом/Ликен17/ питорцх-ОпЦоунтер о
У ствари, креирање
мањих модела често доводи до дужег времена рада,
тако да иу лажавање различитих трендова
могло ити у супротности.52
Machine Translated by Google
допринели чланци

Слика 4. Повећање ФПО доводи до смањења поврата за топ-1 тачност детекције о јеката. Плоче (одоздо нагоре): параметри модела (у милионима), ФПО (у милијардама),
топ-1 тачност на ИмагеНет-у. 4(а). Водећи модели за препознавање о јеката: АлекНет,24 РесНет,15 РесНект,55 ДПН107,6 СЕНет154.19 4( ): Поређење различитих
величина (мерено ројем слојева) РесНет модела.15

87
79.7 81.3
78.4 79.0

ацц.

70

56.4

55
26
20.8
18.4
15.5
ФБО
(Б) 13 11.6

0.7
0

130
115.1

90 83.5
параметри
(М)

61.1 60.2

50
АлекНет РесНет152 РесНект ДПН107 СЕНет154
2012 2015 2017 2017 2018
Модел/Година

82
78.4
77.4
ацц.
76.0
73.6
75
70.1

68
15
11.6
10 7.8
ФБО
(Б)

5 3.7 4.1
1.8
0
75

50

50
параметри
(М)

0
18 34 50 101 152

Број слојева

На модел не утиче само количина посла, већ и
други фактори као што је комуникација између
различитих компоненти, што није о ухваћено
ФПО. Као резултат тога, ФПО није увек у
корелацији са другим мерама као што су време
рада21 и потрошња енергије.16 Друго, ФПО
циља на рој операција које модел о
игноришући друге потенцијалне ограничавајуће
факторе за истраживаче као што је меморија
коју користи модела, што често може довести до
додатних енергетских и новчаних трошкова.29
Коначно, износ од
посао који модел о авља у великој мери зависи Доводе до ефикасних модела тре а да уде
од имплементације модела, пошто две различите верована од стране АИ заједнице.
имплементације истог модела могу резултирати ФПО трошкови постојећих модела. Да исмо
веома различитим количинама посла о раде. демонстрирали важност извештавања о
З ог фокуса на доприносу моделирању, АИ количини посла, представљамо трошкове ФПО
заједница традиционално игнорише квалитет за неколико постојећих модела.к Слика 4(а)
авља, или ефикасност имплементације модела.п Ми приказује рој параметара и ФПО неколико
тврдимо да је дошло време да се ова норма водећих модела за препознавање о јеката, као
преокрене и да су изузетно до ре и њихове перформансе на ИмагеНет-у.
имплементације које
к Ови ројеви представљају ФПО по закључивању,
п Сматрамо да је овај ексклузивни фокус на коначном односно рад потре ан за о раду једног примера.
предвиђању још један симптом црвеног АИ.

ДЕЦЕМБАР 2020 | ВОЛ. 63 | НЕ. 12 | КОМУНИКАЦИЈЕ АЦМ 61

Machine Translated by Google
допринели чланци
скуп података.7,р Уочљиво је неколико трендова.
Прво, као што је раније речено, модели временом
постају све скупљи, али повећање ФПО не доводи
до сличних по ољшања перформанси. На пример,
повећање ФПО-а од скоро 35% између РесНет-а и
РесНект-а (друга и трећа тачка на графикону)
резултирало је по ољшањем тачности међу топ-1
од 0,5%. Слични о расци се примећују када се
разматрају ефекти других повећања рада модела.
Друго, рој параметара модела не говори целу
причу: АлекНет (прва тачка на графикону) заправо
има више параметара од РесНет-а (друга тачка),
али драматично мањи ФПО, а такође и много нижу
тачност.
Слика 4( ) приказује исту анализу за један
модел препознавања о јекта, РесНет,15 док се
пореде различите верзије модела са различитим
ројем слојева. Ово ствара контролисано
поређење између различитих модела, пошто су
идентични у архитектури, осим по величини (и
сходно томе, њиховој цени ФПО). Још једном,
примећујемо исти тренд: велико повећање
трошкова ФПО не значи велико повећање
перформанси.
Додатни начини промоције зелене вештачке
интелигенције. Постоји много начина да се
подстакне истраживање које је зеленије. Поред
извештавања о трошковима ФПО за сваки термин
у једначини 1, подстичемо истраживаче да
извештавају о криву уџета/учинка где је то
могуће. На пример, криве о уке пружају
могућности удућим истраживачима да упореде
на низу различитих пупољака, а извођење
експеримената са различитим величинама модела
пружа драгоцен увид у то како величина модела
утиче на перформансе. У недавном раду9 приметили
смо да тврдња о томе који модел има нај ољи
учинак зависи од прорачунског уџета који је
доступан током развоја модела. Увели смо метод
за израчунавање очекиваних нај ољих
перформанси валидације модела као функције
датог уџета. Тврдимо да ће нам извештавање о
овој кривој омогућити да донесемо мудрије одлуке
о из ору модела и истакнемо ста илност
различитих приступа.
Даље се залажемо за то да ефикасност постане
званични допринос на великим конференцијама
АИ саветујући рецензенте
р Бројеви преузети са хттпс://гитху .цом/
соврасов/флопс-цоунтер.питорцх.
62 КОМУНИКАЦИЈЕ АЦМ | ДЕЦЕМБАР 2020 | ВОЛ. 63 | НЕ. 12
да препознају и вреднују доприносе који не
унапређују стриктно стање технике, али имају друге
предности као што је ефикасност. На крају,
примећујемо да је тренд јавног о јављивања
унапред о учених модела зелен успех, и желели
исмо да охра римо организације да наставе да
о јављују своје моделе како и другима уштедели
трошкове њихове преквалификације.
Повезани рад
Недавни рад је анализирао емисије угљеника из
тренинга ду инских НЛП модела47 и закључио да
експерименти који су повезани са рачунарством
могу имати велики еколошки и економски утицај.
Са савременим експериментима који користе тако
велике уџете, многим истраживачима (посе но
онима у академској заједници) недостају ресурси
за рад у многим о ластима високог профила;
повећана вредност која се ставља на рачунски
ефикасне приступе омогућиће истраживачки
допринос више различитих група. Наглашавамо
да су закључци Сту елл ет ал.47 резултат
дугорочних трендова, и да нису изоловани у оквиру
НЛП-а, али су истинити у читавом машинском
учењу.
Док неке компаније надокнађују потрошњу
електричне енергије куповином угљеничних
кредита, није јасно да ли је куповина кредита
једнако ефикасна као и коришћење мање енергије.
Поред тога, куповина угљеника је до ровољно;
Гоогле цлоудс и Ми црософт Азурет купују кредите
за угљеник како и надокнадили своју потрошену
енергију, али Амазонов АВСу (највећа платформа
за рачунарство у о лакув ) покрива само 50% своје
потрошње енергије о новљивом енергијом.
Тежња ка по ољшању најсавременијих
перформанси усмерила је пажњу истраживачке
заједнице на извештавање о појединачном
нај ољем резултату након извођења многих
експеримената за развој модела и подешавање
хиперпараметара. Неуспех да се у потпуности
извештавају о овим експериментима спречава
удуће истраживаче да схвате колико је напора
потре но да се резултат репродукује или продужи.9
Наш фокус је на по ољшању ефикасности у
заједници машинског учења, али машинско учење
такође може да се користи као алат за рад у
о ластима као што су
с хттпс://цлоуд.гоогле.цом/сустаина илити/ т
хттпс://ввв.мицрософт.цом/ен-ус/енвирон
мент/угљеник
у хттпс://авс.амазон.цом/а оут-авс/сустаин
спосо ност/ в хттпс://тиниурл.цом/и2ко 969
климатске промене. На пример, машинско учење
је коришћено за смањење емисија из цементара1
и праћење резултата очувања животиња,12 и
предвиђа се да ће ити корисно за управљање
шумским пожарима.39 Несумњиво су то важне
апликације машинског учења; препознајемо да су
ортогонални садржају овог чланка.
Закључак Визија
зелене вештачке интелигенције покреће многе
уз удљиве истраживачке правце који помажу да
се превазиђу изазови црвене вештачке интелигенције.
Прогрес ће пронаћи ефикасније начине за
алоцирање датог уџета за по ољшање
перформанси или за смањење трошкова рачунања
уз минимално смањење перформанси. Такође,
чини се да и нас Зелена вештачка интелигенција
могла да помери у когнитивно прихватљивијем
правцу пошто је мозак веома ефикасан.
Важно је поновити да Зелену АИ видимо као
вредну опцију, а не као искључиви мандат –
наравно, и Зелена АИ и Црвена АИ имају доприносе.
Наши циљеви су да повећамо Црвени АИ са зеленим
идејама, као што су коришћење ефикаснијих метода
о уке и извештавање о кривуљама о уке; и да
повећа распрострањеност зелене вештачке
интелигенције наглашавајући њене предности,
заговарајући стандардну меру ефикасности. Овде
указујемо на неколико важних правца зеленог
истраживања и истичемо неколико отворених
питања.
Истраживање о изградњи просторно или
временски ефикасних модела често је мотивисано
постављањем модела на мали уређај (као што је
телефон) или довољно рзо да се о рађују
примери у реалном времену, као што је натпис на
сликама за слепе (као што је раније дискутовано). ).
Овде се залажемо за далеко шири приступ који
промовише ефикасност за све делове циклуса
развоја вештачке интелигенције.
Ефикасности података је придавана значајна
пажња током година.23,41,49 Модерно истраживање
визије и НЛП-а од десет укључује прво претходну
о уку модела на великим „сировим“ (нео ележјеним)
подацима, а затим његово фино подешавање
задатку од интереса кроз надгледано учење. Снажан
резултат у овој о ласти често укључује постизање
сличних перформанси у односу на основну линију
са мање примера о уке или мање корака у
градијенту. Најновији рад авио се подацима
финог подешавања,34 али је такође важна
ефикасност пре о уке. У о а случаја, једна
једноставна техника за по ољшање у овој
о ласти је да
Machine Translated by Google
једноставно пријавите учинак са различитим
количинама података о о уци. На пример,
извештавање о перформансама контекстуалних
модела уграђивања о учених на 10 милиона,
100 милиона, 1 милијарду и 10 милијарди
токена и олакшало ржи развој нових
модела, јер се они прво могу упоредити на
најмањим величинама података.
Истраживања овде нису вредна само да
и о ука ила јефтинија, већ и зато што је
у о ластима као што су језици са малим
ресурсима или историјски домени изузетно
тешко генерисати више података, тако да да
исмо напредовали, морамо ефикасније
користити оно што је доступан.
Коначно, укупан рој експеримената
који се изводе да и се до ио коначан
резултат често је недовољно пријављен и
недовољно дискутовано.9 Неколико случајева
које истраживачи имају о потпуном
извештавању о претраживању
хиперпараметара, проценама архитектуре и
а лацијама које су ушле у пријављени
експериментални резултат је изненадило
заједница.47 Иако постоје многи алгоритми
оптимизације хиперпараметара, који могу
да смање рачунске трошкове потре
достизање датог нивоа перформанси,3,11
једноставна по ољшања овде могу имати
велики утицај. На пример, рано престанак
о уке за моделе који су очигледно лоши
може довести до великих уштеда.26 Признање.
Ово
истраживање је ило
спроведено на Аллен институту за АИ.
Референце
1. Ацхарииа, П., Росарио, СД, Флор, Ф., Јосхи, Р., Ли, Д., Линарес, Р, анд
Зханг, Х. Аутопилот цементара за смањење потрошње горива и
емисија. У З орник радова ИЦМЛ радионице о климатским
променама, 2019.
2. Амодеи, Д. и Хернандез, Д. АИ и рачунарство, 2018.
Блог пост.
3. Бергстра, ЈС, Барденет, Р., Бенгио, И. и Кегл, Б.
Алгоритми за оптимизацију хиперпараметара. У З орник
радова НеурИПС, 2011.
4. Бровн, ТБ ет ал. Језички модели су ученици са малим ројем
погодака, 2020; арКсив:2005.14165.
5. Цанзиани, А., Пасзке, А. и Цулурциелло, Е. Ан
анализа модела ду оких неуронских мрежа за практичну
примену. У Процеедингс оф ИСЦАС, 2017.
6. Цхен, И., Ли, Ј., Ксиао, Х., Јин, Кс., Иан, С. и Фенг, Ј. Дуал патх нетворкс.
УЗ орник радова НеурИПС, 2017.
7. Денг, Ј., Донг, В., Соцхер, Р., Ли, Љ, Ли, К. и Феи Феи, Л. ИмагеНет:
Хијерархијска аза података великих размера. У З орнику
радова ЦВПР-а, 2009.
8. Девлин, Ј., Цханг, МВ, Лее, К., и Тоутанова, К. БЕРТ: Претренинг ду
двосмерних трансформатора за разумевање језика. У
З орнику радова НААЦЛ-а, 2019.
9. Додге, Ј., Гуруранган, С., Цард, Д., Сцхвартз, Р. и Смитх, НА Покажите
свој рад: По ољшано извештавање о експерименталним
резултатима. У З орник радова ЕМНЛП, 2019.
10. Додге, Ј., Илхарцо, Г., Сцхвартз, Р., Фархади, А.,
Хајисхирзи, Х. и Смитх, НА Фино подешавање унапред о
језичких модела: иницијализације тежине, редослед података и
рано заустављање, 2020; арКсив:2002.06305.
11. Додге, Ј., Јамиесон, К. и Смитх, НА Опен лооп
оптимизација хиперпараметара и процеси детерминантне тачке.
У Процеедингс оф АутоМЛ, 2017.
12. Духарт, Ц., Ду лон, Г., Маитон, Б., Давенпорт, Г. и Парадисо, ЈА
Ду око учење за очување дивљих животиња
допринели чланци
и напори за рестаурацију. У З орник радова ИЦМЛ 43. Схохам, И. ет ал. Годишњи извештај индекса вештачке интелигенције за 2018.
радионице о климатским променама, 2019. Управни од ор индекса вештачке интелигенције, Иницијатива за
13. Гордон, А., Е ан, Е., Нацхум, О., Цхен, Б., Ву, Х., Ианг, ТЈ, и Цхои, вештачку интелигенцију усмерену на човека, Универзитет Станфорд;
Е. МорпхНет: Брзо и једноставно учење структуре ду оких хттп:// цдн.аииндек.орг/ 2018/АИ%20Индек%202018%20Аннуал%20Репорт.пдф.
мрежа са ограниченим ресурсима. У З орник радова ЦВПР- 44. Силвер, Д. ет ал. Савладавање игре Го уз ду оке неуронске
а, 2018. мреже и претрагу ста ала. Природа 529, 7587 (2016) 484.
14. Халеви, А., Норвиг, П. и Переира, Ф. Неразумна ефикасност података.
ИЕЕЕ Интеллигент Системс 24 (2009), 8–12. 45. Силвер, Д. ет ал. Савладавање шаха и шогија самосталном игром са
општим алгоритмом учења уз поткрепљивање, 2017;
арКсив:1712.01815.
15. Хе, К., Зханг, Кс., Рен, С. и Сун, Ј. Ду око резидуално учење за
препознавање слика. У З орник радова ЦВПР-а, 2016. 46. Силвер, Д. ет ал. Савладавање игре Го ез људског знања.
Природа 550, 7676 (2017), 354.
16. Хендерсон, П., Ху, Ј., Ромофф, Ј., Брунскилл, Е., 47. Стру елл, Е., Ганесх, А. и МцЦаллум, А. Енергетска и политичка
Јурафски, Д. и Пинеау, Ј. Ка систематском извештавању о разматрања за ду око учење у НЛП-у. У Процеедингс оф
енергетским и угљеничним отисцима машинског учења, АЦЛ, 2019.
2020; арКсив:2002.05651. 48. Сун, Ц., Шривастава, А., Синг, С. и Гупта, А.
Поновно разматрање неразумне ефикасности података у ери
17. Хоцхреитер, С. и Сцхмидху ер, Ј. Дугорочно
меморија. Неурал Цомпутатион 9, 8 (1997), 1735–1780. ду оког учења. У З орнику радова ИЦЦВ, 2017.
18. Ховард, АГ ет ал. Мо илеНетс: Ефикасне конволуционе неуронске 49. Тсанг, И., Квок, ЈТ и Цхеунг, ПМ Цоре вецтор
машине: Брза СВМ о ука на веома великим скуповима података.
мреже за мо илне апликације за вид, 2017; арКсив:1704.04861.
ЈМЛР 6 (апр. 2005), 363–392.
19. Ху, Ј., Схен, Л. и Сун, Г. Мреже стискања и ексцитације. У З орник 50. Васвани, А., Схазеер, Н., Пармар, Н., Усзкореит, Ј., Јонес, Л., Гомез, АН,
радова ЦВПР-а, 2018. Каисер, Л. и Полосукхин, И. Пажња је све што вам тре а. У З орник
20. Хуанг, Ј. ет ал. Брзина/тачност компромиса за модерне конволуционе радова НеурИПС, 2017.
детекторе о јеката. У З орник радова ЦВПР-а, 2017. 51. Вениат, Т. и Деноиер, Л. Учење времена/меморије ефикасне
ду оке архитектуре са уџетираним супер мрежама. У
21. Јеон, И. и Ким, Ј. Конструисање рзе мреже кроз деконструкцију З орник радова ЦВПР-а, 2018.
конволуције. У З орник радова НеурИПС, 2018. 52. Валсман, А., Биск, И., Га риел, С., Мисра, Д., Артзи, И., Цхои, И.
и Фок, Д. Рана фузија за циљно усмјерену ро отску визију.
22. Јоуппи, НП ет ал. Анализа перформанси јединице за о раду тензора УЗ орник радова ИРОС-а, 2019.
у центру података. У З орник радова ИСЦА 1, 1 (2017), Пу л. 53. Ванг, А. Пруксацхаткун, И., Нангиа, Н., Сингх,
датум: јун 2020. А., Мицхаел, Ј., Хилл, Ф., Леви, О. и Бовман, СР
23. Камтхе, С. и Деисенротх, МП. Учење уз помоћ података СуперГЛУЕ: оље мерило за системе разумевања језика
ефикасно уз предиктивну контролу вјероватноћег модела. опште намене, 2019; арКсив:1905.00537.
УЗ орник радова АИСТАТС-а, 2018.
54. Ванг, А., Сингх, А., Мицхаел, Ј., Хилл, Ф., Леви, О. и Бовман, СР
24. Кризхевски, А., Сутскевер, И. и Хинтон, ГЕ Имагенет класификација са
ГЛУЕ: Мулти-таск енцхмарк и платформа за анализу за
ду оким конволуционим неуронским мрежама. У
З орнику радова НеурИПС, 2012. разумевање природног језика.
25. Лацосте, А., Луцциони, А., Сцхмидт, В. и Дандрес, Т. У Процеедингс оф ИЦЛР, 2019.
55. Ксие, С., Гирсхицк, Р., Доллар, П., Ту, З. и Хе, К.
Квантификовање емисије угљеника из машинског учења. У
Процеедингс оф тхе Цлимате Цханге АИ Ворксхоп, 2019. Агрегиране резидуалне трансформације за ду оке неуронске
26. Ли, Л., Јамиесон, К., ДеСалво, Г., Ростамизадех, А. и Талвалкар, А. мреже. У З орник радова ЦВПР-а, 2017.
не за 56. Ианг, З., Даи, З., Ианг, И., Цар онелл, Ј., Салакхутдинов, Р. анд Ле,
Хипер анд: Бандит- асед цонфигуратион евалуатион фор
хиперпараметер оптимизатион. У Процеедингс оф ИЦЛР, КВ КСЛНет: Генерализовани ауторегресивни претренинг за
2017. разумевање језика, 2019; арКсив:1906.08237.
27. Лиу, В., Ангелов, Д., Ерхан, Д., Сегеди, Ц., Реед,
С. Фу, ЦИ и Берг, АЦ ССД: Мулти ок детектор са једним ударцем.
57. Зеллерс, Р., Холтзман, А., Расхкин, Х., Биск, И., Фархади, А., Роеснер,
УЗ орнику радова ЕЦЦВ, 2016. Ф. и Цхои, И. Од рана од неуронских лажних вести, 2019;
арКсив:1905.12616.
28. Лиу, И. ет ал. РоБЕРТа: Ро усно оптимизован БЕРТ приступ пре
тренинга, 2019; арКсив:1907.11692.
58. Зханг, Кс., Зхоу, Кс., Лин, М. и Сун, Ј. СхуффлеНет: Изузетно ефикасна
конволуциона неуронска мрежа за мо илне уређаје. У З орник
29. Ма, Н., Зханг, Кс., Зхенг, ХТ и Сун, Ј. СхуффлеНет В2: Практичне
радова ЦВПР-а, 2018.
смернице за ефикасан дизајн цнн архитектуре. У З орнику
радова ЕЦЦВ, 2018.
59. Зопх, Б. и Ле, КВ Претрага неуронске архитектуре са учењем уз
помоћ. У Процеедингс оф ИЦЛР, 2017.
30. Махајан, Д. ет ал. Истраживање граница сла о надгледане
претренинга, 2018; арКсив:1805.00932.
31. Мелис, Г., Диер, Ц. и Блунсом, П. Он тхе стате оф
Рој Шварц (роис@алленаи.орг) је виши предавач на Хе рејском
уметност евалуације у неуронским језичким моделима. У
универзитету у Јерусалиму, Израел.
З орник радова ЕМНЛП, 2018.
32. Молцханов, П., Тирее, С., Каррас, Т., Аила, Т. и Каутз, Ј. О резивање Џеси Доџ (додгејессе@гмаил.цом), Институт за језичке
конволуционих неуронских мрежа за закључивање ефикасног технологије, Универзитет Карнеги Мелон, Питс ург,
ресурса. У Процеедингс оф ИЦЛР, 2017. Пенсилванија, САД.
33. Мооре, ГЕ Нагуравање више компоненти
интегрисана кола, 1965. Ноах А. Смитх (ноах@алленаи.орг) је професор рачунарских
34. Петерс, М., Неуманн, М., Иииер, М., Гарднер, М., Цларк, Ц., Лее, К. и наука и инжењеринга на Универзитету у Вашингтону и виши
Зеттлемоиер, Л. Ду оке контекстуализоване репрезентације менаџер истраживања за АлленНЛП тим на Аллен Институту за
речи. У З орнику радова НААЦЛ, 2018. АИ и, Сијетл, Вашингтон, САД.
35. Радфорд, А., Ву, Ј., Цхилд, Р., Луан, Д., Амодеи, Д. и Сутскевер, И.
Језички модели су ученици који уче више задатака ез
надзора. ОпенАИ Блог, 2019. Орен Ециони (орене@алленаи.орг) је главни извршни директор
Аллен института за вештачку интелигенцију и професор
36. Раффел, Ц. ет ал. Истраживање граница трансфера
рачунарства на Универзитету Вашингтон, Сијетл, Вашингтон, САД.
учење помоћу о једињеног претварача текста у текст, 2019;
арКсив:1910.10683.
37. Растегари, М., Ордонез, В., Редмон, Ј. и Фархади, А. Кснорнет:
Имагенет класификација коришћењем инарних
конволуционих неуронских мрежа. У З орнику радова ЕЦЦВ, Ауторска права поседују аутори/власници.
2016. Ово дело је лиценцирано под лиценцом Цреативе
оких 38. Редмон, Ј., Диввала, С., Гирсхицк, Р. и Фархади, А. Гледате само Цоммонс Аттри утион Интернатионал 4.0.
једном: о једињена детекција о јеката у реалном времену. У
З орник радова ЦВПР-а, 2016.
39. Ролницк, Д. ет ал. Бор а против климатских промена помоћу
машинског учења, 2019; арКсив:1905.12616.
40. Сандлер, М., Хауард, А., Жу, М., Жмогинов, А. и
Цхен, ЛЦ Мо илеНетВ2: О рнути остаци и линеарна уска грла. У
учених З орник радова ЦВПР-а, 2018.
41. Сцхвартз, Р., Тхомсон, С. и Смитх, НА СоПа: Премошћавање
ЦНН-а, РНН-а и пондерисаних машина коначног стања. У
Процеедингс оф АЦЛ, 2018. Погледајте како аутори дискутују
42. Схоеи и, М., Патвари, М., Пури, Р., ЛеГреслеи, П., Цаспер, Ј., Цатанзаро, о овом делу у ексклузивном
Б. Мегатрон-ЛМ: Траининг мулти-милион параметер лангуаге видео снимку Цоммуницатионс .
моделс усинг ГПУ модел параллелисм, 2019; хттпс://цацм.ацм.орг/видеос/ греен-
арКсив:1909.08053. аи
ДЕЦЕМБАР 2020 | ВОЛ. 63 | НЕ. 12 | КОМУНИКАЦИЈЕ АЦМ 63