Hr . ly l/s %.09. 020 Nr. de inregistrare: M92/22.09.2020 Catre: CONSILIUL NATIONAL DE SOLUTIONARE A CONTESTATHLOR (CNSC) Str. Stavropoleos nr. 6, sector 3, Bucuresti e-mail: office @ense.ro Spre stiinfé: Agentia de Administrare a Refelei Nationale de Informatica pentru Educatie si Cercetare, strada: Mendeleev D.l. nr, 21-25, Bucuresti, e-mail: paul@nren.ro, Telefon: +40 213171174; Fax: +40 213171174 Referitor la: procedura de atribuire a contractului de achizitie publica avand ca obiect “Platforma digital cu resurse educationale deschise (Edulib)”, anunt de participare nr. CN1024250 din 12.09.2020 CONTESTATIE impotriva documentatiei de atribuire aferenté contractului de achizitie public avand ca obiect “Platforma digitalé cu resurse educafionale deschise (Eduliby", anunt de participare nr. CN1024250 din 12.09.2020 ale carei prevederi sunt nelegale si de naturi sa prejudicieze{in cuprinsul figei de date, sectiunea 11.1.2) Capacitatea economica si financiard, se solicit ca media anuali a cifrei de afaceri globale de pe ultimii 3 ani (2019, 2018, 2017), s& fie de cel putin 365.989.478,38 lei. in cea ce priveste cerinfa privind capacitatea tehnicd si/sau profesional’, Autoritatea Contractanta a solicitat ca experienti similard relevant furnizarea de pachete software si/sau sisteme informatice realizata prin contracte (contracte relevante) derulate de catre operatorul economic, sau aflate in derulare, intr-o perioada care nu va depaigi 3 ani anteriori datei limita de depunere a ofertelor (perioada de referinf). Conform prevederilor art. 175 din Legea nr. 98/2016 actualizata: “(1) Autoritatea contractanti are dreptul de a stabili prin documentatia de atribuire cerinje rivind situatia economicd $i financiari care sunt necesare si adecvate pentru a se asigura ci operatorii economici dispun de capacitatea economica si financiard necesarit pentru a executa contractul de achizitie publici/acordul-cadru si pentru a fi protejatd faa de un eventual rise de neindeplinire corespunzatoare a contractului (2) Cerinjele privind situatia economica si financiard stabilite de autoritatea contractanta pot viza elemente cum ar fi: : 4) un anumit nivel minim al cifrei de afaceri anuale, inclusiv o anumita cifra de afaceri minima in, domeniul obiectului contractului de achizitie publicdacordului-cadru; cifra de afaceri ‘minima anuala impusd operatorilor economici nu trebuie sé depaseascé de doud ori valoarea estimatié a contractului de achizitie publict/acordului-cadru; 5) amumite niveluri ale altor indicatori economico-financiari relevanti, precum nivelul de lichiditate anuala; ¢) un nivel corespunzdtor al asigurdirii de risc profesional”. Desi legislatia in domeniul achizitiilor publice, permite unei Autoritéti Contractante ca la formularea cerinjei privind media cifrei de afaceri pe ultimii 3 ani si impuna ca aceasta sA aibainteresele comerciale ale societétii noastre gi solicitim Consiliului ca, dup’ examinarea motivelor expuse in prezenta contestafe, sai admit Contestatia astfel cum a fost formulatd si s8 pronunte o decizie prin care: 9) Sa dispund suspendarea procedurii de atribuire, potrivit dispozitiilor art. 22 din Legea 101/2016 actualizata, pana la solujionarea prezentei contestatii; ») 88 dispund adoptarea masurilor de remediere a documentariei de atribuire, care s4 asigure respectarea legislatiei in vigoare; ©) In subsidiar, in situatia in care Consiliul va considera ci nu este posibilé remedierea aspectelor sesizate, si dispund anularea procedurii de licitatie deschisd organizata de catre Autoritatea Contractanta, pentru urmitoarele MOTIVE: fn fapt, in data de 12.09.2020, Autoritatea Contractanta a publicat in SICAP anunful de participare nr. CN1024250 aferent inifierii procedurii de licitatie deschisi pentru atribuirea contractului avand ca obiect “Platform digital cu resurse educationale deschise (Edulib)”. Valoarea estimati a contractului este de 182.994.739,19 lei, iar criteriul de atribuire “Cel mai ‘bun raport calitate — pret”. Analizind documentatia de atribuire am constatat existenja unor abateri grave de la prevederile legislative in materie de achizitii publice, astfel: 1. Restrictionarea nejustifieati a participirii Ia procedura de atribuire prin impunerea unor cerinte restrictive/disproportionatevaloarea, dublul valorii estimate @ contractului, considerdm c& solicitarea din documentajia achizitici respectiv ca media anuala a cifrei de afaceri globale de pe ultimii 3 ani (2019, 2018, 2017) s& fie de cel pusin 365.989.478,38 lei (aproximativ 75,5 milioane de euro) este nejustificatd si disproportionata in raport cu cerinfa privind experienga similard relevanta. Chiar si in contextul in care, potrivit art. 182 din Legea 98/2016 un operator economic are Greptul si invoce susjinerea unui/unor teryterfi in cea ce priveste indeplinirea criteriilor referitoare Ia situajia economica si financiard, consider c& solicitarea valorii de 365.989.478,38 lei este excesiva si de naturd si restrictioneze accesul operatorilor economici la procedura in cauza. De asemenea, considerim c4 prin impunerea unei astfel de cerinfe, a fost ine&lcat principiul > necesitatile Autoritafii Contractante; > obiectul contractului de achizitie; » cerinfele care trebuie indeplinite de ofertangi pentru satisfacerea necesitifilor autoritifi contractante/achizitorului. Practic, pe deo parte, Autoritatea Contractanta solicita ca media ciffei de afaceri pe ultimii 3 ani Si fie de peste 75 de milioane de euro, dar pe de altk parte considera cé prezentarea, de exemplu, @ unui contract de 5.000 de euro care a avut ca obiect furizarea de pachete software, este suficienta pentru c& operatorul economic sa demonstreze potentialul siu de a indeplini contractul de achizitie publica si de a rezolva eventualele dificultafi legate de indeplinirea acestuia, in cazul in care oferta sa va fi declarata castigatoare. Avand in vedere faptul c& cerinta de calificare privind media cifrei de afaceri globalé este disproportionata in raport cu obiectul contractului si de naturi a restringe in mod substantial concurenta, solicitim diminuarea acesteia la un nivel rezonabil. 2. Restrictionarea nejustificati a participarii Ia procedura de atribuire prin impunerea unor cerinte ambigue gi incompletevotrivit art, 3, alin. (1), literele z) si m) din Legea 98/2016, actualizata: = documentatia de atribuire este definita ca fiind “documentul achizitiei care cuprinde cerinjele, criteriile, regulile si alte informatii necesare pentru a asigura operatorilor economici o informare completa, corecta si explicita cu privire la cerinfe sau elemente ale achizitiei, obiectul contractului $i modul de desfasurare a procedurii de atribuire, inclusiv specificagiile tehnice ori documentul descriptiv, conditiile contractuale propuse, ‘formatele de prezentare a documentelor de catre candidaji/ofertanti, informagiile privind obligapiile generale aplicabile; - specificatiile tehnice reprezinta “cerinye, prescrippii, caracteristici de natura tehnicd ce permit flecdrui produs, serviciu sau lucrare si fie descris, in mod obiectiv, intr-o manierét corespunzittoare indeplinit i necesitifii autoritipii contractante”. Prin urmare, Autoritatea Contractanti are obligafia de a elabora documentatia de atribuire astfel incdt s& asigure potentialilor ofertanti informatii concrete si complete, pe baz cArora acestia sé poati elabora ofertele tehnice gi financiare, in caietul de sarcini aferent procedurii, ta pagina 8, capitolul 2.1.1 - Predarea pe proiector (kit mobil) a unei lecfii inteligente cu rispunsuri automate a cereri in limbaj natural, Autoritatea Contractanta a solicitat urmétoarea cerinfa: “Asistentul bazat pe inteligenta artificialé livreazdt in mod automat un flux de invatare oferind atét voce artificialé cat si text scris. [...] In functie de concepetele catre trebuie clarificate profesorul va adresa intrebari in limbaj natural catre asistentul inteligent de invatare, care ofera raspunsuri pe baza unui algoritm de machine learning creati special in acest sens. in plus, la pagina 150, capitolul 3.7.2 - Servicii gi sesiuni de invatare pentru asistentii bazati pe inteligenté artificialé, a fost solicitat urmatoarea cerinfé: “Mecanismul de invatare continua trebuie sa fie prezent in cadrul platformei astfel incat asistentii IA sa isi imbunatateasca performantele pe tot parcursul folosirii platformei prin luarea in calcul nu numai a sesiunilor de invatare de baza, dar si a experientelor practice, prin intelegerea cunostintelor cursantilor - oferirea raspunsurilor necesare - si evaluarea gradului deintelegere a aspectelor predate. Experienta inovativa in relatia cu asistentii IA sta in capacitatea acestora de a livra continut educational din magazinul de resurse educationale impreuna cu experientele precedente, din alte sesiuni de instruire”. Cu privire la cerinfele enuntate anterior, facem urmatoarele precizari: - _laacest moment cercetarea in domeniul procesarii naturale (natural language processing - NLP) din cadrul centrelor universitare cu traditie din Bucuresti, Cluj, Iasi si Timisoara, inclusiv a grupurilor de lucru care pun in comun resursele necesare instruirii acestor agenfi pentru limba romana, este in stadiu incipient; ~ laacest moment cercetarea in domeniul procesirii naturale (natural language processing - NLP) este in stadiu incipient findnd cont de specificul limbii romaine, dialectele si regionalismele, departe de a permite industrializarea acestui gen de produse, lucru confirmat de altfel si de lucrarile publicate in literatura de specialitate la nivel internagional. Avand in vedere aspectele cu caracter tebnic prezentate anterior si stadiul dezvoltarii mecanismelor de NLP (natural language processing) pentru limba roména, considerim cA cetinfele Autoritaii Contractante sunt imposibil de realizat de catre potentialii ofertanti prin otertarea de produse software de tip COTS (commercial off-the-shelt) sau prin ofertarea de solufii informatice dezvoltate de catre terte parti, findnd cont ca acestea nu exist pentru limba romana, in plus, conform informafiilor din figa de date a achizi fumizare, neavénd niciun cod CPV de dezvoltare software asociat, iar din cuprinsul Caietului de Sarcini reiese c& pentru componentele ce includ mecanisme de machine learning, sistemul ofertat , contractul in cauzi este unul de trebuie sd fie gata pentru a fi pus in productie. De asemenea, durata de 18 de luni a contractului este insuficient& pentru dezvoltarea mecanismelor de NLP (natural language processing) pentru limba romani, care asa cum amprecizat anterior, se afld in stadiu incipient de cercetare, particularitatile limbii romane (regionalisme gi neologisme) si in special gramatica limbii, fiind extrem de complexe. Pentru ca un sistem de machine learning si fie functional, trebuie ca inifial, sa fie supus unei etape de invatare pentru a intelege intrebirile primite de la elevi sau pentru a putea interpreta raspunsurile acestora din urma. {in cadrul documentatici de atribuire nu sunt oferite informatii despre modalitatile de instruire ale algoritmilor de machine learning, despre numérul de intrebari pentru care sistemul trebuie sa fie proiectat in ceea ce priveste primirea si rispunsul de intrebari. in plus, Autoritatea Contractantd nu specificd in cadrul documentatiei de atribuire cine va efectua instruirea algoritmilgr de machine learning (Autoritatea Contractant& sau potentialii ofertanti) gi daca va pune sau nu la dispozifia acestora inregistrarile si adnotarile necesare pentru instruire. Avand in vedere faptul c& procesul de invafare gi fine tuning al algoritmilor de machine learning in domeniul NLP este unul ‘supervizat de experfi in domeniu si este un proces continu, considerim ci Autoritatea Contractanta trebuia s& specifice in cadrul documentafiei de atribuire {in sarcina cui intra costurile aferente acestui proces si pentru ce perioada trebuie el asigurat. Considerim ca cerinfele formulate sunt ambigue si incomplete si nu permit potentialilor ofertanti A intocmeased o oferta tehnicd pentru o solufie functionald, si in plus insuficiente pentru acestia, pentru a-si putea bugeta costurile necesare implementarii mecanismelor de machine learning din cadrul prezentului contract. Suplimentar, considerdim c& superficialitatea cu care au fost detaliate cerinfele pentru mecanismele de machine learing va face imposibila pentru Autoritatea Contractanta receptia modulelor/sistemelor ce contin algoritmi de machine learning. Atta timp cat functionalitatile tehnice ale mecanismelor de machine learning sunt neclare si necuantificabile, Autoritatea Contractanta se va afla in imposibilitatea de a evalua din punct de vedere tehnic ofertele si produsele finale livrate de cdtre potentialii ofertanti. wee{in ceea ce priveste cererea de suspendare, potrivit art. 22 din Legea 101/2016: ~(1) in cazuri bine justificate si pentru prevenirea unei pagube iminente, la cererea persoanei interesate, Consiliul poate s& und prin incheiere, in termen de 3 zile de la primirea cererii, misura suspendarii procedurii de atribuire sau aplicdrii oricirei decizii uate de autoritatea contractant4, pani la solutionarea contestatiei Din analiza prevederilor legale mai sus citate, rezulté cd, pentru suspendarea procedurii de achizifie publicd se cer a fi indeplinite in mod cumulativ dous condi - Existenja unui caz bine justificat; - Necesitatea prevenirii unei pagube iminente, apreciata prin raportare la toate categoriile de interese ce ar putea fi prejudiciate prin continuarea procedurii, inclusiv interesul public. Vom demonstra in cele ce urmeazi ci ambele condifii la care facem referire sunt intrunite in speta de fata si justificd pe deplin suspendarea procedurii de atribuire 1. Cu privire la existenta cazului bine justificat Cu privire la notiunea de caz_bine justifieat, precizim c acesta presupune existenja unor imprejurari legate de starea de fapt si de drept de natura si creeze o indoiala serioasa in privinfa legalitsfii actului atacat, avand in vedere definitia data acestei notiuni prin art. 2 alin. (1) litera t) din Legea nr. $54/2004. in vederea solutionarii cererii de suspendare a procedurii de atribuire, CNSC urmeazé sé efectueze 0 cercetare superficialé a motivelor invocate de cétre subscrisa in fondul contestafiei formulate, cercetare care este de naturi a releva o aparenja de nelegalitate a prevederilor documentatiei de atribuire.imprejurarile legate de starea de fapt si de drept care sunt de naturd s8 ereeze o indoiala serioasa si legitima asupra legalititii documentajiei de atribuire, care justified prin urmare solutia Suspendari proceduri, sunt expuse pe larg in cuprinsul sectiunilor anterioare ale contestatii, 2. Cu privire ta necesitatea prevenirii unei pagube iminente Cat priveste paguba iminenta apreciem cé aceasta trebuie infeleas’ in sensul prevaut de art. 2 alin. (2), lit. $) din Legea nr. $54/2004, respectiv acela de prejudiciu materi si previzibil, jn speti, continuarea procedurii de atribuire in conditiile in care Autoritatea contractanti a {ntocmit documentatia de atribuire aferenti procedurii cu incalcarea dispozitiilor legale pune in ‘mod evident atat subserisa, eat si orice operator economic interesat s& participe la procedura, in fafa unui prejudiciu material viitor gi previzibil, Iminenfa pagubei in condifiile in care procedura de licitatie s-ar desfagira in condiile actuale este evidenta atat din perspectiva interesului public, edt gi al intereselor subscrisei, cdt& vreme aspecte esentiale ale procedurii, vadit viciate (criteriile de calificare si cerintele din caietul de sarcini), ar rlméne neclarificate si ar perpetua o stare de nelegalitate, iar subscrisa s-ar afla in ‘imposibilitate de a depune o oferta conforma cu prevederile documentatiei de atribuire atacate prin prezenta contestatie. Prin masura suspen Se protejeaza asadar att interesul subscrisei de a putea participa in cadrul provedurii de atribuire si a deveni, in condifile legi, contractant, cét si interesele autortihit contractante, respectiv de indeplinire a scopului Legii 98/2016 prin promovarea Concurenjei intre operatorii economic, garantareatratamentului egal, nediscriminarea acestora gi asigurarea utilizarii eficiente a fondurilor, precum si de finalizare a procedurii de atribuire in conditii de legalitatePentru aceste motive, solicitiim Onoratului CNSC sé dispund suspendarea procedurii de atribuire, potrivit dispozitiilor art. 22 din Legea 101/2016 pani la solutionarea prezentei in concluzie, pentru considerentele enunjate mai sus, solicitm Consiliului si admita Contestatia astfel cum a fost formulata gi sa pronunte o decizie prin care: a) Sa dispuna suspendarea procedurii de atribuire, potrivit dispozifiilor art. 22 din Legea 101/2016 actualizata, pand la solufionarea prezentei contestafii; b) Sa dispund adoptarea masurilor de remediere a documentafiei de atribuire, care s& asigure respectarea legislatiei in vigoare; ©) in subsidiar, in situatia in care Consiliul va considera c& nu este posibilé remedierea aspectelor sesizate, s& dispund anularea procedurii de licitafie deschis& organizat& de cétre Autoritatea Contractanta. in drept, ne intemeiem prezenta contestatie pe dispozitiile Legii 98/2016 gi ale H.G. nr. 395/2016. Atasat prezentei contestatii depunem ca mijloace de proba: ~ Anexa nr. 1: Figa de date a achiziticis + Anexa nr, 2: Extras relevant din Caietul de sarcini.