Combating Bias in Algorithmic Governance in Karnataka 

 
Algorithmic  governance  is  slowly  being  embraced  by  administrations  all  over  India.  As  AI  and 
machine  learning  begin  to  play  a  prominent  role  in  decision  making,  the  use  of  new  technologies 
brings  fresh  challenges.  The  consequences  of  Algorithmic  bias  have  proven  to  be  unfair,  dire  and 
discriminatory.  This  brief  shall  explore  the  underlying  causes  of  the  bias,  the  impact  it  has  on 
governance  and  the  steps  taken  worldwide  to  combat  the  same.  It  also analyzes the jurisprudential 
scenario  in  India  and  recommends  some  legislations  through  which  the  State  of  Karnataka  can 
implement  Impact  assessments  and  introduce  Data  Regulations  to  mitigate  the  risks  associated 
with Artificial Intelligence in governance. 
 
Understanding Algorithmic Bias  
 
While  algorithms  are  used  in  many  contexts,  here  the  focus  is  on  computer  models  that  make 
inferences  from  data  about  people,  including  their  identities,  their  demographic  attributes,  their 
preferences,  and  their  likely  future  behaviors,  as  well  as  the  objects  related  to  them.  The  use  of 
artificial  intelligence  and  machine  learning  systems  introduces  algorithmic  bias.  Algorithmic  Bias 
essentially  refers  to  ​systematic  and  repeatable  errors  in  a  computer  system  that  create  unfair 
outcomes.  Bias  can  emerge  due  to  the  design  of  the  algorithm  and  the  unintended  and 
unanticipated  decisions  relating  to  the  way  data  is  coded,  collected,  selected  or  used  to  train  the 
algorithm.  
 
Such  biases  have  begun  to  plague  administrations  who  have  evolved  modes  of  algorithmic 
governance.  Algorithmic  governance  is  an  alternative  form  of ​governance  where  the  usage  of 
computer ​algorithms​,  especially  of ​artificial  intelligence​, is applied to regulations, law enforcement, 
and  generally  any  aspect  of  everyday  life  such  as  transportation  or  land  registration.  Therefore the 
emergence  of  new  technological  methods  in  administration  have  brought  the  need  to  have  policy 
frameworks  that  regulate  transparency  and  accountability  of  the  algorithmic  tools  used  for 
automated decision making. 
 
A Global Perspective 
 
There have been consequences of algorithmic bias around the world, some examples include : 
 
1. The  Netherlands,  where  the  government  employed  an  algorithmic  system  SyRI  (Systeem 
Risico  Indicatie).  It  intended  to  detect  citizens  perceived  as  being  at  high  risk  for 
committing ​welfare  fraud​,  which  quietly  flagged  thousands  of  people  to  investigators.  This 
caused  a  public  protest.  The  district  court  of  Hague  shut  down  SyRI  referencing ​Article  8 of 
the European Convention on Human Rights​ (ECHR)1. 
2. The  United  States  of  America,where  multiple  states  implement ​predictive  analytics​ as  part  of 
their ​child  protection​ system. ​Illinois​ and ​Los  Angeles​ shut  these  algorithms  down  due  to  a 
high rate of ​false positives2. 
 
1
W
​ elfare surveillance system violates human rights, Dutch court rules 
2
C​ an Big Data Help Save Abused Kids? 
The  growing  number  of  such  instances  has  lead  to  the  development  of  legislations  in  Europe  and 
the United States aimed at reducing machines biases these include: 
 
1. The  “European  Commission's  ​Ethics  Guidelines  for  Trustworthy3”  AI  prohibits  ​solely 
automated  decisions  in  cases  where  there  could  be  significant  legal  impact  on  the  individual.  A 
right to human-in-the-loop and a non-binding right to explanation is also provided for.  
2. “​Algorithm  Accountability  Act4”  was  introduced  in  the US Congress in April 2019.It ensures 
that  companies  will  have  to  evaluate  a  broad  range  of  algorithms  —  including  anything  that 
affects  consumers’  legal  rights,  attempts  to  predict  and  analyze  their  behavior,  involves  large 
amounts  of  sensitive  data,  or  “systematically  monitors  a  large,  publicly  accessible  physical 
place​.  
3. “​Algorithm  Transparency  Bill​”5  was  passed  by the New York City Council in 2017. It was the 
first  of  its  kind  in  the  United  States,  It  established  a  task  force  to  examine  the  hidden 
algorithms  governing  life  in  New  York and suggested a way for experts to study those tools for 
error and bias. 
 
The Current Indian Scenario 
 
There  is  no  clear  regulatory  framework  in  India  to  address  bias  in  administration  due to AI, as the 
constitutional  and  administrative  law  is  not  geared  towards  assessing  decisions  made  by 
non-human  actors​.  While  the  Personal  Data  protection  Bill 2019 does provide provisions to access 
and  confirm  personal  data,  it  does  not  require  computer  model  decisions  to  be  explainable. 
Similarly  the  SDPI(Securing  Sensitive  Personal  Data  or  Information)  rules  fails  to  cover  machine 
biases as well.  
 
Section  4  of  the  Right To Information Act 20056 requires public authorities to provide reasons for 
its  administrative  or  quasi-judicial  decisions  to  affected  persons.  The  problem  arises  when  this 
obligation  remains  unfulfilled.  Algorithmic  Bias  can  lead  to  public  authorities  being  unable  to 
explain  the  outcomes  of  AI  systems  used  in  administration,  particularly  those of machine learning 
systems  which  ‘learn’  from  analysing  patterns  and  data  and  follow  logic  that  isn’t  explicitly 
programmed into it. 
 
Moreover  most  of  the  AI  systems  are  proprietary  systems  that  are  licenced  for  government  use. 
This  brings  about  a  clash  between  private  and  public  interests  and  those  most  reliant  on  the  state 
for  the  delivery  of  public  services  like  health  and  education  or  schemes  for  social  security  will  be 
disproportionately affected as such biases lead to lack of accountability and transparency. 
 
Consequences of Bias in Emergencies 
 
Contact  tracing’  technologies  are  being  extensively  used  in  domains  like  disaster  relief.  Given  the 
extensive  use  of  AI  in  emergency  situations  such  as  the  COVD  -19 pandemic the consequences of 

3
Shaping Europe's digital future: Commission presents strategies for data and Artificial Intelligence 
4
India needs to bring an algorithm transparency bill to combat bias 
5
​Id 
6
​Right to Information Act 2005 
faulty  decisions  as a result of algorithmic bias are dire.The central government’s Aarogya Setu App7 
allows  users  to  self-assess  their  symptoms,  and  the  application  compartmentalizes  them  into 
different  groups  based  on  their  COVID-19  risk.If  Algorithmic  bias  leads  such  systems  to wrongly 
urge  people  to  pre-emptively  take  tests,  then  there  is  a  risk  that  public  health  systems  may  be 
overwhelmed  prematurely.  Moreover  algorithmic  bias  also  raises  the  possibility of false positives as 
well  as  false  negatives  which  could  lead  to  unfortunate  targeting  of  healthy  people  and  the 
dangerous exposure of COVID-19 carriers in society. 
 
The  creation  of  such  systems  also  raises  privacy  concerns  amongst  people  making  it  harder for the 
government  to  receive  public  co  -operation  during  emergencies.  A  solution  to  this  would  be  the 
introduction  of  ​interactive  interfaces  i​n  apps  that  allow  the  users  to  decide  what information they 
desire  to  share.Thus  increasing  the  chances  of  legitimate  information  input  and  reducing 
algorithmic bias.  
 
Dawn of Algorithmic Governance in Karnataka 
 
Karnataka  has  been  one  of  the  first  states  in  India  to  establish  a  policy  on  ‘Artificial  Intelligence’ 
(AI)  and  machine  learning  technologies.  In  the  ​Action  Plan  for  the  Development  of  Machine 
Intelligence​,  the  ​‘Karnataka  Jnana  Ayog’  has  advocated  for  the  use  of  AI  in  governance  in  fields 
including  health,  transport,  education  and  e-governance8.  The State government has stressed upon 
the  importance  of  artificial  intelligence,  data  gathering  and  digitisation  and  how  they  assist  in 
making governance easy, transparent and efficient. It has already begun using AI in order to process 
farm loan waivers and is using Facial Recognition for policing in Public areas9.  
 
The  most  recent  use  of  Artificial Intelligence in Karnataka was to battle the COVID-19 pandemic. 
The  government  of  Karnataka  has  launched  a  mobile  application  ‘Corona  Watch’.  The  mobile 
application  aims  to  track  the  movement  history of persons tested positive, before their detection in 
order  to  take  precautions  and  to  contain  the  coronavirus  outbreak.In  addition  to ‘Corona Watch’ 
app,  the  Karnataka  government  has also constituted a ten member Task Force on COVID-19. The 
task  force  is  utilizing  IT  applications  &  GPS  to  track  individuals  who  are  suspected  of  novel 
CoronaVirus infection10. 
 
Way Forward For Karnataka 
 
The  growth  of  algorithmic  governance  in  Karnataka  legitimizes  the  need  for  legislations  that 
combat  algorithmic  bias  in  the  state.  ​In  order  to  ensure  efficient  and  comprehensive 
evidence-based  justifications  to  the  public,  the  operators  need  to  be  able to explain the AI outputs 
and  impact  assessments,  and  reducing  algorithmic  bias  will  help  them  in  the  process.  In  order  to 
accomplish  this,  ​the  State  Government  can  establish  an  AI  Alliance  (AIA)​.  The  AIA  will 
comprise  notable  persons  from  the  AI  industry  and  academia  based  out  Bengaluru  with  the 

7
​Arogya Setu wristbands to monitor patients movements 
8
​Karnataka ministers to soon get introduction in Artificial Intelligence 
9
​Id 
10
​How Karnataka govt uses technology, data and surveillance to contain Covid-19 
 Principal  Secretary of IT,BT and S&T being the Member Secretary for the alliance..  The functions 
of this alliance would be to  
 
1. Assist  and  advise  the  government  in  drawing  up  a  framework  under  the  ambit  of  rules  of  the 
‘​Karnataka  Transparency  in  Public  Procurement  Act,  1999​’  Act  to  require  an  ‘algorithmic 
impact assessment’ prior to any procurement of AI systems.  
 
The  Algorithmic  Impact  Assessment  (AIA)  framework  proposed  in  this  brief  is  designed  to 
support  the  government  as  it  assesses  the  claims  made  about  these  systems,  and  to  determine 
where – or if – their use is acceptable, whether they are producing disparate impacts, and how to 
hold  them  accountable.  Section  1711  of  the  ‘Karnataka  Transparency  in  Public  Procurement 
Act, 1999’ will need to be referred to.  
 
2. Draw  up  standards  to  assess  automated  systems  against  risks  of  bias  and  opacity.  This  can 
ensure that any proprietary system is made auditable and open to scrutiny to the government 
3. Draw  up  procurement  guidelines  for  the  Government  of  Karnataka  to  enable  departments/ 
agencies  to  evaluate  and  procure  AI  systems.  This  would  also  involve  providing  definitions  for 
the types of decision systems including but not limited to  
a. "High-risk" automated decision systems; and  
b. "High-risk" information systems. 
4. Assist  the  government  to  make  ​changes  to  the  Right  To  Information  Rules,  2005,  framed 
under  Section  27  of  the  Right  To  Information  Act,  2005  and  include  rules  concerning  the 
transparency and explainability of automated decisions.  
Such rules can possibly include -  
a. Individuals  have  the  right  to know when government agencies have made decisions 
concerning them which substantially involve the use of AI systems.  
b. Define  the  broad  parameters  of  such  a  decision,  in  a  non-technical  and  simple 
manner.  
c. Incorporate  a  mechanism  for individuals to seek a reasoned basis for the judgement 
of  such  an automated system or opt for the decision to be reconsidered without the 
use of such a system. 
5. Develop  an  AI  Action  Plan  for  the  state  by  developing  on  the  groundwork  laid  down  by 
Karnataka Jnana Ayog in the ‘Action Plan for the Development of Machine Intelligence’. 
 
 
Concluding Thoughts  
 
In  the  absence  of  a  regulatory  framework,  the  expanding  use  of  automated  technologies  can  pose 
significant  concerns for the public, and can potentially violate constitutional norms of equality and 
natural  justice,  the  need  of  an  AI  regulations  is  the  need  of  the  hour  for  to  protect  both 
government  and  private  interests.  A  strong legal framework to combat Algorithmic Bias integrated 

11
Power to obtain information- Notwithstanding anything contained in this Act or in any other law for the time
being in force, the Government may with a view to ensuring transparency call for and obtain, from any
Authority under this Act, any information relating to any matter in the process of procurement
with  the  potential  of  Algorithmic  Governance  can  surely  ensure  a  robust  environment  for  the 
growth of AI in Karnataka.