A  Pack  of  Web  Observatories  

Ian  C.  Brown   WAIS  Group,  School  of  Electronics  &  Computer  Science  
•  •  •  •  •  •  •    We  create  much  more  data  than  we  can  hope  to  process   The  data  is  an  unregulated  stream  of  self-­‐published  “things”   For  research  we  need  a  web  of  data  vs.  a  web  of  documents   There  is  li=le  help  for  researchers  to  see  how  data  is  connected   Repea?ng  experiments  and  re-­‐using  data  can  be  difficult  /  tedious   There  are  few  opportuni?es  to  share  techniques  /  tools   We  are  therefore  constantly  “re-­‐inven?ng  the  wheel”  

Problem:  The  Data  Deluge  

•  Many  observatories  are  springing  up  globally  to  gather  data  on   par?cular  topics  –  they  oFen  use  different  systems  and  formats   •  We  cannot  “download”  the  web  and  treat  it  like  a  single  database   •  Hence  the  interopera)on  of  these  systems  and  their  data  is  vital   •  Discovering  the  loca?on/format  of  data  we  are  interested  in  is  key   •  Models  to  share  research,  data,  tools  and  commentary  are  needed   •  Ways  of  combining/licensing  private  and  open  data  are  needed    

One  Web  Observatory?  

                Image  from  freaking  news.com  

•  Google  and  others  “blast”  the  researcher  with  millions  of  results  –   most  of  which  are  irrelevant  –  human  brain  does  the  hard  work   •  Keywords  do  li=le  to  iden?fy  the  research  topic  accurately   •  Searches  focus  on  the  web  of  documents  and  not  the  web  of  data   •  Searches  tend  not  look  across  history  or  related/correlated  subjects   •  Search  engines  try  to  op?mise  the  user  experience  by  favouring   previously  selected  results  and  can  tend  to  hide  new  results  !!  

Search  is  not  the  answer  

Each  telescope  (datascope)  gathers  data  about  one/more  topics   Extra  useful  info  about  the  data  (metadata)  is  created   Thoughts  about  the  data  may  be  added  and  extra  items  linked  to  it   Catalogues  of  what  is  on  offer  is  published  for  others  to  read   The  metadata  allows  us  to  determine  formats,  licenses,  date  ranges  etc.  so   we  can  find  relevant  research  data  sets  quickly   •  We  can  now  combine  different  data  sets  over  ?me,  search  for  correla?ons   and  even  model  future  outcomes.   •  Analy?cs  and  tools  help  visualise  the  meaning  of  the  data   •  •  •  •  • 

Many  Telescopes  …  

 

 

  Our  research  data  needs  ..  

                       

Project  W.O.L.F.    
The  Web  Observatories  Linkage  Framework  will  define:   •  Taxonomies  of  Observatories  (func?ons/features)   •  Interoperability  requirements   •  Legal/Opera?onal  models  for  sharing  /  re-­‐use   •  Trust/Provenance  models  that  will  underpin  quality   •  Use  cases  for  Observatories  to  be  friendly  /  share                                                                                                  VS.  

Challenges/Outcomes  

      Source  :  h=p://www.care2.com    

CO-­‐OPERATION  IS  KEY:    A  WOLF  IS  SMARTER  AND  MORE  SUCESSFUL  IN  A  PACK