Review of  The Enterprise Development Fund 

Research, Evaluation and Monitoring Team  Industry and Regional Development Branch  MINISTRY OF ECONOMIC DEVELOPMENT      September 2005 
                       

   
                     
Ministry of Economic Development Industry and Regional Development Research, Evaluation and Monitoring Level 10, 33 Bowen Street P O Box 1473 Wellington 6140 New Zealand

Contents 
 

Acknowledgments.........................................................................................................................4  Executive Summary.......................................................................................................................5  PART ONE: Evaluation Goals and Methodology. ..................................................................12  9.  Goals of the evaluation...................................................................................................12 

10.  The intervention logic.....................................................................................................12  11.  Methodology....................................................................................................................12  12.  Methodology of the survey............................................................................................13  PART TWO: Policy Rationale for the Enterprise Development Fund ................................15  1.  MED Policy ..........................................................................................................................15 

13.  Policy objectives for the Foundation Services.............................................................15  14.  Policy objectives for the Enterprise Development Fund...........................................15  2.  NZTE policy.........................................................................................................................17 

15.  Design of the Enterprise Development Fund .............................................................17  16.  Criteria for projects .........................................................................................................17  17.  Scoring of applications ...................................................................................................17  18.  Future changes: devolvement and criteria for 05/06..................................................18  PART THREE: Findings and Recommendations on the Implementation of Policy.........20  19.  Programme implementation .........................................................................................20  20.  Response by MED to the Enterprise Networks implementation.............................20  21.  Operational implementation: the Business Evaluation Team ..................................21  22.  Operational implementation: the Enterprise Development Team ..........................21  23.  Design of the Enterprise Development Grants scheme.............................................22  24.  Project activities available under EDG.........................................................................26  PART FOUR: Findings and Recommendations on Delivery of EDG .................................28  3.  Uptake of the fund ..............................................................................................................28 

25.  Total allocations...............................................................................................................28  26.  Total number of applications ........................................................................................28  27.  Total number of firms.....................................................................................................29  28.  Approval rate...................................................................................................................29  29.  Calls to the Business Evaluation Team ........................................................................29  30.  Change in application numbers over time ..................................................................30 

4. 

Assessment of applications................................................................................................32 

31.  Change in approval rate over time...............................................................................32  32.  Recommendations...........................................................................................................35  33.  Time taken to approve grants .......................................................................................36  34.  Average time taken to approve grants over time.......................................................36  35.  Recommendation ............................................................................................................37  5.  Distribution of the EDG .....................................................................................................38 

36.  Summary of findings on distribution of the EDG ......................................................38  37.  Regional spread of firms assisted .................................................................................38  38.  Regional spread of allocations ......................................................................................39  39.  Sectoral spread of allocations ........................................................................................40  6.  Grant allocation and collection by firms..........................................................................42 

40.  Amounts allocated ..........................................................................................................42  41.  Amount claimed by closed projects .............................................................................42  7.  Analysis of applicant firms................................................................................................43 

42.  Summary of findings given below. ..............................................................................43  43.  Overall size: turnover and FTE .....................................................................................43  44.  Exporting ..........................................................................................................................44  45.  Age of Firms.....................................................................................................................45  46.  Firm Growth ....................................................................................................................45  8.  47. Types of assistance funded ................................................................................................47  Advice and expertise categories .................................................................................................... 47

PART FIVE: Findings and Recommendations on Outcomes ................................................49  9.  The framework for analysis of outcomes. .......................................................................49 

48.  Goals of the EDG.............................................................................................................49  49.  Goals of the evaluation...................................................................................................49  50.  Specific outcomes sought by the evaluation ...............................................................50  51.  Interpretation of the policy intent: improving management or business  capability?..................................................................................................................................50  52.  Interpretation of the policy intent: improving management ability or     knowledge? ...............................................................................................................................51  10.  Quantitative findings on accepted firms. ........................................................................53  53.  Guide to the findings ......................................................................................................53  54.  Numbers of firms responding.......................................................................................54 
2

..............................................................59  62.............57  60......................................................68  73..........................65  68....................  Intellectual property protection...  Qualitative findings ..................60  63...........  Recommendation ...........54  57.......................................  Mentoring and training ......................69  74.70  78..............  Resolving the ambiguity between facts and advice......................................................  Activity types....................................... ..........................................................................................................................................................................................55...........................................................................  Declined firms..........................  Proportions of EDG clients gaining facts or advice ................  Certification and systems evaluation ........  Guide to the findings .......  Do management level or business level projects impact on management practice?   ...........................................................................................................................................................................................69  75........................  Are facts or advice projects also management or business level projects?.......................64  11.................................................................................................................71  80.65  69........  Do advice or facts projects impact on firm performance? ..........................  Strategic Design........................  Prototype ................................................................  Do changes in management practice impact on firm performance? .........71  81.............................................................................  Interpreting the results: improving management capability...........................................................................................................  Proportions of EDG clients seeing changes in firm performance ...........................66  71.......................61  64.......  Market research and marketing plans ..................63  67..............  Overall satisfaction .  Numbers of firms completing projects.68  12.........................  Do management or business level projects impact on firm performance?.  Proportions of EDG clients undertaking projects aimed at management level  areas or business level areas .........................................  Business/strategic plan development and feasibility studies............................55  58....69  77....70  79.......................................66  70...............  Overall ....................................58  61......61  65.......................................................................................................................................72  Appendix: Survey Questions ....................67  72............73  3 .......................................................................................................................................  Quantitative findings: interpretation and conclusion ........54  56..................  Proportions of EDG clients seeing changes in the way they manage their  business........................................................69  76......................................  Overall .56  59...........................62  66..............................................................................................  Do facts or advice projects impact on management practice?...................................................... ...................................... .......72  82....................  Proportions of EDG clients seeing gains in firm activity ............................................................................................................................................

Acknowledgments    The evaluation would like to thank Dr Richard Arnold.     4 . for his valuable and essential advice on the evaluation and data analysis.   The evaluation would also like to acknowledge the openness with which New Zealand  Trade and Enterprise worked with this evaluation.  and for reviewing many drafts of the report. Statistics and Computer Science of Victoria University of  Wellington. Senior Lecturer in Statistics with  the School of Mathematics. and the over 100 firms who gave  their time to talk with the evaluation.

     3.    6.  4. The EDF provides funding of 50% of total costs for businesses and entrepreneurs to:  − Engage the services of a business mentor for a finite period of time  − Undertake  more  advanced  management  and  technology  based  training  (as  delivered through existing providers such as NZIM. NZTE  split  the  EDF  into  ‘Enterprise  Development  Grants’  and  ‘Enterprise  Networks’.  human  resources. The EDF was established in 2003 (EDC (03) 54 refers) as part of NZTE foundation  services. Polytechnics etc)  − Employ  specific  external  advice  and  expertise  in  a  management  area  (such  as  feasibility studies. In  accordance  with  the  New  Zealand  Trade  and  Enterprise  (NZTE)  Foundation  papers  (EDC  (03)  54  refers)  the  Ministry  of  Economic  Development  (MED)  has  conducted an evaluation of the Enterprise Development Fund (EDF).  the  Export  Network  Programme  and  World  Class  New  Zealanders.  Enterprise  Networks  has  now  been  removed  from  the  EDF. enhancement and uptake of new  technologies. Purpose and evaluation methodology    1.  Three  programmes  were  amalgamated  to  form  the  EDF:  the  Enterprise  Awards  Scheme. Summary of the Enterprise Development Fund  5.  7.  The sample was a stratified simple random sample of 132 firms with a  response rate of 98%.  This  evaluation  has  examined  implementation  for  the  fund  as  a  whole.  intellectual  property. production management)  5 .  strategic  planning. market research.  environmental management.613M annually (for 03/04 and 04/05). The EDF was appropriated $8.Executive Summary    1. The  evaluation  analysed  NZTE  data  and  interviewed  NZTE  staff  responsible  for  assessing applicants to the EDG. In order to answer questions about outcomes the  evaluation  undertook  a  telephone  survey  of  a  representative  sample  of  EDG  recipients.   2. e‐business. These three all delivered funding assistance to firms.  and  continue  unchanged  or  with changes.  but  examined  delivery and outcomes for the Enterprise Development Grants only. The focus of the evaluation was to examine:  • • • Programme implementation  Programme delivery  Programme outcomes  And  conclude  whether  the  programme  should  continue.     2.

 and had  an under spend in 03/04.  9.  and  so  limits  the  fund’s ability to achieve the goal of changing opinions about seeking help.   6 .  13. The  design  of  the  fund  was  to  mitigate  issues  present  in  the  former  schemes  by  improving  accessibility.   14.     4.   12. NZTE have been invited to  give the  policy framework for these activities.  At  inception  80%  of  all  applicants were approved but the rate has subsequently reduced.   15. Delivery  of  the  EDG  is  even  across  regions  and  sectors. and MED is currently  in  discussion  with NZTE on this.  Funding  for  Enterprise  Networks  was  moved  to  operational  expenditure  (CAB  Min  (04)  38/4  refers). 60% by April 2005 and at 50% at the end of the 04/05 year.   − Turnaround of applications is on average a month.   − Firms  may  be  declined  at  the  end  of  the  financial  year  not  because  they  fail  criteria but only because the fund has been fully spent. The  numbers  of  firms  applying  to  the  EDG  has  increased  40%  over  the  two  years  since implementation.  including  new  market  investigation.    11.− Undertake  international  market  development  activities.  trade  fair  participation.   − NZTE does not advertise the fund widely and this reduces the chances the fund  will  encourage  those  who  do  not  usually  seek  help  to  do  so. and by adhering consistently to clear criteria. Some of these issues have not been fully addressed:  − Assessment involves a significant degree of subjective interpretation of criteria.  eliminating  delays  and  lack  of  clarity  in  the  application  process. and visiting buyers. Implementation of EDF  8. giving a total of 684 firms applying to date. Implementation and Delivery of EDG  10. This is a small number and the fund at its current size will probably  not have significant impacts on New Zealand SME capabilities. from first submission to final  decision.  trade/business  missions. By Quarterly Report figures EDG was fully subscribed for the 04/05 year. 570 applications  were accepted. Approvals were  at 70% by January 2005. MED considered the implementation of EN by NZTE sufficiently different from its  policy  objectives  to  remove  Enterprise  Networks  from  the  EDF.  business  exchanges.    3.  and the rate and size of allocations is similar across regions and sectors. There  has  been  a  large  change  in  the  approval  rate. EN is now part of NZTE’s sector facilitation activities.  There  is  no  significant  difference  in  the  numbers  being  accepted  or  declined  across  regions  and  sectors.

   20. For the final outcome of improving firm performance.  47%  of  firms  gained  management  level assistance and 41% gained business‐level assistance. and so if they undertook the project  themselves even while being declined it may be because they had the capability and  resources to do so. understanding which segments of the market to target. Firms  also reported an improvement in their overall ability to manage the business.  19. The  evaluation  undertook  a  simple  random  sample  of  declined  firms. 93%  see positive gains from it.’     5. Outcomes of EDG  17. in terms of having a product ready  for launch or launching it. New criteria will be implemented in October 2005 to eliminate the export  focus in favour of ‘net benefit to NZ. The  activity  types  of  intellectual  property  protection  and  prototype  development  had  very  low  rates  of  firms  reporting  changes  in  management  practices. Firms  applying  to  the  EDG  and  firms  being  accepted  include  large  numbers  of  exporters. 30% of firms said projects had  no effect on management‐ but these firms typically had undertaken projects which  were  not  geared  at  impacting  on  management.   18.  improving the way the firm runs.16. The evaluation learnt that many were unclear on why they were declined. 39% of EDG firms have seen  gains  in  firm  performance.  However  it  had no information on why they were declined.  undertaking  management  level  projects. gaining or clarifying a strategy for the future.  the  remainder  decided not to undertake the project or stopped part‐way. and so it was appropriate that they were declined. This was usually because while the grant  was closed the project was taking longer than one year. The  management  changes  included  altering  the  internal  practices  of  the  firm.  56%  of  firms  saw changes in the way they managed the business. 84%  of  firms  completed  the  projects  they  had  sought  funding  for.   21.  37%  said  it  is  too  early yet to see such gains in performance. and this  left  them  feeling  ‘brushed  off’  and  unwilling  to  reapply  for  assistance.   24. This is a very good result for the EDG. or  entering a new market.  In  order  to  not defeat the goal of improving the perception of the value of external assistance.  in  terms  of  export  or  domestic  sales.      23.  gaining  direction  for  the firm and sometimes confirming that their own approach had been right.       7 . For  the  intermediate  outcome  of  improved  management  capability.  or  gaining  advice.   22. it  would be appropriate to give more details of why a firm was declined. This means of the 84% of firms who complete a project.  learning  from  the  project  about  ways  to  tackle  such  projects. 78% of firms have seen benefits from the grant.    Intellectual  property  protection  and  prototype  development  are  not  well  fitted  to  the  goals  of  building  management capability.

  and  also  seeing  changes  in  management  practice  or  not.    26.  This  means  that  results  from  the  evaluation  show  that  firms  undertaking  management  level  projects  will  usually  also  see  changes  in  the  way  they  manage  their business.   28. Firms undertaking business level projects usually  said  they  had  not  yet  seen  gains  as  it  was  too  early  given  the  project  they  undertook. The evaluation found there is uncertainty in whether the fund’s objective is to be a  channel by which managers can access information.   27.  The  evaluation  has  found  a  significant  association  between  the  proportion  of  firms  having  had  management  level  assistance  and  reporting  impacts  on  management.   30.    Analysis of the policy goals: improving capability via information or via  building skills     29. and those  who need assistance to gain the capability to implement their project. It may not if many of  the business level project firms see gains in performance from the project in future  months. or whether it is to assist them  build  their  capability. There is a caveat to this finding.    This  means  that  results  from  the  evaluation  show  that  firms having advice will usually also gain management level assistance and usually  8 .  whereas  firms  receiving  facts had higher rates of receiving business level assistance and not seeing changes  in  management  practice.  In  particular. and looked to see the impacts of each  project  type.  Firms  undertaking  business  level  projects are less likely to see such changes. The evaluation distinguished projects by whether they were improving business or  management  capability.  or  who  were  undertaking  management level projects. The evaluation also found that firms undertaking projects defined as management  level had significantly higher rates of gains in performance. So time is needed to see if the above finding holds.  At present.  firms  receiving  advice  had  high  rates  of  receiving  management  level  assistance  and  seeing  changes  in  management  practice.  The  evaluation  has  found  a  significant  association  between  the  proportion of firms having advice or not and having management level or business  level  assistance. The evaluation noted the fund is aimed at assisting both management and business  capability.  and  looked  to  see  the  impacts  of  each  project  type.  At  present. This means that results  from  the  evaluation  show  that  firms  undertaking  management  level  projects  will  usually  also  see  gains  in  their  performance.  two  types  of  firms  are  accessing  the  fund:  those  who can themselves implement the project but need information to do so. the fund is roughly split 50‐50 between two types of firms:  those whose goals for the grant were to improve their business’ capability. and firms  who  wished  to  improve  their  management  capability. or delivered information to firms. Firms undertaking business level projects are less likely to see such  changes. The  evaluation  distinguished  projects  by  whether  they  delivered  advice  to  build  capability.Analysis of the policy goals: management and business capability  25.

  but  this  relationship  may change with time.  it  seems  aiding management via advice is the best way to aid management to achieve gains  in performance. Operational recommendations for EDG.   36. Only those applications which fail the criteria should  be declined.  If  this  total  is  inappropriate  given  the  overall  quality  of  applicants.      6.  NZTE  are  currently  reviewing  their  criteria and scoring and it would be appropriate for MED to be involved in this.  then  the  positioning  of  the  fund can be reviewed.  A  better  feedback  mechanism  would  be  requiring  in  the  report  the  provision  of  information  on  difficulties  and  successes  implementing  the  project.  The  proportions  accepted  should  be  around  70%. This suggests firms receiving advice will see gains in  performance  at  a  higher  rate  than  firms  not  receiving  advice. Firms applying when the fund is fully subscribed or close to full subscription.  and  what  was  learnt  as  a  result.   39.  37. If an application is felt to have insufficient information it should be returned with a  request for more information. rather than being declined. The  evaluation  also  found  a  tentative  association  between  receiving  advice  and  seeing gains in performance. Consideration  should  be  given  to  advertising  the  fund  to  extend  its  reach  and  improve its ability to improve the perception of external advice in firms.  There  also  should  be  a  request  for  a  second  outcome  report  requiring  information  on  sales  six  or  twelve  months post end of project. Scoring  criteria  for  assessing  applications  need  to  be  defined  carefully  to  ensure  they may be applied objectively and filter applicants appropriately.  and  it  has  an  optional  provision  of  sales  data  which  most  firms  do  not  complete. Firms gaining facts are less likely to see such  changes.  33. This should be able to be compared to final outcomes  from  the  project  funded  by  the  grant.    34.   38.   35. As  management  level  projects  see  higher  rates  of  gain  in  performance.see changes in management practice.  should  be  held  over  to  the  beginning  of  the  next  financial year.  taken  from their description in the application form of the project and their goals for the  external advice or expertise. Currently one report is made by firms  to  NZTE  at  the  close  of  the  grant.  and  the  reasons  firms  are  declined. and  which  would  otherwise  pass. This is a crucial  part  of  ensuring  the  goals  of  policy  are  met.  and  would  place  both  an  evaluation  in  the  9 .  as  part  of  monitoring  the  proportions  of  firms  accepted  and  declined. It  is  recommended  NZTE  establishes  a  system  of  storing  electronically  data  from  the  application  forms  on  all  applicant  firms’  financial  and  capability  needs. The EDG assessment team needs a better feedback mechanism of the outcomes of  projects to help them in assessing applicants.   31. An  examination  is  made  of  the  quality  of  applicants  over  2005/6.   32.

The fund could be weighted toward firms wishing to gain advice.     7.future  and  NZTE  in  a  stronger  position  to  assess  changes  in  the  firms  post  intervention.  but  a  randomized  control  trial  takes  more  time  than  the  evaluation  had  to  implement  and  evaluate. The  evaluation  recommends  a  process  is  instigated  of  detailing  in  a  more  personalized  way  the  reasons  for  a  firm  being  declined.  The  evaluation  is  satisfied  that  the  evidence  gathered  by  survey  has  established  a  sufficient  association  between  the  fund  and  outcomes to merit the fund continuing. would need  to  be  revised. since it would mean withholding grants from  firms  thought  to  be  worthy  of  them. The  evaluation  concludes  that  the  EDG  is  effective  in  delivering  intermediate  outcomes. Determining additionality.     8. Overall conclusions     44. that is.  This  would  require  a  definition  from  MED  for  NZTE  of  at  least  the  core  of  what  ‘management  level’  is  (even  if  the  edges  of  the  distinction  with  ‘business level’ are left somewhat blurry). The  evaluation  recommends  a  second  look  is  taken  at  the  sample  in  six  to  twelve  months to re‐assess outcomes.  thereby  thwarting the goal of improving the perception of external advice. This can be done  by  adjusting  the  assessment  to  spot  these  sorts  of  firms.  in  order  to  prevent  these  firms  feeling  ‘brushed  off’  and  deciding  against  seeking  help  again. The opportunity can be taken of assessing the current situation of the  firms  who  had  reported  seeing  gains  in  performance. MED should be involved in establishing this system. and thus far has achieved for nearly half  of firms the final outcomes of  improved  firm  performance.  as  part  of  its  on‐ going monitoring of clients.  Further  evaluative  work  is  required  to  see  the  outcomes for the remaining half.    40.   45.  NZTE  may  be  in  the  best  position  to  undertake  this.  If the 37% who said it was too early to see benefits  from  the  grant  see  gains  in  performance  it  will  raise  the  success  rate  of  the  fund  significantly.   10 . Policy recommendations for EDG  41. whether the fund was the cause of the changes in  management  or  business  capability  and  in  firm  performance. To  target  the  fund  more  squarely  at  management  level  projects  the  assessment  of  proposals and possibly the description of the funds goals to the market. A well‐designed randomized control trial is the established method of  demonstrating  such  a  causal  link.   43.  is  usually  taken  to  require establishing that the fund is the sine qua non cause of the effects in question  via testing the counterfactual conditional that the effect would not happen without  the cause.  to  see  if  the  gains  have  continued.  and  would  conflict  with  the  aims and implementation of the fund. The evaluation was unable to demonstrate this with the methodology at  its disposal.  and  possibly  the  description of the fund to the market.   42.

  It  recommends  that  MED  review  the  overall size of the fund and whether it is reaching appropriate numbers of firms. The evaluation concludes that the Enterprise Development Grants should continue.46.  with  some  adjustments  as  specified  above.     11 .

Goals of the evaluation  47.  regional  and  sectoral  distribution  of  funding.     11. and the red  boxes  are  the  final  outcomes  that  the  intermediate  outcomes.  the  blue boxes are the intermediate outcomes the activities should produce. The  second  was  to  understand  the  delivery  of  the  fund.PART ONE: Evaluation Goals and Methodology. and learnt from them their processes and systems. should achieve. The  yellow  boxes  describe  the  problems  the  intervention  is  to  overcome.  and  met  with  the  NZTE  teams  and  personnel  who  manage  the  operation of the EDF. Methodology  54. The  third  goal  was  to  determine  whether  the  outcomes  policy  wished  to  achieve  were occurring for the firms undertaking the activities funded by the EDF.   53.   55.  the  activities  of  engaging  the  services  of  a  business  mentor.    49. and this should result in improved firm performance.   56.   52. The intervention logic describing the EDF is given below. To understand delivery the evaluation analysed the data collected by NZTE on the  firms who apply and are granted or declined a grant.  in  terms  of  numbers  of  firms  assisted  and  declined.   48.   50. In  other  words.  and  the  types of firms who had received funding.  improving  the  perception  of  the  value  of  external  advice. The intervention logic  51.  undertaking  more  advanced  management  and  technology  based  training. The evaluation used three different methods to meet its three goals.  the  pink  boxes  the  activities  the  intervention  will  undertake  to  overcome  the  problems.  This  would  inform  the  Ministry  whether  operation  design  was  consistent  with  policy  and  whether  the  operational  implementation  was  such  the  goals of the fund could be achieved. To understand implementation the evaluation considered the policy documents of  MED  and  NZTE.  and  so  the  intervention as a whole. The evaluation had three overarching goals.     10.  employing  specific  external  advice  and  expertise  in  a  management  area  and  undertaking  international  market  development  activities  should  result  in  improving  management  capability.  and  improving  collaboration  between  entrepreneurs  and  existing  firms. The  first  was  to  understand  the  operational  implementation  of  both  MED  and  NZTE  policy.   57.    9. To  understand  outcomes  the  evaluation  undertook  a  survey  of  a  representative  sample  of  accepted  and  declined  firms  and  questioned  them  on  their  reasons  for  .

  feasibility  studies.     12.  and  would  conflict  with  the  aims and implementation of the fund. giving a  total of 191. The survey was by telephone interview.   59.  is  usually  taken  to  require establishing that the fund is the sine qua non cause of any effects in question  via testing the counterfactual conditional that the effect would not happen without  the cause.  and what outcomes had been achieved. The evaluation surveyed 132 firms. The  sample  was  stratified  by  the  activity  types  available  under  the  EDG. The sample was a stratified simple random sample with a sample size  chosen  to  give  a  margin  of  error  of  5%  for  estimates  of  proportions. The  sample  was  selected  as  a  stratified  simple  random  sample  but  with  sampling  fractions which were similar in each stratum.   64.  and  the  activities  to  be  included  were  selected  by  MED  policy.  intellectual  property  protection. that is. the activities they undertook using the grant. Determining additionality. what they learnt.   62.  business  or  strategic  plans. The evaluation is satisfied that the evidence gathered by survey as it has designed it  would establish a sufficient association between the fund and outcomes to answer  questions of outcomes and the question of whether the fund merits continuing. and also very high. since it would mean withholding grants from  firms thought to be worthy of them. whether the fund is the cause of any changes in  management  or  business  capability  and  in  firm  performance. The  evaluation  was  unable  to  demonstrate  this  with  the  methodology  at  its  disposal. mentoring.  58.  systems  evaluation. training. market research and market plans.  This  gave  a  minimum sample of 129.  but  a  randomized  control  trial  takes  more  time  than  the  evaluation  had  to  implement  and  evaluate.   63. the data could be  analysed as a simple random sample. Methodology of the survey   61.  Policy  wished  to  know  the  outcomes  for  firms  undertaking  strategic  design.     13 .  A  well‐designed  randomized  control  trial  is  the  established  method  of  demonstrating  such  a  causal  link.applying for a grant.  certification. The population was all firms who had completed a project by April 2005.   60.  prototype.

Increased global connectedness Improved collaboration between firms 4. international management skills). to: 1. 3. exporting and leadership capability Improved firm  performance  Improved perception in  the value of developing  business capability    Improved  international  competitiveness  of  products/services  Lack of international  linkages/contacts  Improved perception of the value of seeking external advice Lack of business management capability (including export.Enterprise Development Fund Logic Model          Problems   Lack of early stage financing Impediments to collaboration. entrepreneurs. Also access issues. Engage the services of a business mentor Undertake more advanced management and technology based training Employ specific external advice and expertise in a management area Undertake international and domestic market development activities Improved business. start-ups. management.   Risk aversion of firms Undervalue  contribution of  external advice  . international business. 2. with resultant inefficiencies Activities   Intermediate outcomes Final outcomes                     Enterprise Development Fund provides funding to smaller firms. technology. after an initial capability assessment. exporters and groups of companies.

 the Export Network  programme  and  World  Class  New  Zealanders.    14. young firms. The foundation services were established to make acquiring the  skills and knowledge easier and more attractive for firms.  Acquiring  them  may  be  made  difficult  by  the  expense  of  purchasing external advice and expertise and a belief that expertise is not required  or is not valuable. Three  Industry  New  Zealand  and  Trade  New  Zealand  programmes  were  amalgamated to form the EDF: the Enterprise Awards Scheme. small businesses often do not realise their full potential. In April 2003 Cabinet agreed to establish the Enterprise Development Fund as part  of the Foundation Services of NZTE. Policy objectives for the Enterprise Development Fund   67.  banks  and  other  financiers  for  information.  These  three  all  delivered  funding  assistance to firms. (EDC (03) 54 refers)    66.  The rationale was that  running a business requires skills and knowledge that small young firms may not  yet  have  acquired.PART TWO: Policy Rationale for the   Enterprise Development Fund    1. MED Policy    13.  including  business  planning. The rationale was given  in EDC (03) 54 as:  Small  businesses  and  entrepreneurs  often  lack  the  financial  ability  to  employ  all  the  expertise  they  need  to  get  new  concepts  and  projects  up  and  running. This is to assist innovative firms and entrepreneurs to build capability by  enabling them to employ expertise and advice. via information.    68. The goal of the former Enterprise Awards Scheme (EAS) became the overall goal of  the EDF. training and financial assistance.   Without such advice.   As a result. they are often unable to satisfy the requirements  of  investors. young entrepreneurs and  start‐ups. The Foundation Services are to assist small. Policy objectives for the Foundation Services   65.    They  also  tend  to  undervalue  the  potential  contribution of expert advice on key elements of their business ideas.  approaches  to  preserving  the  value  of  intellectual  property.  .    These  barriers  could  be  overcome  if  access  to  information  was  made  simpler  and  business  operators  were  provided  with  better  opportunities  to  acquire  the  skills  and  knowledge  to  improve  their  management capability.  and  how  they  plan  to  market  their  products  and  services.

 production management)  − Undertake  international  market  development  activities.    − Accessibility: the limited capability of small business owners to self‐appraise their  needs limits the programmes ability to effectively address critical capability issues.  including  new  market  investigation.  where  any  firm  which  met  certain  criteria  gained  assistance.69.  intellectual  property. The  design  of  the  EDF  was  to  address  issues  with  its  predecessor  schemes.000‐ an increase from the  EAS  total  of  $10.000.  This  is  per  applicant  per  annum. Polytechnics etc)  − Employ  specific  external  advice  and  expertise  in  a  management  area  (such  as  feasibility  studies.  and  is  for  businesses  and  entrepreneurs to:  − Engage the services of a business mentor for a period of time  − Undertake  more  advanced  management  and  technology  based  training  (as  delivered through existing providers such as NZIM.   The limited funding  of the EAS lead to a  greater focus on high growth and more  established businesses than was intended.  environmental management. trade fair participation.  human  resources.  The  issues were:  − Criteria:  the  EAS was  a  relative.   16 .  where  the  top  proportion  per  month  received  assistance.  70. trade/business missions.  and  the  quality  of  the  proposals  accepted  for  funded varies from round to round as approval is relative.  − Overlaps:  There  were  overlaps  with  the  case  managed  Business  Growth  Fund. business exchanges.  e‐business. Funding is for 50% of total costs up to a maximum of $20.   − Application  turnaround:  businesses  often  did  not  know  for  up  to  two  months  whether their application was successful.  market  research.  and visiting buyers.  strategic  planning.  awards based  scheme.  enhancement  and  uptake  of  new  technologies. The EDF was to be an  objective  criteria‐based  scheme.

 or high levels of  growth for the applicant once commercialised or undertaken. NZTE gave the detailed report back on its proposed operational design  and criteria for the EDF requested in EDC (03) 54.   73.  NZTE  undertook  to  provide  clients  with  assistance in completing application forms. In  a  paper  to  the  Integration  Ministers  (Paper  to  the  Integration  Ministers  4  July  2003 refers). and  aimed for a five day turnaround from receipt of applications. NZTE anticipated a fast turnaround of applications. Criteria for projects    74.  − Overlaps: the fund would remain accessible and responsive to start‐up businesses  and entrepreneurs not yet in business.000 and for 50% costs. The activities to be funded were also the same. NZTE  noted  it  expected  high  levels  of  demand  for  the  EDG.    16. The  paper  noted  that  the  EDF  was  an  amalgamation  of  the  three  predecessor  programmes  and  that  it  would  remain  similar  to  them. where only  17 . These  are:  − The  project  must  have  good  commercial  potential  and  add  value  to  an  existing  business or an entrepreneur’s current activities  − Applicants must demonstrate that they have the capacity and capability (including  financial and planning support) to carry the project through to commercialisation  − The project or activity must be capable of generating high returns.  Being  aware  that  applications  forms  and  the  information  required  must  still  be  reasonably  demanding  to  ensure  accountability.2.  It  also  noted  that  grants  were for $20. These were:  −  Criteria:  the  fund  would  adhere  to  clear  criteria  and  would  centralise  all  final  approvals within NZTE. NZTE proposed some additional design features. NZTE policy      15.   − Application  turnaround:  the  approval  processes  would  ensure  a  high  level  of  responsiveness to clients. NZTE established criteria for the project or activity firms wished funding for.  − The project must be consistent with relevant laws and regulations    17.  because  it  had  experienced high levels of demand for the Enterprise Awards Scheme. Design of the Enterprise Development Fund  71.   − Ease  of  application:  the  application  forms  for  the  EDG  and  background  material  would  be  as  clear  and  as  easy  to  complete  as  possible. Scoring of applications     75.  72.

  A  half  of  these  have  been  strategic  development  or  product  development  grants  and  a  quarter  have  been  mentoring or training.   77. FRST and NZTE have begun to align the delivery of EDG and Smartstart (EDC Min  (04)  25/5  refers).30% of applicants were accepted. Applications were proposed to be  scored  against  criteria  with  weightings  so  certain  criteria  were  more  important  to  achieving the critical score. In  July  2005  (subsequent  to  the  evaluation’s  timeframe)  Ministers  agreed  to  revise  the  EDG  criteria  to  make  clearer  the  distinction  between  programme.  entry  and  assessment criteria. Future changes: devolvement and criteria for 05/06  76. so only those applications which best met the goals of  the programme and of NZTE received funding.  The  alignment  involves  devolving  grants  of  $5000  and  less  to  an  agency network.  is  15%  of  all  EDG  grants.  18 . and  − Level  of  difference  the  funding  will  make  (previously  “level  of  need  for  govt  assistance/funding assistance and a catalyst for growth”). The revised assessment criteria are now:   − Robustness of project plan. This.  on  numbers  to  date.   − Potential  to  improve  business  performance  (previously  “potential  for  growth  and benefit to regional/national economies”)   − Net  benefit  to  NZ  of  improved  business  performance  (previously  “level  of  innovation or additionally associated with the project or activity”).  − Ability  of  business/individual  to  undertake  activity  (“previously  ability  of  organisation  to  implement  project  or  activity  and  their  commitment  and  drive  to  undertake  planned  work”.  This  criteria  also  picks  up  “financial  and  organisational stability”). The last quarter are evenly spread across the activities.    79. and to speed up assessment processes (EDC Min (04) 25/5 and  The  coordinated  services  delivery  project  update  of  22  July  2005  refers). The criteria were given as:  − Robustness of the project plan  − financial and organisational stability  − ability of organisation to implement project/undertake activity  − level of innovation or additionality associated with the project or activity  − level of growth within the organisation and likely economic benefits  − level of need for government assistance    18. NZTE proposed to score proposals for the EDG to  ration demands for funding.  NZTE  aims  to  implement the criteria and scoring system by 1 October 2005.   78.

  and  this  is  a  sufficient step to ensure the firm is financially able to undertake the project.80.  principally  because  the  firm  must  expend  the  full  amount  prior  to  reimbursement  by  NZTE. NZTE  has  removed  ‘financial  ability’  as  a  criterion.   19 .

  and  the  Export  Network  Programme.  Client  managers  were  notified  and  they  invited  firms  on  their  books  whom  they  deemed  appropriate  to  apply.  delivered  by  Trade  New  Zealand and Industry New Zealand. EN  received $4.  It  did  this  by  assisting  groups  of  firms  to  take  advantage  of  market  opportunities  which  individual  firms  could  not.613M between the EN and the EDG. The selection of offshore activities by NZTE was sector‐led: events were ranked by  their  degree  of  fit  to  NZTE’s  sector  priorities. The  primary  issue  for  MED  with  EN  was  the  order  of  practice. World Class  New  Zealanders.  Funding  for  Enterprise  Networks was moved to operational expenditure (CAB Min (04) 38/4 refers).  It  was  renamed:  ‘Enterprise  Networks’  (EN). Export Networks aided firms in their exporting efforts by assisting groups of firms  to  target  high  quality  market  development  opportunities  offshore. Programme implementation    81. Response by MED to the Enterprise Networks implementation   88. NZTE have been invited to  give the  policy framework for these activities.  89.  but  kept  altogether  separate. NZTE  has  implemented  the  Export  Networks  Programme  into  the  EDF  quite  differently  from  its  implementation  of  the  other  two.     20. EN is now part of NZTE’s sector facilitation activities.  in  fact  it  could  be  argued  it  was  not  implemented  into  the  EDF  at  all.  NZTE  selected  offshore  opportunities  and  requested  interest  from  firms  in  those  activities. NZTE split the appropriation for EDF of $8.    85.  Firms  not  selected  could  not  apply.  Targeting  export  education  breaches the EDF criteria of no common ownership.  The  other  two  predecessors  are  renamed  Enterprise Development Grants (EDG). The  design  principles  of  the  EN  contradicted  CER.   83.   86. The EDF was to be an amalgamation of the former Enterprise Awards. A number of firms larger than  criteria for EN have accessed the fund. MED considered the implementation of EN  sufficiently different from their  policy  objectives  to  remove  Enterprise  Networks  from  the  EDF.   82.  thereby  achieving  gains  in  forex  performance  unavailable to individual firms.  84. EDG the rest ($4.413M).   20 .48M.  rather  than  establishing  a  process  whereby  firms  applied  for  funding  to  attend  offshore  activities they had selected.  Offshore  activities  which  were  not  selected  by  NZTE  were  not  available for firms    87. and MED is currently  in  discussion  with NZTE on this.  and  those  which  fitted  best  were  chosen  for  the  year’s  EN  activity.PART THREE: Findings and Recommendations on the  Implementation of Policy    19.

   Firms  can  apply  for  the  fund  directly  to  the  team  using  applications  from  the  NZTE  website.    The report ends its evaluation of EN here. or reassess them. each member of the team has large numbers of EDF and other  NZTE  clients. but this is not obligatory.  At  this point they either confirm the assessment. 93. They are not closely watched by NZTE.       21. There are 14 members of the  team.  Individual  client  managers  may  choose  to  ring  firms on their books. 95.  but  careful use of advice on potential is also of benefit to firms who are clearly outside  the criteria.  As  they  have  so  many.  The  team  has  two  hats. The rest of the report is on the  evaluation of the remainder of the EDF: the Enterprise Development Grants  scheme.  but  more  frequently  as  necessary. Operational implementation: the Business Evaluation Team  90. If firms were declined only because they lacked information but are  21 94. reviews applications and may personally advise  firms  on  whether  the  applications  are  sufficiently  complete  and  what  additional  information  is  required.  If  firms apply directly to the enterprise development team and do not have a client  manager.   91. There are four members. The  Enterprise  Development  Team  is  the  central  point  of  assessment  for  applications for the fund.  to  discuss  their  assessment  of  applications. The team then meets.   22. Hence EDF clients are called ‘light  touch’ firms.  the  team  finds  them  a  suitable  client  manager.    Firms are notified by letters if they are accepted or declined. Operational implementation: the Enterprise Development Team  92.  There  is  potential  tension  between  these  two  roles.  They  have  a  pre‐assessment  role. .  they  are  not  expected  to  have  a  proactive  relationship  with  all  their  clients.  As client managers. 96.  where  the  team  assists  firms with the filling out of firms. and then assess them. The assessment process is discussed further in paragraphs 102‐133  The team’s other hat is assessment. From December 2004  letters  to  declined  firms  were  changed  to  include  details  on  why  the  application  was declined. Their process is to divide applications among  team members.  or  can  be  guided  to  the  team  by  the  business  evaluation  team.  The  Business  Evaluation  Team  is  also  the  ‘frontline’  team  who  handle the calls to the NZTE hotline phone number. usually once a week. The  client  managers  for  most  firms  using  the  EDG  are  those  of  the  Business  Evaluation  Team.  usually  one  from  the  business evaluation team.

   97.  NZTE  stated the turnaround would be 5‐days from receipt of application.   The team is encouraged to become familiar with business.   102. and there are  some issues in meeting this.  and  sends  applications  back  when  they  need  more  information. as this unfairly disadvantages firms applying late in the  financial year. See section 33 for further details. Firms  are  assessed  against  criteria.felt  to  have  potential  they  are  encouraged  to  re‐apply  with  the  additional  information.   104. Design of the Enterprise Development Grants scheme  98.       22 . It  would  be  more  consistent  with  a  criteria‐based  scheme  if  firms  applying  very  late were held over and approved against the criteria in the first weeks of the new  financial year.  because  it  assists  firms  fill  out  their  applications.   100.   Assessment against criteria   99. but  should not raise it again before the end of the 05/06 year.   Recommendation  101. Having raised the scoring NZTE intends to leave it at this level.   The  evaluation  examined  whether  design  issues  and  proposed  design  (given  in  part two) have been met and implemented. See section 31 for  further details. NZTE  aims  for  a  fast  turnaround  of  applications  once  they  are  complete. Instead. by allowing members to  visit other NZTE client managers based across New Zealand. At the end of the 04/05 year  the  score  firms  had  to  achieve  was  raised  in  order  to  prevent  an  over  spend. NZTE says it maintains a seven  day turnaround from this point.     Turnaround of applications  103.  NZTE  counts  its  turnaround  from  the  date the application form is sufficiently complete. and not because they do not qualify. NZTE does not on average make a 5‐day turnaround  from receipt of application.   23. and assessment does  not always adhere to criteria in ways clear to firms (even if the criteria themselves  are clear to firms).    However  there  are  some  issues  with  assessment which means it is not as objective as it might be. Firms who apply late in the financial year are declined only because the funding  year is finished. Scoring should not be raised only to prevent an over‐spend apparent towards the  end of the financial year.  suggesting firms applying later in the year were disadvantaged.

Most firms did go on to say the process was long‐winded and took a great deal of  time‐ for some days. Many  also  noted  that  the  process  of  writing  out  their  business  plan  and  plan  for  the project for the application form was beneficial for their own clarity of business  goals and current situation. others hours. See sections 45 and 46 for  further details. growth. Advertising the fund more broadly may solve this issue.  The  majority  of  firms  said  that  given  what  resulted  from  the  grant  it  was  worth the time and effort. The  accessibility  of  the  fund  is  limited  by  its  being  advertised  to  economic  development  agencies  and  other  consultants.  However  there was no definition of what ‘young’ meant. having received funds  and seen a benefit.    111.       Accessibility  106.   109. The delivery of the fund by NZTE has been successful in avoiding overlaps with  the  Growth  Services  Fund. or capability. EDG  clients  are  typically  low  growth. The  evaluation  asked  the  sample  of  firms  it  surveyed  about  the  length  of  application  time  and  whether  firms  were  satisfied  with  the  time  it  took  them  to  apply. The latter leaves firms in considerable uncertainty.    112.  NZTE  have  added  to  the  eligibility  criteria  the  requirement that firms have a turnover of less than NZ$5M and/or 20 FTEs or less. they were felt the grant was worth the time it took to apply.   Recommendation  107. On the whole however.Recommendation  105.  because  only  firms  already  seeking  assistance  or  advice  will  learn  about  it. or whether it was to be interpreted  in terms of age. for example.     Ease of application process   110.     Overlaps  108.  This  lessens  the  chances  the  fund  will  encourage  those  firms  who  don’t  usually  seek  external  advice  to  do  so.  and  not  when  there  is  insufficient  information  to  tell  whether it ought to pass or fail.  low  turnover  and  fairly  young.  It  also  limits the fund to those who have already decided they have a capability gap.  The  evaluation  recommends  declining  applications  only  when  the  firm  actually  fails  the  criteria. or. however advertising the  fund broadly must be balanced against the potential resulting problem of the fund  selling out very quickly in the year.   23 . It may be preferable to resolve the inconsistency of returning applications for more  detail  and  declining  applications  but  with  an  invitation  to  reapply  with  more  detail.

   Number Satisfaction with the time taken to apply Sample of closed projects 1/10/2003 to 4/2005 120 100 80 114. The evaluation can not tell how many  firms  did  give  up  in  filling  out  the  forms and never applied.  it  may  be  worth considering.   116.     Recommendation  117. The only variation which is permitted is to change the external  provider. NZTE  notes  it  must  balance  flexibility  in  process  with  the  time  it  must  spend  evaluating whether a change in a project is appropriate and whether it changes the  project sufficiently it as a whole no longer qualifies for funding. and often things eventuate which they didn’t anticipate. To  get  around  this. The categories for the criteria for the time‐frame of the evaluation were:   − robustness of proposal  − financial and organisational stability  24 .  If  there  were  ways  of  shortening  the  application  forms.  to  give  them  the  freedom  to  add  tasks  later.113.  and  yet  still  have  the  project fit the original broad application.   119. From  implementation  until  October  2005  the  criteria  which  have  been  used  to  assess  firms  were  as  initially  proposed.   115. This issue might best be considered when the devolvement is evaluated.  The  claims  must  match  the  tasks  laid  out  in  the  original  application form. Some firms  told  the  evaluation  they  nearly  gave  up. Some  firms  commented  that  they  60 wished  for  more  flexibility  in  adjusting  the  project  once  it  had  40 started.     Criteria and scoring of proposals  118.  firms  try  to  have  applications  accepted  with  minimal  information. Many firms find as the project develops that they need to add tasks to it. It feels the costs of  this will outweigh the benefits to firms. The  firms argued that this is the nature of undertaking early‐stage projects. With  devolvement  it  may  be  that  issue  of  adjusting  projects  mid‐way  can  be  ameliorated  with  the  greater  degree  of  contact  between  firms  and  the  delivery  agents.  NZTE  will  not  reimburse  20 firms  for  additional  tasks  on  the  0 project  to  those  in  the  original  worth it Not worth it Worth of time taken application.  (The  changes  made  subsequent  to  the  time‐frame of the evaluation were given above).  and  firms  have  explained  to  the  evaluation  that  they  cannot  predict  the  project  exactly one year out.

    Recommendation  126. The scores are  then  weighted.  and  so  they  have  decided  to  cease  meeting  regularly  to  check  consistency of scoring. The team is to match the application to the description and score accordingly.   121. The higher the score the better an applicant does by that criterion.   124. For  example  under:  ‘ability  of  organisation  to  implement  project  or  activity’  the  descriptions and scores are:   1‐3     Lack of or limited experience in the industry   Lack of or limited experience in business  Management depth appears light in some areas  4‐6  Demonstrated level and depth of management experience  Demonstration of drive to succeed  Evidence of transferable skills  Mentors/support work engaged as needed  7‐10  Demonstrated depth of management experience  Experience in industry  Obtains external advice or mentoring  122. An applicant must get a total of 570 overall to be approved.   123.  however  they  have  reported  to  the  evaluation  that  there  is  close  consistency  in  scoring  by  the  members. An  applicant  must  obtain  a  minimum  of  4  out  of  10  for  ‘growth  potential’  and  ‘innovativeness of product’ and 3 out of 10 for each of the others to be approved. Under  each  category  have  been  added  descriptions  and  corresponding  scores. The  evaluation  has  noted  that  there  is  some  ambiguity  between  the  criterion  addressing  ability  of  the  firm  to  implement  the  project  they  seek  funding  for.  Multiplied. The  team  meets  regularly  to  confirm  assessment  scoring.− ability  of  organisation  to  implement  project  or  activity  and  their  commitment  and drive to undertake planned work  − potential for growth and benefit to regional/national economies  − level  of  need  for  government  assistance/funding  assistance  as  a  catalyst  for  growth  − level of innovation or additionality of the product/service of the value added to  existing  120.  125.  25 . that is 80 out of 100 and 45 out of 100 respectively. The others are multiplied by 15.  The  scores  an  applicant  receives  under  ‘growth  potential’  and  ‘innovativeness of product’ are multiplied by 20.  ranging from poor to good.

   130.’  128.  strategic design advice)  − feasibility studies  − product  development  (including  prototype  design. and not the degree  of experience (measured. say.’ They will fail the criteria if they have: ‘lack  of  or  limited  experience  in  the  industry’  or  ‘lack  of  or  limited  experience  in  business’ or ‘management depth appears light in some areas. by years). It  seems  inconsistent  with  building  capability  if  a  lack  of  or  limited  amount  of  experience fails a firm. Firms gain higher scores and thereby are more likely to be granted an award the  more  experience  they  have. The activities currently available are:  − strategic business development (including business/strategic plan development.  131. Project activities available under EDG  132.   127.  really  do  indicate  the  funding  makes  the  required  difference. environmental management  system)  26 . The  evaluation  recommends  MED  is  involved  in  assisting  with  development  of  the scoring criteria for the EDG assessments. or  when and where a spillover would occur. The EDG can then be more easily aimed  at those firms with certain basic skills who lack more sophisticated skills.  For  example.  intellectual property protection)  − business  and  operational  excellence  (including  international  quality  standards  certification. and the capability‐building goal of  the fund.  financial  viability  planning. The  tests  for  net  benefit  to  NZ  are  improved  productivity  and  efficiency.  human  resource  strategic  plan  development.  development  and  testing.which is measured by management experience. It may help if the criterion and scoring refer specifically to  the minimum kind of experience firms should have. The  full  range  of  project  activities  available  to  firms  through  the  EDG  is  broader  than first proposed.  limited  displacement  (displacement  would  result  from  funding  firms  with  significant  domestic  focus  and  significant  domestic  competition)  and  presence  of  spillovers.    They  gain  between  7  and  10  points  if  they  have:  ‘demonstrated  depth  of  management  experience’  or  ‘experience  in  industry’  or  ‘obtains external advice or mentoring.    24. to qualify.   129. systems evaluation and development.  If  they  don’t. Translating  high  level  concepts  into  concrete  variables  (operationalising  the  concepts)  is  a  crucial  part  of  ensuring  the  goals  of  policy  are  met.  ‘level of difference’ must be operationalised in such a way that the variables which  are  to  indicate  funding  will  make  a  level  of  difference.  firms  are  not  truly  being  assessed against that criteria.  These  are  still  high  level  concepts  requiring  variables  which  can  identify  in  a  project description when and to what degree productivity would be improved.

 and so  most  of  the  allocations  have  gone  to:  intellectual  property  protection. and some are rarely taken up by firms.  strategic  business  development. marketing plans).  and  strategic  design  advice.  but  are  not  all  equally popular. The most popular.− e‐commerce and e‐business strategies (including development of a e‐strategy)  − Market  strategy  development  (including  market  research  or  new  market  investigation.    27 .   133. These  activities  cover  a  very  broad  range  of  possible  activities.  See  section 47 for further details.  prototype  development.

 from October 2003 to  end June 2005. This covers the time from implementation until the end of the 04/05 year. NZTE allocated $4.    141.  Uptake of the fund    Note: for section 3 and 4 only the evaluation reports on data for 20 Months.     26.133M to EDG.798.424.   140. for  example.11.253.266M  137.  the  development  of  a  network  of  consultants  able  to  help  businesses and willing to encourage businesses to seek their help. Conversely.PART FOUR: Findings and Recommendations on   Delivery of EDG    Note:  NZTE  has  some  problems  with  its  data  system  and  has  difficulties  extracting  data  from  it. The total appropriated to the EDG for 03/04 and 04/05 is $8.   136.  for  example. In 20 months NZTE has received 809 applications for the Enterprise Development  Grants capability building component.4% of  the total grant data for EDF. Total number of applications  139.     3. Total allocations   135.     25. There are possible impacts of delivery that the evaluation is unable to determine  exactly.   138.  This is 17. The evaluation has no details on these applicants and so has not included them  in  its  analysis.    134. that is. The evaluation has a total allocation for 03/04 and 04/05 of $6.  Quarterly  report  figures  have  a  total  allocation  for  EDG  of  $M7.  it  is  possible  that  the  fund  stimulates  consultants  to  adjust  their  fees  upward to take advantage of the 50:50 funding. By NZTE quarterly report figures there was an under spend in 03/04 but 04/05 was  fully  subscribed. In the 2003/2004 year there were 320 applications.       28 .  This  is  a  53%  increase  from  03/04 to 04/05.  The  evaluation is aware that details on at least 153 applications are missing from its data set.  The  evaluation  is  confident  the  data  it  has  is  sufficient  to  give  an  accurate  picture  of  the  delivery of the EDG to date. In  the  2004/2005  year  there  were  489  applications.

00 $20.  68  (8%)  reapplied  for  the  same  project.   149. This is a 40%  increase from 03/04 to 04/05.00 2003/2004 Amount claimed 147.000.00 $25.   144.  and  34  accepted.000. Note  that  firms  reapply.000. The data from the call centre does not give a picture of the interest in EDG  going via the centre.000.     28. Calls to the Business Evaluation Team  152. In  the  period  October  2003  to  June  2005  EDF  has  approved  570  applications  and  declined 216 applications.000.   29 .  Three  were  declined  twice  then  accepted.27. The  graph  right  shows  firms  who  reapplied. 136  firms  (16%)  have  reapplied  for  the  EDG.    29.00 $0.   $20.   146. Firms claiming two grants are  represented by dots in the middle of the  graph. EDG inquiries can be made to the business evaluation team who run the ‘frontline’  NZTE hotline number.00 $0.000. 399 firms applied in 04/05.00 $10.00 $5.   145.  and  so  there  have  been  more  applications  for  the  grant than there are firms applying  143.  The  evaluation  has  recommended  earlier  that  a  clear  distinction  be  made  in  assessment  processes  between  returning  applications  for  more information and declining applications. Over 20 months from October 2003 to 30  June 2005 684 firms have applied for the  EDG. Approval rate   148.  Some  of  these  have  been  returned to firms who did not reapply.00 Firms returning for a second grant 1/10/2003 to 30/6/2005 2004/2005 Amount claimed $15.000. and the team may recommend firms to apply for an EDG  grant. and the difference from the earlier total given of applications  (809)  is  that  that  was  number  of  applications  handled.    151. In  the  2003/2004  year  251  applications  were  accepted  (81%)  and  57  declined  (18.00 $10.00 $5.    150. Total number of firms  142. In the 2004/2005 year 319 applications were accepted (68%) and 159 were declined  (33%). The small size of the EDG limits its  impact on SMEs. This is 786 in total.5%).000.  Those  who  did  not  receive  two  grants are the dots on $0 on both axes.000. 285 firms applied in 03/04.00 $15.  with  20  of  those  declined  again.

The  call  centre  does  not  tally  distinctly  the  various  NZTE  grants.  so  all  grant  inquiry  by  telephone  is  under  ‘grants.   Applications lodged Applications assessed 1/10/2003 to 7/4/2005 80 80 1/10/2003 to 30/5/2005 60 Number of assessments Number of applications 60 40 40 20 20 0 DEC 2003 DEC 2004 SEP 2004 FEB 2004 FEB 2005 OCT 2003 OCT 2004 JUN 2004 MAR 2004 MAR 2005 JUL 2004 NOV 2003 NOV 2004 APR 2004 JAN 2004 JAN 2005 MAY 2004 AUG 2004 0 DEC 2003 DEC 2004 SEP 2004 FEB 2004 OCT 2003 OCT 2004 FEB 2005 JUN 2004 MAR 2004 NOV 2003 MAR 2005 NOV 2004 APR 2004 AUG 2004 APR 2005 JAN 2004 JAN 2005 MAY 2004 MAY 2005 JUN 2005 JUL 2004 Month Month 30 .153. Note the surge in numbers lodged in June and July  2004. Change in application numbers over time  Number Inquiries to the hotline team 1/17/2003 to 30/4/2005 3000 Total calls Web inquiries 2500 Grant advice 2000 1500 1000 500 0 JUL 2003 AUG 2003 SEP 2003 OCT 2003 NOV 2003 DEC 2003 JAN 2004 FEB 2004 MAR 2004 APR 2004 MAY 2004 JUN 2004 JUL 2004 AUG 2004 SEP 2004 OCT 2004 NOV 2004 DEC 2004 JAN 2005 FEB 2005 MAR 2005 APR 2005 Month 155.  with  the  corresponding  surge  in  assessments  in  June  and  August  2004  and  carrying over through September and October 2004.   156.  but will not be a decrease in genuine  hits.  Numbers  applying  jumped  in  April  2004  to  roughly  fifty  a  month  and  have  remained  around that total.   154. NZTE is working  to build  firewalls.  After  a  small  beginning. The  graphs  below  show  applications  lodged  (graph  below  left)  and  applications  assessed (graph below right). The  data  on  web  hits  does  not  exclude  hits  generated  by  spam.  the  interest  in  EDG  grew.  so  the web data does not show whether  genuine  hits  have  increased  or  decreased.    30. There has been an increase in the numbers applying to the EDG over the two years  of  its  operation.’  From  03/04  to  March  04/05 (see graph right) the number of  requests  for  grants  handled  by  the  hotline call centre looks steady.  and  notes  that  this  will  show  as  a  marked  decrease  in  hits.

       31 .  and  many  applications  lodged  in  July  look  to  have  been  assessed  in  August.  presumably  as  a  result  of  yearend  03/04  activities. There  was  a  drop  in  decisions  in  July.157.

   162. Change in approval rate over time  158.   160. which is an increase of 27%. This  shows  that  over  the  two  years  of  delivery  there  has  been  a  change  in  the  approval  rate.50) in May 2005. From  03/04  to  04/05  the  number  of  applications  which  have  been  declined  has  increased from 57 to 159. with the dark line added to show the trend.    Declined applications over time Accepted applications over time 1/10/2003 to 30/5/2005 60 Declined applications Moving average of declined applications 60 1/10/2003 to 30/5/2005 Accepted applications Moving average of accepted applications 50 50 40 Number Number DEC 2004 40 30 30 20 20 10 0 DEC 2003 SEP 2004 FEB 2005 FEB 2004 OCT 2004 JUN 2004 MAR 2005 MAR 2004 JUL 2004 APR 2005 APR 2004 NOV 2004 NOV 2003 JAN 2005 JAN 2004 AUG 2004 MAY 2005 MAY 2004 10 DEC 2003 DEC 2004 SEP 2004 FEB 2004 OCT 2004 JUN 2004 FEB 2005 MAR 2004 MAR 2005 JUL 2004 APR 2004 NOV 2003 NOV 2004 AUG 2004 APR 2005 JAN 2004 JAN 2005 MAY 2004 MAY 2005 Month Month       161.80)  in  November  2003  to  60%  in  August 2004 and 50% (0. The graph below right shows that the numbers declined are increasing.  consider  the  ratio  of  acceptances  to  declines.  The  graphs  below  show  the  numbers  accepted  and  declined  over  time. As  another  way  of  viewing  this  change. Assessment of applications    31. The  graph  below  left  shows  that  the  numbers  of  accepted  applications  are  in  decline.   32 . If  the  numbers  accepted  and  declined  over  the  total  number  of  applications  is  examined  (graph  below  right)  it  can  be  seen  that  the  proportion  of  applications  accepted  has  steadily  declined  from  80%  (0.    159. The number of applications  accepted has increased from 251 to 319.4. which is an increase of 179%.

163. Put another way, the number of  applications  declined  has  risen  from below 20% (0.20) to around  50% (0.50).   164. This  is  a  large  change.  It  has  resulted  in  a  very  large  decline  rate.   165. The  change  in  the  proportions  accepted and declined may have  a number of explanations.  

Proportion of applications accepted and declined over time

1/10/2003 to 30/5/2005
Accepted applications 0.8 Moving average of accepted applications Declined applications Moving average of declined applications

Proportion

0.6

0.4

166. First,  demand  for  the  fund  may  0.2 be  higher  than  the  EDG  can  currently  accommodate,  and  so  the  EDG  team  is  forced  to  fail  Month more  applications  than  they  can  pass.  Second,  it  might  be  that  over time the applications are lowering in standard. Third, there may have been a  change in assessment methods. Fourth, the there may be an issue with the criteria  themselves.  
DEC 2003 JAN 2004 AUG 2004 SEP 2004 DEC 2004 FEB 2004 MAR 2004 MAY 2004 JUN 2004 OCT 2004 NOV 2004 JAN 2005 FEB 2005 NOV 2003 MAR 2005 APR 2005 APR 2004 JUL 2004

167. Examining  the  expenditure  of  the  fund  (the  data  the  evaluation  has  will  be  sufficiently accurate to allow this) shows it was not in serious danger of being over  subscribed  early  in  the  03/04  year  when  acceptance  numbers  first  declined,  nor  even toward the end of the 04/05 year when declines reached over 40% (see table  Allocation right).  In  March  2005  the  fund  still  had  ¾  of  a  million  Date dollars  left  to  spend.  Decreasing  numbers  of  accepted  October-03 $183,604.23 applications  seems  inconsistent  with  an  effort  to  prevent  November-03 $236,002.47 December-03 $383,350.52 oversubscription.  
January-04 $247,223.25

168. The  second  possible  explanation  was  a  change  in  the  February-04 $115,889.17 March-04 $225,215.89 standard  of  applications.  This  may  be  due  to  a  change  in  April-04 $404,186.75 the types of firms applying. Perhaps a truly representative  May-04 $456,915.74 standard of applicable firms is now being seen by the team;  June-04 $703,380.07 Total $2,955,768.09 because better than average firms applied early in the life of  the fund.  
August-04 169. As  NZTE  does  not  advertise  the  fund  widely,  in  its  early  September-04 days  only  those  firms  who  are  proactive  about  seeking  October-04 assistance  would  have  known  about  it.  These  firms  may  November-04 December-04 have also been better than average.   $117,510.73 $593,816.55 $468,432.43 $465,113.12 $334,250.10 $361,215.81 January-05 $307,229.22 February-05 $391,522.81 March-05 $347,920.68 Total $3,387,011.45 July-04

170. If this is the case, the score to pass the criteria is higher than  the average firm can manage, and perhaps is too high. 

171. Conversely,  the  change  in  standards  may  have  arisen  because  without  advertising,  only  those  firms  who  approach  economic  development agencies or other consultants discover the fund. These firms may be 
33

MAY 2005

less  able  than  average.  If  this  is  the  case,  advertising  may  raise  the  standard  of  firms applying.   172. NZTE has recently raised the maximum score firms had to achieve to be awarded  the grant, from 570 to 585. This was in March 2005 and was said to be in order to  prevent an over spend in the 04/05 year. However as shown above there was a fair  bit  of  money  still  available  in  March,  and  the  decline  in  proportions  accepted  began  earlier  than  March,  so  this  cannot  be  the  explanation  for  the  trend  as  a  whole.  If  the  standards  of  firms  applying  have  declined,  raising  the  score  will  compound the issue. This will be able to be seen in the approval rates next year.  173. Finally,  the  standard  of  applications  may  explain  increasing  levels  of  declines  if  sufficient numbers are declined for poor quality applications, but are subsequently  approved. However the numbers in this situation are too small for this. Only 8%  were declined and then reapplied for the same project.   174. The third possible explanation was a change in assessment methods.   175. NZTE  has  told  the  evaluation  that  their  assessment  has  become  more  thorough  with  expanded  assessment  instructions  implemented  in  January  2005.  The  expanded  assessment instructions contained detailed instructions for the existing  scoring requirements to help the EDG team score applications. These might have  made  it  easier  to  determine  the  standard  of  the  applications,  causing  higher  numbers  to  be  declined,  or  they  may  have  made  it  tougher  for  firms  to  pass  assessment and be approved. Again, this change was implemented too late to be  the cause of the decline.   176. The final possible cause was an issue with the criteria and their application.   177. In assessing applications by applying criteria the team makes a decision, and the  evaluation  has  looked  at  the  information  the  team  has  at  its  disposal  to  make  its  decisions, and how that is translating into decisions. Understanding this may help  in understanding why there is a trend of increasing declines.   178. Considering  first  the  reasons  for  declining  firms,  after  December  2004  (which  is  the  date  from  which  NZTE  kept  detailed  records  on  their  reasons  for  declining  firms),  75%  are  failed  on  ‘potential  for  growth  and  benefit  to  the  economy’,  62%  are  failed  on  ‘level  of  innovation  of  the  product  or  service,  or  value‐add  to  the  firm’s activities’.   179. Less  than  10%  are  failed  on  ‘level  of  need  for  government  assistance’,  ‘ability  of  firm  to  implement  the  project’  or  on  ‘proof  of  funding’.  A  third  is  failed  on  ‘financial  stability’.  There  is  a  fairly  even  split  on  pass  or  fail  on  ‘robustness  of  proposal.’ This criterion is general‐ the overall feel for the application itself.  180. The  main  reasons  for  failure  then  are  that  the  applications  show  low  or  poor  potential for growth, from the idea, product or service proposed; or show low or  no  benefit  to  the  economy.  This  suggests  that  the  EDG  has  not  had  firms  with  lower ability, as was speculated above; else firms would be being failed on ‘ability  to implement the project’ or ‘financial stability’.  
34

181. Rather,  the  team  is  rejecting  firms  because  they  feel  they  have  low  or  poor  potential for growth and low benefit to the national economy.   182. Looking  next  to  the  information  the  team  has  available  to  make  these  decisions,  the team has the information from the story woven by the firm in their application,  information  from  other  NZTE  client  or  sector  managers,  and  information  from  their own experience of assessing applications.   183. The  team  is  limited  in  information  from  assessing  previous  applications  because  there is very little feedback for them on their previous decisions. The final reports  firms file usually have no information in them on sales. There is no request in the  forms  for  information  on  issues  faced  by  the  firm  in  implementing  the  project.  There is no other process of follow up. As a result, the team is not learning from  the outcomes of their decisions which of their decisions were right or wrong.   184. So with limited information, the team must make one of the hardest decisions to  make about firms‐ the potential of a small and young business and a new product.  This  decision  is  genuinely  uncertain.  As  the  EDG  team  noted  to  the  evaluation,  ‘it’s a real punt’.   185. Furthermore,  with  the  fund  going  to  young  inexperienced  firms,  NZTE  faces  genuine risk that funds go to firms who will fail anyway. NZTE may feel it needs  to  be  risk  averse  in  order  to  best  fulfill  its  obligations  to  Government.  This  may  have  translated  into  pressure  on  the  EDG  team  to  be  conservative  in  their  assessments.    186. It  may  be  that  the  reason  firms  are  being  declined  in  increasing  numbers  is  because  without  good  experience  in  spotting  and  acknowledging  potential,  and  perhaps  with  an  overly  strong  concern  of  risk,  the  team  has  become  too  conservative in its decisions.     32. Recommendations  187. The evaluation recommends a mechanism for more detailed feedback to the team  on  the  results  of  projects  and  grants,  so  the  team  may  learn  the  results  of  their  decisions, and so learn about making these sorts of decisions.   188. It recommends a careful look at the data for the year 2005/2006, to see whether the  trend in application decisions continues. It also recommends that NZTE comes to  an  opinion  on  application  quality  and  whether  standards  are  declining  overall,  and  watches  the  quality  over  the  next  year.  This  will  inform  NZTE  on  whether  scoring levels and overall positioning of the fund are appropriate.  189. If standards are not declining and the trend continues, the evaluation recommends  further  resources  be  provided  to  the  EDG  team  in  terms  of  at  least  one  highly  experienced case manager or former business person, perhaps temporally to assist  the  team  adjust  their  scoring,  or  permanently.  The  evaluation  suggests  NZTE  consider  approving  a  random  sample  of  applications  to  counter  conservatism  in  the assessment.  
35

  In  turn. The  EDG  Team  aims  to  assess  a  proposal  within  7  days. so the evaluation does not know whether the team has improved further. April and May 2004  (see  graph below). The  team  has  explained  to  the  evaluation  that  its  turnaround  of  seven days is once the application  is  complete.  The  average  is  currently  a  month.   196.   193.  or  firms  are  submitting more complete assessments.   Number of applications Days taken for a grant decision 30 25 20 15 10 5 0 194.  NZTE  can  encourage its assessment team to be risk‐taking.190. Time taken to approve grants  191. Either  the  team  is  improving  in  its  ability  to  assess  applications.  inexperienced  firms. The  graph  right  shows  the  distribution  of  time  taken  to  assess  applications. but  can  stretch  out  to  90  days  and  longer. The evaluation looked to see if the assessment time changed over time. Average time taken to approve grants over time  195.   1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 62 66 70 77 84 90 101 111 Days 36 . NZTE has decided not to provide data to  the  evaluation  on  time  taken  from  initial  lodgment  to  decision  date  post  March  2005.  The  team  has  told  the  evaluation that it has been successful in keeping to this timeframe this year. A look at  the  average  time  taken  for  each  decision  per  month  shows  that  the  average  number of days have fallen since the large averages of March.      33. The added work for the team to reassess applications and the inconvenience to the  firm in delays makes it worth considering whether the application forms are clear  enough.  and  so  the  team  must  send  them  back.  indicated  by  the  horizontal  line at 30 days. It  recommends  that  MED  and  NZTE  agree  that  given  the  EDG  is  to  help  young.  Durations  lie  mostly between 7 and 30 days.  So  the  length  of  time  taken  to  assess  applications  is  a  function  of  many  firms  not  sending  in  applications  with  enough  information  for  a  proper  assessment.    34.  192.  a  percentage  of  firms  failing  in  spite  of  EDG  assistance  is  likely  and  acceptable.  An  application  may  not  be  considered  complete  first  time.  which  are  therefore  a  higher  risk.

  However  the  evaluation  recommends  NZTE  record  three  dates  per  application‐  submission.  This  was  due  to  the  spike  in  the  numbers  of  applications  lodged  causing  very  high  workloads  for  the  team. over time 1/12/2003 to 30/3/2005 180 150 120 90 60 30 0 198.     35.   DEC 2003 DEC 2004 SEP 2004 FEB 2004 JUN 2004 MAR 2004 OCT 2004 FEB 2005 APR 2004 JUL 2004 NOV 2004 JAN 2004 MAY 2004 AUG 2004 JAN 2005 37 MAR 2005 . This shows the level of interest  the  team  at  its  current  size  can  accommodate‐  around  40  applications a month.Average number of days 197. NZTE is adjusting its assessment and  approval  processes  to  shorten  their  duration.  this  may  be  sufficient  to  Month Grant Allocated reduce  the  time  taken  to  revue  and  decide  on  applications.  start  of  assessment  and  decision  date  so  time taken can be more easily determined and tracked.  It  was  a  500%  shift  in  the  average. Recommendation  Days taken to decide on grant.  Reducing  the  workload  by  15%  (the  proportion  being  devolved)  may  also  help. April and  May  2004. There  was  a  very  large  spike  in  time  taken in March.

Auckland has had higher numbers of applications for the EDG than other regions  (see  graph  below  left). Summary of findings on distribution of the EDG  199.     36. 2 1 Using Statistics New Zealand 2003 data on firms per region.1    37.8 the data is for 18 months: October 2003 to April 2005.00 Auckland Canterbury Chatham Islands Eastern Bay of Plenty Hawke's Bay Kapiti/Horowhenua King Country Manawatu Marlborough Nelson/Tasman Northland Otago Rotorua Southland Tairawhiti Taranaki Tararua Taupo Thames Valley Waikato Wairarapa anganui/Ruapehu/Rangitikei Wellington West Coast Western Bay of Plenty Region Region For regional spread a chi-square test of independence gives a p-value of .229.5.6.50 Rate of grant applications per region 1/10/2003 to 7/4/2005 150 Application rate % 200 0. 38 . Distribution of the EDG    Note: For the sections 5.40 Applications 0. The  evaluation  has  found  the  distribution  is  similar  across  regions  and  sectors.  and there is no significant difference in acceptance rate for any region or sector.20 50 0.    201.       Number of grant applications per region 1/10/2003 to 7/4/2005 250 0.7. Controlling  for  numbers  of  firm  per  region2  shows  that  the  rate  of  grant  applications per region is fairly similar. Regional spread of firms assisted   200.  Wellington  and  Canterbury  have  the  second  largest  numbers of applications. with 517 accepted and 178 declined.30 100 0. shown on the graph below right by bars of  more even height. This reduces  the totals of applications to 723.282 and for sectoral spread a chi-square test of independence gives a p-value of .10 0 Auckland Canterbury Chatham Islands Eastern Bay of Plenty Hawke's Bay Kapiti/Horowhenua King Country Manawatu Marlborough Nelson/Tasman Northland Otago Rotorua Southland Tairawhiti Taranaki Tararua Taupo Thames Valley Waikato Wairarapa anganui/Ruapehu/Rangitikei Wellington West Coast Western Bay of Plenty 0.

Regional spread of allocations  80 60 40 20 0 Western Bay of Plenty West Coast Wellington Wanganui/Ruapehu/Ra Wairarapa Waikato Thames Valley Taupo Tararua Taranaki Tairawhiti Southland Rotorua Otago Northland Nelson/Tasman Marlborough Manawatu King Country Kapiti/Horowhenua Hawke's Bay Eastern Bay of Plenty Chatham Islands Canterbury Auckland Region 204. Controlling  further  for  the  numbers  of  firms  applying  per  region.            38.       Allocation per region 1/10/2003 to 7/4/2005 2500000 60 Allocation per firm in region 1/10/2003 to 7/4/2005 Allocation per firm $ anganui/Ruapehu/Rangitikei 2000000 50 Amount allocated 40 1500000 30 1000000 20 500000 10 0 Nelson/Tasman Northland Rotorua Wellington Taranaki Waikato Otago Marlborough Southland King Country Thames Valley Wairarapa Canterbury Eastern Bay of Plenty West Coast Manawatu Tairawhiti Auckland Kapiti/Horowhenua Hawke's Bay Western Bay of Plenty 0 anganui/Ruapehu/Rangitikei Nelson/Tasman Northland Rotorua Marlborough King Country Thames Valley Canterbury Eastern Bay of Plenty Wairarapa Wellington Taranaki Southland Waikato Otago Kapiti/Horowhenua Hawke's Bay West Coast Manawatu Tairawhiti Auckland Western Bay of Plenty Region Region 3 Using Statistics New Zealand 2003 data on firms per region. but not in favour of the larger regions (see graph below right). 39 .202.  Acceptance rate % Rate of acceptances per region 1/10/2003 to 7/4/2005 100 203. The bars  on  the  graph  right  are  all  of  similar  height. Controlling for the number of firms in the region3 shows the amount of allocations  per region varies. Auckland has had the highest total allocations of grants from the EDF to date (see  graph below left). From  the  above  analysis  it  can  be  concluded  that  the  EDF  is  assisting  firms in all regions evenly.   205.  it  can  be  seen that the proportion of applications  accepted per region that the acceptance  rate per region is very similar.

Manufacturing has received the largest  total  allocations:  $2.  communication  and  technology.095. NZTE  divides  firms  into  seven  sectors:  manufacturing.   214. with 206. The  next  two  highest  are  information. wood processing.  The  information  sector  had  76%  of  applications  accepted  and  creative  and  services had 60% accepted.282 40 .  211.555. The  manufacturing  has  also  had  the  highest  number  of  grants  allocated.  Allocation $ Allocation per assisted firm per region 1/10/2003 to 7/4/2005 20. Data  received  from  NZTE  without  a  firm’s  sector  nominated  have  been  called  ‘uncoded’.4  208.000.00 0.00 5.   210. or 31% of all grants. building and interiors and education. Sectoral spread of allocations  209.00 anganui/Ruapehu/Rangitikei Nelson/Tasman Northland Rotorua Marlborough King Country Thames Valley Canterbury Eastern Bay of Plenty Wairarapa Wellington Taranaki Southland Waikato Otago Kapiti/Horowhenua Hawke's Bay West Coast Manawatu Tairawhiti Auckland Western Bay of Plenty Region 39.  communication  and  technology  and  creative  and  services.  See graph below right.00 10.000.  food  and  beverage.206.                 15.  Both  had  130  applications.000. Controlling  for  the  number  of  applicants per region shows allocations  do  not  vary  much  across  region  (see  graph right).  with 160 accepted. The  evaluation  has  found  there  is  no  significant  difference  in  the  rate  of  acceptance for different regions.  bio‐ technology.  information. The EDF is assisting firms in all regions  fairly evenly.   213.  creative  and  services.  212.of firms assisted Applications 200 Sum 150 100 50 0 munication & Technology Education Food & Beverage Bio-technology Manufacturing Uncoded sing Building & Interiors Creative & Services sector A chi-square test of independence gives a p-value of . The manufacturing sector has made the largest number of applications.000.00 207.  but  this  reflects  the  larger  number  of  grants  applied  for  (see  graph  bottom  left  and  table bottom left).  4 250 Number of firms and applications per sector 1/10/2003 to 7/4/2005 No.

00 500000 Information.  no  matter the sector (graph below right). From  this  analysis  the  evaluation  can  conclude  that  there  is  no  bias  toward  any  sector in the approval or decline of applications.229 41 Food & Beverage Bio-technology Education Food & Beverage Uncoded Uncoded 0 0.00 1000000 5000.     Allocation per sector 1/10/2003 to 7/4/2005 Average allocation per sector 1/10/2003 to 7/4/2005 2000000 15000. Communication & Technology Wood Processing Building & Interiors Manufact uring Bio-technology Creative & Services Education Creative & Services Sector Sector                 Sector 1 2 3 4 5 6 7 8 Manufacturing Information.433. Communication & Technology Creative & Services Food & Beverage Bio-technology Wood Processing Building & Interiors Uncoded Education Total Allocation $ 2.00 1500000 Amount allocated Allocatio ns ($) 10000. The evaluation has found there is no significant difference in the rate of acceptance  for  different  sectors.51 1.13 657.522.095.88 816. Communication & Technology Wood Processing Building & Interiors Manufact uring Information.792.126.215.061.247.00 .62 445.636.33 767.84 46.44 5 A chi-square test of independence gives a p-value of .5  The  average  amount  allocated  to  a  firm  is  also  similar.3 281.  216.557.563.

  saw  their  project  alter  or  not  go  ahead. Of  this  $1. Grant allocation and collection by firms    40.2000 0.43  (16. but as of April 2005 these were  not claimed in full. As  this  sort  of  thing  seems  likely  to  happen  to  firms  in  the  future. See graph right.   Frequency Distribution of proportions claimed 1/10/2003 to 7/4/2005 100 80 60 40 20 0 0.  218.   219.   224. The  most  frequent  single  amount  allocated  is  the  maximum.  223. There  have been 193 projects closed to date.  222.  There  have  been  three  grants  above  $20. Firms  have  one  year  from  date  of  acceptance  of  their  application  to  claim  the  approved  costs  from  the  project  and  thereby their grant from NZTE.  This  is  a  shortfall  of  $366.000. Amount claimed by closed projects  $0. 15%  of  grants  have  less  than  60%  claimed. 50%  of  grants  are  for  $12000  and  less. either for the project  or  for  the  firm  as  a  whole.165M.0000 0.000. They have had allocated to them a total sum  of $2.000.00 $10.6000 0.  20% are for $5000 and less.  $20.462.00 Amount Allocated 220.6.000.000.   221.00 $15.4000 0.0000 Proportions 42 .79M  has  been  claimed  and  paid.       0 Distribution of amounts allocated 1/10/2003 to 7/4/2005 150 120 Frequency 90 60 30 41. The  evaluation  spoke  with  many  of  these firms and found that for most a  change in plans.000.  and  so  they did not claim.  This  is  caused  by  the  $3000 cap on two categories of activity.  the  EDG  will  probably  have  some  amount left over each year which was  allocated but not claimed. The shortfall is due to not all clients claiming their full amount.9%). At one year the grant and project is closed.00 $20.8000 1. Amounts allocated  217. The  graph  right  shows  a  peak  of  48  grants  of  $3000.00 $5.

  and  shows  that  NZTE  will  over‐ride  that  restriction  on  occasion. Summary of findings given below.   231.000.  with  less  than  10FTEs  and  less  than  $200.000 $10.  225.  which  is  the  maximum  allowed  by  the  fund’s  eligibility  criteria.000 $4.7.000.  if  ‘young’    means  less  than 10 years old. Over half of all applicants are exporters. One goal of the EDG as a foundation service is to move its clients through to more  advanced  services.  it  seems  only  if  the  firms are smaller than 20FTEs.  and  shows  that  NZTE  will  override  that  restriction  on  occasion  also.000. The  line  on  the  x  axis  is  at  the  $5M  maximum.  50 40 Full Time Staff 30 20 10 0 $0 $2.  The  lack  of  dots  in  the  upper  right  FTE and Turnover of accepted firms quadrangle shows that it is overridden  only  if  the  firms  are  also  smaller  than  1/10/2003 to 7/4/2005 $5M turnover. This may be because the  gap  in  capability  between  EDF  clients  and  GSR  clients  is  broader  than  can  be  improved via the EDF.  to  growth. Certainly the GS Range is targeted at high growth potential  firms and this is likely to be a small percentage of the firms eligible for the EDF.  230.  with  less  than  10  FTEs  and  a  turnover  of  less  than  $200.000 $12.  If  it  applies  to  age.  but  again.000.  226. Overall size: turnover and FTE  228.  such  as  the  growth  services  range.000 $8. and firms who export show significantly  higher rates of acceptance into the fund. nearly a quarter of firms funded are not young start‐ups.  for  example. EDG  clients  are  typically  small.  Almost  none  of  the  EDG  clients to date have accessed the growth services range.   229. It is not clear whether the policy criteria of ‘young start‐up’ refers to age.  40%  of  EDG  firms  are  not  young  start‐ups. and not. Looking  at  the  graph  right.000 Last full year total turnover 43 .  the  line  on  the  y  axis  is  at  20  FTEs. Analysis of applicant firms    42.  227.  and  if  ‘young’  means  firms  less  than  five  years  old.000  turnover.000.     43.000.000. Most  EDG  clients  are  small.000 $6.

 only 4% would be exporting.  and  almost  half  of  all  accepted  firms  are  exporting. Exporting  233.000 $8. and firms not  exporting somewhat lower rates. The evaluation has found  there is a significant difference between the rates of acceptance for firms who are  exporting and those who are not.000 Last full year total turnover All applicants Not Exporting Exporting Total Frequency 427 296 723 Percent 59.000.   238.  and  the  Exporting 58 32.000 $6.  235.9 100.  This  indicates  that  the  EDG  firms  are  not  a  typical  population  of  firms.  over  half  of  all  EDF  applicants  are  exporters. The  graph  right  shows  that  declined  firms  tend  to  be  smaller  than  accepted  firms.  If  firms  applying  to  the  EDG  were  typical  of  New  Zealand  firms.6 criteria ‘potential for growth’  Total 178 100.7 Total 517 100.027 44 . More  firms  are  being  declined  when  they  are  not  exporting  than  would  be  expected  if  there  were  no  relationship.1 40.0 236.  If  firms  failed  this  Exporting 226 43.000. Only about 4% of New Zealand SME  firms  export.  and  fewer  are  being  accepted. The  table  right  shows  the  numbers  exporting  who  apply  to  the  EDG  (40.  Firms  who  are exporting are showing somewhat higher rates of being accepted.000. Based  on  whether  they  report  an  export  turnover. and be declined the  6 A chi-square test of independence gives a p-value of .232. Examining  the  rate  of  acceptance  and  declined  for  exporting  and  non  exporting  firms shows that there is a bias in favour of exporting.   234.   Full Time Staff 60 FTE and Turnover of declined firms 1/10/2003 to 7/4/2005 50 40 30 20 10 0 $0 $2.000.  but  firms  have  been  accepted  who  have  very  low  turnover.6   237.     44.000.  All applicants However  the  EDG  has  been  included  in  NZTE’s  overall  Status of Project Frequency Percent Declined Not Exporting 120 67.0 was defined to be national or  Accepted Not Exporting 291 56.000 $4.000 $12.000.4 focus  on  exporting.9%).0 they would fail the criteria as  a whole.000 $10. It may be that firms who are already exporting are also firms who tend to pass all  the EDG criteria more easily.  perhaps  because  it  is  a  self‐ selecting sample of New Zealand firms.3 export.

  limited  displacement  (displacement  would  result  from  funding  firms  with  significant  domestic  focus  and  significant  domestic  competition)  and  presence of spillovers. and if  ‘young’ means firms less than five  years  old. The evaluation calculated the growth of firms in the years prior to applying to the  EDG from data included in applications forms.  if  ‘young’   means  less  than  10  years  old. ‘young’ is in terms of  growth. The tests for the latter are improved productivity  and  efficiency. If. It  is  not  clear  whether  the  policy  criteria  of  ‘young  start‐up’  refers  to  age. 2004. to 1 year prior to applying. The  graph  below  right  shows  the  average  growth  rate  of  accepted  and  declined  firms for the calendar years 2003.    241. and 2005 to April.   246. If it applies to age.   100 Year established for accepted firms 1/10/2003 to 30/6/2005 80 Number 60 40 20 0 2000 2002 2004 1914 1946 1953 1964 1968 1970 1973 1975 1978 1980 1982 1984 1986 1988 1990 1992 1994 1996 1998 Year firm established 45 . 79%  of  firms  were  established  in  1995 and after. as discussed above. then most EDG clients are young. The  criteria  for  the  EDG  have  been  revised  and  the  focus  on  exporting  has  been  shifted  to  a  focus  on  improved  business  performance  and  net  benefit  to  NZ  of  improved business performance.   242.  nearly  a  quarter  of  firms  funded  are not young start‐ups.  and  not.5%.  So  firms  who  are  ‘not  exporting’  had  at  least  to  be  those  who  had  the  potential for export.     46.   239.    247. The average growth for  accepted firms is between 0 and l. Firm Growth  245. 322  firms  (62%)  were  established  in 2000 and after.  244.EDG. 21%  of  firms  were  established  before 1995.   243.     45. Data was provided on the year firms accepted into the EDG were established. Growth was calculated as the change in total full year turnover from 2 years prior  to applying. Age of Firms  240.  40%  of  EDG  firms  are  not  young  start‐ups.  for  example.  to  growth.

00 5.00 Change in turnover 10.00 -5.00 15.  and only a few had applied who had  low  turnover.00 0.  So  a  few  applications  0.248.00 Change in turnover Oct/03 Jan/04 Apr/04 Jul/04 Oct/04 Jan/05 Apr/05 10.00 -5.00 few  had  applied  with  high  turnover.00 0.   251.00 -10.00 Change in turnover of accepted firms Change in turnover of declined firms 1/10/2003 to 7/4/2005 1/10/2003 to 7/4/2005 20.00 15. For 2003 and 2004 accepted firms had  higher  average  growth  than  declined  firms.  With  further  data  on  Year grant awarded turnover  for  declined  firms  for  the  calendar year 2005.00 5. The  2005  data  is  a  function  of  low  application  numbers.             2.00 Oct/03 Jan/04 Apr/04 Jul/04 Oct/04 Jan/05 Apr/05 Month grant allocated Month grant allocated 46 .   249. it may be seen whether the 2005 intake is similar to previous  years.00 20.  so  the  data  for  that  year  is  incomplete. The  graphs  below  of  applications  by  month show that for declined firms a  1.00 Jul/03 -10.   Change in turnover for accepted and declined firms 1/10/2003 to 7/4/2005 Status of Project Declined 3.00 with  high  growth  have  skewed  the  2003 2004 2005 average.  The  data  the  evaluation  received  ended  in  April  2005. The graphs also show that most firms have growth of less than 5%.00 Accepted Mean change in turnover 250.

   255. The categories are strategic business development.  development  and  testing  − intellectual  property  protection  − business  and  operational  excellence    Distribution of funding by activity type 1/10/2003 to 7/4/2005 Category e-business category Feasibility studies Market development Mentoring Operational excellence Product development categ Strategic developme Training .     47. The  largest  categories  are  strategic  business  development.  35%  of  total  allocations  went  to  product  development.  product  development  and  market  development.    256.  so  activity  numbers  given  in  this  section  do  not  match  firm  or  application numbers. Within each category are areas of activity.  e‐ commerce and e‐business strategies.  The  activities  must  be  within  specified  categories  and  types  of  activities. Advice and expertise categories  254. Firms may undertake within one grant as many categories and types of activities  as  they  wish. The areas are:  − strategic business development  − business/strategic plan development  − human resource  strategic plan  development  − financial viability  planning  − strategic design  advice  − feasibility studies  − product development  − prototype  design. Types of assistance funded    252.  feasibility  studies.8. 17% to market development. The  types  of  activities  which  may  be  funded  with  the  EDG  are divided  first  into  advice and expertise categories.  product  development.  27% to strategic development.  business  and  operational  excellence. market strategy development. Firms  apply  to  the  EDG  for  assistance  for  activities  they  wish  to  undertake.   253.  These  are  described further below.

000.r ne nn on si Bu t pla ati ig ke est ar M t inv ke ar M ng ni ai Tr ring to en M Category 48 .  strategic  business  development.000.00 Number Market development Feasibility studies Mentoring Training Operational excellence prototype devlpmt intellectual property e-business category strategic planning strategic design 90 60 1.00 30 0.  258.00 0 ra ge vel st na e ss ma d d l ne an si nta n bu e tio enm lua n ro tio vi va ec En s e ot n pr sig em n st ty e o er t. d S y a ti n op ic pr me tif er ual op C el ct lle ev te e d In dy ice yp ot Stu dv ot Pr ility n a ig ib an pl as des g c Fe ic in egi p g nn at velo te ra l pla str de e St ia ce an l ur nc pm na eso ic p elo r Fi g ev an rate d d rch um s/st an sea H g s e in .00 Total allocated $ 120 2. The  largest  activity  areas  are  intellectual  property  protection.     Funding totals per activity type Areas of activity undertaken by accepted firms 1/10/2003 to 7/4/2005 1/10/2003 to 7/4/2005 150 3. The graph below left shows totals allocated to date.000.  Roughly one million has gone to each per annum. The activities within product  development.000.− international quality standards certification  − systems evaluation and development  − environmental management system  − e‐commerce and e‐business strategies  − development of a e‐strategy  − Market strategy development  − Market research or new market investigation  − Marketing plans    257.  prototype  development.5M total allocations.000.000.  prototype  development  and  intellectual  property  protection  have  absorbed a large proportion of funding to date.  and  strategic  design  advice  (see  graph below right). at around $3.

Funding was to enable firms to:  − Engage the services of a business mentor for a period of time  − Undertake  more  advanced  management  and  technology  based  training  (as  delivered through existing providers such as NZIM. Goals of the evaluation  261.  trade  fair  participation.  It  would  be  successful  if  the  issues  identified  by  policy  were  overcome  by  the  activities  firms  undertook. The  evaluation  sought  to  learn  whether  the  outcomes  policy  wished  to  achieve  were occurring for the firms undertaking the activities funded by the EDF.       48.  263. Polytechnics etc)  − Employ  specific  external  advice  and  expertise  in  a  management  area  (such  as  feasibility studies.  and  if  the  outcomes  identified by policy resulted from these activities. e‐business. The  goal  of  the  EDG  was  to  assist  innovative  firms  and  entrepreneurs  to  build  capability  to  test  early  stage  business  concepts  and  projects  by  enabling  them  to  employ expertise and advice. Achieving  this  goal  enables  the  evaluation  to  report  on  whether  the  intervention  designed  by  policy  was  successful. The sample was stratified by the activity types the EDG is broken into by NZTE.  The  population was all firms who had completed a project by April 2005.  This  gave  a  minimum sample of 129.PART FIVE: Findings and Recommendations on Outcomes    9. Further details are given in  section 10.  The  sample  was  a  stratified  simple  random  sample  with  a  sample  size  chosen  to  give  a  margin  of  error  of  5%  for  estimates  of  proportions.      .  environmental management. market research.  including  new  market  investigation. giving a total  of  191. To  achieve  its  goals  the  evaluation  held  interviews  with  a  sample  of  firms.   264. The evaluation surveyed 132 firms.  and those to be included were selected by MED policy.    49. enhancement and uptake of new  technologies.  business  exchanges. and visiting buyers.   262.  260. Goals of the EDG   259.  strategic  planning.  intellectual  property.  human  resources. The framework for analysis of outcomes.  trade/business  missions. production management)  − Undertake  international  market  development  activities.

 Improving them may give  different kinds of outcomes. Interpretation of the policy intent: improving management or business  capability?  271. It  wished  to  know  whether  the  projects  undertaken  by  firms  had  improved  business  or  management  capability  and  whether  firms  had  experienced  gains  in  performance as a result. It  wished  to  determine  any  differences  between  the  different  project  activities  in  the rate at which they improved business or management capability.  If  the project was on an activity of the firm considered to be a function of the firm.   Business or management level 274. Day‐to‐day business and long‐term strategic issues may  well be separate tasks requiring different types of skills. as well as longer‐ term strategic issues.50. or it was taking an overview of all firm activities and strategy. or  identification of distributors in a market. The evaluation sought to understand the objectives for firms in undertaking their  projects. It  wished  to  know  the  rate  at  which  projects  had  gains  in  activity  (such  as  launching  a  product  or  entering  a  market)  and  performance  (in  terms  of  sales)  with and without a change in management practice. Specific outcomes sought by the evaluation   265.   272.   50 . It wished to know whether firms intended pursuing further assistance.  it was considered to be ‘management level’. Attempting to determine the improvements to business  and  management  capability  by  the  projects  undertaken  with  funding  gave  rise  to  a  definitional  issue:  the  difference  between  ‘business  capability’  and  ‘management capability’. it was ‘business level. The  evaluation  categorised  projects  into  management  level  and  business  level.  such  as  improving  production  methods  or  developing  a  marketing  plan  or  a  branding strategy.   266.’ If it were strategic.       51. and what  their opinion was on the time it took to fill out the applications. It  wished  to  understand  the  nature  of  the  projects  being  undertaken  in  each  activity type.  such as building a prototype or the design of marketing material for a product.  270.   269.   268. The statement of policy intent says the goal of the fund  is to build: “basic business capability” but describes this  as the capability to handle: “day‐to‐day management of  the many different functions of a firm.   267.”   Number Numbers of firms wanting business or management level assistance 80 75 70 65 60 55 50 Business Management 273. and the rate  at which they led to gains in performance.

Interpretation of the policy intent: improving management ability or     knowledge?   276. such as a report.  The  difference  is  also  a  difference  in  the  situations  and  objectives  of  firms  for  their  projects. The  policy  statement  is  not  clear  on  which  sort  of  firm  it  was  intended  that  the  EDG  assisted  (if  not  both)  because  it  described  assisting  firms  with  both  information and skills.  and  if  there  is  a  difference  in  the  outcomes for each.  This  is  a  different  type  of  firm  from  one who does not know how to enter a market. Attempting to determine how and whether external expertise gave improvements  to business and management capability gave rise to a second definitional issue: the  difference  between  projects  delivering  advice. It can also be improved by getting the  information  managers  need  to  make  management  decisions  and  ensure  firms  move  ahead  not  with  guesswork  but  with  strategy. and a firm who needs only  facts to make their own decisions on what to do. The ability to manage a firm can be improved by learning ways or better ways of  performing the tasks required of managers.  for  example. The distinction also shows in situations where a firm needs to purchase work from  externals. The policy states that (italics added):  51 .    282.275. management’s ability can be improved.  and  via  the  provision  of  the  skills  required. rather it is ability in the sense that they  are unable to complete a project until they get the external information or technical  assistance they need.      278.   281. or where a  firm  needs  external  people  with  manufacturing  machinery  in  order  to  produce  a  product  or  prototype. So the distinction between gaining knowledge and gaining ability is really  about  types of firms‐ one sort will have higher capability than another because it has the  capability to implement a project just not the information it needs to do so.  or  with  strategic  matters.  277. because the firm needs it to be independent. there is quite a difference between a firm who needs advice on an issue  or situation that is. the latter knows what information it needs and knows how to act on it. advice on how to tackle a situation.   280.  but  just  does  not  have  the  facts  on  a  particular  market  to  know  whether  they  should  do  it. The latter has abilities the former  does not. nor what information they need to  make a decision on entering.   279. The  distinction  can  be  seen  in  a  situation  where.  So  via  the  provision  of  information  required  to  achieve  a  project. However.  Neither  of  these  are  situations  where  the  problem  for  the  firm is a lack of ability in the sense of skills.  or  for  help  with  taking  a  broad  overview  of  the  fund  and  its  overall  strategy.  and  projects  delivering  facts.     52.  a  firm  already  knows  how  to  enter  a  market. The  evaluation  looked  to  see  whether  firms  wished  for  help  with  day‐to‐day  business  matters.

 the evaluation has looked to see whether facts and information or  advice was sought by firms.Foundation services aim to build basic business capability…through the  provision  of  generic  business  information.  this  could  lower  economic  efficiency  and  national  productivity. Is the fund a  channel for information to managers or is it only to build their actual capability?  284. and what the difference is in outcomes. Small businesses and entrepreneurs often lack the financial  ability  to  employ  all  the  expertise  they  need  to  get  new  concepts  and  projects  up  and  running…As  a  result.  advice  and  training…If  entrepreneurs and managers have difficulties in accessing or developing  the  necessary  skills.   283.      52 . and in  order to aid policy resolve the question of whether the fund ought to be a channel  for information. The  issue  then  is  whether  the  goal  of  capability  building  is  to  include  firms who  can themselves implement the project or is to be restricted to those firms who need  to learn the skills to gain capability in order to implement the project. With the possibility that the distinction does make a difference in outcomes.  small  businesses  often  do  not  realise their full potential.

  and  relationships  between  certain activities or project types and outcomes. The  sample  was  stratified  by  the  activity  types  the  EDG  is  broken  into  by  NZTE.  and  Total 191 132 also  very  high. The high sampling fraction and response rate enables the sample to be generalized  to  all  EDG  firms  undertaking  the  same  activities  as  the  strata. The  relationship  is  found  using  the  statistical  test:  ‘chi‐square  test  of  independence’. This  section  lays  out  all  the  findings  from  the  research  on  outcomes  for  those  interested  in  the  evidence  itself.   286. This gave a minimum sample of 129.  The  Chi‐square  test  is  a  statistical  procedure  to  test  for  the  existence of an association between two categorical variables.  The  results  have  only limited generalisability to the population of firms in NZ as a whole due to the  fact  that  the  population  of  firms  applying  for  grants  is  self  selecting.   287.  If  the  firms  who  apply  for  the  fund  in  the  future  are  different  in  character  or  if  the  numbers  accepted  increase  to  a  large  degree.  291.   Quantitative findings on accepted firms. An example of such  a comparison would be the variable ‘advice was given’ (possible answers are yes  and no) and ‘changes in management were made (possible answers are also yes or  53 .  the  data  could  be  analysed  as  a  simple  random  sample.   Stratum Mentoring/Training Market research and investigation Prototype Systems evaluation Intellectual property protection Business and strategic development Population 21 32 36 28 26 30 Sample size 21 21 22 22 12 19 18 15 288.   289.  The  stratification  was  to  ensure  by  chance the sample did not exclude  firms  undertaking  activities  the  evaluation wished to sample.  No  corrections for the finite population size were made. The  evaluation surveyed 132 firms.  The  evaluation’s  conclusions  based  on  the  evidence  are  laid  out  in  the  next  section  (13).10. The  findings  are  of  two  sorts:  proportions  of  firms  in  the  EDG  who  saw  various  outcomes  subsequent  to  completing  their  project. giving a total of 191.  and  those  to  be  included  in  the  evaluation  were  selected  by  MED. The survey was undertaken by telephone interview. The population was all firms  who had completed a project by April 2005. Guide to the findings  285. The sample was  a stratified simple random sample with a sample size chosen to give a margin of  error of 5% for estimates of proportions.    53. With  sampling  fractions  which  Strategic Design were  similar  in  each  stratum. The graphs are the count of firms  reporting the outcomes.  the  results  on  outcomes  found  here  may  not  continue to apply.   290.  Those  who  just  wish  to  read  the  summary of findings and conclusions may skip this section.

  294. For  the  purposes  of  this  evaluation  a  significance  level  of  5%  (p=.     56.   292.  293. Both  numbers  completing  projects  and  those  deemed  exited  indicate  that  expecting  a  100%  rate  of  impact  of  the  fund  is  unreasonable. or that the association is too weak to detect with the given sample size.  The  Chi‐square  test  provides  a  significance  or  p‐value  for  the  comparison:  small values of the p‐value mean that a significant association has been found.  There  is  likely  to  always be firms whose plans change and who do not undertake the project.  299.no). Many wanted to make clear to  the  evaluation  how  grateful  they  were  for  the  assistance.05 as taken as evidence for an association.   295.  Some  had  tried  to  get  such  changes  allowed  and  found  the  process  exhausting.  and  any  test  with  a  p‐value  less than 0. 13  firms cancelled their projects part‐way through either because of changes in their  plans or because the project never quite got off the ground.  The  7  considered  not  in  business  were  unreachable  on  details  provided  by  NZTE  and  are  unlisted  with  Telecom NZ.     54. 10%  of  firms  had  some  specific  issue  with  NZTE  or  the  EDG  process  which  left  them disgruntled.  For the majority it was either the length of the applications or  the inflexibility of the EDG process in its position on alterations to the project mid‐ way.  These  firms  also  mentioned  the  length  of  the  application  process  but  felt  it  was  justifiable  given  they were seeking public funds.  This  gives  a  response  rate of 98%    55. For  two  firms  the  appropriate  people  have  not  been  able  to  be  reached  for  interview. Not all firms completed their projects. Numbers of firms responding.  54 .  The  firm  is  reasonably  high‐profile.  Lack  of  evidence  for  an  association  may  mean  there  is  no  association. 111 (84%) had completed their projects. Numbers of firms completing projects. 90% of firms were happy with the EDG and NZTE. expecting an 80% completion level seems reasonable. Where  there  is  evidence  for  an  association  caution  should  be  exercised  in  the  interpretation  of  the  result:  the  test  cannot  establish  whether  the  relationship  is  causal  or  not. Of  the  sample  124  (94%)  of  firms  are  still  in  business.05)  is  used  (this  corresponds  to  the  standard  95%  confidence  level). Overall satisfaction  298.   296. Instead.   297. and this entails the  proportion of success in achieving outcomes will be less than 80%.  so  the  refusal  was  not  due  to  any  poor  performance  overall.  One  firm  refused  an  interview.

   301. A chi‐square test of independence gives a  p‐value of p=. The overall satisfaction level is a good result for the EDG and NZTE.   304. training.   80 60 Number 40 20 0 Yes No Change 307. marketing and business planning had high  rates of effect.  marketing  and  business  planning  projects  will  see impacts from these projects on their management.  learning  from  the  project  about  ways  to  tackle  such  projects.  When  the  gains  were  small  firms  minded  the  time  they had spent applying.300.  training.  gaining  direction  for  the  firm  and  sometimes  confirming  that  their  approach  had  been  right. These firms typically had  undertaken  projects  which  were  not  geared  at  Numbers of firms with changes in the way they manage impacting on management. The  evaluation  found  significant  differences  between  the  rates  of  effect  on  management for different activity types.   303. 30% of firms said projects had no effect on management.                 55 .   306.  Firms  also  reported  an  improvement  in  their overall ability to manage the business. Proportions of EDG clients seeing changes in the way they manage their  business.   305.     57. 56% of firms saw changes in the way they managed the business (see graph right. The  evaluation  looked  at  the  proportions  of  firms  reporting  changes  in  the  way  they manage the business.  note it gives counts of respondents not overall percentage).  This means that usually firms  undertaking  mentoring.  302. Mentoring. Being  disgruntled  with  the  process  often  coincided  with  disappointment  in  the  project  they  had  undertaken. The  changes  described  by  those  who  had  seen  changes  included  altering  the  internal  practices  of  the  firm. No  firms  reported  projects  having  detrimental  impacts on the way the firm was managed.004. Prototype had especially low rates.

1 6.  82%  said  they  had  seen  changes  in  management.0% 20 20.0 39.  and 51% said they had not.            Marketing activity Business/strategic plan Count Expected Count % within activity_cded Count Expected Count % within activity_cded Count Expected Count % within activity_cded Count Expected Count % within activity_cded Count Expected Count % within activity_cded Count Expected Count % within activity_cded Count Expected Count % within activity_cded Count Expected Count % within activity_cded activity * Firm on whether it affected management Crosstabulation Firm on whether it affected management Yes No 12 4 10.0 100.5% 34.2% 11.0% 113 113.8 45.   310. The evaluation categorised projects by whether they were focused on management  level  activities  or  on  business  level  activities  and  looked  at  the  proportions  undertaking each.  Of  those  who  were  undertaking  business  level  projects.1 5.0 100.  and  17%  said  they  had  not.001.0% 11 11.0% 74 39 74.1% 15 2 11.0 100. The  evaluation  found  a  significant  association  between  the  proportions  of  firms  undertaking  business‐level  or  management  level‐projects.5 75.4% 12 8 13.0% 40.0% 11 11.    309.9 35.   Number Numbers of firms wanting business or management level assistance 80 75 70 65 60 55 50 Business Management Business or management level 311.0 100.2 88.    312.0 100.  and  activity  type  undertaken by firms.0 65.0% Intellectual property protection                   Total Strategic Design Mentoring/Training Prototype Systems Evaluation 58.0 100.0 100.0% 20 20.0% 17 17.9% 11.  42%  said  they  had  seen  changes  to  management  practices.6% 36.0% 7 4 7.5% Total 16 16.  systems  evaluation  and  strategic  design  had  high  rates  of  management  level  projects. A chi‐square test of independence gives a p‐value of p<. 47% of firms were undertaking projects which were at  management  level  and  41%  were  undertaking  business‐level projects.2 3.0% 65.8 63.8 6.  but  instead  business  level.  Mentoring  and  training.8% 7 13 13.5% 54.  Intellectual  property  and  prototype had low rates.9 88. Proportions of EDG clients undertaking projects aimed at management level  areas or business level areas  308.5 5.0% 5 6 7.9 60.0% 25.  business  planning. Of  those  firms  who  undertook  management  level  projects.5% 16 2 11.0 100.  The  other  activities  will  usually  be  56 .2 3. This  means  that  one  can  be  confident  that  some  activities‐  intellectual  property  and  prototype‐  will  usually  not  be  undertaken  by  firms  who  want  management  level  assistance.1 6.0% 18 18.

  firms  who  report  changes  in  management  and  firms  who  do  not  both see effects on firm activity.1% Level of assistance Business Management Total Count Expected Count % within Level of assistance Count Expected Count % within Level of assistance Count Expected Count % within Level of assistance Marketing 9 8.8% 5 10. Furthermore. The  evaluation  looked  at  the  proportions  of  firms  reporting  changes  or  gains  in  such  activities  as  getting  a  product  ready  to  launch  or  launching  it.0 9.5% Systems Evaluation 8 9.8 16.3 27.0 14. or in the sense of business ability.                     57 .8% 13 11.0 17.7% 10 10.  or  gaining  a  strategy.2 16.0 100%     59.  or  entering  a  new  market.7 8.1% 19 19.2% Total 54 54. Proportions of EDG clients seeing gains in firm activity   313.9% 16 9.   Level of assistance * activity_cded Crosstabulation activity_cded Business/ strategic plan 6 7.0% 21 21.0 9.1 25.0 100% 116 116.  Whether  these  activities  fit  in  the  EDG  depends  on  whether  the  goals  of  the  fund  are  building  ability in the sense of management ability.  or  understanding  the  firm’s  market  better.1% 11 9.4% Prototype 15 9.5% Mentoring/ Training 1 7.  so  it  is  estimated  that  78%  of  EDG  clients  have  used  the  grant  to  make  positive  effects  on  their  firm.   314.9 1.9 11.0% 11 11.0 16.1 17.4% 0 5.1 7.0 14.7% Strategic Design 4 5.4% 7 5.7% 17 17.undertaken  by  firms  who  want  management  level  assistance.2 21.3% 11 11.    315.1 20.9 .1% 20 20.8 14.9 11. 78%  of  firms  achieved  the  results  described  above.7% Intellectual property protection 11 5.8% 17 17.  This  is  a  good result for the EDG and NZTE.0 100% 62 62.0 18.

3 29.8 78.   318. with business planning and mentoring being fairly high.6 21.  gains  in  performance  for  39%  entails  nearly  half  of  firms  who  make  use  of  the  grant  have  seen  gains  in  performance to date.2 6.5 1.  Prototype  was  evenly  split  between  reporting  gains and reporting gains were yet to eventuate.   317.  37%  said  it  was  too  early  to  see  any  results  in  revenue. as firms were fairly evenly split  in stages of prototype development.090  Increased productivity Expanded domestic/export Not yet 320. and market research and investigation were  high  also.  2%  said  the  project  had  increased productivity.  Market  research  and  investigation  also  takes  time  to  result  in  gains.0 100.   321. The  evaluation  found  no  significant  association  Change between  the  proportions  with  effects  on  performance  and  different  types  of  activity. Proportions of EDG clients seeing changes in firm performance   316.  and  many firms received the advice or information they need but were yet to enter the  market or were yet to see sales.  Intellectual  property  protection  is  a  long  and  expensive  process.  and  does not directly lead to gains in performance but for many firms is necessary for  them.0 Total 60. The  evaluation  looked  at  the  proportions  of  firms  reporting  changes  in  performance in terms of domestic or export sales.  A  chi‐square  test  of  independence  gives a p‐value of p=. 39%  of  firms  saw  changes  in  their  firm’s  performance. Systems evaluation and strategic design had high rates of reporting gains in terms  of sales.   Number Numbers of firms with changes in firm performance 80 60 40 20 0 sales 319.          Valid Developing product Assists with targeting/gaining customers/investors Basic business requirement now in place Improved performance Entering Market Gave firm clear strategy Total Gains in activity Frequency 7 39 2 18 28 9 103 132 Percent 5.  with  increased  domestic  or  foreign  revenue.5 13.  58 . The  table  shows  intellectual  property  protection  had  very  high  rates  of  firms  reporting gains were yet to eventuate. Typically these  firms  were  undertaking  projects  which  they  were  able  to  get  to  market  more  quickly  or  see  gains  more  quickly. As  84%  of  firms  undertook  the  project.

0% 8 7.2 18.7% 7 7.0 100% 49 49. advice or specialist skills 80 324.4 .3% 16 16.0% 6 8.0 18.0% 9 7.4 11.5 66.    Effect on the firm performance * activity_cded Crosstabulation activity_cded Business/ strategic plan 0 .0 100% 103 103.  training  and  strategic  skills or costs facilities design  had  high  rates  for  advice.4% Total 3 3.3 .8% 11 8.8 6.5% Strategic Design 0 .0 100%   61.0 100% 51 51.1 22.8% 3 3.1 6.6% 9 9.9 17.0 15.4 23.0 16.   323.5 .5% 3 8.6% Intellectual property protection 0 .7% 12 8.5% Effect on the firm performance Increased productivity/strengthened position Expanded domestic/export sales Not yet Total Count Expected Count % within Effect on the firm performance Count Expected Count % within Effect on the firm performance Count Expected Count % within Effect on the firm performance Count Expected Count % within Effect on the firm performance Marketing 0 . The  evaluation  found  a  significant  association  between  the  proportion  of  firms  gaining  facts  or  advice  and  the  activity  type  undertaken  by  the  firm.3% 9 9.   40 20 0 60 59 .0 7.0 10.4 17.  intellectual  Type of assistance sought property and prototype had  high rates for  facts or  specialist skills such as manufacturing skills or legal skills (patent attorneys).2 .5% Prototype 1 .6% 7 7.4% 17 17.5 .0 18.8% Systems Evaluation 2 .0 9.  Mentoring. 50%  of  firms  gained  advice.1% 17 17.   Number Numbers of firms wanting facts. The  evaluation  looked  at  the  proportions  of  firms  who  gained  advice  or  assistance  and  at  the  proportions gaining information (such as facts on a  market) or the use of specialist facilities.1 14.6 14.  38%  gained  facts  or  specialist facilities.4 15.3% 15 15.4% 19 19.4 3.1% 8 8.001.4% 11 11.0 16.0 14. Proportions of EDG clients gaining facts or advice  322.9% 9 5.0% 5 4.7% Mentoring/ Training 0 .0% 2 5.  A  chi‐square  test  of  independence  gives  a  p‐ Advice Facts Legal Grant used Specialist for internal technical value  of  p<.6 33.

0 18. or not.0 100.0% 17 17.7 . or not.2% 9 8. or not.3 14. * activity_cded Crosstabulation activity_cded Business/str ategic plan 10 9.0 65.0 9.0% 50 50.0% 17 17. Advice Count Expected Count % within Whether firm wanted advice on what to do.1% Whether firm wanted advice on what to do.2% 25 16.Whether firm wanted advice on what to do.0 100. or whether  these two things are independent of each other. or not.0%   62.0 34.                           60 Total No Whether firm wanted advice on what to do.7% Strategic Design 11 6.0 100.0 100.   326.2% 39 39. or not.5% Mentoring/ Training 17 9.8 15. Whether firm wanted advice on what to do.4 6. Do facts or advice projects impact on management practice?  325.3 .3 16.5% 21.8% 22 30. * Firm on whether it affected management Crosstabulation Firm on whether it affected management Yes No 52 14 43. or not.5% Systems Evaluation 14 11.0 16.  327.8 78. or not. in  particular  the  rate  of  reporting  the  project  affected  management  was  higher  for  groups  receiving  advice.0 100.001.8% 74 74.7% Intellectual property protection 0 6.2% Total 66 66.4% Prototype 4 11.0% 11 11.0% 19 19. Advice No Total Count Expected Count % within Whether firm wanted advice on what to do.3 .0 9.1% 16 8.  and  having  had  advice. Count Expected Count % within Whether firm wanted advice on what to do. The evaluation looked at whether there was any association between having facts  or advice and seeing changes in the way firms managed their business.0% 113 113.7 22.8% 0 7.0 14.0% 116 116.0 14.  This  means  that  one  can  be  confident  that  firms  having  advice will usually also see changes in the way they manage their business.0% 47 47. Count Expected Count % within Whether firm wanted advice on what to do. Count Expected Count % within Whether firm wanted advice on what to do.7 25. or not.  A  chi‐square  test  of  independence gives a p‐value of p<.7% 0 4.2 18. Firms  asking for facts will usually not see any changes.0% 11 4.2 22.5% Total 66 66.0 100.0% 11 11.0% 21 21.7 15.6 32. Marketing 10 10.0% 20 20.0 17.2 53.0% .2% 7 7. Count Expected Count % within Whether firm wanted advice on what to do. or not. An association was found between advice and changes in management practice.2% 7 9.8 46.9 21.1 14. The evaluation has found a significant association between the proportion of firms  with  an  effect  on  management. or not.

The evaluation categorised projects by whether they were focused on management  level  activities  or  on  business  level  activities. or not.7 8.9% 4 26. or not.  328. One  can  be  confident  that  firms  reporting  impacts  on  management  will  usually  have also received advice.                             64.  A  chi‐square  test of independence gives a p‐value of p<.    330. Firms gaining facts will usually not. Firms reporting no impacts will usually have used the  project to purchase information or specialist skills.6% 87. or whether they are independent of each other.   332.  and  then  looked  at  whether  there  was any association between the two types of projects and seeing changes in the  way firms managed their business.4% Total 66 66.3 12.0 100. .0 53.0% 54 54.    The  evaluation  has found a significant association between the proportion of firms having advice  or  not  and  having  management‐level  or  business‐level  assistance.3 92. or not. The evaluation has found a significant association between the proportion of firms  having had management‐level or business‐level assistance and reporting  impacts  on  management. Advice Count Expected Count % within Whether firm wanted advice on what to do. In particular firms receiving advice  had  high  rates  of  undertaking  management  level  assistance.     63. * Level of assistance Crosstabulation Level of assistance Function Strategic 8 58 30.  In  particular firms receiving management‐level assistance had high rates of reporting  61 Total No Whether firm wanted advice on what to do. Are facts or advice projects also management or business level projects?  329. or not.  whereas  firms  receiving facts had higher rates of undertaking business‐level projects.0% Whether firm wanted advice on what to do. Do management level or business level projects impact on management practice?  331. This  means  that  one  can  be  confident  that  firms  having  advice  will  usually  also  have management level assistance.0% 62 62.0% 116 116. The evaluation looked at whether there was any association between gaining facts  or  advice  and  gaining  management  or  business  level  assistance.0 100. Count Expected Count % within Whether firm wanted advice on what to do.0 46.  A  chi‐square  test  of  independence  gives  a  p‐value  of  p<. or not.001.1% 46 23.0 100.7 35. Count Expected Count % within Whether firm wanted advice on what to do.0% 50 50.001.

       Level of assistance * Firm on whether it affected management Crosstabulation             Total management Level of assistance Business Count Expected Count % within Level of assistance Count Expected Count % within Level of assistance Count Expected Count % within Level of assistance Firm on whether it affected management Yes No 23 28 33.4 17.0%       65. Projects deliver benefits to firms  in  terms  of  gains  in  performance  independently  of  whether  they  deliver  gains  in  management practice.  335.0 100.7% 39 39.1% 51 40.4 17.0 34.  whereas  business‐level  had  high  rates  of  reporting  no  impacts on management.0 65.0 100. This  means  that  gains  in  firm  performance  are  seen  both  by  firms  who  changed  management practice and by firms who did not.3% 74 74.0% 62 62.6 82. Do changes in management practice impact on firm performance?  334. The  evaluation  has  found  no  significant  association  between  firms  who  reported  management  changes  and  those  who  did  not  and  those  reporting  effects  on  performance  (in  terms  of  domestic  or  export  performance).   333.5% 54.0% 113 113. This  means  that  one  can  be  confident  that  firms  undertaking  management  level  projects  will  usually  also  see  changes  in  the  way  they  manage  their  business.0 100.6 45.impacts  on  management.170.  Firms undertaking business level projects usually will not.  The  evaluation  does  not  have  data  on  turnover  subsequent  to  the  project’s  implementation  with  which  to  calculate  actual turnover change).5% Total 51 51. Firms seeing changes in management and  firms seeing no changes had similar rates of gains in firm performance (Note that  this  is  rate  of  gain  not  degree  of  gain.  A  chi‐square  test  of  independence gives a p‐value of p=.           62 .9% 11 21.

0 100.8 37.5% 20 16.2 27.                             63 Total Whether firm wanted advice on what to do.5% 36.0 47. Do advice or facts projects impact on firm performance?  336.053.2% 3 3.6% 17 22.1 3.0 33.0 100.0 100.8 59.  A  chi‐square  test  of  independence  gives  a  p‐ value of p=.9% 59.0 67.0 49.      The  table  shows  that  firms  undertaking  projects  delivering  advice  have  high  proportions  of  firms  also  seeing  either  increased  productivity  or  expanded  sales.0 100.0% 103 103.0% Total 3 3. The evaluation has found an association very close to significant between projects  delivering facts or advice and those reporting effects on performance (in terms of  domestic  or  export  performance).5% 29 32.  Projects  delivering  facts  show  lower  proportions  of firms of increased productivity or expanded sales.9 60. * Effect on the firm's performance Crosstabulation Effect on the firm's performance Increased productivity/ Expanded strengthene domestic/ex d position port sales Not yet 2 34 21 1. Count Expected Count % within Whether firm wanted advice on what to do. or not. or not.2 40. Count Expected Count % within Whether firm wanted advice on what to do.0% .                          66. and may differ with  further  evidence  in  time. Whether firm wanted advice on what to do.0 100.3 2.8% 34 34.2 72.0% 51 51. or not.0% 49 49.0 100.0% 14 16.8% 28 21.0 1.7 28.0% Effect on the firm performance Increased productivity/strengthened position Expanded domestic/export sales Not yet Total Count Expected Count % within Effect on the firm performance Count Expected Count % within Effect on the firm performance Count Expected Count % within Effect on the firm performance Count Expected Count % within Effect on the firm performance Total 57 57. or not.0% 103 103.5% 1 1.0% 51 51.2% 69 69.0 2.6% Effect on the firm performance * Firm on whether it affected management Crosstabulation Firm on whether it affected management Yes No 3 0 2. Advice Count Expected Count % within Whether firm wanted advice on what to do.0% No .0 100.0% 46 46. This means that the association is tentative.0% 37 34. or not.9% 49 49.8 27.0 100.

6 33. A chi‐square test of independence gives a p‐value of p<.  and  enabling  firms  to  target  market  segments  and  attract  prospective investors.001.023.0 100.0% 49 49.2% 48 48.0 53.8 33.   340.0 46.0 100.0% Effect on the firm performance Increased productivity/strengthened position Expanded domestic/export sales Not yet Total Count Expected Count % within Effect on the firm performance Count Expected Count % within Effect on the firm performance Count Expected Count % within Effect on the firm performance Count Expected Count % within Effect on the firm performance 64 .3% 17 23. Business‐level  projects  had  higher  rates  of  revenue  gains  being  yet  to  eventuate.0 100.8% 55 55.8 61.6% 66. Note.7% 19 26.7% 34 27.3% 30 22. In particular. A chi‐square test of independence gives a  p‐value of p=.4 1. there is a caveat to this finding.67. however. the next six months.2 38.2 66.  Time  is  needed  to  see  if  the  result  above  holds.4% Total 3 3. Do management or business level projects impact on firm performance?  337.   338.  and  consistent  with  this  had  a  significantly  higher  rate  of  firms  subsequently  launching  products.0% 103 103.  339. projects assisting with management‐level activities  showed a higher rate of gains in firm performance in terms of export and domestic  revenue and improved productivity. This  means  that  one  can  be  confident  that  firms  undertaking  management  level  projects  will  usually  also  see  gains  in  their  performance.0% 51 51. The  evaluation  found  a  significant  association  between  the  proportion  of  firms  where  there  was  an  effect  on  firm  performance  and  projects  assisting  with  management or business type projects.  It  may  not  if  many  of  the  business  level  project  firms  see  gains  in  performance in. say.0 100. Firms undertaking business level  projects usually said they had not yet seen changes in gains as it was too early for  this  given  the  project  they  undertook.  Firms  undertaking  business level projects will not.      Effect on the firm performance * Level of assistance Crosstabulation Level of assistance Business Management 1 2 1.

  for  if  the  37%  also  see  gains  in  performance it will raise the success rate of the fund significantly.   348.   343. or  entering  a  new  market. The  difference  between  the  roughly  50%  of  firms  who  gained  in  terms  of  management  capability  and  the  nearly  80%  who  have  gained  in  terms  of  the  activities  they  used  the  fund  for  is  due  to  ambiguities  in  the  original  policy  statement resulting in a  broad interpretation by NZTE of building ‘management  capability’.   345.  facts. 78% of firms have seen benefits from the grant. Quantitative findings: interpretation and conclusion    341.     65 . 39%  of  firms  have  seen  gains  in  firm  performance.  the  remainder  saw  changes  in  plans  which meant they no longer wished to undertake the project. management level.  This  means  that  of  the  84%  of  firms  who  complete  a  project. Firms are undertaking projects which in a broad sense improve their management  capability.  improving the way the firm runs. 50% of firms use the fund to gain advice. So in terms of the fund’s capability objectives the success rate of the  EDG  is  47%  for  self‐reported  changes  and  56%  for  changes  which  have  been  categorised as at a management level. 92% see positive gains from it.  and  for  firms  undertaking  projects  delivering  advice. Overall  342.  The  evaluation  recommends  a  second  look  at  the  sample  in  six  to  twelve  months. The evaluation was interested in seeing whether the EDG had resulted in changes  and  gains  in  management  practice  and  in  activities  of  the  firm. Roughly 50% of firms had no intention when  undertaking  the  projects  for  it  to  have  any  changes  to  or  have  any  effects  on  management.11.  whether  these  resulted  in  gains  in  performance.  and  whether  there  was  any  difference  in  outcomes  for  activity  type. This is a very good result for the EDG. 56% of firms saw changes in the way they managed the business. gaining or clarifying a strategy for the future. 47% of firms gained  management level assistance and 41% gained business‐level assistance. but not in a narrow sense. 84%  of  firms  went  ahead  with  the  project. in terms of having a product ready  for launch or launching it. This was usually because while the grant was closed the  project  was  taking  longer  than  one  year.  347. understanding which segments of the market to target. or business level assistance.  346.   344. and 38% use it to gain facts or specialist  facilities.     68.  37%  said  it  is  too  early  yet  to  see gains in performance. 30% of firms said  projects  had  no  effect  on  management‐  but  these  firms  typically  had  undertaken  projects which were not geared at impacting on management.

  The  evaluation  has  found  a  significant  association  between  the  proportion  of  firms  having  had  management‐level  or  business‐level assistance and reporting impacts on management.  and  looked  to  see  the  impacts  of  each  project  type.  This  means  that  one  can  be  confident  that  firms  undertaking  management  level  projects  will  usually  also see gains in their performance. All  activity  types  were  equal  in  their  rates  of  subsequent  gains  in  firm  performance in terms of domestic or export sales.  357. The  goal  of  the  EDG  is  improve  firm  performance  via  an  improvement  in  management and business capability.  To  target  the  fund  more  squarely  at  management  level  projects  the  assessment  of  proposals  and  possibly  the  66 .   350. Activity type was also related to undertaking management level projects.  undertaking  management level projects or gaining advice. Firms undertaking business level projects usually  said they  had not  yet  seen changes in gains as it was too early for this given the  project they undertook. Time is needed to see if the result above holds. It may not  if  many  of  the  business  level  project  firms  see  gains  in  performance  in. All but  intellectual property and prototype had high rates of being used for management  level projects. Firms undertaking business level projects will  not. This means one  can be confident that these activities will usually have firms gaining management  level assistance.   356.  and  business  planning  showed  significantly  higher  rates  of  change  in  the  way  firms  manage  their  business.   352.  Firms  undertaking business level projects usually will not. The  evaluation  defined  projects  as  business  or  management  level.  the  next six months. The  types  of  activity  differ  in  the  rates  at  which  they  result  in  change  in  management  practice.   355.  This  means  one  can  be  confident  that  these  activities  will  usually  have firms changing their management practice.  marketing  projects. Activity types  349.69. This means that  one  can  be  confident  that  firms  undertaking  management  level  projects  will  usually  also  see  changes  in  the  way  they  manage  their  business. Note the caveat to this finding.   351.  It seems these are not well fitted to  the goals of the EDG.  training.  say. Currently the proportions of firms using the EDG to undertake management level  or  business  level  projects  are  fairly  even.   354.  Mentoring. The evaluation also found that firms undertaking projects defined as management  level  had  significantly  higher  rates  of  gain  in  performance.     70. with mentoring and training being especially high. The  activity  types  of intellectual  property  protection  and  prototype  development  had  very  low  rates  of  firms  reporting  changes  in  management. Interpreting the results: improving management capability  353.

 to coordinate any changes  with final implementation of the devolved model in mid 2006. that time may eliminate  these differences.  The  evaluation  has  found  a  significant  association  between  the  proportion  of  firms  having  advice  or  not  and  having  management‐ level  or  business‐level  assistance  and  seeing  changes  in  management  practice  or  not. This would  require a definition from MED for NZTE of at least the core of what ‘management  level’ is (even if the edges of the distinction with ‘business level’ are left somewhat  blurry). Resolving the ambiguity between facts and advice. with the final implementation of changes to the fund due  67 . and those who need to gain the capability to  implement  their  project.  Firms  undertaking  projects  delivering  advice  have  high  proportions  of  firms  also  seeing  either  increased  productivity  or  expanded  sales.  It  may  be  that  the  fund’s  goal  of  capability  building  is  achieved best by including firms who can themselves implement the project or by  being  restricted  to  those  firms  who  need  to  learn  the  skills  to  gain  capability  in  order to implement the project.   358.  363.  due  for  piloting  1  December 2005. At present.   362.  it  seems  aiding management via advice is the best way to aid management to achieve gains  in performance.   361.  whereas  firms  receiving  facts  had  higher  rates  of  receiving  business‐level  assistance  and  not  seeing changes in management practice. and looked to see the  impacts  of  each  project  type. Firms gaining facts will usually not  see such changes. Thus  the  fund  could  be  at  least  weighted  toward  firms  wishing  to  gain  advice. two  types  of  firms  are  accessing  the  fund:  those  who  can  themselves  implement  the  project but need information to do so.  This means that one can be confident that  firms  having  advice  will  usually  also  gain  management  level  assistance  and  usually see changes in management practice.     359. As  the  fund  is  undergoing  change  with  its  devolution. The  evaluation  found  there  is  an  issue  in  whether  the  fund  is  a  channel  for  information to managers or whether it is to build their capability. The  evaluation  also  found  a  tentative  association  between  receiving  advice  and  seeing  gains  in  performance.  This  can  be  done  by  adjusting  the  assessment  to  spot  these  sorts  of  firms. In particular firms receiving advice had high rates of receiving management  level  assistance  and  seeing  changes  in  management  practice. The  evaluation  defined  projects  as  delivering  advice  to  build  capability.      71.  or  delivering information to firms with the requisite capability. Again.  360.description of the funds goals to the market. there is time to assess the sample again. As  management  level  projects  see  higher  rates  of  gain  in  performance.   364.  and  possibly the description of the fund to the market. Projects delivering facts show lower proportions of firms gaining increased  productivity or expanded sales. The evaluation must still make the same caveat as before. would need to be revised.

 This should be able to be compared to final outcomes  from the project funded by the grant.  and were left unhappy with NZTE and the grant process.  The  sample  size  was  58. It  may  be  that  the  firms  who  were  declined  but  undertook  their  projects  nonetheless did so because they had the resources to do so and this was the reason  for them being declined.’      73. The firms who had been declined and had not undertaken the project viewed that  as a real loss. The evaluation has no information on why the firms were  declined  with  which  to  confirm  this  supposition  because  many  were  declined  prior to those records being kept. 38% of the declined EDG firms went on and did the project.  there  is  time  to  test  these  possibilities  by  assessing  the  sample  again.  All  who  were  contacted  spoke to the evaluation.  This  suggests  that  the  goal  of  the  fund  to  encourage  firms  to  seek  assistance must be considered a goal for those firms who are declined as well. Recommendation   370.mid  2006.  366.  More  personalized  and  encouraging  explanations  of  the  reasons  for  being declined will help prevent the feeling of being ‘brushed off.  The  evaluation  contacted  70%  of  the  sample. and would place both an evaluation in the  future  and  NZTE  in  a  stronger  position  to  assess  changes  in  the  firms  post  intervention.     72. 33% did not. Declined firms  365.    368. taken  from their description in the application form of the project and their goals for the  external advice or expertise.   369. The remainder of the sample  was not able to be located.   367.   371. The evaluation recommends that a process of detailing more fully the reasons for  declining firms is instigated. The  evaluation  rang  a  simple  random  sample  of  declined  firms. Many who were declined felt they had been brushed off. It is recommended NZTE establishes a system of storing electronically data from  the application forms on all applicant firms’ financial and capability needs.  before any further changes are made to the fund. could not understand it. Many said they would  not  reapply. giving a 70% response rate. MED should be involved in establishing this system. and  the  process  of  declining  firms  should  not  discourage  firms  from  seeking  further  assistance.    68 .

Qualitative findings    74.  because  without  agents  who  know  the  process  a  firm  would be lost in the FDA bureaucracy and the firm did not have that knowledge.  They  felt  they  were  a  small  company  who  had  struck  gold  early on but didn’t know what business planning was or how they should handle  69 . Overall  373.  or  the  activities  occurring. Firms  who  requested  and  received  management  capability  help  included  a  firm  who  wished  for  a  long‐term  strategy  after  a  few  roller‐coaster  years  with  major  international  clients.  in  order  to  secure  investors.12. Guide to the findings  372. They are drawn from the sample of 132  firms.  one  cannot  generalize  from  these  statements  to  the  EDG  as  a  whole. The  latter  is  a  grey  case. Many also said they were able to do  the project to a much higher standard than otherwise.   375. The  situations  of  firms  undertaking  this  type  of  activity  were  mainly  a  wish  to  expand into new markets.  that  is. Firms  said  that  the  fund  was  a  significant  leg‐up  to  achieving  their  goals.    Another  firm  needed  help  in  gaining  FDA  approval:  they  needed  agents  in  the  US  who  were  proficient  at  organising  and  managing  that  process. Seven firms needed facts with which to decide how and whether to proceed with  their  plans. Business/strategic plan development and feasibility studies.  So  while  it  is  not  certain  that  firms would not have done the project and achieved their goals without the grant. goals and experiences of the firms in the sample.  and  often  gained  them  the  results  they  were  after  in  a  very  much  shorter  time  frame  than  they  felt  they  could  have  done  on  their  own. and could help other companies in NZ do it.    Three  needed  assessments  of  markets  in  order  to  decide  whether  to  launch in that market.  377.  They  are  not  statistically  representative  of  outcomes  of  the  EDG.  They said they now know how to pull together the necessary documentation.  that  is.  as  well  as  an  independent  chemical  analysis of their product.     76.  the  firms  did not have the skills to the plans for the business themselves.  374.  independent  party. and two successfully launched as a result. The  projects  were  mostly  genuine  efforts  at  tackling  skill‐gaps. Those not genuine  included a firm using the grant to fund a report it needed written by an external. advice on the firm and its performance. The findings in this section are qualitative. and  who the right people in the US.  378. or to have help  commercialising a product.  The  findings  are  to  give  an  understanding  of  the  range  of  situations.          75.   376.  the firms were sure they achieved them faster.

  Firms  in  the  pharmaceutical  industry  cannot  get  partners  or  investors  without  them  being  assured  they  have  rights  over  any  product  they  make. Other firms view i.  for  development  costs  so  much. and the EDG does not go far toward that. but this strategy was already developed.T and bio‐tech firms view it as  essential.  Firms  said  i. Two  firms  explained  that  the  volumes  they  need  to  produce  their  products  at.  so  software  firms  must  have  i.  As  a  result  of  their  project  they  have  developed  a  global plan as well as having analysed their company’s strengths and potential.   385.p  protection.  They  gained  new  ways of thinking about their firm as well as specific things to work on to improve  performance.   379. means they cannot manufacture in New Zealand.  wording  and  marketing  material  for  the  product.      77. else they will loose  their product to rival offshore manufacturing firms. or to meet the low  costs demanded by the market. I. such as  on aspects of product design.   381. I. Product design projects included such things as developing owner’s manuals and  instructional  DVDs.p protection is not something which easily fits with the policy goals of improving  management  skills  or  abilities.  For  one  firm  the  outcome  was  a  fundamental  restructure‐  in  direction. In that regard firms say they don’t have a business  without i. and new relationships with external researchers. The former manager now operates  the business and leaves its management to his new board. Strategic Design  384.p  was  also  useful  for  letting  them  know  that  their idea really was original and that they were right to pursue it. Gaining  global  patents  usually  costs  firms  more  than  one  hundred  thousand  dollars.  assistance  with  design. as well as by  gaining a board of directors and shareholders. and a broader focus. Intellectual property protection.  Firms  already  knew  whether  they  wanted  or  needed  I.down‐times  between  clients.  They  said  manufacturing offshore entails they must have global patents.p varied in its importance for firms.p  For  some  i. on branding for the company as  a whole.  Projects  also  included  technical  advice  on  technology  70 . Protecting i. Projects under this type of activity included projects with a narrow focus.p protection.  Software  is  easily  copied  once  it  is  launched  as  a  product.  either to meet the volume of product demanded by the market.  The  manufacturing  industry  is  both  too  small  and  too  expensive.   380.     78. although firms were grateful for  any and all assistance they had with such large costs.p as only as useful as they are capable of  affording  to  defend  it. Other  firms  wished  for  help  in  improving  their  performance.   382.  rights  at  the  end  of  development must be assured.   383.p  lay  within  a  larger  strategy  of  selling  or  manufacturing  offshore.  logos. branding.

Other firms knew the specific information on a market they needed. It had a product ready for production in 12 months. Market research and marketing plans  388. but many of  these firms said they would not try to do that sort of research on their own.  Many  of  these  firms  were  also  undertaking  marketing  work  under mentoring. Most  of  the  firms  developing  prototypes  used  the  grant  to  purchase  facilities  for  production they did not have or the technical skills needed to build the prototype  their  firm  did  not  have.  and  so  not  be  gobbled  up  and spat out by big players in the U. They felt it was very important for marketing and success  in general. Firms who did not know how to develop a plan to enter a market felt they could  learn  such  a  skill.     79. Prototype  392.   393.  and  so  wanted the ‘feel’ of the company to be right. and in these cases the difference between strategic design and prototype  development is slim. Branding projects include one undertaken by a new firm still getting their product  into  production  but  who  believed  their  product  would  sell  on  image.projects. Some  of  the  marketing  projects  were  done  by  firms  who  did  not  know  how  to  approach  entering  a  new  market.  391.    80. One firm said for a small business it is better to contract  the  task  out  to  huge  experience  in  profiling  a  market. It is a skill that some managers said  they  will  continue  to  access  externally  while  they  remain  too  small  to  have  an  employee with such skills.  Two  firms  used  the  grant  to  fund  internal  costs  and  did  not use external providers.  386. Another  firm  had  been  to  a  branding  seminar  and  decided  to  re‐brand  their  existing firm.  Some  of  these  firms  felt  they  had  learnt  what  to  do  from  these  projects  and  could  now  enter  any  market on their own. and said they would never start a firm again without going through  a branding exercise first. To not do this is false economy.S. Only  three  of  the  firms  used  the  grant  to  purchase  advice  on  developing  their  prototype.   389.  and  needed  someone  who  knew  what  information  to  gather  and  what  the  firm  would  need  to  do. The firm had already spent money on  this  but  the  grant  gave  work  a  leg‐up  and  meant  the  firm  moved  ahead  more  quickly.  71 .   390.   387. Firms  who  knew  what  sort  of  information  they  needed  said  they  would  not  feel  comfortable researching a market themselves.

’  395. Certification was of two different types‐ compulsory and optional certification for  a  product. This type of activity is the one most geared to building management ability.  which  required  an  assessment  of  the  product. Some firms knew how to prepare the firm for the certification. and so  has seen the greatest impact on it.  Others  did  not.  but  the  difference  is  that  via  training  and  mentoring  they  learn  both  how  to  develop  a  plan  and  develop  one  for  their  firm.  81.  The  results were not as good as they would have liked and they had to do a fair bit of  re‐development.  400. A  firm  who  had  systems  reviewed  had  the  ‘seat‐of‐the‐pants’  systems  they  had  built  over  the  years  reviewed  and  altered.     82. Some firms have had a complete turnaround in  performance and described the results as ‘mind‐blowing.  and  compulsory  and  option  certification  of  the  firm. some firms used the training  or  mentoring  to  develop  marketing  plans.  399. especially delivery time and saw revenue growth  as a result.  which  required  an  analysis  of  procedure  and  documentation.    396.   398. Mentoring and training  394. There is some overlap with the marketing activities.  and  the  grant went to the costs of the consultants used.  or  have  established  a  board  of  directors for ongoing help. Firms  have  also  decided  to  keep  the  mentor  on. As a result the  firm improved its performance.  The  consultants  documented  responsibilities and removed uncertainty on roles and procedures. and the grant went  to  their  costs  or  the  costs  of  the  evaluation  of  the  firm. Systems  evaluation  ranged  from  a  review  of  the  systems  of  the  firm  to  development  of  products.  One  firm  in  fact  built  a  prototype:  the  firm  needed  funding  for  the  project  but  due  to  the  requirement  for  external  assistance  they  hired  consultants  to  build  the  prototype  when  they  had  the  skills  in  house. Certification and systems evaluation  397.             72 .

  Have you seen any impact of this on your business’ performance  6. was worth the time  spent on applying?    73 . what were your specific goals for it?   3. then.     5.  Appendix: Survey Questions     401. to begin with.  These  varied  from firm to firm as required.   8.   So you had received approval for the grant. Can you think of any ways in which the project has influenced the way you manage     your business?    Do you think you will seek any more assistance for your business?  7. and how did you arrive at  _________?    1. 2. These  are  the  questions  used  for  the  survey.     OK.  but  all  the  interviews  involved  asking  further  questions  to  better  understand  the  situation  of  the  firm.  the  project  and  the  outcomes. On balance. and called in the external people you  had chosen. when you were originally thinking to seek help. if any?  4. what sort of help were  you after.     So thinking about the project itself. what happened next? what did the external people do?  Can you describe what sort of effects the project has had on your business. do you think what has resulted from this. if you could think back to before the _______assistance was         decided upon.  and  all  firms  were  asked  these  questions.

Sign up to vote on this title
UsefulNot useful