Leveraging Cloud for Product Testing- Impetus White Paper | Cloud Computing | Distributed Computing Architecture

        W H I T E   P A P E R

Leveraging Cloud Capabilities   for Product Testing  

Abstract
In this white paper, Impetus focuses on how the power  of the Cloud can be harnessed to address the software  product testing challenges faced by organizations.    The paper discusses Cloud Computing capabilities and  why organizations need to consider the Cloud for  testing.     It also talks in detail about how a testing team can  actually utilize the strengths and benefits that the  Cloud offers and the characteristics an application  must have, to qualify for Cloud‐based testing.            

 

 

Impetus Technologies, Inc.  www.impetus.com  September ‐ 2011 

Leveraging C Cloud capabilit ties for produc ct testing 

Table o of Conte ents 
Introduction ..... ...................... ............................................................... ....... 2  hy Cloud for T Testing?......... ............................................................... ....... 3  Wh Is C Cloud useful f for me during g testing? ................................................ ....... 4  Cha allenges in ad doption of Clo oud for Testin ....................................... ng  ....... 6  Operational cha allenges in Clo oud adoption ......................................... ....... 7  ep by step app proach to leverage cloud c capabilities ........................ ....... 8  Ste Sum mmary .......... ...................... ............................................................... ..... 10 

 

  In ntroduct tion 
Cloud Computing is a model that ena ables convenient, on‐dema and access to o a  shared poo ol of configura able computing resources, , such as  netw works, server rs,  storage, ap pplications and services. Th hese resource es can be rapidly provision ned  and release ed with minim mal managem ment effort or r service provider interaction.  Of late, the ere has been a a lot of hype surrounding Cloud Compu uting and inte ensive  deliberation on how its capabilities can be exploit ted.      Every organ nization, from m start‐ups, SMEs to the la arge ones, is c considering th he  utilization o of the Cloud i in their produ uct strategies. The Cloud is s being adopt ted  and harnes ssed for various functionalities in a prod duct developm ment life cycl le,   them is also software test key among  ting.      CXOs, test d directors and d managers ha ave one big p priority today— —reducing th he  time to plan, install, con nfigure and va alidate complex test enviro onments, while  improving t the quality of f testing.   

 

2

Leveraging C Cloud capabilit ties for produc ct testing 

Why y Cloud f for Testing? 
Looking at the multi‐faceted demand ds of the curre ent market, it ts complexity y and  the dynami ic nature of the applications, it is obvio ous that produ uct testing ha as  become a c challenging en ndeavor.  Pro oduct Testing teams need t to validate highly  scalable req quirements o of distributed and component‐based ap pplications. He ere  are some o of the main re easons why on ne should con nsider cloud f for testing.    • Pro oduct testing demands inte ensive capital investments s in hardware e. For  org ganizations th hat either don n’t have resou urces or do no ot want to ha ave a  dire ect and dedic cated investm ment in testing g infrastructu ure, the Cloud d is  the e perfect choi ice as it fulfills all test environment requirements an nd  dem mands.     If C Cloud capabili ities are explo oited effectiv vely, they can help in achie eving  eno ough test cov verage while b bringing down investment t and  con nfiguration co osts for any organization. T The usage of right environ nment  for r testing will a also help in co ontrolling the e product cost ts by enabling g  def fect detection n earlier in the life cycle.    Acc cording to a r recent industr ry research, 3 30 percent of the bugs in  pro oduction are d due to the inc correct test e environment c configuration ns.  The e study also in ndicates that the efforts in nvolved in fixing these def fect  leakages are hug ge.     • erestingly, test hardware i is not utilized d to its optimu um capacity a after  Inte the e software is l launched into o the market that results in n wastage of  res sources of any y organization n. With the C Cloud‐based re ental and pay y‐as‐ you u‐go model, t the testing team is provide ed with a test t lab for the  req quired timefra ame and as so oon as the te esting is over, the resource es are  dec commissioned. This really helps organiz zations to sav ve on capital  exp penditure.    ditionally, org ganizations ca an shorten th he provisionin ng time as clo oud  Add ena ables provisio oning of test s servers on an n on‐demand basis. Theref fore,  the e procuremen nt time taken for test resources is reduc ced, which cu uts  dow wn other adm ministrative co osts as well. I It is also impo ortant to cons sider  the e costs involve ed in procurin ng the license es of the tools.  The cost o of  too ols typically in ncreases with the number of users. The erefore, most  com mpanies do not test applic cations for the e expected number of use ers,  the ereby resultin ng in their poo or performan nce of the app plication on  pro oduction. 

 

3

Leveraging C Cloud capabilit ties for produc ct testing 

Clo oud Computin ng encourages elasticity in the applicati ion platform. This  imp plies that the actual resources used by the applicatio on may grow w or  shr rink based on the load on t the applicatio on. The Cloud d makes it pos ssible  to t test during th he up‐scaling and down‐sc caling of appli ications witho out  any y intervention n from the ad dministrator. The e Cloud also g gives organiza ations an opp portunity to collaborate  wit thout bounda aries. Geograp phically distributed testing g teams can  add ditionally share the same e environment and use it for testing  init tiatives, 24x7. These environments can also be share ed with the  dev velopment te eam for debug gging purpose es. With the C Cloud, test  eng gineers can now say, “We have tested t this software in a real  env vironment in the Cloud. He ere's the defe ect and here's a link to the e  env vironment wh hich was used d for testing.” ” The develop per can access that  URL, to see whe ere the defect ts are, and fix x the same. Th he Cloud also o  rem moves the back and forth p pressure that t is usually ob bserved in a  traditional testin ng environme ent. 

  •

 

Is C Cloud use eful for me during testin ng? 
on that most companies are faced with h is, “Is Cloud useful for me e  The questio during testing?”     It has been noticed that t the external events such as the Super Bowl, Cyber‐ ‐ Monday, Ta ax Day, Valen ntine’s Day, a drop in the in nterest rate o or in‐fact, any y  vague news s about a cele ebrity, can su uddenly drive unforeseen t traffic to any web  application.     However, if f the site host ting such app plications becomes slow, o or worse, cras shes  under this l load, it is safe e to assume that it was no ot tested with enough user rs and  the Cloud c can come in h handy for test ting needs.   

4

Leveraging C Cloud capabilit ties for produc ct testing 

    Software products with complex com mputational w workloads suc ch as tightly  coupled, pa arallel proces sses, or the ap pplications th hat are very se ensitive to  network pe erformance ca an also levera age the Cloud d during testin ng.     Take the instance of Wa all Street firms. These run t thousands of f instances of  complex Monte Carlo simulations at night to dete ermine how to o be ready when  the market t opens. This i implies that f for some appl lications the e economic and d  agility bene efits may be v very strong an nd should be migrated qui ickly to the Cl loud.     In case of the tightly inte egrated appli ications with fairly stable u usage pattern ns, it  may not ma ake sense to move to the Cloud.     The Cloud c can also play a pivotal role e in scenarios where an org ganization wi ishes  to leverage e its hardware e infrastructure and computing resourc ces to perform m  testing like performance e, load, stress s and compatibility for regular applicati ions.     The Cloud i is useful if org ganizations are looking to test High Per rformance  Computing g (HPC) applications or HPC C style worklo oads. These companies wo ould  usually be o operating in v verticals such h pharmaceut ticals, oil exploration, industrial  and automotive design, and media and entertainm ment.    No matter what the nee ed, organizations must det termine the e exact reasons why  they have t to move to th he Cloud and w when they ha ave to make t this move. 

5

Leveraging C Cloud capabilit ties for produc ct testing 

Challenge es in ado option o of Cloud for Test ting 
There are s several challenges that org ganizations ca an encounter while embra acing  the Cloud f for software t testing. These e include:  • Sha aring of resou urces and tes st environments: The first major pain p point  is s sharing of resources and te est environments.  The sha aring of the  infr rastructure becomes a pro oblem when t the same stac ck of resource es is  bei ing accessed by different t teams that of ften results in n resource  dea adlocks.   The e deploymen nt of builds on n various nod des:  This is an nother  pro oblematic are ea. If the build d is deployed manually and d on a large  num mber of node es, it will invo olve additiona al effort in installing the bu uild  on every other n node by the t testing team. Even the dep ployment of  tes sting tools can n create prob blems.  Exe ecution of tes st suites on d different clust ters:  A significant challeng ge is  the e execution of f test suites o on different clusters and m monitoring thi is  act tivity. As the s suite is executed on variou us nodes, kee eping an eye o on  the e execution st tatus and arri iving at a legible consolida ated result set t  from a cluster o of machines becomes a diff ficult task. Th he manageme ent of  st data with cl lusters getting up‐scaled a and down‐sca aled is anothe er  tes pro oblem. 

 

 

6

Leveraging C Cloud capabilit ties for produc ct testing 

Operati ional cha allenges s in Cloud adopt tion 
Apart from the challenges discussed in the previous section, th here are other  that are faced d by the organ nizations due e to cloud  operational challenges t platforms.    • Interop perability: Each public clou ud provider h has its own ar rchitecture,  operati ing model and pricing mec chanism and offer very litt tle  interop perability. This poses a big challenge for r companies w when they ne eed  to switch vendors. V Vendor lock‐in n, regulatory compliance, privacy, and  security y, are among g a few custom mer concerns s related to th he public Clou ud.     • Freque ent updates: I It is also seen n that Cloud v vendors updat te their APIs a and  release e their builds very frequently. This in turn places a de emand on the e  produc ct teams to ke eep a check on these changes, and get t their product ts  validate ed for the Clo oud vendors’ builds, as we ell.  Monito oring: The improper use of f Cloud‐based d test environ nments can re esult  in highe er costs. Even n though som me vendors of ffer pay‐as‐yo ou‐go Cloud  services, this approa ach can be ex xpensive if the e resources are not contro olled,  monito ored and used d efficiently. System m maintenanc ce/updates: A Additionally, p performance of the Cloud can  have an n impact, as s sometimes th he services are e disrupted d due to  mainte enance or upd dates by Cloud vendors. As s public Cloud ds are shared by  numero ous users, the ere may be ca ases where a company mig ght have to w wait  for the required ban ndwidth.   Securit ty: Security is also another r critical facto or that needs to be addressed.  Recently, the Sony s site was hacke ed and the da ata of about 1 100 million us ser  nts was compromised. This s was the seco ond‐biggest d data theft to o occur  accoun in the U US and was ca arried out usi ing Amazon's s EC2 Cloud. T Therefore,  security y, related to d data integrity y, is a major c concern. 

  •

  •

  •

  However, d despite these bottlenecks, there are sev veral benefits s of harnessin ng the  power of th he Cloud and its infrastruc cture to ensur re the correct tness of product  architectur re, its implementation and d configuration.    

 

7

Leveraging C Cloud capabilit ties for produc ct testing 

Step by ste e ep appro oach to leverage e cloud c capabilit ties  
Impetus Te echnologies has designed a a custom test t approach that can help  organizatio ons to adopt t the Cloud for their product t testing need ds. The test  approach w was derived fr rom Impetus’ ’ test enginee ering maturity y model (TEM MM),  which defin nes the key te esting activitie es that are ne ecessary to rightly test any y  software pr roduct. The m model helps resolve the am mbiguities tha at arise during g  Software Product Testin ng.    

     

 

8

Leveraging C Cloud capabilit ties for produc ct testing 

The Impetu us defined mo odel aims to p provide a definitive directi ion to achievi ing  better prod duct quality, t through a foc cus on business goals, risks s, time and co osts.  The model serves as a benchmark for any type of testing, inclu uding function nal  and nonfun nctional testin ng and its def fined set of ac ctivities can s show the way y to  an organiza ation’s testing g teams.     According t to Impetus, companies can n adopt its ste ep‐by‐step ap pproach to  leverage Cloud capabilit ties as showca ased in the fig gure below.   

     

9

Leveraging C Cloud capabilit ties for produc ct testing 

Summ mary 
Clearly, Clo oud is current tly gaining mo omentum and d has the capa ability to redu uce  the product life cycle for any organization and com me up with better quality,  t offerings with lesser inve estment. With h its own set of challenges s,  zero‐defect Cloud bring gs a lot more benefits that t help organiz zations to put t a cap on the eir  budgets. Im mpetus’ appro oach towards s Cloud utiliza ation during te esting can be e  adopted by y any product t company tha at provides th hem a definit tive direction  towards eff ficient utilizat tion of the same.   

   
     

About Impet tus  Impetus Tech hnologies offers Product Eng gineering and T Technology R& &D services for software prod duct development.  With ongoing g investments in research an nd application o of emerging te echnology area as, innovative b business mode els, and  an agile appr roach, we partner with our client base com mprising large s scale ISVs and t technology inn novators to deliver  cutting‐edge e software prod ducts. Our expertise spans th he domains of Big Data, SaaS, Cloud Compu uting, Mobility  Solutions, Te est Engineering g, Performance e Engineering, and Social Media among oth hers.  Impetus Technologies, Inc.  vard, Suite 450 0, San Jose, CA 95129, USA  5300 Stevens Creek Boulev @impetus.com          Tel: 408.213.3310     |      Email: inquiry@ velopment Centers ‐ INDIA: • New Delhi • Bangalore • In ndore • Hydera abad   Regional Dev To know mo ore visit: http:/ //www.impetus.com  

Di isclaimers 
The information con ntained in this document is the prop prietary and exclus sive property of Im mpetus Technologi ies Inc. except as o otherwise indicate ed.  No part of  is document, in wh hole or in part, ma ay be reproduced, , stored, transmitted, or used for de esign purposes without the prior wri itten permission o of Impetus  thi 10 0 Technologies Inc. 

Sign up to vote on this title
UsefulNot useful

Master Your Semester with Scribd & The New York Times

Special offer for students: Only $4.99/month.

Master Your Semester with a Special Offer from Scribd & The New York Times

Cancel anytime.