The 

Qualification of New 
Technology
Session 1
Introduction to Risk, Reliability and 
Qualification

www.astrimar.com

What is Technology Qualification?

• Technology Qualification is a demonstration process 
– Equipment meets function and performance requirements 
– Technology/product is robust and reliable
– Acceptable safety and environmental risk and uncertainty
• Prior knowledge and data will not normally be sufficient
• Evidence comes from testing, analysis and modelling 
– More extensive than functional test at the factory or in the customer’s system 
integration test

“The process of providing the  “The process of confirming, by 
evidence that the technology  examination and provision of 
will function reliably within  evidence, that equipment meets 
specified operational limits with  specified requirements for the 
an acceptable level of  intended use” [API]
confidence.” [DNV]

© Astrimar 2018 1
 Qualification and Technology Readiness

• Many technology developers (suppliers) and technology users 
(customers) use concept of Technology Readiness Level (TRL)
• First developed by NASA

• Now used by other sectors including Defence, Renewables 
and Oil and Gas
• Different sectors have developed their own TRL ladders

Example TRL Ladders

TRL ladder generic descriptors will require 
“interpretation” and are likely to require 
“adaptation” when applied to a specific technology

© Astrimar 2018 2
 How is a TRL ladder used

• TRL used to:
– Indicate the stage of development: It’s a measure of where you are in 
the overall development of a technology 
– Indicate the type of qualification activity required at each TRL: from 
basic R&D through to reliability growth monitoring in operation
• TRL  is not a qualification process
• However Qualification process should address the progress 
from the initial TRL to the required TRL
Product
Validation
System
System
Operation
Installation
6 TQP
System Installed
4 Integration 9
8
Prototype
Development
7
Prototype

TRL Ladder Descriptions

TRL
0‐7 1‐9
Development Stage Completed 
Basic Research 0 1 Technology Developer:
Basic principles observed and reported
Research 
Concept   • TRL 1,2: R&D, formulates concepts and potential applications
1 2 Technology concept and/or application formulated World 
Formulation
Analytical and experimental critical function and/or characteristic 
3 • TRL 3,4,5: Activities to validate and demonstrate concept. Builds and 
Concept  proof‐of‐concept
Demonstration
2 tests model or prototype to create robust and reliable device 
Component and/or breadboard functional verification in a 
4
laboratory environment
Component and/or breadboard critical functional verification in a  Simulated 
Prototype 
3 5 relevant environment. Prototype is function, performance and 
• TRL 6: Full scale model (version) of product to be deployed in  World
Development
reliability tested.
intended application. Tests in applicable environment to validate 
Full Scale model of product demonstrating critical functions of the 
Product Validation 4 6
technology before release to customer.
element in a relevant environment but not necessarily connected 
to the wider system 
Full scale model or product demonstrating the  element 
End User:
System Integration 
5 7 performance in a relevant environment while integrated into the 
Testing • TRL 7,8: Integrates validated product into system or application. 
system 
Verifies functions and performance requirements in operational 
System Installed  Real World
Actual system completed & accepted for mission / operation. 
environment. Commissions for operation. 
Ready for  6 8
Installed, hooked up, commissioned and ready for operation.
Operation • TRL 9: Monitors in Operation to provide evidence of extent to which 
System Operation 7 9 performance/reliability/integrity requirements met.
Actual system proven through successful mission / operation

Will be using 1 to 9 TRL ladder in this course

© Astrimar 2018 3
 Key TRL Milestones
Developer ‐ Customer Transitions
Based on 1 to 9 TRL ladder Technology ready  Technology ready for 
to build prototype end user application

Development world 
Technology  TRL TRL TRL TRL TRL TRL
Development  1 2 3 4 5 6
Project Research Stage Technology Development Stage

Technology ready  Technology 
for operation   field proven 
Real world 
TRL TRL TRL
Application  7 8 9
Project  / Process
Integration Stage Operation

Meeting Performance Requirements

Risk Matrix
• New technology needs acceptable level of 
5
reliability and safety
Probability of failure

Unqualified
4 Existing  Technology

• The greater the adverse consequences of  Technology

3
failure, the more reliable the technology 
should be 2
Qualified
Technology
1
1 2 3 4 5
• Where new technology is replacing or  Consequence Severity
displacing an existing technology it will often only be successful if:
– Reliability is as good or better than the existing technology
– Has acceptable safety and environmental risk

• Key qualification goal is demonstrating technology will meet reliability, 
availability, maintainability, integrity and health and safety  requirements
– Addressed from TRL 4 to 9 (API TRL 2 to 7)

© Astrimar 2018 4
 TRL Goals

TRL
0 ‐ 7 1‐9
Development Stage Completed 
Basic Research 0 1 Basic principles observed and reported
Research 
Concept   World 
1 2 Technology concept and/or application formulated
Formulation Understand Function and Performance 
Analytical and experimental critical function and/or characteristic 
Concept 
3 Requirements
proof‐of‐concept
2
Demonstration Component and/or breadboard functional verification in a 
4
laboratory environment
Component and/or breadboard critical functional verification in a  Simulated 
Prototype 
3 5 relevant environment. Prototype is function, performance and  World
Development
reliability tested.
Make it reliable as a device
Full Scale model of product demonstrating critical functions of the 
Product Validation 4 6 element in a relevant environment but not necessarily connected 
to the wider system 
Full scale model or product demonstrating the  element 
System Integration 
5 7 performance in a relevant environment while integrated into the 
Testing
Reliability Growth & Uncertainty Reduction 
system 
System Installed  Real World
Actual system completed & accepted for mission / operation. 
Ready for  6 8
Installed, hooked up, commissioned and ready for operation.
Operation
System Operation 7 9 Actual system proven through successful mission / operation

Reliability & Technology Assurance 
through Qualification

Increase Durability
Remove Early Life Minimise Random Failures Minimise Wear out
Failures Failures

An expensive These are the remaining through Decommission

learning curve life failures. Largely caused by before this
for remote or unforeseen external events or period
deepwater usage conditions
subsea
Installations These failures can be minimised by
designing out and operating to
prevent all foreseeable failures

goal

Installation Life cycle

Through life operations Design to achieve
Commissioning this Failure Free
Start‐up Operating Period

© Astrimar 2018 5
 Qualification Challenges

• Scale of the technology
– Not always possible to build full scale model or prototype

• Specific application
– Technology bespoke
– Specific application risks
– Qualification activities driven by application requirements
– No standard technology qualification procedures exist

• TRL advancement challenges
– Schedule: 
• May need to progress TRLs in parallel 
• Need to accelerate life testing for fatigue, wear or corrosion
– Cost:
• Large investments in testing equipment
• Difficulty of simulating realistic testing conditions 
• Need customer to fund developments

Subsea Industry Considerations

API 0‐7 TRL ladder used by many operators/suppliers
• Subsea architecture usually bespoke, with large one‐off items

• Technology development often linked to specific field development
– Introduces significant field development project technical risks
– In the past, qualification activities have been omitted to deliver on schedule 
with resulting failures in the field

• Qualification programme may need to drive project schedule
– API TRL 3 before end of Concept Selection
– API TRL 4 before end of FEED 

• Identify initial high level qualification plan during concept selection
– Enables activities to be scheduled and appropriate resourcing

• Qualification testing integral with FAT, SIT and commission activities
– Schedule must recognise risk of test failing at this stage, include recycle time

© Astrimar 2018 6
 Offshore Renewables Considerations

Standard 1‐9 TRL approach used by EMEC

• Unlike subsea oil and gas, marine 
renewable prototypes and pre‐ Technology Maturity Levels may also used
production units undergo long 
term sea trial qualification in 
representative operating 
environments

Renewables Standards – EMEC, Equimar

• EMEC – several standards for developing/testing marine 
renewables  http://www.emec.org.uk/standards
• Equimar ‐ Protocols for the Equitable Assessment of Marine 
Energy Converters   http://www.equimar.org 
– marine energy converters testing and evaluation procedures

© Astrimar 2018 7
 Renewables Standards – IEC

• Technical Committee 114 developing standards for Marine 
Energy – wave, tidal and other water current converters
http://www.iec.ch/dyn/www/f?p=103:23:0::::FSP_ORG_ID,FSP
_LANG_ID:1316,25
– E.g. IEC/TS 62600‐103 Ed. 1.0  
Guidelines for the early stage 
development of wave energy 
converters: Best practices & 
recommended procedures for the 
testing of pre‐prototype scale 
devices

– Some standards already available

Equipment Standards

• Many industries have equipment specific qualification 
standards, e.g. 
– API 17 Series, NORSOK,  DNV, ISO, EN, IPC, ASTM

• Provide testing requirements for standard technology e.g. 
valves, electronics, controls, pipelines, coatings, etc.

• Need to take care in using standards beyond their area of 
application, e.g.:
– “onshore” equipment standards  for “offshore” or “underwater” 
applications
– oil and gas “topside” equipment standards for “subsea” and “down‐
hole” equipment 

© Astrimar 2018 8
 Technology Qualification Process

• Four industry RPs provide generic TQP guidance
– DNVGL RP A203 (2017)
• Process applied to range of industries / guidance docs
follow
similar
– API RP 17N  / API RP 17Q (2nd editions 2017/18) TQP
• Aimed at subsea to address high reliability requirement at high
• Applicable to other industries level

– LR: Guidance Notes for Technology Qualification (2017)
• Range of industries
• Additional guidance on system / interface qualification

– BV: Guidance Note NI 525 DT R00 E (2010) 

Technology Qualification Process

API RP  Requirements Planning DNV RP  Qualification Basis

17N/Q A203
Modifications Management

Technology Maturity 
Technology Assessment
Assessment
Modifications

Qualification FMECA Threat Assessment

Qualification Plan Qualification Plan

Plan Execution Execution of Plan

Results Evaluation Performance Assessment

Requirements  No Requirements  No
Met? Met?

Yes Yes
Qualification Assurance Technology Qualified

© Astrimar 2018 9
 API RP 17N and 17Q
17N 17Q
D 1: Requirements Planning 1: Requirements Planning Supplier
focus
2: Technology  2: Technology Maturity 
Categorization Assessment

3: Detailed Technology  3: Select Qualification 
Assessment  Program

8: Modifications 

8: Modifications 
Management

Management
4: Qualification FMECA 4: Qualification FMECA

P 5: Qualification Plan 5: Qualification Plan

I 6: Plan Execution 6: Qualification Execution

E 7: Results Evaluation 7: Results Evaluation

Requirements  No Requirements  No
Met? Met?

Yes Yes
10: End Users 
F 9: Qualification Assurance 9: Qualification Assurance
Qualification Program

Customer – OEM role

• Customer (End User) requires evidence that:
– Technology (equipment) is ready for application or 
– Additional qualification is needed for use in their application

• OEM (Supplier) Demonstrates that
• Technology (equipment) is ready for application  or
• Extent to which it is ready for application 

• End Customer must be clear on requirements
– Technical requirements e.g. function, performance, environment, etc..  
– Uncertainties need to be identified 

© Astrimar 2018 10
 Reliability Qualification for New 
Technology

• Qualification for reliability or availability specification 
includes:
– Assessment of reliability performance through tests or models 
– Assessment of uncertainty in reliability performance

• Statistical data required for reliability prediction 
– Replicated tests
– Range of environments 

• Much more than standard quality functional testing e.g.
– Understanding how failures occur
– Determining operability and destruct limits

How Failures Occur

• Load exceeds strength
– Loads higher than anticipated
• Designer failed to anticipate high loads?
– Strengths lower than required
• Design or manufacture introduces flaws in the product?

• Strength deteriorates over time

}
– Corrosion
Material degradation causes 
– Wear defects to initiate and grow
– Fatigue

Unacceptable rates of deterioration are not inevitable. Designers 
can introduce “barriers” to control or prevent deterioration. 

© Astrimar 2018 11
 Load ‐ Strength Interference

Operating environment Qualification testing

affects loads determines strength limits
and reduces uncertainty

Loading Stress Material Strength
Distribution of distribution distribution
Strength ‐ Load f(L) f(S)
pdf

σL σS Load Parameter 
(Kg/M2,Volts, 0C etc.)

Stress/strength
μL μS

Region where load overcomes strength 
Failure can occur if component is over loaded or component 
is under strength 

Effect of Distribution Tails

f(Load) f(Strength)
Strength ‐ Load
Distribution of

pdf

Large proportion of low 
strength items: a long low tail of 
the strength distribution 

Stress/strength

f(Load) f(Strength)
Strength ‐ Load
Distribution of

Large proportion of extreme 
pdf

loads: a long high tail of the 
load distribution 

Stress/strength

© Astrimar 2018 12
 Time Dependent Reliability

Variation in Material Strength
Distribution over time f(S(t))
as a result of material degradation

Loading Stress Time 
Distribution of
distribution increasing
Strength ‐ Load f(L)
t0
pdf

t1
t2

Stress/strength

Upper and Lower Operating and Destruct Limits 

• Operating limit:  the level of stress above (below) which the product will 
not operate properly (i.e. in accordance with the specification)
• Destruct limit: the level of stress above (below) which the product suffers 
permanent failure from which it does not recover when the stress is 
removed 
Lower Lower Upper Upper
Destruct Operating Operating Destruct
Product
Limit Limit Limit Limit
Specs
Operating Operating
Margin Margin
Destruct Margin Destruct Margin

Stress

© Astrimar 2018 13
 Delivering Reliable Technology through 
Qualification

• Ensures reliability, robustness and integrity is an inherent part of the 
design
– Materials testing to understand degradation rates
– Robustness testing to remove weaknesses in the design
– Reliability growth testing to demonstrate inherent reliability
– Testing of multiple units for improved statistical data

• Defines required FAT/SIT tests for manufactured products to ensure 
inherent reliability not compromised
– E.g. stress screening for defective components

• Enables necessary through life integrity monitoring to be designed‐in

Reducing Risk and Uncertainty

Uncertainty
Performance and Uncertainty

Time/TRL

© Astrimar 2018 14
 Reducing Risk and Uncertainty

Uncertainty
Performance and Uncertainty

Modified 
Technology or 
Application

Time/TRL

Summary

• TRL: Measure of technology maturity
– NASA/DoD/EU/EMEC/OGTC/ISO16290  TRL Scale 1‐9 
– API/ISO20815 TRL Scale 0‐7

• TQP: Technology qualification process used to raise TRL and 
provide traceable evidence of the extent to which equipment 
meets function and performance requirements 
– More extensive than functional testing at the factory or as part of 
customer’s system integration test
– Involves understanding how failures can occur

© Astrimar 2018 15