Beverly M.

 Tautho            Date Performed: February 09, 2011 

“Tongue Tasters” / Cleaners          Date Submitted: February 16, 2011 

Ex. 10 “A” ‐ “not A” Test 
I. Introduction 

Discrimination tests are some of the most common methods employed in sensory science. They 
are  used  to  determine  if  a  difference  (or  similarity)  exists  between  two  or  more  samples.  Statistical 
significance testing is used to analyze the data and determine whether or not samples are deemed to be 
different or similar. Discrimination tests are rapid techniques and can be performed by both naive and 
experienced  assessors;  however,  a  panel  should  not  be  a  combination  of  both.  These  are  often  used 
when the samples are considered to be ‘confusable’, i.e. their differences are not obvious but need to 
be investigated (Kamp et al., 2009). 
 
“A”  –  “not  A”  test  is  used  to  determine  whether  test  samples  in  a  series  are  the  same  as  or 
different  from  the  reference  sample.  It  is  an  especially  useful  test  where  triangle  and  duo‐trio  tests 
cannot be used. This may be the case where comparisons are required between products that have a 
strong  or  lingering  flavor/aftertaste  when  you  will  need  to  control  the  time  between  sample 
presentations or if there are differences in appearance. It is also useful to determine assessor sensitivity 
to a stimulus. Initially, panelists require familiarization with the reference or “A” sample. Panelists are 
then presented with a series of samples, some of which are the reference sample “A” and some “not‐A”. 
Generally, the panelist does not have access to the reference “A” while evaluating the test samples. The 
panelist must determine  whether the  sample is the same (“A”) or different (“not‐A”) so it is a forced‐
choice test. Only one type of “not‐A” sample exists per test series. Panelists may test one, two or up to 
10  samples  in  series  (depending  on  fatigue  factors).  The  samples  are  presented  randomly  with  3‐digit 
codes and one at a time (an assessment is made and recorded before proceeding to the next sample). 
All  samples  are  prepared  in  an  identical  way  and  are  representative  of  the  product  (Mason  and 
Nottingham, 2002). 
 
  The total number of responses for ‘A’ and ‘not A’ are tallied for each sample presentation. The 
chi‐squared test (χ2) is used to compare the different sample presentations and their responses. When 
calculating  by  hand,  the  χ2  statistic  is  compared  to  a  statistical  table  (see  Appendix  6)  that  shows  the 
minimum  value  required  before  it  can  be  concluded  that  a  significant  difference  exists  between  the 
samples.  The  significance  level  (typically  5%)  must  also  be  specified.  Alternatively,  software  packages 
provide  not  only  the  χ2  statistic  and  the  critical  minimum  value  that  must  be  exceeded,  but  also  the 
probability of making a type I error (p‐value) should it be concluded that a significant difference exists 
between  the  samples.  This  analysis  is  not  wholly  appropriate  for  the  design  involving  multiple  sample 
presentations  to  each  assessor;  however,  it  is  commonly  used  and  the  p‐value  is  considered  to  be  a 
good approximation (Kamp et al., 2009). 
 
Working equation: 

χ2 = N (AD‐ BC)²   

  EFGH 
Where: 
 
A = number of correct responses for ‘A’ sample    F = total number of ‘not A’ samples given to all  
B = number of incorrect response for ‘not A’ sample  panelists 
C = number of incorrect response for ‘A’ sample   G = total number of A and B 
D = number of correct response for ‘not A’ sample  H = total number of C and D 
E = total number of ‘A’ samples given to all panelists  N = total number of G and H 
 
 
 
 
II. Materials 
 
‐ Trays      ‐ Score sheets        ‐ Spitting cups 
‐ Serving plates (small)  ‐  Master sheet        ‐  Toothpicks 
‐ Distilled water    ‐  Cheese samples (Eden and Cheezy)  ‐ Small containers 

III. Procedure 
 
 
Prepare two samples  Prepare the samples to be used 
labeled “A” and “not A”.   using the standard procedure for 
sample preparation. 

Two coded samples 
Allow the judges to familiarize 
composed of “A” and “not A” 
themselves with sample “A” and “not 
will be served to each judge. 
A”. 

The order of serving of the two 
Decode the results. 
samples is determined randomly. 

Analyze results statistically using chi‐square. 
 
 
 IV. Results 

Table1. Quantitative data obtained for chi‐square calculation analysis. 

  “A”  “not A”  TOTAL 

“A”  17  2  19 

“not A”  2  17  19 

TOTAL  19  19  38 

 
 

"not A"
89% sample

11% "A" sample

 
Figure1. Percentage distribution on the responses of the panelists using the “A” – “not A” test. 

V. Discussion of Results 
 

Discrimination testing is used to find the difference characteristic(s) or overall characteristics of 
the  sample(s).  It  is  used  when  sensory  specialist  wants  to  determine  whether  two  samples  are 
perceptively different. Also, this test is used for product reformulation or process (procedure) change; 
and for product improvement or product development  

The null hypothesis states that the long‐run probability (Pdt) of the population making a correct 
selection when there is no perceptible difference between the samples is one in two (H0: Pdt = 1/2). The 
alternate  hypothesis  is  that  if  there  is  a  perceptible  difference  between  the  samples  the  population 
would match the reference and the sample correctly more frequently than one in two times. (Heymann 
and  Lawless,  2010).  Now  to  decide  whether  to  accept  or  reject  the  null  hypothesis,  there  is  test 
2 2 2
criterion. If χ cal > χ tab, reject Ho and accept Ha; thus, the samples are significantly different. But if χ cal < 
χ2tab,  accept  Ho  and  reject  Ha;  thus,  the  samples  are  not  significantly  different  at  0.05  level  of 
significance. 

In  this  exercise,  the  null  hypothesis  (Ho)  is,  there  is  no  significant  difference  between  Eden 
cheese  and  Cheezee  cheese.  While  the  alternative  hypothesis  (Ha)  states  that  there  is  significant 
2
difference between Eden cheese and Cheezee cheese at 0.05 level of significance. The value of the  χ cal 
is 23.68 which was obtained using the values tabulated in table 1 and also the computation is shown in 
 2 2
the sample calculation section. Based on the results, the  χ cal  (23.68)  >  χ tab  (3.841). Thus, Ho is rejected 
and Ha is accepted. Therefore, there is significant difference between Eden cheese and Cheezee cheese 
at 0.05 level of significance. 

Figure 1 shows the percentage distribution of the responses of the panelists prior to “A” – “not 
A” test which is able to ask if which of the given coded samples is the same with the given reference 
cheese samples (“A” and “not A”). The percentage of correct responses for both “A” and “not A” sample 
is  89%  while  percentage  of  the  incorrect  responses  for  both  “A”  and  “not  A”  sample  is  11%.  This  just 
means  that  89%  of  the  panelists  judged  that  each  of  the  coded  sample  cheeses  is  the  same  with  the 
reference or the “A” and “not A” cheese samples. 

VI. Conclusion 
 
2 2
Based  on  the  results,  the  χ cal  (23.68)  >  χ tab  (3.841).  Thus,  Ho  is  rejected  and  Ha  is  accepted. 
Therefore,  there  is  significant  difference  between  Eden  cheese  and  Cheezee  cheese  at  0.05  level  of 
significance. Rejecting Ho means there is insufficient evidence to accept it. But this does not necessarily 
mean that the Ha is true, there is still a need for more panelists, trials, replicates (batch production) to 
asses that there is really significant difference between the two samples of cheese which from different 
brands at 0.05 level of significance (which is Eden and cheezee). Because, one may commit either of the 
two possible error in this statistical analysis used. The type 1 error is rejecting the Ho when it is true and 
the type 2 error is accepting Ho when it is false. Thus, these recommendations may be used to verify the 
results  obtained  based  on  this  particular  exercise  and  more  modifications  can  be  used  as  for  the 
improvement of the methods or procedures of the test.    
 
 
VII. Reference 
 
Heymann, H., & Lawless, H. T. (2010). Sensory Evaluation of Food: Principles and Practices (2nd ed.). 
(D. R. Heldman, Ed.) New York, USA: Springer New York Dordrecht Heidelberg London. 

Kamp, S. E. et al. (2009). Sensory Evaluation: A Practical Handbook. Wiley‐Blackwell: A John Wiley & 
Sons, Ltd., Publication. John Wiley & Sons Ltd, The Atrium, Southern Gates, Chichester, West Sussex, 
PO19 8SQ, United Kingdom. 

Mason,  R.  L.  and  Nottingham,  S.  M.  (2002).  Sensory  Evaluation  of  Food:  Statistical  Methods  and 
Procedures. Naresuan University, Phitsanulok, Thailand. Centre for Food Technology, DPI, Brisbane. 

 
 
VIII. Sample Calculation 
 
 
 
 
 
 
 
  
IX. Appendix 
 
 
Master Sheet 
“A” – “not A” Test 
 
 
  NA = “Not A” () 
  A = “A” ()