You are on page 1of 6

3/5/2015

Order statistic ­ Wikipedia, the free encyclopedia

Order statistic
From Wikipedia, the free encyclopedia

In statistics, the kth order statistic of a statistical sample is equal to its kth­smallest value.[1]
Together with rank statistics, order statistics are among the most fundamental tools in non­
parametric statistics and inference.
Important special cases of the order statistics are the minimum and maximum value of a sample,
and (with some qualifications discussed below) the sample median and other sample quantiles.
When using probability theory to analyze order statistics of random samples from a continuous
distribution, the cumulative distribution function is used to reduce the analysis to the case of order
statistics of the uniform distribution.

Contents

Probability density functions of the
order statistics for a sample of size
n=5 from an exponential distribution
with unit scale parameter.

1 Notation and examples
2 Probabilistic analysis
2.1 Probability distributions of order statistics
2.1.1 Order statistics sampled from a uniform distribution
2.1.2 The joint distribution of the order statistics of the uniform distribution
2.1.3 Order statistics sampled from an Erlang distribution
2.1.4 The joint distribution of the order statistics of an absolutely continuous
distribution
3 Application: confidence intervals for quantiles
3.1 A small­sample­size example
3.2 Large sample sizes
3.2.1 Proof
4 Dealing with discrete variables
5 Computing order statistics
6 See also
6.1 Examples of order statistics
7 References
8 External links

Notation and examples
For example, suppose that four numbers are observed or recorded, resulting in a sample of size 4. if the sample values are
6, 9, 3, 8,
they will usually be denoted

where the subscript i in   indicates simply the order in which the observations were recorded and is usually assumed not to be significant.
A case when the order is significant is when the observations are part of a time series.
The order statistics would be denoted

where the subscript (i) enclosed in parentheses indicates the i th order statistic of the sample.
The first order statistic (or smallest order statistic) is always the minimum of the sample, that is,

http://en.wikipedia.org/w/index.php?title=Order_statistic&printable=yes

1/6

 It is clearly a function of the order statistics: A similar important statistic in exploratory data analysis that is simply related to the order statistics is the sample interquartile range.. but not necessarily identically distributed. Probability distributions of order statistics In this section we show that the order statistics of the uniform distribution on the unit interval have marginal distributions belonging to the Beta distribution family. The peculiarities of the analysis of distributions assigning mass to points (in particular. Xn.wikipedia. .. X(2). The sample median may or may not be an order statistic. In general. and that at least one is between u and u + du. the random variables X1.3/5/2015 Order statistic ­ Wikipedia. The mean of this distribution is k / (n + 1). when n is even. and the sample median is some function of the two (usually the average) and hence not an order statistic. 1 and n − k observations fall in the intervals  . since there is a single middle value only when the number n of observations is odd. n = 2m and there are two middle values... Then they are independent. On the other hand. X2... that is. The sample range is the difference between the maximum and minimum. We assume throughout this section that   is a random sample drawn from a continuous distribution with cdf  . From now on.. Denoting   we obtain the corresponding random sample   from the standard uniform distribution. Xn in increasing order.[2][3] The proof of these statements is as follows. Similar remarks apply to all sample quantiles.org/w/index. This equals (refer to multinomial distribution for details) and the result follows. for a sample of size n. X(n) are also random variables. following a common convention. defined by sorting the values (realizations) of X1. the n th order statistic (or largest order statistic) is the maximum. they are absolutely continuous). the kth order statistic of the uniform distribution is a Beta random variable. Note that the order statistics also satisfy  .php?title=Order_statistic&printable=yes 2/6 . then the sample median is   and so is an order statistic. the free encyclopedia where.. For   to be between u and u + du. Order statistics sampled from a uniform distribution The probability of the order statistic   falling in the interval   is equal to[2] that is. if n = 2m+1 for some m. where convenient. discrete distributions) are discussed at the end.. This is the case treated below. Probabilistic analysis Given any random variables X1. . we will also assume that they have a probability density function (that is. When the random variables X1. we will assume that the random variables under consideration are continuous and. so we have to calculate the probability that exactly k − 1. Xn can arise by sampling from more than one population. Similarly. we use upper­case letters to refer to random variables. Xn form a sample they are independent and identically distributed. it is necessary that exactly k − 1 elements of the sample are smaller than u. More precisely. and lower­case letters (as above) to refer to their actual observed values. The probability that more than one is in this latter interval is already  . http://en.   and  ... and their joint probability distribution is given by the Bapat–Beg theorem.. X2. We also give a simple method to derive the joint distribution of any number of order statistics. and finally translate these results to arbitrary continuous distributions using the cdf... the order statistics X(1).   and   respectively. ..

 j − 1 − i. the free encyclopedia The joint distribution of the order statistics of the uniform distribution Similarly. we know from the preceding discussion that the probability that this interval actually contains the population median is Although the sample median is probably among the best distribution­independent point estimates of the population median. This is related to the fact that 1/n! is the volume of the region  . In that case.3/5/2015 Order statistic ­ Wikipedia. consider a random sample of size 6. One reasons in an entirely analogous way to derive the higher­order joint distributions. what this example illustrates is that it is not a particularly good one in absolute terms. As an example. 1. and we can use the substitutions and to derive the following probability density functions (pdfs) for the order statistics of a sample of size n drawn from the distribution of X: where   where  Application: confidence intervals for quantiles An interesting question is how well the order statistics perform as estimators of the quantiles of the underlying distribution.wikipedia. and that there are n! different permutations of the sample corresponding to the same sequence of order statistics.php?title=Order_statistic&printable=yes 3/6 . the joint density of the n order statistics turns out to be constant: One way to understand this is that the unordered sample does have constant density equal to 1. which contains the population median with probability http://en. a better confidence interval for the median is the one delimited by the 2nd and 5th order statistics. 1 and n − j sample elements fall in the .  . Order statistics sampled from an Erlang distribution The Laplace transform of order statistics sampled from an Erlang distribution via a path counting method.[4] The joint distribution of the order statistics of an absolutely continuous distribution If FX is absolutely continuous.  ) the probability that i − 1. for i < j. the sample median is usually defined as the midpoint of the interval delimited by the 3rd and 4th order statistics. A small­sample­size example The simplest case to consider is how well the sample median estimates the population median. Perhaps surprisingly. the joint probability density function of the two order statistics U(i) < U(j) can be shown to be which is (up to terms of higher order than  intervals  .   respectively. However. it has a density such that  .  .org/w/index. In this particular case.

 the smallest sample size such that the interval determined by the minimum and the maximum is at least a 95% confidence interval for the population median. the free encyclopedia With such a small sample size. To find the probabilities of the   order statistics. is also asymptotically normally distributed. the sample mean.3/5/2015 Order statistic ­ Wikipedia. by the central limit theorem. namely The cumulative distribution function of the  Similarly. Size 6 is. One of the first people to mention and prove this result was Frederick Mosteller in his seminal paper in 1946. Since X/n and Y/n are asymptotically normally distributed by the CLT. Dealing with discrete variables Suppose   are i. and F −1 is the quantile function associated with F. in fact.org/w/index. our results follow by application of the delta method. and vice versa. For example. a similar asymptotic normality applies: where f is the density function.wikipedia. as n tends to infinity. An interesting observation can be made in the case where the distribution is symmetric.php?title=Order_statistic&printable=yes 4/6 . three values are first needed. and the population median equals the population mean. This asymptotic analysis suggests that the mean outperforms the median in cases of low kurtosis. the median achieves better confidence intervals for the Laplace distribution. Large sample sizes For the uniform distribution. the pth sample quantile is asymptotically normally distributed. since it is approximated by For a general distribution F with a continuous non­zero density at F −1(p).[5] Further research lead in the 1960s to the Bahadur representation which provides information about the errorbounds. random variables from a discrete distribution with cumulative distribution function  probability mass function  . while the mean performs better for X that are normally distributed.d.   and  order statistic can be computed by noting that  is given by http://en. Proof It can be shown that where with Zi being independent identically distributed exponential random variables with rate 1. if one wants at least 95% confidence. but with variance σ2/n instead. one is reduced to saying that the median is between the minimum and the maximum of the 6 observations with probability 31/32 or approximately 97%. In this case.i.

 Statistical Methodology 6 (1): 70–81. "Kumaraswamy’s distribution: A beta­type distribution with some tractability advantages". in which case a sorting algorithm can be used and the time taken is O(n log n). More sophisticated methods can reduce the time to O(n). N. this time can be brought down to O(log n).2008. H.1002/0471722162 (https://dx.1016/j.aoms/1177730881). M.1016%2Fj.; Nagaraja.09.stamet. doi:10.spl.org/10.com/books?id=mQ5KAAAAQBAJ&pg=PA63). Approximation Theorems of Mathematical Statistics.  ^ a b Gentle.001). A.php?title=Order_statistic&printable=yes 5/6 . 2015. H. Frederick (1946).; Brill.org/w/index.doi.1016%2Fj. Wiley Series in Probability and Statistics.doi.04.  ^ Mosteller. doi:10.wikipedia.org/10.spl.1214/aoms/1177730881 (https://dx.org/euclid.org/10.2008.doi.2009. C.org/10. doi:10. J. In many applications all order statistics are required. even if the list is totally unordered. (2003). If the data is stored in certain specialized data structures. (2010). James E. 2.04. Springer. the beta distribution is the distribution of the m’th order statistic from a random sample of size n from the uniform distribution (on (0. Computational Statistics (http://books. (2009). p. See also Rankit Box plot Concomitant (statistics) Fisher–Tippett distribution Bapat–Beg theorem for the order statistics of independent but not necessarily identically distributed random variables Bernstein polynomial L­estimator – linear combinations of order statistics Examples of order statistics Sample maximum and minimum Quantile Percentile Decile Quartile Median References 1. "Order Statistics". ISBN 0­471­02403­1.  ^ Hlynka.1214%2Faoms%2F1177730881). http://en.001 (https://dx.3/5/2015 Note that the probability mass function of  Order statistic ­ Wikipedia. 3.google. (2009). R. ISBN 9780471722168. "On Some Useful "Inefficient" Statistics" (http://projecteuclid. ISBN 9780387981444.doi." 4.006 (https://dx.1016/j. H. (1980). "A method for obtaining Laplace transforms of order statistics of Erlang random variables". Statistics & Probability Letters 80: 9.2009.1002%2F0471722162).; Horn. M. P. New York: Wiley. 5. Sefling.stamet. Although this problem is difficult for very large lists. that is to say Computing order statistics The problem of computing the kth smallest (or largest) element of a list is called the selection problem and is solved by a selection algorithm. W. the free encyclopedia  is just the difference of these values.1)). sophisticated selection algorithms have been created that can solve this problem in time proportional to the number of elements in the list.  ^ Jones. Annals of Mathematical Statistics (Institute of Mathematical Statistics) 17 (4): 377–408.09. "As is well known. doi:10.006).  ^ David. 63. Retrieved February 26.

2005 Weisstein. "Order Statistic" (http://mathworld. the free encyclopedia External links Order statistics (http://planetmath. Retrieved Feb 02.wikipedia.php?title=Order_statistic&printable=yes 6/6 .com/xtaci/algorithms/blob/master/include/dos_tree. you agree to the Terms of Use and Privacy Policy.com/OrderStatistic. By using this site.2005 Dr. a non­profit organization. Retrieved Feb 02.org. http://en. Susan Holmes Order Statistics (http://www­stat. Wikipedia® is a registered trademark of the Wikimedia Foundation.wikipedia.org/OrderStatistics) at PlanetMath.php?title=Order_statistic&oldid=648978881" Categories:  Non­parametric statistics Summary statistics Permutations This page was last modified on 26 February 2015.wolfram. Text is available under the Creative Commons Attribution­ShareAlike License; additional terms may apply. Eric W. at 19:33.org/w/index. MathWorld.2005 C++ source Dynamic Order Statistics (https://github.h) Retrieved from "http://en.html) Retrieved Feb 02.html).org/w/index..3/5/2015 Order statistic ­ Wikipedia. Inc.stanford.edu/~susan/courses/s116/node79..