doc/theory.rst

   1 .. _section_theory:
   2
   3 ================================================================================
   4 A brief introduction to Data Assimilation
   5 ================================================================================
   6
   7 **Data Assimilation** is a general framework for computing the optimal estimate
   8 of the true state of a system, over time if necessary. It uses values obtained
   9 both from observations and *a priori* models, including information about their
  10 errors.
  11
  12 In other words, data assimilation merges measurement data, the observations,
  13 with *a priori* physical and mathematical knowledge, embedded in numerical
  14 models, to obtain the best possible estimate of the true state and of its
  15 stochastic properties. Note that this true state can not be reached, but can
  16 only be estimated. Moreover, despite the fact that used information are
  17 stochastic by nature, data assimilation provides deterministic techniques in
  18 order to realize the estimation.
  19
  20 Two main types of applications exist in data assimilation being covered by the
  21 same formalism: **parameters identification** and **fields reconstruction**.
  22 Before introducing the `Simple description of the data assimilation framework`_
  23 in a next section, we describe briefly these two types. At the end, some
  24 references allow `Going further in the data assimilation framework`_.
  25
  26 Fields reconstruction or measures interpolation
  27 -----------------------------------------------
  28
  29 Fields reconstruction consists in finding, from a restricted set of real
  30 measures, the physical field which is the most *consistent* with these measures.
  31
  32 This consistency is to understand in terms of interpolation, that is to say that
  33 the field, we want to reconstruct using data assimilation on measures, has to
  34 fit at best the measures, while remaining constrained by the overall
  35 calculation. The calculation is thus an *a priori* estimation of the field that
  36 we seek to identify.
  37
  38 If the system evolves in time, the reconstruction has to be established on every
  39 time step, as a whole. The interpolation process in this case is more
  40 complicated since it is temporal, not only in terms of instantaneous values of
  41 the field.
  42
  43 A simple example of fields reconstruction comes from of meteorology, in which we
  44 look for value of variables such as temperature or pressure in all points of the
  45 spatial domain. We have instantaneous measurements of these quantities at
  46 certain points, but also a history set of these measures. Moreover, these
  47 variables are constrained by evolution equations for the state of the
  48 atmosphere, which indicates for example that the pressure at a point can not
  49 take any value independently of the value at this same point in previous time.
  50 We must therefore make the reconstruction of a field at any point in space, in
  51 order "consistent" with the evolution equations and measures of the previous
  52 time steps.
  53
  54 Parameters identification or calibration
  55 ----------------------------------------
  56
  57 The identification of parameters by data assimilation is a form of calibration
  58 which uses both the measurement and an *a priori* estimation (called the
  59 "*background*") of the state that one seeks to identify, as well as a
  60 characterization of their errors. From this point of view, it uses all available
  61 information on the physical system (even if assumptions about errors are
  62 relatively restrictive) to find the "*optimal*" estimation from the true state.
  63 We note, in terms of optimization, that the background realizes a mathematical
  64 regularization of the main problem of identification.
  65
  66 In practice, the two gaps "*calculation-background*" and
  67 "*calculation-measures*" are added to build the calibration correction of
  68 parameters or initial conditions. The addition of these two gaps requires a
  69 relative weight, which is chosen to reflect the trust we give to each piece of
  70 information. This confidence is measured by the covariance of the errors on the
  71 background and on the observations. Thus the stochastic aspect of information,
  72 measured or *a priori*, is essential for building the calibration error
  73 function.
  74
  75 Simple description of the data assimilation framework
  76 -----------------------------------------------------
  77
  78 We can write these features in a simple manner. By default, all variables are
  79 vectors, as there are several parameters to readjust.
  80
  81 According to standard notations in data assimilation, we note
  82 :math:`\mathbf{x}^a` the optimal unknown parameters that is to be determined by
  83 calibration, :math:`\mathbf{y}^o` the observations (or experimental
  84 measurements) that we must compare the simulation outputs, :math:`\mathbf{x}^b`
  85 the background (*a priori* values, or regularization values) of searched
  86 parameters, :math:`\mathbf{x}^t` unknown ideals parameters that would give as
  87 output exactly the observations (assuming that the errors are zero and the model
  88 exact).
  89
  90 In the simplest case, static, the steps of simulation and of observation can be
  91 combined into a single operator noted :math:`H` (linear or nonlinear), which
  92 transforms the input parameters :math:`\mathbf{x}` to results :math:`\mathbf{y}`
  93 to be compared to observations :math:`\mathbf{y}^o`. Moreover, we use the
  94 linearized operator :math:`\mathbf{H}` to represent the effect of the full
  95 operator :math:`H` around a linearization point (and we omit thereafter to
  96 mention :math:`H` even if it is possible to keep it). In reality, we have already
  97 indicated that the stochastic nature of variables is essential, coming from the
  98 fact that model, background and observations are incorrect. We therefore
  99 introduce errors of observations additively, in the form of a random vector
 100 :math:`\mathbf{\epsilon}^o` such that:
 101
 102 .. math:: \mathbf{y}^o = \mathbf{H} \mathbf{x}^t + \mathbf{\epsilon}^o
 103
 104 The errors represented here are not only those from observation, but also from
 105 the simulation. We can always consider that these errors are of zero mean. We
 106 can then define a matrix :math:`\mathbf{R}` of the observation error covariance
 107 by:
 108
 109 .. math:: \mathbf{R} = E[\mathbf{\epsilon}^o.{\mathbf{\epsilon}^o}^T]
 110
 111 The background can also be written as a function of the true value, by
 112 introducing the error vector :math:`\mathbf{\epsilon}^b`:
 113
 114 .. math:: \mathbf{x}^b = \mathbf{x}^t + \mathbf{\epsilon}^b
 115
 116 where errors are also assumed of zero mean, in the same manner as for
 117 observations. We define the :math:`\mathbf{B}` matrix of background error
 118 covariances by:
 119
 120 .. math:: \mathbf{B} = E[\mathbf{\epsilon}^b.{\mathbf{\epsilon}^b}^T]
 121
 122 The optimal estimation of the true parameters :math:`\mathbf{x}^t`, given the
 123 background :math:`\mathbf{x}^b` and the observations :math:`\mathbf{y}^o`, is
 124 then the "*analysis*" :math:`\mathbf{x}^a` and comes from the minimisation of an
 125 error function (in variational assimilation) or from the filtering correction (in
 126 assimilation by filtering).
 127
 128 In **variational assimilation**, one classically attempts to minimize the
 129 following function :math:`J`:
 130
 131 .. math:: J(\mathbf{x})=(\mathbf{x}-\mathbf{x}^b)^T.\mathbf{B}^{-1}.(\mathbf{x}-\mathbf{x}^b)+(\mathbf{y}^o-\mathbf{H}.\mathbf{x})^T.\mathbf{R}^{-1}.(\mathbf{y}^o-\mathbf{H}.\mathbf{x})
 132
 133 which is usually designed as the "*3D-VAR*" function. Since covariance matrices
 134 are proportional to the variances of errors, their presence in both terms of the
 135 function :math:`J` can effectively weight the differences by confidence in the
 136 background or observations. The parameters :math:`\mathbf{x}` realizing the
 137 minimum of this function therefore constitute the analysis :math:`\mathbf{x}^a`.
 138 It is at this level that we have to use the full panoply of function
 139 minimization methods otherwise known in optimization. Depending on the size of
 140 the parameters vector :math:`\mathbf{x}` to identify and ot the availability of
 141 gradient and Hessian of :math:`J`, it is appropriate to adapt the chosen
 142 optimization method (gradient, Newton, quasi-Newton ...).
 143
 144 In **assimilation by filtering**, in this simple case usually referred to as
 145 "*BLUE*"(for "*Best Linear Unbiased Estimator*"), the :math:`\mathbf{x}^a`
 146 analysis is given as a correction of the background :math:`\mathbf{x}^b` by a
 147 term proportional to the difference between observations :math:`\mathbf{y}^o`
 148 and calculations :math:`\mathbf{H}\mathbf{x}^b`:
 149
 150 .. math:: \mathbf{x}^a = \mathbf{x}^b + \mathbf{K}(\mathbf{y}^o - \mathbf{H}\mathbf{x}^b)
 151
 152 where :math:`\mathbf{K}` is the Kalman gain matrix, which is expressed using
 153 covariance matrices in the following form:
 154
 155 .. math:: \mathbf{K} = \mathbf{B}\mathbf{H}^T(\mathbf{H}\mathbf{B}\mathbf{H}^T+\mathbf{R})^{-1}
 156
 157 The advantage of filtering is to explicitly calculate the gain, to produce then
 158 the *a posteriori* covariance analysis matrix.
 159
 160 In this simple static case, we can show, under the assumption of Gaussian error
 161 distributions, that the two *variational* and *filtering* approaches are
 162 equivalent.
 163
 164 It is indicated here that these methods of "*3D-VAR*" and "*BLUE*" may be
 165 extended to dynamic problems, called respectively "*4D-VAR*" and "*Kalman
 166 filter*". They can take account of the evolution operator to establish an
 167 analysis at the right time steps of the gap between observations and simulations,
 168 and to have, at every moment, the propagation of the background through the
 169 evolution model. Many other variants have been developed to improve the
 170 numerical quality or to take into account computer requirements such as
 171 calculation size and time.
 172
 173 Going further in the data assimilation framework
 174 ++++++++++++++++++++++++++++++++++++++++++++++++
 175
 176 To get more information about all the data assimilation techniques, the reader
 177 can consult introductory documents like [Argaud09], on-line training courses or
 178 lectures like [Bouttier99] and [Bocquet04] (along with other materials coming
 179 from geosciences applications), or general documents like [Talagrand97],
 180 [Tarantola87], [Kalnay03] and [WikipediaDA].
 181
 182 Note that data assimilation is not restricted to meteorology or geo-sciences, but
 183 is widely used in other scientific domains. There are several fields in science
 184 and technology where the effective use of observed but incomplete data is
 185 crucial.
 186
 187 Some aspects of data assimilation are also known as *parameter estimation*,
 188 *inverse problems*, *bayesian estimation*, *optimal interpolation*,
 189 *mathematical regularisation*, *data smoothing*, etc. These terms can be used in
 190 bibliographical searches.
 191
 192 .. [Argaud09] Argaud J.-P., Bouriquet B., Hunt J., *Data Assimilation from Operational and Industrial Applications to Complex Systems*, Mathematics Today, pp.150-152, October 2009
 193
 194 .. [Bouttier99] Bouttier B., Courtier P., *Data assimilation concepts and methods*, Meteorological Training Course Lecture Series, ECMWF, 1999, http://www.ecmwf.int/newsevents/training/rcourse_notes/pdf_files/Assim_concepts.pdf
 195
 196 .. [Bocquet04] Bocquet M., *Introduction aux principes et méthodes de l'assimilation de données en géophysique*, Lecture Notes, 2004-2008, http://cerea.enpc.fr/HomePages/bocquet/assim.pdf
 197
 198 .. [Tarantola87] Tarantola A., *Inverse Problem: Theory Methods for Data Fitting and Parameter Estimation*, Elsevier, 1987
 199
 200 .. [Talagrand97] Talagrand O., *Assimilation of Observations, an Introduction*, Journal of the Meteorological Society of Japan, 75(1B), pp. 191-209, 1997
 201
 202 .. [Kalnay03] Kalnay E., *Atmospheric Modeling, Data Assimilation and Predictability*, Cambridge University Press, 2003
 203
 204 .. [WikipediaDA] Wikipedia/Data_assimilation: http://en.wikipedia.org/wiki/Data_assimilation