doc/theory.rst

   1 .. _section_theory:
   2
   3 ================================================================================
   4 A brief introduction to Data Assimilation
   5 ================================================================================
   6
   7 **Data Assimilation** is a general framework for computing the optimal estimate
   8 of the true state of a system, over time if necessary. It uses values obtained
   9 both from observations and *a priori* models, including information about their
  10 errors.
  11
  12 In other words, data assimilation merges measurement data, the observations,
  13 with *a priori* physical and mathematical knowledge, embedded in numerical
  14 models, to obtain the best possible estimate of the true state and of its
  15 stochastic properties. Note that this true state can not be reached, but can
  16 only be estimated. Moreover, despite the fact that used information are
  17 stochastic by nature, data assimilation provides deterministic techniques in
  18 order to realize the estimation.
  19
  20 Two main types of applications exist in data assimilation being covered by the
  21 same formalism: **parameters identification** and **fields reconstruction**.
  22 Before introducing the `Simple description of the data assimilation framework`_
  23 in a next section, we describe briefly these two types. At the end, some
  24 references allow `Going further in the data assimilation framework`_.
  25
  26 Fields reconstruction or measures interpolation
  27 -----------------------------------------------
  28
  29 Fields reconstruction consists in finding, from a restricted set of real
  30 measures, the physical field which is the most *consistent* with these measures.
  31
  32 This consistency is to understand in terms of interpolation, that is to say that
  33 the field we want to reconstruct, using data assimilation on measures, has to
  34 fit at best the measures, while remaining constrained by the overall
  35 calculation. The calculation is thus an *a priori* estimation of the field that
  36 we seek to identify.
  37
  38 If the system evolves in time, the reconstruction has to be established on every
  39 time step, as a whole. The interpolation process in this case is more
  40 complicated since it is temporal, not only in terms of instantaneous values of
  41 the field.
  42
  43 A simple example of fields reconstruction comes from of meteorology, in which we
  44 look for value of variables such as temperature or pressure in all points of the
  45 spatial domain. We have instantaneous measurements of these quantities at
  46 certain points, but also a history set of these measures. Moreover, these
  47 variables are constrained by evolution equations for the state of the
  48 atmosphere, which indicates for example that the pressure at a point can not
  49 take any value independently of the value at this same point in previous time.
  50 We must therefore make the reconstruction of a field at any point in space, in
  51 a manner "consistent" with the evolution equations and measures of the previous
  52 time steps.
  53
  54 Parameters identification or calibration
  55 ----------------------------------------
  56
  57 The identification of parameters by data assimilation is a form of calibration
  58 which uses both the measurement and an *a priori* estimation (called the
  59 "*background*") of the state that one seeks to identify, as well as a
  60 characterization of their errors. From this point of view, it uses all available
  61 information on the physical system (even if assumptions about errors are
  62 relatively restrictive) to find the "*optimal*" estimation from the true state.
  63 We note, in terms of optimization, that the background realizes a mathematical
  64 regularization of the main problem of identification.
  65
  66 In practice, the two gaps "*calculation-background*" and
  67 "*calculation-measures*" are added to build the calibration correction of
  68 parameters or initial conditions. The addition of these two gaps requires a
  69 relative weight, which is chosen to reflect the trust we give to each piece of
  70 information. This confidence is measured by the covariance of the errors on the
  71 background and on the observations. Thus the stochastic aspect of information,
  72 measured or *a priori*, is essential for building the calibration error
  73 function.
  74
  75 Simple description of the data assimilation framework
  76 -----------------------------------------------------
  77
  78 We can write these features in a simple manner. By default, all variables are
  79 vectors, as there are several parameters to readjust.
  80
  81 According to standard notations in data assimilation, we note
  82 :math:`\mathbf{x}^a` the optimal parameters that is to be determined by
  83 calibration, :math:`\mathbf{y}^o` the observations (or experimental
  84 measurements) that we must compare to the simulation outputs,
  85 :math:`\mathbf{x}^b` the background (*a priori* values, or regularization
  86 values) of searched parameters, :math:`\mathbf{x}^t` the unknown ideals
  87 parameters that would give exactly the observations (assuming that the errors
  88 are zero and the model is exact) as output.
  89
  90 In the simplest case, which is static, the steps of simulation and of
  91 observation can be combined into a single observation operator noted :math:`H`
  92 (linear or nonlinear), which transforms the input parameters :math:`\mathbf{x}`
  93 to results :math:`\mathbf{y}` to be compared to observations
  94 :math:`\mathbf{y}^o`. Moreover, we use the linearized operator
  95 :math:`\mathbf{H}` to represent the effect of the full operator :math:`H` around
  96 a linearization point (and we omit thereafter to mention :math:`H` even if it is
  97 possible to keep it). In reality, we have already indicated that the stochastic
  98 nature of variables is essential, coming from the fact that model, background
  99 and observations are incorrect. We therefore introduce errors of observations
 100 additively, in the form of a random vector :math:`\mathbf{\epsilon}^o` such
 101 that:
 102
 103 .. math:: \mathbf{y}^o = \mathbf{H} \mathbf{x}^t + \mathbf{\epsilon}^o
 104
 105 The errors represented here are not only those from observation, but also from
 106 the simulation. We can always consider that these errors are of zero mean. We
 107 can then define a matrix :math:`\mathbf{R}` of the observation error covariance
 108 by:
 109
 110 .. math:: \mathbf{R} = E[\mathbf{\epsilon}^o.{\mathbf{\epsilon}^o}^T]
 111
 112 The background can also be written as a function of the true value, by
 113 introducing the error vector :math:`\mathbf{\epsilon}^b`:
 114
 115 .. math:: \mathbf{x}^b = \mathbf{x}^t + \mathbf{\epsilon}^b
 116
 117 where errors are also assumed of zero mean, in the same manner as for
 118 observations. We define the :math:`\mathbf{B}` matrix of background error
 119 covariances by:
 120
 121 .. math:: \mathbf{B} = E[\mathbf{\epsilon}^b.{\mathbf{\epsilon}^b}^T]
 122
 123 The optimal estimation of the true parameters :math:`\mathbf{x}^t`, given the
 124 background :math:`\mathbf{x}^b` and the observations :math:`\mathbf{y}^o`, is
 125 then the "*analysis*" :math:`\mathbf{x}^a` and comes from the minimisation of an
 126 error function (in variational assimilation) or from the filtering correction (in
 127 assimilation by filtering).
 128
 129 In **variational assimilation**, in a static case, one classically attempts to
 130 minimize the following function :math:`J`:
 131
 132 .. math:: J(\mathbf{x})=(\mathbf{x}-\mathbf{x}^b)^T.\mathbf{B}^{-1}.(\mathbf{x}-\mathbf{x}^b)+(\mathbf{y}^o-\mathbf{H}.\mathbf{x})^T.\mathbf{R}^{-1}.(\mathbf{y}^o-\mathbf{H}.\mathbf{x})
 133
 134 which is usually designed as the "*3D-VAR*" function. Since covariance matrices
 135 are proportional to the variances of errors, their presence in both terms of the
 136 function :math:`J` can effectively weight the differences by confidence in the
 137 background or observations. The parameters vector :math:`\mathbf{x}` realizing
 138 the minimum of this function therefore constitute the analysis
 139 :math:`\mathbf{x}^a`. It is at this level that we have to use the full panoply
 140 of function minimization methods otherwise known in optimization. Depending on
 141 the size of the parameters vector :math:`\mathbf{x}` to identify and of the
 142 availability of gradient and Hessian of :math:`J`, it is appropriate to adapt
 143 the chosen optimization method (gradient, Newton, quasi-Newton...).
 144
 145 In **assimilation by filtering**, in this simple case usually referred to as
 146 "*BLUE*" (for "*Best Linear Unbiased Estimator*"), the :math:`\mathbf{x}^a`
 147 analysis is given as a correction of the background :math:`\mathbf{x}^b` by a
 148 term proportional to the difference between observations :math:`\mathbf{y}^o`
 149 and calculations :math:`\mathbf{H}\mathbf{x}^b`:
 150
 151 .. math:: \mathbf{x}^a = \mathbf{x}^b + \mathbf{K}(\mathbf{y}^o - \mathbf{H}\mathbf{x}^b)
 152
 153 where :math:`\mathbf{K}` is the Kalman gain matrix, which is expressed using
 154 covariance matrices in the following form:
 155
 156 .. math:: \mathbf{K} = \mathbf{B}\mathbf{H}^T(\mathbf{H}\mathbf{B}\mathbf{H}^T+\mathbf{R})^{-1}
 157
 158 The advantage of filtering is to explicitly calculate the gain, to produce then
 159 the *a posteriori* covariance analysis matrix.
 160
 161 In this simple static case, we can show, under the assumption of Gaussian error
 162 distributions, that the two *variational* and *filtering* approaches are
 163 equivalent.
 164
 165 It is indicated here that these methods of "*3D-VAR*" and "*BLUE*" may be
 166 extended to dynamic problems, called respectively "*4D-VAR*" and "*Kalman
 167 filter*". They can take into account the evolution operator to establish an
 168 analysis at the right time steps of the gap between observations and simulations,
 169 and to have, at every moment, the propagation of the background through the
 170 evolution model. Many other variants have been developed to improve the
 171 numerical quality or to take into account computer requirements such as
 172 calculation size and time.
 173
 174 Going further in the data assimilation framework
 175 ------------------------------------------------
 176
 177 To get more information about all the data assimilation techniques, the reader
 178 can consult introductory documents like [Argaud09], on-line training courses or
 179 lectures like [Bouttier99] and [Bocquet04] (along with other materials coming
 180 from geosciences applications), or general documents like [Talagrand97],
 181 [Tarantola87], [Kalnay03], [Ide97] and [WikipediaDA].
 182
 183 Note that data assimilation is not restricted to meteorology or geo-sciences, but
 184 is widely used in other scientific domains. There are several fields in science
 185 and technology where the effective use of observed but incomplete data is
 186 crucial.
 187
 188 Some aspects of data assimilation are also known as *parameter estimation*,
 189 *inverse problems*, *bayesian estimation*, *optimal interpolation*,
 190 *mathematical regularisation*, *data smoothing*, etc. These terms can be used in
 191 bibliographical searches.