doc/theory.rst

   1 .. _section_theory:
   2
   3 ================================================================================
   4 A brief introduction to Data Assimilation
   5 ================================================================================
   6
   7 .. index:: single: Data Assimilation
   8 .. index:: single: true state
   9 .. index:: single: observation
  10 .. index:: single: a priori
  11
  12 **Data Assimilation** is a general framework for computing the optimal estimate
  13 of the true state of a system, over time if necessary. It uses values obtained
  14 both from observations and *a priori* models, including information about their
  15 errors.
  16
  17 In other words, data assimilation merges measurement data, the observations,
  18 with *a priori* physical and mathematical knowledge, embedded in numerical
  19 models, to obtain the best possible estimate of the true state and of its
  20 stochastic properties. Note that this true state can not be reached, but can
  21 only be estimated. Moreover, despite the fact that used information are
  22 stochastic by nature, data assimilation provides deterministic techniques in
  23 order to realize the estimation.
  24
  25 Two main types of applications exist in data assimilation being covered by the
  26 same formalism: **parameters identification** and **fields reconstruction**.
  27 Before introducing the `Simple description of the data assimilation framework`_
  28 in a next section, we describe briefly these two types. At the end, some
  29 references allow `Going further in the data assimilation framework`_.
  30
  31 Fields reconstruction or measures interpolation
  32 -----------------------------------------------
  33
  34 .. index:: single: parameters identification
  35
  36 Fields reconstruction consists in finding, from a restricted set of real
  37 measures, the physical field which is the most *consistent* with these measures.
  38
  39 This consistency is to understand in terms of interpolation, that is to say that
  40 the field we want to reconstruct, using data assimilation on measures, has to
  41 fit at best the measures, while remaining constrained by the overall
  42 calculation. The calculation is thus an *a priori* estimation of the field that
  43 we seek to identify.
  44
  45 If the system evolves in time, the reconstruction has to be established on every
  46 time step, as a whole. The interpolation process in this case is more
  47 complicated since it is temporal, not only in terms of instantaneous values of
  48 the field.
  49
  50 A simple example of fields reconstruction comes from of meteorology, in which we
  51 look for value of variables such as temperature or pressure in all points of the
  52 spatial domain. We have instantaneous measurements of these quantities at
  53 certain points, but also a history set of these measures. Moreover, these
  54 variables are constrained by evolution equations for the state of the
  55 atmosphere, which indicates for example that the pressure at a point can not
  56 take any value independently of the value at this same point in previous time.
  57 We must therefore make the reconstruction of a field at any point in space, in
  58 a manner "consistent" with the evolution equations and measures of the previous
  59 time steps.
  60
  61 Parameters identification or calibration
  62 ----------------------------------------
  63
  64 .. index:: single: fields reconstruction
  65
  66 The identification of parameters by data assimilation is a form of calibration
  67 which uses both the measurement and an *a priori* estimation (called the
  68 "*background*") of the state that one seeks to identify, as well as a
  69 characterization of their errors. From this point of view, it uses all available
  70 information on the physical system (even if assumptions about errors are
  71 relatively restrictive) to find the "*optimal*" estimation from the true state.
  72 We note, in terms of optimization, that the background realizes a mathematical
  73 regularization of the main problem of identification.
  74
  75 In practice, the two gaps "*calculation-background*" and
  76 "*calculation-measures*" are added to build the calibration correction of
  77 parameters or initial conditions. The addition of these two gaps requires a
  78 relative weight, which is chosen to reflect the trust we give to each piece of
  79 information. This confidence is measured by the covariance of the errors on the
  80 background and on the observations. Thus the stochastic aspect of information,
  81 measured or *a priori*, is essential for building the calibration error
  82 function.
  83
  84 Simple description of the data assimilation framework
  85 -----------------------------------------------------
  86
  87 .. index:: single: background
  88 .. index:: single: background error covariances
  89 .. index:: single: observation error covariances
  90 .. index:: single: covariances
  91
  92 We can write these features in a simple manner. By default, all variables are
  93 vectors, as there are several parameters to readjust.
  94
  95 According to standard notations in data assimilation, we note
  96 :math:`\mathbf{x}^a` the optimal parameters that is to be determined by
  97 calibration, :math:`\mathbf{y}^o` the observations (or experimental
  98 measurements) that we must compare to the simulation outputs,
  99 :math:`\mathbf{x}^b` the background (*a priori* values, or regularization
 100 values) of searched parameters, :math:`\mathbf{x}^t` the unknown ideals
 101 parameters that would give exactly the observations (assuming that the errors
 102 are zero and the model is exact) as output.
 103
 104 In the simplest case, which is static, the steps of simulation and of
 105 observation can be combined into a single observation operator noted :math:`H`
 106 (linear or nonlinear), which transforms the input parameters :math:`\mathbf{x}`
 107 to results :math:`\mathbf{y}` to be compared to observations
 108 :math:`\mathbf{y}^o`. Moreover, we use the linearized operator
 109 :math:`\mathbf{H}` to represent the effect of the full operator :math:`H` around
 110 a linearization point (and we omit thereafter to mention :math:`H` even if it is
 111 possible to keep it). In reality, we have already indicated that the stochastic
 112 nature of variables is essential, coming from the fact that model, background
 113 and observations are incorrect. We therefore introduce errors of observations
 114 additively, in the form of a random vector :math:`\mathbf{\epsilon}^o` such
 115 that:
 116
 117 .. math:: \mathbf{y}^o = \mathbf{H} \mathbf{x}^t + \mathbf{\epsilon}^o
 118
 119 The errors represented here are not only those from observation, but also from
 120 the simulation. We can always consider that these errors are of zero mean. We
 121 can then define a matrix :math:`\mathbf{R}` of the observation error covariances
 122 by:
 123
 124 .. math:: \mathbf{R} = E[\mathbf{\epsilon}^o.{\mathbf{\epsilon}^o}^T]
 125
 126 The background can also be written as a function of the true value, by
 127 introducing the error vector :math:`\mathbf{\epsilon}^b`:
 128
 129 .. math:: \mathbf{x}^b = \mathbf{x}^t + \mathbf{\epsilon}^b
 130
 131 where errors are also assumed of zero mean, in the same manner as for
 132 observations. We define the :math:`\mathbf{B}` matrix of background error
 133 covariances by:
 134
 135 .. math:: \mathbf{B} = E[\mathbf{\epsilon}^b.{\mathbf{\epsilon}^b}^T]
 136
 137 The optimal estimation of the true parameters :math:`\mathbf{x}^t`, given the
 138 background :math:`\mathbf{x}^b` and the observations :math:`\mathbf{y}^o`, is
 139 then the "*analysis*" :math:`\mathbf{x}^a` and comes from the minimisation of an
 140 error function (in variational assimilation) or from the filtering correction (in
 141 assimilation by filtering).
 142
 143 In **variational assimilation**, in a static case, one classically attempts to
 144 minimize the following function :math:`J`:
 145
 146 .. math:: J(\mathbf{x})=(\mathbf{x}-\mathbf{x}^b)^T.\mathbf{B}^{-1}.(\mathbf{x}-\mathbf{x}^b)+(\mathbf{y}^o-\mathbf{H}.\mathbf{x})^T.\mathbf{R}^{-1}.(\mathbf{y}^o-\mathbf{H}.\mathbf{x})
 147
 148 which is usually designed as the "*3D-VAR*" function. Since covariance matrices
 149 are proportional to the variances of errors, their presence in both terms of the
 150 function :math:`J` can effectively weight the differences by confidence in the
 151 background or observations. The parameters vector :math:`\mathbf{x}` realizing
 152 the minimum of this function therefore constitute the analysis
 153 :math:`\mathbf{x}^a`. It is at this level that we have to use the full panoply
 154 of function minimization methods otherwise known in optimization. Depending on
 155 the size of the parameters vector :math:`\mathbf{x}` to identify and of the
 156 availability of gradient and Hessian of :math:`J`, it is appropriate to adapt
 157 the chosen optimization method (gradient, Newton, quasi-Newton...).
 158
 159 In **assimilation by filtering**, in this simple case usually referred to as
 160 "*BLUE*" (for "*Best Linear Unbiased Estimator*"), the :math:`\mathbf{x}^a`
 161 analysis is given as a correction of the background :math:`\mathbf{x}^b` by a
 162 term proportional to the difference between observations :math:`\mathbf{y}^o`
 163 and calculations :math:`\mathbf{H}\mathbf{x}^b`:
 164
 165 .. math:: \mathbf{x}^a = \mathbf{x}^b + \mathbf{K}(\mathbf{y}^o - \mathbf{H}\mathbf{x}^b)
 166
 167 where :math:`\mathbf{K}` is the Kalman gain matrix, which is expressed using
 168 covariance matrices in the following form:
 169
 170 .. math:: \mathbf{K} = \mathbf{B}\mathbf{H}^T(\mathbf{H}\mathbf{B}\mathbf{H}^T+\mathbf{R})^{-1}
 171
 172 The advantage of filtering is to explicitly calculate the gain, to produce then
 173 the *a posteriori* covariance analysis matrix.
 174
 175 In this simple static case, we can show, under the assumption of Gaussian error
 176 distributions, that the two *variational* and *filtering* approaches are
 177 equivalent.
 178
 179 It is indicated here that these methods of "*3D-VAR*" and "*BLUE*" may be
 180 extended to dynamic problems, called respectively "*4D-VAR*" and "*Kalman
 181 filter*". They can take into account the evolution operator to establish an
 182 analysis at the right time steps of the gap between observations and simulations,
 183 and to have, at every moment, the propagation of the background through the
 184 evolution model. Many other variants have been developed to improve the
 185 numerical quality or to take into account computer requirements such as
 186 calculation size and time.
 187
 188 Going further in the data assimilation framework
 189 ------------------------------------------------
 190
 191 To get more information about all the data assimilation techniques, the reader
 192 can consult introductory documents like [Argaud09], on-line training courses or
 193 lectures like [Bouttier99] and [Bocquet04] (along with other materials coming
 194 from geosciences applications), or general documents like [Talagrand97],
 195 [Tarantola87], [Kalnay03], [Ide97] and [WikipediaDA].
 196
 197 Note that data assimilation is not restricted to meteorology or geo-sciences, but
 198 is widely used in other scientific domains. There are several fields in science
 199 and technology where the effective use of observed but incomplete data is
 200 crucial.
 201
 202 Some aspects of data assimilation are also known as *parameter estimation*,
 203 *inverse problems*, *bayesian estimation*, *optimal interpolation*,
 204 *mathematical regularisation*, *data smoothing*, etc. These terms can be used in
 205 bibliographical searches.