doc/en/ref_algorithm_NonLinearLeastSquares.rst

   1 ..
   2    Copyright (C) 2008-2014 EDF R&D
   3
   4    This file is part of SALOME ADAO module.
   5
   6    This library is free software; you can redistribute it and/or
   7    modify it under the terms of the GNU Lesser General Public
   8    License as published by the Free Software Foundation; either
   9    version 2.1 of the License, or (at your option) any later version.
  10
  11    This library is distributed in the hope that it will be useful,
  12    but WITHOUT ANY WARRANTY; without even the implied warranty of
  13    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14    Lesser General Public License for more details.
  15
  16    You should have received a copy of the GNU Lesser General Public
  17    License along with this library; if not, write to the Free Software
  18    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307 USA
  19
  20    See http://www.salome-platform.org/ or email : webmaster.salome@opencascade.com
  21
  22    Author: Jean-Philippe Argaud, jean-philippe.argaud@edf.fr, EDF R&D
  23
  24 .. index:: single: NonLinearLeastSquares
  25 .. _section_ref_algorithm_NonLinearLeastSquares:
  26
  27 Calculation algorithm "*NonLinearLeastSquares*"
  28 -----------------------------------------------
  29
  30 Description
  31 +++++++++++
  32
  33 This algorithm realizes a state estimation by variational minimization of the
  34 classical :math:`J` function of weighted "Least Squares":
  35
  36 .. math:: J(\mathbf{x})=(\mathbf{y}^o-\mathbf{H}.\mathbf{x})^T.\mathbf{R}^{-1}.(\mathbf{y}^o-\mathbf{H}.\mathbf{x})
  37
  38 It is similar to the :ref:`section_ref_algorithm_3DVAR`, without its background
  39 part. The background, required in the interface, is only used as an initial
  40 point for the variational minimization.
  41
  42 In all cases, it is recommended to prefer the :ref:`section_ref_algorithm_3DVAR`
  43 for its stability as for its behaviour during optimization.
  44
  45 Optional and required commands
  46 ++++++++++++++++++++++++++++++
  47
  48 .. index:: single: Background
  49 .. index:: single: Observation
  50 .. index:: single: ObservationError
  51 .. index:: single: ObservationOperator
  52 .. index:: single: Minimizer
  53 .. index:: single: Bounds
  54 .. index:: single: MaximumNumberOfSteps
  55 .. index:: single: CostDecrementTolerance
  56 .. index:: single: ProjectedGradientTolerance
  57 .. index:: single: GradientNormTolerance
  58 .. index:: single: StoreInternalVariables
  59 .. index:: single: StoreSupplementaryCalculations
  60
  61 The general required commands, available in the editing user interface, are the
  62 following:
  63
  64   Background
  65     *Required command*. This indicates the background or initial vector used,
  66     previously noted as :math:`\mathbf{x}^b`. Its value is defined as a
  67     "*Vector*" or a *VectorSerie*" type object.
  68
  69   Observation
  70     *Required command*. This indicates the observation vector used for data
  71     assimilation or optimization, previously noted as :math:`\mathbf{y}^o`. It
  72     is defined as a "*Vector*" or a *VectorSerie* type object.
  73
  74   ObservationError
  75     *Required command*. This indicates the observation error covariance matrix,
  76     previously noted as :math:`\mathbf{R}`. It is defined as a "*Matrix*" type
  77     object, a "*ScalarSparseMatrix*" type object, or a "*DiagonalSparseMatrix*"
  78     type object.
  79
  80   ObservationOperator
  81     *Required command*. This indicates the observation operator, previously
  82     noted :math:`H`, which transforms the input parameters :math:`\mathbf{x}` to
  83     results :math:`\mathbf{y}` to be compared to observations
  84     :math:`\mathbf{y}^o`. Its value is defined as a "*Function*" type object or
  85     a "*Matrix*" type one. In the case of "*Function*" type, different
  86     functional forms can be used, as described in the section
  87     :ref:`section_ref_operator_requirements`. If there is some control :math:`U`
  88     included in the observation, the operator has to be applied to a pair
  89     :math:`(X,U)`.
  90
  91 The general optional commands, available in the editing user interface, are
  92 indicated in :ref:`section_ref_assimilation_keywords`. In particular, the
  93 optional command "*AlgorithmParameters*" allows to choose the specific options,
  94 described hereafter, of the algorithm. See
  95 :ref:`section_ref_options_AlgorithmParameters` for the good use of this command.
  96
  97 The options of the algorithm are the following:
  98
  99   Minimizer
 100     This key allows to choose the optimization minimizer. The default choice is
 101     "LBFGSB", and the possible ones are "LBFGSB" (nonlinear constrained
 102     minimizer, see [Byrd95]_, [Morales11]_ and [Zhu97]_), "TNC" (nonlinear
 103     constrained minimizer), "CG" (nonlinear unconstrained minimizer), "BFGS"
 104     (nonlinear unconstrained minimizer), "NCG" (Newton CG minimizer). It is
 105     strongly recommended to stay with the default.
 106
 107   Bounds
 108     This key allows to define upper and lower bounds for every state variable
 109     being optimized. Bounds have to be given by a list of list of pairs of
 110     lower/upper bounds for each variable, with possibly ``None`` every time
 111     there is no bound. The bounds can always be specified, but they are taken
 112     into account only by the constrained optimizers.
 113
 114   MaximumNumberOfSteps
 115     This key indicates the maximum number of iterations allowed for iterative
 116     optimization. The default is 15000, which is very similar to no limit on
 117     iterations. It is then recommended to adapt this parameter to the needs on
 118     real problems. For some optimizers, the effective stopping step can be
 119     slightly different due to algorithm internal control requirements.
 120
 121   CostDecrementTolerance
 122     This key indicates a limit value, leading to stop successfully the
 123     iterative optimization process when the cost function decreases less than
 124     this tolerance at the last step. The default is 1.e-7, and it is
 125     recommended to adapt it to the needs on real problems.
 126
 127   ProjectedGradientTolerance
 128     This key indicates a limit value, leading to stop successfully the iterative
 129     optimization process when all the components of the projected gradient are
 130     under this limit. It is only used for constrained optimizers. The default is
 131     -1, that is the internal default of each minimizer (generally 1.e-5), and it
 132     is not recommended to change it.
 133
 134   GradientNormTolerance
 135     This key indicates a limit value, leading to stop successfully the
 136     iterative optimization process when the norm of the gradient is under this
 137     limit. It is only used for non-constrained optimizers.  The default is
 138     1.e-5 and it is not recommended to change it.
 139
 140   StoreInternalVariables
 141     This Boolean key allows to store default internal variables, mainly the
 142     current state during iterative optimization process. Be careful, this can be
 143     a numerically costly choice in certain calculation cases. The default is
 144     "False".
 145
 146   StoreSupplementaryCalculations
 147     This list indicates the names of the supplementary variables that can be
 148     available at the end of the algorithm. It involves potentially costly
 149     calculations. The default is a void list, none of these variables being
 150     calculated and stored by default. The possible names are in the following
 151     list: ["BMA", "OMA", "OMB", "Innovation"].
 152
 153 *Tips for this algorithm:*
 154
 155     As the *"BackgroundError"* command is required for ALL the calculation
 156     algorithms in the interface, you have to provide a value, even if this
 157     command is not required for this algorithm, and will not be used. The
 158     simplest way is to give "1" as a STRING.
 159
 160 See also
 161 ++++++++
 162
 163 References to other sections:
 164   - :ref:`section_ref_algorithm_3DVAR`
 165
 166 Bibliographical references:
 167   - [Byrd95]_
 168   - [Morales11]_