doc/en/ref_algorithm_DerivativeFreeOptimization.rst

   1 ..
   2    Copyright (C) 2008-2016 EDF R&D
   3
   4    This file is part of SALOME ADAO module.
   5
   6    This library is free software; you can redistribute it and/or
   7    modify it under the terms of the GNU Lesser General Public
   8    License as published by the Free Software Foundation; either
   9    version 2.1 of the License, or (at your option) any later version.
  10
  11    This library is distributed in the hope that it will be useful,
  12    but WITHOUT ANY WARRANTY; without even the implied warranty of
  13    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14    Lesser General Public License for more details.
  15
  16    You should have received a copy of the GNU Lesser General Public
  17    License along with this library; if not, write to the Free Software
  18    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307 USA
  19
  20    See http://www.salome-platform.org/ or email : webmaster.salome@opencascade.com
  21
  22    Author: Jean-Philippe Argaud, jean-philippe.argaud@edf.fr, EDF R&D
  23
  24 .. index:: single: DerivativeFreeOptimization
  25 .. _section_ref_algorithm_DerivativeFreeOptimization:
  26
  27 Calculation algorithm "*DerivativeFreeOptimization*"
  28 ----------------------------------------------------
  29
  30 .. warning::
  31
  32   in its present version, this algorithm is experimental, and so changes can be
  33   required in forthcoming versions.
  34
  35 Description
  36 +++++++++++
  37
  38 This algorithm realizes an estimation of the state of a system by minimization
  39 of a cost function :math:`J` without gradient. It is a method that doesn't use
  40 the derivatives of the cost function. It fall for example in the same category
  41 then the :ref:`section_ref_algorithm_ParticleSwarmOptimization`.
  42
  43 This is an optimization method allowing for global minimum search of a general
  44 error function :math:`J` of type :math:`L^1`, :math:`L^2` or :math:`L^{\infty}`,
  45 with or without weights. The default error function is the augmented weighted
  46 least squares function, classicaly used in data assimilation.
  47
  48 Optional and required commands
  49 ++++++++++++++++++++++++++++++
  50
  51 .. index:: single: AlgorithmParameters
  52 .. index:: single: Background
  53 .. index:: single: BackgroundError
  54 .. index:: single: Observation
  55 .. index:: single: ObservationError
  56 .. index:: single: ObservationOperator
  57 .. index:: single: Minimizer
  58 .. index:: single: MaximumNumberOfSteps
  59 .. index:: single: MaximumNumberOfFunctionEvaluations
  60 .. index:: single: StateVariationTolerance
  61 .. index:: single: CostDecrementTolerance
  62 .. index:: single: QualityCriterion
  63 .. index:: single: StoreSupplementaryCalculations
  64
  65 The general required commands, available in the editing user interface, are the
  66 following:
  67
  68   Background
  69     *Required command*. This indicates the background or initial vector used,
  70     previously noted as :math:`\mathbf{x}^b`. Its value is defined as a
  71     "*Vector*" or a *VectorSerie*" type object.
  72
  73   BackgroundError
  74     *Required command*. This indicates the background error covariance matrix,
  75     previously noted as :math:`\mathbf{B}`. Its value is defined as a "*Matrix*"
  76     type object, a "*ScalarSparseMatrix*" type object, or a
  77     "*DiagonalSparseMatrix*" type object.
  78
  79   Observation
  80     *Required command*. This indicates the observation vector used for data
  81     assimilation or optimization, previously noted as :math:`\mathbf{y}^o`. It
  82     is defined as a "*Vector*" or a *VectorSerie* type object.
  83
  84   ObservationError
  85     *Required command*. This indicates the observation error covariance matrix,
  86     previously noted as :math:`\mathbf{R}`. It is defined as a "*Matrix*" type
  87     object, a "*ScalarSparseMatrix*" type object, or a "*DiagonalSparseMatrix*"
  88     type object.
  89
  90   ObservationOperator
  91     *Required command*. This indicates the observation operator, previously
  92     noted :math:`H`, which transforms the input parameters :math:`\mathbf{x}` to
  93     results :math:`\mathbf{y}` to be compared to observations
  94     :math:`\mathbf{y}^o`. Its value is defined as a "*Function*" type object or
  95     a "*Matrix*" type one. In the case of "*Function*" type, different
  96     functional forms can be used, as described in the section
  97     :ref:`section_ref_operator_requirements`. If there is some control :math:`U`
  98     included in the observation, the operator has to be applied to a pair
  99     :math:`(X,U)`.
 100
 101 The general optional commands, available in the editing user interface, are
 102 indicated in :ref:`section_ref_assimilation_keywords`. Moreover, the parameters
 103 of the command "*AlgorithmParameters*" allows to choose the specific options,
 104 described hereafter, of the algorithm. See
 105 :ref:`section_ref_options_Algorithm_Parameters` for the good use of this
 106 command.
 107
 108 The options of the algorithm are the following:
 109
 110   Minimizer
 111     This key allows to choose the optimization minimizer. The default choice is
 112     "POWELL", and the possible ones are "POWELL" (modified Powell unconstrained
 113     minimizer, see [Powell]_), "SIMPLEX" (simplex or Nelder-Mead unconstrained
 114     minimizer, see [Nelder]_). It is recommended to stay with the default.
 115     Remark: the default "POWELL" method perform a dual outer/inner loops
 116     optimization, leading then to less control on the cost function evaluation
 117     number because it is the outer loop limit than is controled. If precise
 118     control on this cost function evaluation number is required, choose the
 119     "SIMPLEX" one.
 120
 121     Example : ``{"Minimizer":"POWELL"}``
 122
 123   MaximumNumberOfSteps
 124     This key indicates the maximum number of iterations allowed for iterative
 125     optimization. The default is 15000, which is very similar to no limit on
 126     iterations. It is then recommended to adapt this parameter to the needs on
 127     real problems. For some optimizers, the effective stopping step can be
 128     slightly different of the limit due to algorithm internal control
 129     requirements.
 130
 131     Example : ``{"MaximumNumberOfSteps":50}``
 132
 133   MaximumNumberOfFunctionEvaluations
 134     This key indicates the maximum number of evaluation of the cost function to
 135     be optimized. The default is 15000, which is very similar to no limit on
 136     iterations. The calculation can be over this limit when an outer
 137     optimization loop has to be finished. It is strongly recommended to adapt
 138     this parameter to the needs on real problems.
 139
 140     Example : ``{"MaximumNumberOfFunctionEvaluations":50}``
 141
 142   StateVariationTolerance
 143     This key indicates the maximum relative variation of the state for stopping
 144     by convergence on the state.  The default is 1.e-4, and it is recommended to
 145     adapt it to the needs on real problems.
 146
 147     Example : ``{"StateVariationTolerance":1.e-4}``
 148
 149   CostDecrementTolerance
 150     This key indicates a limit value, leading to stop successfully the
 151     iterative optimization process when the cost function decreases less than
 152     this tolerance at the last step. The default is 1.e-7, and it is
 153     recommended to adapt it to the needs on real problems.
 154
 155     Example : ``{"CostDecrementTolerance":1.e-7}``
 156
 157   QualityCriterion
 158     This key indicates the quality criterion, minimized to find the optimal
 159     state estimate. The default is the usual data assimilation criterion named
 160     "DA", the augmented weighted least squares. The possible criteria has to be
 161     in the following list, where the equivalent names are indicated by the sign
 162     "=": ["AugmentedWeightedLeastSquares"="AWLS"="DA",
 163     "WeightedLeastSquares"="WLS", "LeastSquares"="LS"="L2",
 164     "AbsoluteValue"="L1", "MaximumError"="ME"].
 165
 166     Example : ``{"QualityCriterion":"DA"}``
 167
 168   StoreSupplementaryCalculations
 169     This list indicates the names of the supplementary variables that can be
 170     available at the end of the algorithm. It involves potentially costly
 171     calculations or memory consumptions. The default is a void list, none of
 172     these variables being calculated and stored by default. The possible names
 173     are in the following list: ["CurrentState", "CostFunctionJ",
 174     "CostFunctionJAtCurrentOptimum", "CurrentOptimum", "IndexOfOptimum",
 175     "InnovationAtCurrentState", "BMA", "OMA", "OMB",
 176     "SimulatedObservationAtBackground", "SimulatedObservationAtCurrentOptimum",
 177     "SimulatedObservationAtCurrentState", "SimulatedObservationAtOptimum"].
 178
 179     Example : ``{"StoreSupplementaryCalculations":["BMA", "Innovation"]}``
 180
 181 Information and variables available at the end of the algorithm
 182 +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
 183
 184 At the output, after executing the algorithm, there are variables and
 185 information originating from the calculation. The description of
 186 :ref:`section_ref_output_variables` show the way to obtain them by the method
 187 named ``get`` of the variable "*ADD*" of the post-processing. The input
 188 variables, available to the user at the output in order to facilitate the
 189 writing of post-processing procedures, are described in the
 190 :ref:`subsection_r_o_v_Inventaire`.
 191
 192 The unconditional outputs of the algorithm are the following:
 193
 194   Analysis
 195     *List of vectors*. Each element is an optimal state :math:`\mathbf{x}*` in
 196     optimization or an analysis :math:`\mathbf{x}^a` in data assimilation.
 197
 198     Example : ``Xa = ADD.get("Analysis")[-1]``
 199
 200   CostFunctionJ
 201     *List of values*. Each element is a value of the error function :math:`J`.
 202
 203     Example : ``J = ADD.get("CostFunctionJ")[:]``
 204
 205   CostFunctionJb
 206     *List of values*. Each element is a value of the error function :math:`J^b`,
 207     that is of the background difference part.
 208
 209     Example : ``Jb = ADD.get("CostFunctionJb")[:]``
 210
 211   CostFunctionJo
 212     *List of values*. Each element is a value of the error function :math:`J^o`,
 213     that is of the observation difference part.
 214
 215     Example : ``Jo = ADD.get("CostFunctionJo")[:]``
 216
 217   CurrentState
 218     *List of vectors*. Each element is a usual state vector used during the
 219     optimization algorithm procedure.
 220
 221     Example : ``Xs = ADD.get("CurrentState")[:]``
 222
 223 The conditional outputs of the algorithm are the following:
 224
 225   SimulatedObservationAtBackground
 226     *List of vectors*. Each element is a vector of observation simulated from
 227     the background :math:`\mathbf{x}^b`.
 228
 229     Example : ``hxb = ADD.get("SimulatedObservationAtBackground")[-1]``
 230
 231   SimulatedObservationAtCurrentState
 232     *List of vectors*. Each element is an observed vector at the current state,
 233     that is, in the observation space.
 234
 235     Example : ``Ys = ADD.get("SimulatedObservationAtCurrentState")[-1]``
 236
 237   SimulatedObservationAtOptimum
 238     *List of vectors*. Each element is a vector of observation simulated from
 239     the analysis or optimal state :math:`\mathbf{x}^a`.
 240
 241     Example : ``hxa = ADD.get("SimulatedObservationAtOptimum")[-1]``
 242
 243 See also
 244 ++++++++
 245
 246 References to other sections:
 247   - :ref:`section_ref_algorithm_ParticleSwarmOptimization`
 248
 249 Bibliographical references:
 250   - [Nelder]_
 251   - [Powell]_