src/product.py

   1 #!/usr/bin/env python
   2 #-*- coding:utf-8 -*-
   3 #  Copyright (C) 2010-2012  CEA/DEN
   4 #
   5 #  This library is free software; you can redistribute it and/or
   6 #  modify it under the terms of the GNU Lesser General Public
   7 #  License as published by the Free Software Foundation; either
   8 #  version 2.1 of the License.
   9 #
  10 #  This library is distributed in the hope that it will be useful,
  11 #  but WITHOUT ANY WARRANTY; without even the implied warranty of
  12 #  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13 #  Lesser General Public License for more details.
  14 #
  15 #  You should have received a copy of the GNU Lesser General Public
  16 #  License along with this library; if not, write to the Free Software
  17 #  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307 USA
  18
  19 """\
  20 In this file are implemented the methods
  21 relative to the product notion of salomeTools
  22 """
  23
  24 import os
  25 import re
  26 import pprint as PP
  27
  28 import src
  29 import src.debug as DBG
  30 import src.versionMinorMajorPatch as VMMP
  31
  32 AVAILABLE_VCS = ['git', 'svn', 'cvs']
  33
  34 CONFIG_FILENAME = "sat-config.pyconf" # trace product depends version(s)
  35 PRODUCT_FILENAME = "sat-product.pyconf" # trace product compile config
  36 config_expression = "^config-\d+$"
  37
  38 def get_product_config(config, product_name, with_install_dir=True):
  39     """Get the specific configuration of a product from the global configuration
  40
  41     :param config Config: The global configuration
  42     :param product_name str: The name of the product
  43     :param with_install_dir boolean: If false, do not provide an install
  44                                      directory (at false only for internal use
  45                                      of the function check_config_exists)
  46     :return: the specific configuration of the product
  47     :rtype: Config
  48     """
  49
  50     # Get the version of the product from the application definition
  51     version = config.APPLICATION.products[product_name]
  52     # if no version, then take the default one defined in the application
  53     if isinstance(version, bool):
  54         version = config.APPLICATION.tag
  55
  56     # Define debug and dev modes
  57     # Get the tag if a dictionary is given in APPLICATION.products for the
  58     # current product
  59     debug = 'no'
  60     dev = 'no'
  61     verbose = 'no'
  62     base = 'maybe'
  63     section = None
  64     if isinstance(version, src.pyconf.Mapping):
  65         dic_version = version
  66         # Get the version/tag
  67         if not 'tag' in dic_version:
  68             version = config.APPLICATION.tag
  69         else:
  70             version = dic_version.tag
  71
  72         # Get the debug if any
  73         if 'debug' in dic_version:
  74             debug = dic_version.debug
  75
  76         # Get the verbose if any
  77         if 'verbose' in dic_version:
  78             verbose = dic_version.verbose
  79
  80         # Get the dev if any
  81         if 'dev' in dic_version:
  82             dev = dic_version.dev
  83
  84         # Get the base if any
  85         if 'base' in dic_version:
  86             base = dic_version.base
  87
  88         # Get the section if any
  89         if 'section' in dic_version:
  90             section = dic_version.section
  91
  92     vv = version
  93     # substitute some character with _ in order to get the correct definition
  94     # in config.PRODUCTS. This is done because the pyconf tool does not handle
  95     # the . and - characters
  96     for c in ".-": vv = vv.replace(c, "_")
  97
  98     prod_info = None
  99     if product_name in config.PRODUCTS:
 100         # Search for the product description in the configuration
 101         prod_info = get_product_section(config, product_name, vv, section)
 102
 103         # merge opt_depend in depend
 104         if prod_info is not None and 'opt_depend' in prod_info:
 105             for depend in prod_info.opt_depend:
 106                 if depend in config.APPLICATION.products:
 107                     prod_info.depend.append(depend,'')
 108
 109         # In case of a product get with a vcs,
 110         # put the tag (equal to the version)
 111         if prod_info is not None and prod_info.get_source in AVAILABLE_VCS:
 112
 113             if prod_info.get_source == 'git':
 114                 prod_info.git_info.tag = version
 115
 116             if prod_info.get_source == 'svn':
 117                 prod_info.svn_info.tag = version
 118
 119             if prod_info.get_source == 'cvs':
 120                 prod_info.cvs_info.tag = version
 121
 122         # In case of a fixed product,
 123         # define the install_dir (equal to the version)
 124         if prod_info is not None and os.path.isdir(version):
 125             prod_info.install_dir = version
 126             prod_info.get_source = "fixed"
 127
 128         # Check if the product is defined as native in the application
 129         if prod_info is not None:
 130             if version == "native":
 131                 prod_info.get_source = "native"
 132             elif prod_info.get_source == "native":
 133                 msg = _("The product %(prod)s has version %(ver)s but is "
 134                         "declared as native in its definition" %
 135                         { 'prod': prod_info.name, 'ver': version})
 136                 raise src.SatException(msg)
 137
 138     # If there is no definition but the product is declared as native,
 139     # construct a new definition containing only the get_source key
 140     if prod_info is None and version == "native":
 141         prod_info = src.pyconf.Config()
 142         prod_info.name = product_name
 143         prod_info.get_source = "native"
 144
 145     # If there is no definition but the product is fixed,
 146     # construct a new definition containing only the product name
 147     if prod_info is None and os.path.isdir(version):
 148         prod_info = src.pyconf.Config()
 149         prod_info.name = product_name
 150         prod_info.get_source = "fixed"
 151         prod_info.addMapping("environ", src.pyconf.Mapping(prod_info), "")
 152
 153
 154     # If prod_info is still None, it means that there is no product definition
 155     # in the config. The user has to provide it.
 156     if prod_info is None:
 157         prod_pyconf_path = src.find_file_in_lpath(product_name + ".pyconf",
 158                                                   config.PATHS.PRODUCTPATH)
 159         if not prod_pyconf_path:
 160             msg = _("""\
 161 No definition found for the product %(1)s.
 162 Please create a %(1)s.pyconf file somewhere in:
 163   %(2)s""") % {
 164   "1": product_name,
 165   "2": PP.pformat(config.PATHS.PRODUCTPATH) }
 166         else:
 167             msg = _("""\
 168 No definition corresponding to the version %(1)s was found in the file:
 169   %(2)s.
 170 Please add a section in it.""") % {"1" : vv, "2" : prod_pyconf_path}
 171         raise src.SatException(msg)
 172
 173     # Set the debug, dev and version keys
 174     prod_info.debug = debug
 175     prod_info.verbose = verbose
 176     prod_info.dev = dev
 177     prod_info.version = version
 178
 179     # Set the archive_info if the product is get in archive mode
 180     if prod_info.get_source == "archive":
 181         if not "archive_info" in prod_info:
 182             prod_info.addMapping("archive_info",
 183                                  src.pyconf.Mapping(prod_info),
 184                                  "")
 185         if "archive_name" in prod_info.archive_info:
 186             arch_name = prod_info.archive_info.archive_name
 187         else:
 188             # standard name
 189             arch_name = product_name + "-" + version + ".tar.gz"
 190
 191         arch_path = src.find_file_in_lpath(arch_name,
 192                                            config.PATHS.ARCHIVEPATH)
 193         if not arch_path:
 194             # arch_path is not found. It may generate an error in sat source,
 195             #                         unless the archive is found in ftp serveur
 196             msg = _("Archive %(1)s for %(2)s not found in config.PATHS.ARCHIVEPATH") % \
 197                    {"1" : arch_name, "2" : prod_info.name}
 198             DBG.tofix(msg, config.PATHS.ARCHIVEPATH)
 199             prod_info.archive_info.archive_name = arch_name #without path
 200         else:
 201             prod_info.archive_info.archive_name = arch_path
 202
 203
 204     # If the product compiles with a script, check the script existence
 205     # and if it is executable
 206     if product_has_script(prod_info):
 207         # Check the compil_script key existence
 208         if "compil_script" not in prod_info:
 209             msg = _("""\
 210 No compilation script found for the product %s.
 211 Please provide a 'compil_script' key in its definition.""") % product_name
 212             raise src.SatException(msg)
 213
 214         # Get the path of the script file
 215         # if windows supposed '.bat', if linux supposed '.sh'
 216         # but user set extension script file in his pyconf as he wants, no obligation.
 217         script = prod_info.compil_script
 218         script_name = os.path.basename(script)
 219         if script == script_name:
 220             # Only a name is given. Search in the default directory
 221             script_path = src.find_file_in_lpath(script_name, config.PATHS.PRODUCTPATH, "compil_scripts")
 222             if not script_path:
 223                 msg = _("Compilation script %s not found in") % script_name
 224                 DBG.tofix(msg, config.PATHS.PRODUCTPATH, True) # say where searched
 225                 # avoid stop if sat prepare, script could be included in sources, only warning
 226                 # raise src.SatException(msg)
 227                 script_path = "*** Not Found: %s" % script_name
 228             prod_info.compil_script = script_path
 229
 230
 231         # Check that the script is executable
 232         if os.path.exists(prod_info.compil_script) and not os.access(prod_info.compil_script, os.X_OK):
 233             #raise src.SatException(
 234             #        _("Compilation script cannot be executed: %s") %
 235             #        prod_info.compil_script)
 236             # just as warning, problem later...
 237             DBG.tofix("Compilation script  file is not in 'execute mode'", prod_info.compil_script, True)
 238
 239     # Get the full paths of all the patches
 240     if product_has_patches(prod_info):
 241         patches = []
 242         try:
 243           for patch in prod_info.patches:
 244               patch_path = patch
 245               # If only a filename, then search for the patch in the PRODUCTPATH
 246               if os.path.basename(patch_path) == patch_path:
 247                   # Search in the PRODUCTPATH/patches
 248                   patch_path = src.find_file_in_lpath(patch,
 249                                                       config.PATHS.PRODUCTPATH,
 250                                                       "patches")
 251                   if not patch_path:
 252                       msg = _("Patch %(patch_name)s for %(prod_name)s not found:"
 253                               "\n" % {"patch_name" : patch,
 254                                        "prod_name" : prod_info.name})
 255                       raise src.SatException(msg)
 256               patches.append(patch_path)
 257         except:
 258           DBG.tofix("problem in prod_info.patches", prod_info)
 259         prod_info.patches = patches
 260
 261     # Get the full paths of the environment scripts
 262     if product_has_env_script(prod_info):
 263         env_script_path = prod_info.environ.env_script
 264         # If only a filename, then search for the environment script
 265         # in the PRODUCTPATH/env_scripts
 266         if os.path.basename(env_script_path) == env_script_path:
 267             # Search in the PRODUCTPATH/env_scripts
 268             env_script_path = src.find_file_in_lpath(
 269                                             prod_info.environ.env_script,
 270                                             config.PATHS.PRODUCTPATH,
 271                                             "env_scripts")
 272             if not env_script_path:
 273                 msg = _("Environment script %(env_name)s for %(prod_name)s not "
 274                         "found.\n" % {"env_name" : env_script_path,
 275                                        "prod_name" : prod_info.name})
 276                 raise src.SatException(msg)
 277
 278         prod_info.environ.env_script = env_script_path
 279
 280     if with_install_dir:
 281         # The variable with_install_dir is at false only for internal use
 282         # of the function get_install_dir
 283
 284         # Save the install_dir key if there is any
 285         if "install_dir" in prod_info and not "install_dir_save" in prod_info:
 286             prod_info.install_dir_save = prod_info.install_dir
 287
 288         # if it is not the first time the install_dir is computed, it means
 289         # that install_dir_save exists and it has to be taken into account.
 290         if "install_dir_save" in prod_info:
 291             prod_info.install_dir = prod_info.install_dir_save
 292
 293         # Set the install_dir key
 294         prod_info.install_dir = get_install_dir(config, base, version, prod_info)
 295
 296     return prod_info
 297
 298 def get_product_section(config, product_name, version, section=None, verbose=False):
 299     """Get the product description from the configuration
 300
 301     :param config Config: The global configuration
 302     :param product_name str: The product name
 303     :param version str: The version of the product as 'V8_4_0', or else.
 304     :param section str: The searched section (if not None, the section is
 305                         explicitly given
 306     :return: The product description
 307     :rtype: Config
 308     """
 309
 310     # if section is not None, try to get the corresponding section
 311     aProd = config.PRODUCTS[product_name]
 312     try:
 313       versionMMP = VMMP.MinorMajorPatch(version)
 314     except: # example setuptools raise "minor in major_minor_patch is not integer: '0_6c11'"
 315       versionMMP = None
 316     DBG.write("get_product_section for product %s '%s' as version '%s'" % (product_name, version, versionMMP),
 317               (section, aProd.keys()), verbose)
 318     # DBG.write("yoo1", aProd, True)
 319     if section:
 320         if section not in aProd:
 321             return None
 322         # returns specific information for the given version
 323         prod_info = aProd[section]
 324         prod_info.section = section
 325         prod_info.from_file = aProd.from_file
 326         return prod_info
 327
 328     # If it exists, get the information of the product_version
 329     # ex: 'version_V6_6_0' as salome version classical syntax
 330     if "version_" + version in aProd:
 331         DBG.write("found section for version_" + version, "", verbose)
 332         # returns specific information for the given version
 333         prod_info = aProd["version_" + version]
 334         prod_info.section = "version_" + version
 335         prod_info.from_file = aProd.from_file
 336         return prod_info
 337
 338     # Else, check if there is a description for multiple versions
 339     l_section_names = aProd.keys()
 340     l_section_ranges = []
 341     tagged = []
 342     for name in l_section_names:
 343       # DBG.write("name", name,True)
 344       aRange = VMMP.getRange_majorMinorPatch(name)
 345       if aRange is not None:
 346         DBG.write("found version range for section '%s'" % name, aRange, verbose)
 347         l_section_ranges.append((name, aRange))
 348
 349     if versionMMP is not None and len(l_section_ranges) > 0:
 350       for name, (vmin, vmax) in l_section_ranges:
 351         if versionMMP >= vmin and versionMMP <= vmax:
 352           tagged.append((name, [vmin, vmax]))
 353
 354     if len(tagged) > 1:
 355       DBG.write("multiple version ranges tagged for '%s', fix it" % version,
 356                      PP.pformat(tagged), True)
 357       return None
 358     if len(tagged) == 1: # ok
 359       DBG.write("one version range tagged for '%s'" % version,
 360                    PP.pformat(tagged), verbose)
 361       name, (vmin, vmax) = tagged[0]
 362       prod_info = aProd[name]
 363       prod_info.section = name
 364       prod_info.from_file = aProd.from_file
 365       return prod_info
 366
 367     # Else, get the standard informations
 368     if "default" in aProd:
 369         # returns the generic information (given version not found)
 370         prod_info = aProd.default
 371         DBG.write("default tagged for '%s'" % version, prod_info, verbose)
 372         prod_info.section = "default"
 373         prod_info.from_file = aProd.from_file
 374         return prod_info
 375
 376     # if noting was found, return None
 377     return None
 378
 379 def get_install_dir(config, base, version, prod_info):
 380     """Compute the installation directory of a given product
 381
 382     :param config Config: The global configuration
 383     :param base str: This corresponds to the value given by user in its
 384                      application.pyconf for the specific product. If "yes", the
 385                      user wants the product to be in base. If "no", he wants the
 386                      product to be in the application workdir
 387     :param version str: The version of the product
 388     :param product_info Config: The configuration specific to
 389                                the product
 390
 391     :return: The path of the product installation
 392     :rtype: str
 393     """
 394     install_dir = ""
 395     in_base = False
 396     if (("install_dir" in prod_info and prod_info.install_dir == "base")
 397                                                             or base == "yes"):
 398         in_base = True
 399     if (base == "no" or ("no_base" in config.APPLICATION
 400                          and config.APPLICATION.no_base == "yes")):
 401         in_base = False
 402
 403     if in_base:
 404         install_dir = get_base_install_dir(config, prod_info, version)
 405     else:
 406         if "install_dir" not in prod_info or prod_info.install_dir == "base":
 407             # Set it to the default value (in application directory)
 408             install_dir = os.path.join(config.APPLICATION.workdir,
 409                                                 "INSTALL",
 410                                                 prod_info.name)
 411         else:
 412             install_dir = prod_info.install_dir
 413
 414     return install_dir
 415
 416 def get_base_install_dir(config, prod_info, version):
 417     """Compute the installation directory of a product in base
 418
 419     :param config Config: The global configuration
 420     :param product_info Config: The configuration specific to
 421                                the product
 422     :param version str: The version of the product
 423     :return: The path of the product installation
 424     :rtype: str
 425     """
 426     base_path = src.get_base_path(config)
 427     prod_dir = os.path.join(base_path, prod_info.name + "-" + version)
 428     if not os.path.exists(prod_dir):
 429         return os.path.join(prod_dir, "config-1")
 430
 431     exists, install_dir = check_config_exists(config, prod_dir, prod_info)
 432     if exists:
 433         return install_dir
 434
 435     # Find the first config-<i> directory that is available in the product
 436     # directory
 437     found = False
 438     label = 1
 439     while not found:
 440         install_dir = os.path.join(prod_dir, "config-%i" % label)
 441         if os.path.exists(install_dir):
 442             label+=1
 443         else:
 444             found = True
 445
 446     return install_dir
 447
 448 def add_compile_config_file(p_info, config):
 449     '''Execute the proper configuration command(s)
 450        in the product build directory.
 451
 452     :param p_info Config: The specific config of the product
 453     :param config Config: The global configuration
 454     '''
 455     # Create the compile config
 456     # DBG.write("add_compile_config_file", p_info, True)
 457     res = src.pyconf.Config()
 458     res.addMapping(p_info.name, src.pyconf.Mapping(res), "")
 459     res[p_info.name]= p_info.version
 460
 461     for prod_name in p_info.depend:
 462       if prod_name not in res:
 463         res.addMapping(prod_name, src.pyconf.Mapping(res), "")
 464       prod_dep_info = src.product.get_product_config(config, prod_name, False)
 465       res[prod_name] = prod_dep_info.version
 466     # Write it in the install directory of the product
 467     # This file is for automatic reading/checking
 468     # see check_config_exists method
 469     aFile = os.path.join(p_info.install_dir, CONFIG_FILENAME)
 470     with open(aFile, 'w') as f:
 471       res.__save__(f)
 472
 473     # this file is for human eye reading
 474     aFile = os.path.join(p_info.install_dir, PRODUCT_FILENAME)
 475     with open(aFile, 'w') as f:
 476       # f.write(DBG.getStrConfigDbg(p_info)) # debug mode
 477       try:
 478           p_info.__save__(f, evaluated=True) # evaluated expressions mode
 479       except:
 480           # the second file is not mandatory. In the context of non VCS archives, p_info cannot be evaluated
 481           # because information on git server is not available.  In this case, we skip the writing without raising an error.
 482           #DBG.write("cannot evaluate product info - do not write ", PRODUCT_FILENAME, True)
 483           pass
 484
 485
 486
 487 def check_config_exists(config, prod_dir, prod_info, verbose=False):
 488     """\
 489     Verify that the installation directory of a product in a base exists.
 490     Check all the config-<i>/sat-config.py files found for correspondence
 491     with current config and prod_info depend-version-tags
 492
 493     :param config Config: The global configuration
 494     :param prod_dir str: The product installation directory path
 495                          (without config-<i>)
 496     :param product_info Config: The configuration specific to
 497                                the product
 498     :return: True or false is the installation is found or not
 499              and if it is found, the path of the found installation
 500     :rtype: (boolean, str)
 501     """
 502     # check if the directories or files of the directory corresponds to the
 503     # directory installation of the product
 504     if os.path.isdir(prod_dir):
 505       l_dir_and_files = os.listdir(prod_dir)
 506     else:
 507       raise Exception("Inexisting directory '%s'" % prod_dir)
 508
 509     DBG.write("check_config_exists 000",  (prod_dir, l_dir_and_files), verbose)
 510     DBG.write("check_config_exists 111",  prod_info, verbose)
 511
 512     for dir_or_file in l_dir_and_files:
 513         oExpr = re.compile(config_expression)
 514         if not(oExpr.search(dir_or_file)):
 515             # in mode BASE, not config-<i>, not interesting
 516             # DBG.write("not interesting", dir_or_file, True)
 517             continue
 518         # check if there is the file sat-config.pyconf file in the installation
 519         # directory
 520         config_file = os.path.join(prod_dir, dir_or_file, CONFIG_FILENAME)
 521         DBG.write("check_config_exists 222", config_file, verbose)
 522         if not os.path.exists(config_file):
 523             continue
 524
 525         # If there is no dependency, it is the right path
 526         if len(prod_info.depend)==0:
 527             compile_cfg = src.pyconf.Config(config_file)
 528             if len(compile_cfg) == 0:
 529                 return True, os.path.join(prod_dir, dir_or_file)
 530             continue
 531
 532         # check if there is the config described in the file corresponds the
 533         # dependencies of the product
 534         config_corresponds = True
 535         compile_cfg = src.pyconf.Config(config_file)
 536         for prod_dep in prod_info.depend:
 537             # if the dependency is not in the config,
 538             # the config does not correspond
 539             if prod_dep not in compile_cfg:
 540                 config_corresponds = False
 541                 break
 542             else:
 543                 prod_dep_info = get_product_config(config, prod_dep, False)
 544                 # If the version of the dependency does not correspond,
 545                 # the config does not correspond
 546                 if prod_dep_info.version != compile_cfg[prod_dep]:
 547                     config_corresponds = False
 548                     break
 549
 550         if config_corresponds:
 551           for prod_name in compile_cfg:
 552             # assume new compatibility with prod_name in sat-config.pyconf files
 553             if prod_name == prod_info.name:
 554               if prod_info.version == compile_cfg[prod_name]:
 555                 DBG.write("check_config_exists OK 333", compile_cfg, verbose)
 556                 pass
 557               else: # no correspondence with newer with prod_name sat-config.pyconf files
 558                 config_corresponds = False
 559                 break
 560             else:
 561               # as old compatibility without prod_name sat-config.pyconf files
 562               if prod_name not in prod_info.depend:
 563                 # here there is an unexpected depend in an old compilation
 564                 config_corresponds = False
 565                 break
 566
 567         if config_corresponds: # returns (and stops) at first correspondence found
 568             DBG.write("check_config_exists OK 444", dir_or_file, verbose)
 569             return True, os.path.join(prod_dir, dir_or_file)
 570
 571     # no correspondence found
 572     return False, None
 573
 574
 575
 576 def get_products_infos(lproducts, config):
 577     """Get the specific configuration of a list of products
 578
 579     :param lproducts List: The list of product names
 580     :param config Config: The global configuration
 581     :return: the list of tuples
 582              (product name, specific configuration of the product)
 583     :rtype: [(str, Config)]
 584     """
 585     products_infos = []
 586     # Loop on product names
 587     for prod in lproducts:
 588         # Get the specific configuration of the product
 589         prod_info = get_product_config(config, prod)
 590         if prod_info is not None:
 591             products_infos.append((prod, prod_info))
 592         else:
 593             msg = _("The %s product has no definition in the configuration.") % prod
 594             raise src.SatException(msg)
 595     return products_infos
 596
 597
 598 def get_products_list(options, cfg, logger):
 599     """
 600     method that gives the product list with their informations from
 601     configuration regarding the passed options.
 602
 603     :param options Options: The Options instance that stores the commands arguments
 604     :param cfg Config: The global configuration
 605     :param logger Logger: The logger instance to use for the display and logging
 606     :return: The list of (product name, product_informations).
 607     :rtype: List
 608     """
 609     # Get the products to be prepared, regarding the options
 610     if options.products is None:
 611         # No options, get all products sources
 612         products = cfg.APPLICATION.products
 613     else:
 614         # if option --products, check that all products of the command line
 615         # are present in the application.
 616         """products = options.products
 617         for p in products:
 618             if p not in cfg.APPLICATION.products:
 619                 raise src.SatException(_("Product %(product)s "
 620                             "not defined in application %(application)s") %
 621                         { 'product': p, 'application': cfg.VARS.application} )"""
 622
 623         products = src.getProductNames(cfg, options.products, logger)
 624
 625     # Construct the list of tuple containing
 626     # the products name and their definition
 627     resAll = src.product.get_products_infos(products, cfg)
 628
 629     # if the property option was passed, filter the list
 630     if options.properties: # existing properties
 631       ok = []
 632       ko = []
 633       res =[]
 634       prop, value = options.properties # for example 'is_SALOME_module', 'yes'
 635       for p_name, p_info in resAll:
 636         try:
 637           if p_info.properties[prop] == value:
 638             res.append((p_name, p_info))
 639             ok.append(p_name)
 640           else:
 641             ko.append(p_name)
 642         except:
 643           ok.append(p_name)
 644
 645       if len(ok) != len(resAll):
 646         logger.trace("on properties %s\n products accepted:\n %s\n products rejected:\n %s\n" %
 647                        (options.properties, PP.pformat(sorted(ok)), PP.pformat(sorted(ko))))
 648       else:
 649         logger.warning("properties %s\n seems useless with no products rejected" %
 650                        (options.properties))
 651     else:
 652       res = resAll # not existing properties as all accepted
 653
 654
 655     ok = []
 656     ko = []
 657     products_infos = []
 658     for p_name, p_info in res:
 659       try:
 660         if src.product.product_is_native(p_info) or src.product.product_is_fixed(p_info):
 661           ko.append(p_name)
 662         else:
 663           products_infos.append((p_name, p_info))
 664           ok.append(p_name)
 665       except:
 666         msg = "problem on 'is_native' or 'is_fixed' for product %s" % p_name
 667         raise Exception(msg)
 668
 669     if len(ko) > 0:
 670       logger.warning("on is_native or is_fixed\n products accepted:\n %s\n products rejected:\n %s\n" %
 671                     (PP.pformat(sorted(ok)), PP.pformat(sorted(ko))))
 672
 673     logger.debug("products selected:\n %s\n" % PP.pformat(sorted(ok)))
 674
 675     return res
 676
 677
 678 def get_product_dependencies(config, product_info):
 679     """\
 680     Get recursively the list of products that are
 681     in the product_info dependencies
 682
 683     :param config Config: The global configuration
 684     :param product_info Config: The configuration specific to
 685                                the product
 686     :return: the list of products in dependence
 687     :rtype: list
 688     """
 689     if "depend" not in product_info or product_info.depend == []:
 690         return []
 691     res = []
 692     for prod in product_info.depend:
 693         if prod == product_info.name:
 694             continue
 695         if prod not in res:
 696             res.append(prod)
 697         prod_info = get_product_config(config, prod)
 698         dep_prod = get_product_dependencies(config, prod_info)
 699         for prod_in_dep in dep_prod:
 700             if prod_in_dep not in res:
 701                 res.append(prod_in_dep)
 702     return res
 703
 704 def check_installation(product_info):
 705     """\
 706     Verify if a product is well installed. Checks install directory presence
 707     and some additional files if it is defined in the config
 708
 709     :param product_info Config: The configuration specific to
 710                                the product
 711     :return: True if it is well installed
 712     :rtype: boolean
 713     """
 714     if not product_compiles(product_info):
 715         return True
 716     install_dir = product_info.install_dir
 717     if not os.path.exists(install_dir):
 718         return False
 719     if ("present_files" in product_info and
 720         "install" in product_info.present_files):
 721         for file_relative_path in product_info.present_files.install:
 722             file_path = os.path.join(install_dir, file_relative_path)
 723             if not os.path.exists(file_path):
 724                 return False
 725     return True
 726
 727 def check_source(product_info):
 728     """Verify if a sources of product is preset. Checks source directory presence
 729
 730     :param product_info Config: The configuration specific to
 731                                the product
 732     :return: True if it is well installed
 733     :rtype: boolean
 734     """
 735     DBG.write("check_source product_info", product_info)
 736     source_dir = product_info.source_dir
 737     if not os.path.exists(source_dir):
 738         return False
 739     if ("present_files" in product_info and
 740         "source" in product_info.present_files):
 741         for file_relative_path in product_info.present_files.source:
 742             file_path = os.path.join(source_dir, file_relative_path)
 743             if not os.path.exists(file_path):
 744                 return False
 745     return True
 746
 747 def product_is_salome(product_info):
 748     """Know if a product is a SALOME module
 749
 750     :param product_info Config: The configuration specific to
 751                                the product
 752     :return: True if the product is a SALOME module, else False
 753     :rtype: boolean
 754     """
 755     return ("properties" in product_info and
 756             "is_SALOME_module" in product_info.properties and
 757             product_info.properties.is_SALOME_module == "yes")
 758
 759 def product_is_fixed(product_info):
 760     """Know if a product is fixed
 761
 762     :param product_info Config: The configuration specific to
 763                                the product
 764     :return: True if the product is fixed, else False
 765     :rtype: boolean
 766     """
 767     get_src = product_info.get_source
 768     return get_src.lower() == 'fixed'
 769
 770 def product_is_native(product_info):
 771     """Know if a product is native
 772
 773     :param product_info Config: The configuration specific to
 774                                the product
 775     :return: True if the product is native, else False
 776     :rtype: boolean
 777     """
 778     get_src = product_info.get_source
 779     return get_src.lower() == 'native'
 780
 781 def product_is_dev(product_info):
 782     """Know if a product is in dev mode
 783
 784     :param product_info Config: The configuration specific to
 785                                the product
 786     :return: True if the product is in dev mode, else False
 787     :rtype: boolean
 788     """
 789     dev = product_info.dev
 790     res = (dev.lower() == 'yes')
 791     DBG.write('product_is_dev %s' % product_info.name, res)
 792     # if product_info.name == "XDATA": return True #test #10569
 793     return res
 794
 795 def product_is_debug(product_info):
 796     """Know if a product is in debug mode
 797
 798     :param product_info Config: The configuration specific to
 799                                the product
 800     :return: True if the product is in debug mode, else False
 801     :rtype: boolean
 802     """
 803     debug = product_info.debug
 804     return debug.lower() == 'yes'
 805
 806 def product_is_verbose(product_info):
 807     """Know if a product is in verbose mode
 808
 809     :param product_info Config: The configuration specific to
 810                                the product
 811     :return: True if the product is in verbose mode, else False
 812     :rtype: boolean
 813     """
 814     verbose = product_info.verbose
 815     return verbose.lower() == 'yes'
 816
 817 def product_is_autotools(product_info):
 818     """Know if a product is compiled using the autotools
 819
 820     :param product_info Config: The configuration specific to
 821                                the product
 822     :return: True if the product is autotools, else False
 823     :rtype: boolean
 824     """
 825     build_src = product_info.build_source
 826     return build_src.lower() == 'autotools'
 827
 828 def product_is_cmake(product_info):
 829     """Know if a product is compiled using the cmake
 830
 831     :param product_info Config: The configuration specific to
 832                                the product
 833     :return: True if the product is cmake, else False
 834     :rtype: boolean
 835     """
 836     build_src = product_info.build_source
 837     return build_src.lower() == 'cmake'
 838
 839 def product_is_vcs(product_info):
 840     """Know if a product is download using git, svn or cvs (not archive)
 841
 842     :param product_info Config: The configuration specific to
 843                                the product
 844     :return: True if the product is vcs, else False
 845     :rtype: boolean
 846     """
 847     return product_info.get_source in AVAILABLE_VCS
 848
 849 def product_is_smesh_plugin(product_info):
 850     """Know if a product is a SMESH plugin
 851
 852     :param product_info Config: The configuration specific to
 853                                the product
 854     :return: True if the product is a SMESH plugin, else False
 855     :rtype: boolean
 856     """
 857     return ("properties" in product_info and
 858             "smesh_plugin" in product_info.properties and
 859             product_info.properties.smesh_plugin == "yes")
 860
 861 def product_is_cpp(product_info):
 862     """Know if a product is cpp
 863
 864     :param product_info Config: The configuration specific to
 865                                the product
 866     :return: True if the product is a cpp, else False
 867     :rtype: boolean
 868     """
 869     return ("properties" in product_info and
 870             "cpp" in product_info.properties and
 871             product_info.properties.cpp == "yes")
 872
 873 def product_compiles(product_info):
 874     """\
 875     Know if a product compiles or not
 876     (some products do not have a compilation procedure)
 877
 878     :param product_info Config: The configuration specific to
 879                                the product
 880     :return: True if the product compiles, else False
 881     :rtype: boolean
 882     """
 883     return not("properties" in product_info and
 884             "compilation" in product_info.properties and
 885             product_info.properties.compilation == "no")
 886
 887 def product_has_script(product_info):
 888     """Know if a product has a compilation script
 889
 890     :param product_info Config: The configuration specific to
 891                                the product
 892     :return: True if the product it has a compilation script, else False
 893     :rtype: boolean
 894     """
 895     if "build_source" not in product_info:
 896         # Native case
 897         return False
 898     build_src = product_info.build_source
 899     return build_src.lower() == 'script'
 900
 901 def product_has_env_script(product_info):
 902     """Know if a product has an environment script
 903
 904     :param product_info Config: The configuration specific to
 905                                the product
 906     :return: True if the product it has an environment script, else False
 907     :rtype: boolean
 908     """
 909     return "environ" in product_info and "env_script" in product_info.environ
 910
 911 def product_has_patches(product_info):
 912     """Know if a product has one or more patches
 913
 914     :param product_info Config: The configuration specific to
 915                                the product
 916     :return: True if the product has one or more patches
 917     :rtype: boolean
 918     """
 919     res = ( "patches" in product_info and len(product_info.patches) > 0 )
 920     DBG.write('product_has_patches %s' % product_info.name, res)
 921     # if product_info.name == "XDATA": return True #test #10569
 922     return res
 923
 924 def product_has_logo(product_info):
 925     """Know if a product has a logo (YACSGEN generate)
 926
 927     :param product_info Config: The configuration specific to
 928                                the product
 929     :return: The path of the logo if the product has a logo, else False
 930     :rtype: Str
 931     """
 932     if ("properties" in product_info and
 933             "logo" in product_info.properties):
 934         return product_info.properties.logo
 935     else:
 936         return False
 937
 938 def product_has_salome_gui(product_info):
 939     """Know if a product has a SALOME gui
 940
 941     :param product_info Config: The configuration specific to
 942                                the product
 943     :return: True if the product has a SALOME gui, else False
 944     :rtype: Boolean
 945     """
 946     return ("properties" in product_info and
 947             "has_salome_gui" in product_info.properties and
 948             product_info.properties.has_salome_gui == "yes")
 949
 950 def product_is_mpi(product_info):
 951     """Know if a product has openmpi in its dependencies
 952
 953     :param product_info Config: The configuration specific to
 954                                the product
 955     :return: True if the product has openmpi inits dependencies
 956     :rtype: boolean
 957     """
 958     return "openmpi" in product_info.depend
 959
 960 def product_is_generated(product_info):
 961     """Know if a product is generated (YACSGEN)
 962
 963     :param product_info Config: The configuration specific to
 964                                the product
 965     :return: True if the product is generated
 966     :rtype: boolean
 967     """
 968     return ("properties" in product_info and
 969             "generate" in product_info.properties and
 970             product_info.properties.generate == "yes")
 971
 972 def get_product_components(product_info):
 973     """Get the component list to generate with the product
 974
 975     :param product_info Config: The configuration specific to
 976                                the product
 977     :return: The list of names of the components
 978     :rtype: List
 979
 980     """
 981     if not product_is_generated(product_info):
 982         return []
 983
 984     compo_list = []
 985     if "component_name" in product_info:
 986         compo_list = product_info.component_name
 987
 988         if isinstance(compo_list, str):
 989             compo_list = [ compo_list ]
 990
 991     return compo_list