Salome HOME
fix environment: make sure that PYTHON_LIBDIR0 is set after Python
[tools/sat.git] / src / environment.py
1 #!/usr/bin/env python
2 #-*- coding:utf-8 -*-
3 #  Copyright (C) 2010-2013  CEA/DEN
4 #
5 #  This library is free software; you can redistribute it and/or
6 #  modify it under the terms of the GNU Lesser General Public
7 #  License as published by the Free Software Foundation; either
8 #  version 2.1 of the License.
9 #
10 #  This library is distributed in the hope that it will be useful,
11 #  but WITHOUT ANY WARRANTY; without even the implied warranty of
12 #  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13 #  Lesser General Public License for more details.
14 #
15 #  You should have received a copy of the GNU Lesser General Public
16 #  License along with this library; if not, write to the Free Software
17 #  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307 USA
18
19 import os
20 import subprocess
21 import string
22 import sys
23
24 import src
25
26 class Environ:
27     '''Class to manage the environment context
28     '''
29     def __init__(self, environ=None):
30         '''Initialization. If the environ argument is passed, the environment
31            will be add to it, else it is the external environment.
32            
33         :param environ dict:  
34         '''
35         if environ is not None:
36             self.environ = environ
37         else:
38             self.environ = os.environ
39
40     def __repr__(self):
41         """easy non exhaustive quick resume for debug print
42         """
43         res={}
44         res["environ"]=self.environ
45         return self.__class__.__name__ + str(res)[0:-1] + " ...etc...}"
46
47     def _expandvars(self, value):
48         '''replace some $VARIABLE into its actual value in the environment
49         
50         :param value str: the string to be replaced
51         :return: the replaced variable
52         :rtype: str
53         '''
54         if "$" in value:
55             # The string.Template class is a string class 
56             # for supporting $-substitutions
57             zt = string.Template(value)
58             try:
59                 value = zt.substitute(self.environ)
60             except KeyError as exc:
61                 raise src.SatException(_("Missing definition "
62                                          "in environment: %s") % str(exc))
63         return value
64
65     def append_value(self, key, value, sep=os.pathsep):
66         '''append value to key using sep
67         
68         :param key str: the environment variable to append
69         :param value str: the value to append to key
70         :param sep str: the separator string
71         '''
72         # check if the key is already in the environment
73         if key in self.environ:
74             value_list = self.environ[key].split(sep)
75             # Check if the value is already in the key value or not
76             if not value in value_list:
77                 value_list.append(value)
78             else:
79                 value_list.append(value_list.pop(value_list.index(value)))
80             self.set(key, sep.join(value_list))
81         else:
82             self.set(key, value)
83
84     def append(self, key, value, sep=os.pathsep):
85         '''Same as append_value but the value argument can be a list
86         
87         :param key str: the environment variable to append
88         :param value str or list: the value(s) to append to key
89         :param sep str: the separator string
90         '''
91         if isinstance(value, list):
92             for v in value:
93                 self.append_value(key, v, sep)
94         else:
95             self.append_value(key, value, sep)
96
97     def prepend_value(self, key, value, sep=os.pathsep):
98         '''prepend value to key using sep
99         
100         :param key str: the environment variable to prepend
101         :param value str: the value to prepend to key
102         :param sep str: the separator string
103         '''
104         if key in self.environ:
105             value_list = self.environ[key].split(sep)
106             if not value in value_list:
107                 value_list.insert(0, value)
108             else:
109                 value_list.insert(0, value_list.pop(value_list.index(value)))
110             self.set(key, sep.join(value_list))
111         else:
112             self.set(key, value)
113
114     def prepend(self, key, value, sep=os.pathsep):
115         '''Same as prepend_value but the value argument can be a list
116         
117         :param key str: the environment variable to prepend
118         :param value str or list: the value(s) to prepend to key
119         :param sep str: the separator string
120         '''
121         if isinstance(value, list):
122             for v in value:
123                 self.prepend_value(key, v, sep)
124         else:
125             self.prepend_value(key, value, sep)
126
127     def is_defined(self, key):
128         '''Check if the key exists in the environment
129         
130         :param key str: the environment variable to check
131         '''
132         return key in self.environ.keys()
133
134     def set(self, key, value):
135         '''Set the environment variable "key" to value "value"
136         
137         :param key str: the environment variable to set
138         :param value str: the value
139         '''
140         self.environ[key] = self._expandvars(value)
141
142     def get(self, key):
143         '''Get the value of the environment variable "key"
144         
145         :param key str: the environment variable
146         '''
147         if key in self.environ:
148             return self.environ[key]
149         else:
150             return ""
151
152     def command_value(self, key, command):
153         '''Get the value given by the system command "command" 
154            and put it in the environment variable key
155         
156         :param key str: the environment variable
157         :param command str: the command to execute
158         '''
159         value = subprocess.Popen(command,
160                                  shell=True,
161                                  stdout=subprocess.PIPE,
162                                  env=self.environ).communicate()[0]
163         self.environ[key] = value
164
165
166 class SalomeEnviron:
167     """Class to manage the environment of SALOME.
168     """
169
170     def __init__(self, cfg, environ, forBuild=False, for_package=None):
171         '''Initialization.
172
173         :param cfg Config: the global config
174         :param environ Environ: the Environ instance where 
175                                 to store the environment variables
176         :param forBuild bool: If true, it is a launch environment, 
177                               else a build one
178         :param for_package str: If not None, produce a relative environment 
179                                 designed for a package. 
180         '''
181         self.environ = environ
182         self.cfg = cfg
183         self.forBuild = forBuild
184         self.for_package = for_package
185         self.silent = False
186
187     def __repr__(self):
188         """easy non exhaustive quick resume for debug print"""
189         res={}
190         res["environ"]=str(self.environ)
191         res["forBuild"]=self.forBuild
192         return self.__class__.__name__ + str(res)[0:-1] + " ...etc...}"
193
194     def append(self, key, value, sep=os.pathsep):
195         '''append value to key using sep
196         
197         :param key str: the environment variable to append
198         :param value str: the value to append to key
199         :param sep str: the separator string
200         '''
201         return self.environ.append(key, value, sep)
202
203     def prepend(self, key, value, sep=os.pathsep):
204         '''prepend value to key using sep
205         
206         :param key str: the environment variable to prepend
207         :param value str: the value to prepend to key
208         :param sep str: the separator string
209         '''
210         return self.environ.prepend(key, value, sep)
211
212     def is_defined(self, key):
213         '''Check if the key exists in the environment
214         
215         :param key str: the environment variable to check
216         '''
217         return self.environ.is_defined(key)
218
219     def get(self, key):
220         '''Get the value of the environment variable "key"
221         
222         :param key str: the environment variable
223         '''
224         return self.environ.get(key)
225
226     def set(self, key, value):
227         '''Set the environment variable "key" to value "value"
228         
229         :param key str: the environment variable to set
230         :param value str: the value
231         '''
232         # check if value needs to be evaluated
233         if value is not None and value.startswith("`") and value.endswith("`"):
234             res = subprocess.Popen("echo %s" % value,
235                                    shell=True,
236                                    stdout=subprocess.PIPE).communicate()
237             value = res[0].strip()
238
239         return self.environ.set(key, value)
240
241     def dump(self, out):
242         """Write the environment to out
243         
244         :param out file: the stream where to write the environment
245         """
246         for k in self.environ.environ.keys():
247             try:
248                 value = self.get(k)
249             except:
250                 value = "?"
251             out.write("%s=%s\n" % (k, value))
252
253     def add_line(self, nb_line):
254         """Add empty lines to the out stream (in case of file generation)
255         
256         :param nb_line int: the number of empty lines to add
257         """
258         if 'add_line' in dir(self.environ):
259             self.environ.add_line(nb_line)
260
261     def add_comment(self, comment):
262         """Add a commentary to the out stream (in case of file generation)
263         
264         :param comment str: the commentary to add
265         """
266         if 'add_comment' in dir(self.environ):
267             self.environ.add_comment(comment)
268
269     def add_warning(self, warning):
270         """Add a warning to the out stream (in case of file generation)
271         
272         :param warning str: the warning to add
273         """
274         if 'add_warning' in dir(self.environ):
275             self.environ.add_warning(warning)
276
277     def finish(self, required):
278         """Add a final instruction in the out file (in case of file generation)
279         
280         :param required bool: Do nothing if required is False
281         """
282         if 'finish' in dir(self.environ):
283             self.environ.add_line(1)
284             self.environ.add_comment("clean all the path")
285             self.environ.finish(required)
286
287     def set_python_libdirs(self):
288         """Set some generic variables for python library paths
289         """
290         ver = self.get('PYTHON_VERSION')
291         self.set('PYTHON_LIBDIR0', os.path.join('lib',
292                                                 'python' + ver,
293                                                 'site-packages'))
294         self.set('PYTHON_LIBDIR1', os.path.join('lib64',
295                                                 'python' + ver,
296                                                 'site-packages'))
297           
298         self.python_lib0 = self.get('PYTHON_LIBDIR0')
299         self.python_lib1 = self.get('PYTHON_LIBDIR1')
300
301     def get_names(self, lProducts):
302         """Get the products name to add in SALOME_MODULES environment variable
303            It is the name of the product, except in the case where the is a 
304            component name. And it has to be in SALOME_MODULES variable only 
305            if has_gui = "yes"
306         
307         :param lProducts list: List of products to potentially add
308         """
309         lProdHasGui = [p for p in lProducts if 'type ' in 
310                     src.product.get_product_config(self.cfg, p) and 
311                     src.product.get_product_config(self.cfg, p).type=='salome']
312         lProdName = []
313         for ProdName in lProdHasGui:
314             pi = src.product.get_product_config(self.cfg, ProdName)
315             if 'component_name' in pi:
316                 lProdName.append(pi.component_name)
317             else:
318                 lProdName.append(ProdName)
319         return lProdName
320
321     def set_application_env(self, logger):
322         """Sets the environment defined in the APPLICATION file.
323         
324         :param logger Logger: The logger instance to display messages
325         """
326         
327         # Set the variables defined in the "environ" section
328         if 'environ' in self.cfg.APPLICATION:
329             self.add_comment("APPLICATION environment")
330             for p in self.cfg.APPLICATION.environ:
331                 self.set(p, self.cfg.APPLICATION.environ[p])
332             self.add_line(1)
333
334         # If there is an "environ_script" section, load the scripts
335         if 'environ_script' in self.cfg.APPLICATION:
336             for pscript in self.cfg.APPLICATION.environ_script:
337                 self.add_comment("script %s" % pscript)
338                 sname = pscript.replace(" ", "_")
339                 self.run_env_script("APPLICATION_%s" % sname,
340                                 self.cfg.APPLICATION.environ_script[pscript],
341                                 logger)
342                 self.add_line(1)
343         
344         # If there is profile (SALOME), then define additional variables
345         if ('profile' in self.cfg.APPLICATION and 
346                                     "product" in self.cfg.APPLICATION.profile):
347             profile_product = self.cfg.APPLICATION.profile.product
348             product_info_profile = src.product.get_product_config(self.cfg,
349                                                             profile_product)
350             profile_share_salome = os.path.join(product_info_profile.install_dir,
351                                                 "share",
352                                                 "salome" )
353             self.set( "SUITRoot", profile_share_salome )
354             self.set( "SalomeAppConfig",
355                       os.path.join(profile_share_salome,
356                                    "resources",
357                                    profile_product.lower() ) )
358         
359
360     def set_salome_minimal_product_env(self, product_info, logger):
361         """Sets the minimal environment for a SALOME product.
362            xxx_ROOT_DIR and xxx_SRC_DIR
363         
364         :param product_info Config: The product description
365         :param logger Logger: The logger instance to display messages        
366         """
367         # set root dir
368         root_dir = product_info.name + "_ROOT_DIR"
369         if not self.is_defined(root_dir):
370             if 'install_dir' in product_info and product_info.install_dir:
371                 self.set(root_dir, product_info.install_dir)
372             elif not self.silent:
373                 logger.write("  " + _("No install_dir for product %s\n") %
374                               product_info.name, 5)
375         
376         if not self.for_package:
377             # set source dir, unless no source dir
378             if not src.product.product_is_fixed(product_info):
379                 src_dir = product_info.name + "_SRC_DIR"
380                 if not self.is_defined(src_dir):
381                     self.set(src_dir, product_info.source_dir)
382
383     def set_salome_generic_product_env(self, product):
384         """Sets the generic environment for a SALOME product.
385         
386         :param product str: The product name    
387         """
388         # get the product descritption
389         pi = src.product.get_product_config(self.cfg, product)
390         # Construct XXX_ROOT_DIR
391         env_root_dir = self.get(pi.name + "_ROOT_DIR")
392         l_binpath_libpath = []
393
394         # create additional ROOT_DIR for CPP components
395         if 'component_name' in pi:
396             compo_name = pi.component_name
397             if compo_name + "CPP" == product:
398                 compo_root_dir = compo_name + "_ROOT_DIR"
399                 envcompo_root_dir = os.path.join(
400                             self.cfg.TOOLS.common.install_root, compo_name )
401                 self.set(compo_root_dir ,  envcompo_root_dir)
402                 bin_path = os.path.join(envcompo_root_dir, 'bin', 'salome')
403                 lib_path = os.path.join(envcompo_root_dir, 'lib', 'salome')
404                 l_binpath_libpath.append( (bin_path, lib_path) )
405
406         appliname = 'salome'
407         if (src.get_cfg_param(pi, 'product_type', 'SALOME').upper() 
408                             not in [ "SALOME", "SMESH_PLUGIN", "SAMPLE" ]):
409             appliname = ''
410
411         # Construct the paths to prepend to PATH and LD_LIBRARY_PATH and 
412         # PYTHONPATH
413         bin_path = os.path.join(env_root_dir, 'bin', appliname)
414         lib_path = os.path.join(env_root_dir, 'lib', appliname)
415         l_binpath_libpath.append( (bin_path, lib_path) )
416
417         for bin_path, lib_path in l_binpath_libpath:
418             if not self.forBuild:
419                 self.prepend('PATH', bin_path)
420                 if src.architecture.is_windows():
421                     self.prepend('PATH', lib_path)
422                 else :
423                     self.prepend('LD_LIBRARY_PATH', lib_path)
424
425             l = [ bin_path, lib_path,
426                   os.path.join(env_root_dir, self.python_lib0, appliname),
427                   os.path.join(env_root_dir, self.python_lib1, appliname)
428                 ]
429             self.prepend('PYTHONPATH', l)
430
431     def load_cfg_environment(self, cfg_env):
432         """Loads environment defined in cfg_env 
433         
434         :param cfg_env Config: A config containing an environment    
435         """
436         # Loop on cfg_env values
437         for env_def in cfg_env:
438             val = cfg_env[env_def]
439             
440             # if it is env_script, do not do anything (reserved keyword)
441             if env_def == "env_script":
442                 continue
443             
444             # if it is a dict, do not do anything
445             if isinstance(val, src.pyconf.Mapping):
446                 continue
447
448             # if it is a list, loop on its values
449             if isinstance(val, src.pyconf.Sequence):
450                 # transform into list of strings
451                 l_val = []
452                 for item in val:
453                     l_val.append(item)
454                 val = l_val
455
456             # "_" means that the value must be prepended
457             if env_def.startswith("_"):
458                 # separator exception for PV_PLUGIN_PATH
459                 if env_def[1:] == 'PV_PLUGIN_PATH':
460                     self.prepend(env_def[1:], val, ';')
461                 else:
462                     self.prepend(env_def[1:], val)
463             elif env_def.endswith("_"):
464                 # separator exception for PV_PLUGIN_PATH
465                 if env_def[:-1] == 'PV_PLUGIN_PATH':
466                     self.append(env_def[:-1], val, ';')
467                 else:
468                     self.append(env_def[:-1], val)
469             else:
470                 self.set(env_def, val)
471
472     def set_a_product(self, product, logger):
473         """Sets the environment of a product. 
474         
475         :param product str: The product name
476         :param logger Logger: The logger instance to display messages
477         """
478
479         # Get the informations corresponding to the product
480         pi = src.product.get_product_config(self.cfg, product)
481         
482         if self.for_package:
483             pi.install_dir = os.path.join("out_dir_Path",
484                                           self.for_package,
485                                           pi.name)
486                     
487         # Do not define environment if the product is native
488         if src.product.product_is_native(pi):
489             return
490         
491         if not self.silent:
492             logger.write(_("Setting environment for %s\n") % product, 4)
493
494         self.add_line(1)
495         self.add_comment('setting environ for ' + product)
496         
497         # Set an additional environment for SALOME products
498         if src.product.product_is_salome(pi):
499             # set environment using definition of the product
500             self.set_salome_minimal_product_env(pi, logger)
501             self.set_salome_generic_product_env(product)
502
503         # Put the environment define in the configuration of the product
504         if "environ" in pi:
505             self.load_cfg_environment(pi.environ)
506             if self.forBuild and "build" in pi.environ:
507                 self.load_cfg_environment(pi.environ.build)
508             if not self.forBuild and "launch" in pi.environ:
509                 self.load_cfg_environment(pi.environ.launch)
510             # if product_info defines a env_scripts, load it
511             if 'env_script' in pi.environ:
512                 self.run_env_script(pi, logger)
513
514         
515             
516
517     def run_env_script(self, product_info, logger=None):
518         """Runs an environment script. 
519         
520         :param product_info Config: The product description
521         :param logger Logger: The logger instance to display messages
522         """
523         env_script = product_info.environ.env_script
524         # Check that the script exists
525         if not os.path.exists(env_script):
526             raise src.SatException(_("Environment script not found: %s") % 
527                                    env_script)
528
529         if not self.silent and logger is not None:
530             logger.write("  ** load %s\n" % env_script, 4)
531
532         # import the script and run the set_env function
533         try:
534             import imp
535             pyproduct = imp.load_source(product_info.name + "_env_script",
536                                         env_script)
537             pyproduct.set_env(self, product_info.install_dir,
538                               product_info.version)
539         except:
540             __, exceptionValue, exceptionTraceback = sys.exc_info()
541             print(exceptionValue)
542             import traceback
543             traceback.print_tb(exceptionTraceback)
544             traceback.print_exc()
545
546     def run_simple_env_script(self, script_path, logger=None):
547         """Runs an environment script. Same as run_env_script, but with a 
548            script path as parameter.
549         
550         :param script_path str: a path to an environment script
551         :param logger Logger: The logger instance to display messages
552         """
553         # Check that the script exists
554         if not os.path.exists(script_path):
555             raise src.SatException(_("Environment script not found: %s") % 
556                                    script_path)
557
558         if not self.silent and logger is not None:
559             logger.write("  ** load %s\n" % script_path, 4)
560
561         script_basename = os.path.basename(script_path)
562         if script_basename.endswith(".py"):
563             script_basename = script_basename[:-len(".py")]
564
565         # import the script and run the set_env function
566         try:
567             import imp
568             pyproduct = imp.load_source(script_basename + "_env_script",
569                                         script_path)
570             pyproduct.load_env(self)
571         except:
572             __, exceptionValue, exceptionTraceback = sys.exc_info()
573             print(exceptionValue)
574             import traceback
575             traceback.print_tb(exceptionTraceback)
576             traceback.print_exc()
577
578     def set_products(self, logger, src_root=None):
579         """Sets the environment for all the products. 
580         
581         :param logger Logger: The logger instance to display messages
582         :param src_root src: the application working directory
583         """
584         self.add_line(1)
585         self.add_comment('setting environ for all products')
586
587         # Set the application working directory
588         if src_root is None:
589             src_root = self.cfg.APPLICATION.workdir
590         self.set('SRC_ROOT', src_root)
591
592         # SALOME variables
593         appli_name = "APPLI"
594         if "APPLI" in self.cfg and "application_name" in self.cfg.APPLI:
595             appli_name = self.cfg.APPLI.application_name
596         self.set("SALOME_APPLI_ROOT",
597                  os.path.join(self.cfg.APPLICATION.workdir, appli_name))
598
599         # Make sure that the python lib dirs are set after python
600         if "Python" in self.cfg.APPLICATION.products:
601             self.set_a_product("Python", logger)
602             self.set_python_libdirs()
603
604         # The loop on the products
605         for product in self.cfg.APPLICATION.products.keys():
606             if product == "Python":
607                 continue
608             self.set_a_product(product, logger)
609             self.finish(False)
610  
611     def set_full_environ(self, logger, env_info):
612         """Sets the full environment for products 
613            specified in env_info dictionary. 
614         
615         :param logger Logger: The logger instance to display messages
616         :param env_info list: the list of products
617         """
618         # set product environ
619         self.set_application_env(logger)
620
621         self.set_python_libdirs()
622
623         # set products        
624         for product in env_info:
625             self.set_a_product(product, logger)
626
627 class FileEnvWriter:
628     """Class to dump the environment to a file.
629     """
630     def __init__(self, config, logger, out_dir, src_root, env_info=None):
631         '''Initialization.
632
633         :param cfg Config: the global config
634         :param logger Logger: The logger instance to display messages
635         :param out_dir str: The directory path where t put the output files
636         :param src_root str: The application working directory
637         :param env_info str: The list of products to add in the files.
638         '''
639         self.config = config
640         self.logger = logger
641         self.out_dir = out_dir
642         self.src_root= src_root
643         self.silent = True
644         self.env_info = env_info
645
646     def write_env_file(self, filename, forBuild, shell):
647         """Create an environment file.
648         
649         :param filename str: the file path
650         :param forBuild bool: if true, the build environment
651         :param shell str: the type of file wanted (.sh, .bat)
652         :return: The path to the generated file
653         :rtype: str
654         """
655         if not self.silent:
656             self.logger.write(_("Create environment file %s\n") % 
657                               src.printcolors.printcLabel(filename), 3)
658
659         # create then env object
660         env_file = open(os.path.join(self.out_dir, filename), "w")
661         tmp = src.fileEnviron.get_file_environ(env_file,
662                                                shell,
663                                                {})
664         env = SalomeEnviron(self.config, tmp, forBuild)
665         env.silent = self.silent
666
667         # Set the environment
668         if self.env_info is not None:
669             env.set_full_environ(self.logger, self.env_info)
670         else:
671             # set env from the APPLICATION
672             env.set_application_env(self.logger)
673             
674             # The list of products to launch
675             lProductsName = env.get_names(self.config.APPLICATION.products.keys())
676             env.set( "SALOME_MODULES",    ','.join(lProductsName))
677             
678             # set the products
679             env.set_products(self.logger,
680                             src_root=self.src_root)
681
682         # add cleanup and close
683         env.finish(True)
684         env_file.close()
685
686         return env_file.name
687    
688     def write_cfgForPy_file(self,
689                             filename,
690                             additional_env = {},
691                             for_package = None):
692         """Append to current opened aFile a cfgForPy 
693            environment (SALOME python launcher).
694            
695         :param filename str: the file path
696         :param additional_env dict: a dictionary of additional variables 
697                                     to add to the environment
698         :param for_package str: If not None, produce a relative environment 
699                                 designed for a package. 
700         """
701         if not self.silent:
702             self.logger.write(_("Create configuration file %s\n") % 
703                               src.printcolors.printcLabel(filename.name), 3)
704
705         # create then env object
706         tmp = src.fileEnviron.get_file_environ(filename, 
707                                                "cfgForPy", 
708                                                {})
709         # environment for launch
710         env = SalomeEnviron(self.config,
711                             tmp,
712                             forBuild=False,
713                             for_package=for_package)
714         env.silent = self.silent
715
716         if self.env_info is not None:
717             env.set_full_environ(self.logger, self.env_info)
718         else:
719             # set env from PRODUCT
720             env.set_application_env(self.logger)
721
722             # The list of products to launch
723             lProductsName = env.get_names(self.config.APPLICATION.products.keys())
724             env.set( "SALOME_MODULES",    ','.join(lProductsName))
725
726             # set the products
727             env.set_products(self.logger,
728                             src_root=self.src_root)
729
730         # Add the additional environment if it is not empty
731         if len(additional_env) != 0:
732             for variable in additional_env:
733                 env.set(variable, additional_env[variable])
734
735         # add cleanup and close
736         env.finish(True)
737
738 class Shell:
739     """Definition of a Shell.
740     """
741     def __init__(self, name, extension):
742         '''Initialization.
743
744         :param name str: the shell name
745         :param extension str: the shell extension
746         '''
747         self.name = name
748         self.extension = extension
749
750 def load_environment(config, build, logger):
751     """Loads the environment (used to run the tests, for example).
752     
753     :param config Config: the global config
754     :param build bool: build environement if True
755     :param logger Logger: The logger instance to display messages
756     """
757     environ = SalomeEnviron(config, Environ(os.environ), build)
758     environ.set_application_env(logger)
759     environ.set_products(logger)
760     environ.finish(True)