Salome HOME
Add completion for the package command
[tools/sat.git] / salomeTools.py
1 #!/usr/bin/env python
2 #-*- coding:utf-8 -*-
3 #  Copyright (C) 2010-2012  CEA/DEN
4 #
5 #  This library is free software; you can redistribute it and/or
6 #  modify it under the terms of the GNU Lesser General Public
7 #  License as published by the Free Software Foundation; either
8 #  version 2.1 of the License.
9 #
10 #  This library is distributed in the hope that it will be useful,
11 #  but WITHOUT ANY WARRANTY; without even the implied warranty of
12 #  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13 #  Lesser General Public License for more details.
14 #
15 #  You should have received a copy of the GNU Lesser General Public
16 #  License along with this library; if not, write to the Free Software
17 #  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307 USA
18
19 '''This file is the main entry file to salomeTools
20 '''
21
22 # python imports
23 import os
24 import sys
25 import imp
26 import types
27 import gettext
28
29 # salomeTools imports
30 import src
31
32 # get path to salomeTools sources
33 satdir  = os.path.dirname(os.path.realpath(__file__))
34 cmdsdir = os.path.join(satdir, 'commands')
35
36 # Make the src package accessible from all code
37 sys.path.append(satdir)
38 sys.path.append(cmdsdir)
39
40 import config
41
42 # load resources for internationalization
43 #es = gettext.translation('salomeTools', os.path.join(satdir, 'src', 'i18n'))
44 #es.install()
45 gettext.install('salomeTools', os.path.join(satdir, 'src', 'i18n'))
46
47 # The possible hooks : 
48 # pre is for hooks to be executed before commands
49 # post is for hooks to be executed after commands
50 C_PRE_HOOK = "pre"
51 C_POST_HOOK = "post"
52
53 def find_command_list(dirPath):
54     ''' Parse files in dirPath that end with .py : it gives commands list
55     
56     :param dirPath str: The directory path where to search the commands
57     :return: cmd_list : the list containing the commands name 
58     :rtype: list
59     '''
60     cmd_list = []
61     for item in os.listdir(dirPath):
62         if item.endswith('.py'):
63             cmd_list.append(item[:-len('.py')])
64     return cmd_list
65
66 # The list of valid salomeTools commands
67 #lCommand = ['config', 'compile', 'prepare']
68 lCommand = find_command_list(cmdsdir)
69
70 # Define all possible option for salomeTools command :  sat <option> <args>
71 parser = src.options.Options()
72 parser.add_option('h', 'help', 'boolean', 'help', 
73                   _("shows global help or help on a specific command."))
74 parser.add_option('o', 'overwrite', 'list', "overwrite", 
75                   _("overwrites a configuration parameters."))
76 parser.add_option('g', 'debug', 'boolean', 'debug_mode', 
77                   _("run salomeTools in debug mode."))
78 parser.add_option('v', 'verbose', 'int', "output_verbose_level", 
79                   _("change output verbose level (default is 3)."))
80 parser.add_option('b', 'batch', 'boolean', "batch", 
81                   _("batch mode (no question)."))
82 parser.add_option('t', 'all_in_terminal', 'boolean', "all_in_terminal", 
83                   _("All traces in the terminal (for example compilation logs)."))
84 parser.add_option('l', 'logs_paths_in_file', 'string', "logs_paths_in_file", 
85                   _("Put the command result and paths to log files in ."))
86
87 class Sat(object):
88     '''The main class that stores all the commands of salomeTools
89     '''
90     def __init__(self, opt='', datadir=None):
91         '''Initialization
92         
93         :param opt str: The sat options 
94         :param: datadir str : the directory that contain all the external 
95                               data (like software pyconf and software scripts)
96         '''
97         # Read the salomeTools options (the list of possible options is 
98         # at the beginning of this file)
99         try:
100             (options, argus) = parser.parse_args(opt.split(' '))
101         except Exception as exc:
102             write_exception(exc)
103             sys.exit(-1)
104
105         # initialization of class attributes       
106         self.__dict__ = dict()
107         self.cfg = None # the config that will be read using pyconf module
108         self.arguments = opt
109         self.options = options # the options passed to salomeTools
110         self.datadir = datadir # default value will be <salomeTools root>/data
111         # set the commands by calling the dedicated function
112         self._setCommands(cmdsdir)
113         
114         # if the help option has been called, print help and exit
115         if options.help:
116             try:
117                 self.print_help(argus)
118                 sys.exit(0)
119             except Exception as exc:
120                 write_exception(exc)
121                 sys.exit(1)
122
123     def __getattr__(self, name):
124         ''' overwrite of __getattr__ function in order to display 
125             a customized message in case of a wrong call
126         
127         :param name str: The name of the attribute 
128         '''
129         if name in self.__dict__:
130             return self.__dict__[name]
131         else:
132             raise AttributeError(name + _(" is not a valid command"))
133     
134     def _setCommands(self, dirPath):
135         '''set class attributes corresponding to all commands that are 
136            in the dirPath directory
137         
138         :param dirPath str: The directory path containing the commands 
139         '''
140         # loop on the commands name
141         for nameCmd in lCommand:
142             
143             # Exception for the jobs command that requires the paramiko module
144             if nameCmd == "jobs":
145                 try:
146                     import paramiko
147                 except:
148                     continue
149
150             # load the module that has name nameCmd in dirPath
151             (file_, pathname, description) = imp.find_module(nameCmd, [dirPath])
152             module = imp.load_module(nameCmd, file_, pathname, description)
153             
154             def run_command(args='', batch = False, verbose = -1, logger_add_link = None):
155                 '''The function that will load the configuration (all pyconf)
156                 and return the function run of the command corresponding to module
157                 
158                 :param args str: The directory path containing the commands 
159                 '''
160                 # Make sure the internationalization is available
161                 gettext.install('salomeTools', os.path.join(satdir, 'src', 'i18n'))
162                 
163                 # Get the arguments in a list and remove the empty elements
164                 argv_0 = args.split(" ")
165                 if argv_0 != ['']:
166                     while "" in argv_0: argv_0.remove("")
167                 
168                 # Format the argv list in order to prevent strings 
169                 # that contain a blank to be separated
170                 argv = []
171                 elem_old = ""
172                 for elem in argv_0:
173                     if argv == [] or elem_old.startswith("-") or elem.startswith("-"):
174                         argv.append(elem)
175                     else:
176                         argv[-1] += " " + elem
177                     elem_old = elem
178                            
179                 # if it is provided by the command line, get the application
180                 appliToLoad = None
181                 if argv != [''] and argv[0][0] != "-":
182                     appliToLoad = argv[0].rstrip('*')
183                     argv = argv[1:]
184    
185                 # read the configuration from all the pyconf files    
186                 cfgManager = config.ConfigManager()
187                 self.cfg = cfgManager.get_config(datadir=self.datadir, 
188                                                  application=appliToLoad, 
189                                                  options=self.options, 
190                                                  command=__nameCmd__)
191                 
192                 # Set the verbose mode if called
193                 if verbose > -1:
194                     verbose_save = self.options.output_verbose_level
195                     self.options.__setattr__("output_verbose_level", verbose)    
196
197                 # Set batch mode if called
198                 if batch:
199                     batch_save = self.options.batch
200                     self.options.__setattr__("batch", True)
201
202                 # set output level
203                 if self.options.output_verbose_level is not None:
204                     self.cfg.USER.output_verbose_level = self.options.output_verbose_level
205                 if self.cfg.USER.output_verbose_level < 1:
206                     self.cfg.USER.output_verbose_level = 0
207                 silent = (self.cfg.USER.output_verbose_level == 0)
208
209                 # create log file
210                 logger_command = src.logger.Logger(self.cfg, 
211                                                    silent_sysstd=silent,
212                                                    all_in_terminal=self.options.all_in_terminal)
213                 
214                 # Check that the path given by the logs_paths_in_file option
215                 # is a file path that can be written
216                 if self.options.logs_paths_in_file:
217                     try:
218                         self.options.logs_paths_in_file = os.path.abspath(
219                                                 self.options.logs_paths_in_file)
220                         dir_file = os.path.dirname(self.options.logs_paths_in_file)
221                         if not os.path.exists(dir_file):
222                             os.makedirs(dir_file)
223                         if os.path.exists(self.options.logs_paths_in_file):
224                             os.remove(self.options.logs_paths_in_file)
225                         file_test = open(self.options.logs_paths_in_file, "w")
226                         file_test.close()
227                     except Exception as e:
228                         msg = _("WARNING: the logs_paths_in_file option will "
229                                 "not be taken into account.\nHere is the error:")
230                         logger_command.write("%s\n%s\n\n" % (src.printcolors.printcWarning(msg), str(e)))
231                         self.options.logs_paths_in_file = None
232                 
233                 try:
234                     res = None
235                     # Execute the hooks (if there is any) 
236                     # and run method of the command
237                     self.run_hook(__nameCmd__, C_PRE_HOOK, logger_command)
238                     res = __module__.run(argv, self, logger_command)
239                     self.run_hook(__nameCmd__, C_POST_HOOK, logger_command)
240                     
241                     # set res if it is not set in the command
242                     if res is None:
243                         res = 0
244                     
245                     # come back in the original batch mode if 
246                     # batch argument was called
247                     if batch:
248                         self.options.__setattr__("batch", batch_save)
249
250                     # come back in the original verbose mode if 
251                     # verbose argument was called                        
252                     if verbose > -1:
253                         self.options.__setattr__("output_verbose_level", 
254                                                  verbose_save)
255                     # put final attributes in xml log file 
256                     # (end time, total time, ...) and write it
257                     launchedCommand = ' '.join([self.cfg.VARS.salometoolsway +
258                                                 os.path.sep +
259                                                 'sat',
260                                                 __nameCmd__, 
261                                                 args])
262                     launchedCommand = launchedCommand.replace('"', "'")
263                     
264                     # Add a link to the parent command      
265                     if logger_add_link is not None:
266                         logger_add_link.add_link(logger_command.logFileName,
267                                                  __nameCmd__,
268                                                  res,
269                                                  launchedCommand)
270                         logger_add_link.l_logFiles += logger_command.l_logFiles
271
272                 finally:
273                     launchedCommand = ' '.join([self.cfg.VARS.salometoolsway +
274                                                 os.path.sep +
275                                                 'sat',
276                                                 __nameCmd__, 
277                                                 args])
278                     launchedCommand = launchedCommand.replace('"', "'")
279                     
280                     # Put the final attributes corresponding to end time and
281                     # Write the file to the hard drive
282                     logger_command.end_write(
283                                         {"launchedCommand" : launchedCommand})
284                     
285                     if res is None:
286                         res = 1
287                     # If the logs_paths_in_file was called, write the result
288                     # and log files in the given file path
289                     if self.options.logs_paths_in_file:
290                         file_res = open(self.options.logs_paths_in_file, "w")
291                         file_res.write(str(res) + "\n")
292                         for i, filepath in enumerate(logger_command.l_logFiles):
293                             file_res.write(filepath)
294                             if i < len(logger_command.l_logFiles):
295                                 file_res.write("\n")
296                 
297                 return res
298
299             # Make sure that run_command will be redefined 
300             # at each iteration of the loop
301             globals_up = {}
302             globals_up.update(run_command.__globals__)
303             globals_up.update({'__nameCmd__': nameCmd, '__module__' : module})
304             func = types.FunctionType(run_command.__code__,
305                                       globals_up,
306                                       run_command.__name__,
307                                       run_command.__defaults__,
308                                       run_command.__closure__)
309
310             # set the attribute corresponding to the command
311             self.__setattr__(nameCmd, func)
312
313     def run_hook(self, cmd_name, hook_type, logger):
314         '''Execute a hook file for a given command regarding the fact 
315            it is pre or post
316         
317         :param cmd_name str: The the command on which execute the hook
318         :param hook_type str: pre or post
319         :param logger Logger: the logging instance to use for the prints
320         '''
321         # The hooks must be defined in the application pyconf
322         # So, if there is no application, do not do anything
323         if not src.config_has_application(self.cfg):
324             return
325
326         # The hooks must be defined in the application pyconf in the
327         # APPLICATION section, hook : { command : 'script_path.py'}
328         if "hook" not in self.cfg.APPLICATION \
329                     or cmd_name not in self.cfg.APPLICATION.hook:
330             return
331
332         # Get the hook_script path and verify that it exists
333         hook_script_path = self.cfg.APPLICATION.hook[cmd_name]
334         if not os.path.exists(hook_script_path):
335             raise src.SatException(_("Hook script not found: %s") % 
336                                    hook_script_path)
337         
338         # Try to execute the script, catch the exception if it fails
339         try:
340             # import the module (in the sense of python)
341             pymodule = imp.load_source(cmd_name, hook_script_path)
342             
343             # format a message to be printed at hook execution
344             msg = src.printcolors.printcWarning(_("Run hook script"))
345             msg = "%s: %s\n" % (msg, 
346                                 src.printcolors.printcInfo(hook_script_path))
347             
348             # run the function run_pre_hook if this function is called 
349             # before the command, run_post_hook if it is called after
350             if hook_type == C_PRE_HOOK and "run_pre_hook" in dir(pymodule):
351                 logger.write(msg, 1)
352                 pymodule.run_pre_hook(self.cfg, logger)
353             elif hook_type == C_POST_HOOK and "run_post_hook" in dir(pymodule):
354                 logger.write(msg, 1)
355                 pymodule.run_post_hook(self.cfg, logger)
356
357         except Exception as exc:
358             msg = _("Unable to run hook script: %s") % hook_script_path
359             msg += "\n" + str(exc)
360             raise src.SatException(msg)
361
362     def print_help(self, opt):
363         '''Prints help for a command. Function called when "sat -h <command>"
364         
365         :param argv str: the options passed (to get the command name)
366         '''
367         # if no command as argument (sat -h)
368         if len(opt)==0:
369             print_help()
370             return
371         # get command name
372         command = opt[0]
373         # read the configuration from all the pyconf files
374         cfgManager = config.ConfigManager()
375         self.cfg = cfgManager.get_config(datadir=self.datadir)
376
377         # Check if this command exists
378         if not hasattr(self, command):
379             raise src.SatException(_("Command '%s' does not exist") % command)
380         
381         # Print salomeTools version
382         print_version()
383         
384         # load the module
385         module = self.get_module(command)
386
387         # print the description of the command that is done in the command file
388         if hasattr( module, "description" ) :
389             print(src.printcolors.printcHeader( _("Description:") ))
390             print(module.description() + '\n')
391
392         # print the description of the command options
393         if hasattr( module, "parser" ) :
394             module.parser.print_help()
395
396     def get_module(self, module):
397         '''Loads a command. Function called only by print_help
398         
399         :param module str: the command to load
400         '''
401         # Check if this command exists
402         if not hasattr(self, module):
403             raise src.SatException(_("Command '%s' does not exist") % module)
404
405         # load the module
406         (file_, pathname, description) = imp.find_module(module, [cmdsdir])
407         module = imp.load_module(module, file_, pathname, description)
408         return module
409  
410 def print_version():
411     '''prints salomeTools version (in src/internal_config/salomeTools.pyconf)
412     '''
413     # read the config 
414     cfgManager = config.ConfigManager()
415     cfg = cfgManager.get_config()
416     # print the key corresponding to salomeTools version
417     print(src.printcolors.printcHeader( _("Version: ") ) + 
418           cfg.INTERNAL.sat_version + '\n')
419
420
421 def print_help():
422     '''prints salomeTools general help
423     
424     :param options str: the options
425     '''
426     print_version()
427     
428     print(src.printcolors.printcHeader( _("Usage: ") ) + 
429           "sat [sat_options] <command> [product] [command_options]\n")
430
431     parser.print_help()
432
433     # display all the available commands.
434     print(src.printcolors.printcHeader(_("Available commands are:\n")))
435     for command in lCommand:
436         print(" - %s" % (command))
437         
438     # Explain how to get the help for a specific command
439     print(src.printcolors.printcHeader(_("\nGetting the help for a specific"
440                                     " command: ")) + "sat --help <command>\n")
441
442 def write_exception(exc):
443     '''write exception in case of error in a command
444     
445     :param exc exception: the exception to print
446     '''
447     sys.stderr.write("\n***** ")
448     sys.stderr.write(src.printcolors.printcError("salomeTools ERROR:"))
449     sys.stderr.write("\n" + str(exc) + "\n")
450
451 # ###############################
452 # MAIN : terminal command usage #
453 # ###############################
454 if __name__ == "__main__":  
455     # Initialize the code that will be returned by the terminal command 
456     code = 0
457     (options, args) = parser.parse_args(sys.argv[1:])
458     
459     # no arguments : print general help
460     if len(args) == 0:
461         print_help()
462         sys.exit(0)
463     
464     # instantiate the salomeTools class with correct options
465     sat = Sat(' '.join(sys.argv[1:]))
466     # the command called
467     command = args[0]
468     # get dynamically the command function to call
469     fun_command = sat.__getattr__(command)
470     # call the command with two cases : mode debug or not
471     if options.debug_mode:
472         # call classically the command and if it fails, 
473         # show exception and stack (usual python mode)
474         code = fun_command(' '.join(args[1:]))
475     else:
476         # catch exception in order to show less verbose but elegant message
477         try:
478             code = fun_command(' '.join(args[1:]))
479         except Exception as exc:
480             code = 1
481             write_exception(exc)
482     
483     # exit salomeTools with the right code (0 if no errors, else 1)
484     if code is None: code = 0
485     sys.exit(code)
486