src/Launcher/Launcher.cxx

   1 //  Copyright (C) 2007-2010  CEA/DEN, EDF R&D, OPEN CASCADE
   2 //
   3 //  Copyright (C) 2003-2007  OPEN CASCADE, EADS/CCR, LIP6, CEA/DEN,
   4 //  CEDRAT, EDF R&D, LEG, PRINCIPIA R&D, BUREAU VERITAS
   5 //
   6 //  This library is free software; you can redistribute it and/or
   7 //  modify it under the terms of the GNU Lesser General Public
   8 //  License as published by the Free Software Foundation; either
   9 //  version 2.1 of the License.
  10 //
  11 //  This library is distributed in the hope that it will be useful,
  12 //  but WITHOUT ANY WARRANTY; without even the implied warranty of
  13 //  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14 //  Lesser General Public License for more details.
  15 //
  16 //  You should have received a copy of the GNU Lesser General Public
  17 //  License along with this library; if not, write to the Free Software
  18 //  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307 USA
  19 //
  20 //  See http://www.salome-platform.org/ or email : webmaster.salome@opencascade.com
  21 //
  22
  23 #ifdef WITH_LIBBATCH
  24 #include <Batch/Batch_Date.hxx>
  25 #include <Batch/Batch_BatchManagerCatalog.hxx>
  26 #include <Batch/Batch_FactBatchManager_eClient.hxx>
  27 #include <Batch/Batch_BatchManager_eClient.hxx>
  28 #endif
  29
  30 #include "Basics_Utils.hxx"
  31 #include "Basics_DirUtils.hxx"
  32 #include "SALOME_Launcher_Handler.hxx"
  33 #include "Launcher.hxx"
  34 #include "Launcher_Job_Command.hxx"
  35 #include <iostream>
  36 #include <sstream>
  37 #include <sys/stat.h>
  38 #include <time.h>
  39
  40 //=============================================================================
  41 /*!
  42  *  Constructor
  43  *  \param orb
  44  *  Define a CORBA single thread policy for the server, which avoid to deal
  45  *  with non thread-safe usage like Change_Directory in SALOME naming service
  46  */
  47 //=============================================================================
  48 Launcher_cpp::Launcher_cpp()
  49 {
  50   LAUNCHER_MESSAGE("Launcher_cpp constructor");
  51   _job_cpt = 0;
  52   _job_cpt_mutex = new pthread_mutex_t();
  53   pthread_mutex_init(_job_cpt_mutex, NULL);
  54 }
  55
  56 //=============================================================================
  57 /*!
  58  * destructor
  59  */
  60 //=============================================================================
  61 Launcher_cpp::~Launcher_cpp()
  62 {
  63   LAUNCHER_MESSAGE("Launcher_cpp destructor");
  64 #ifdef WITH_LIBBATCH
  65   std::map<int, Launcher::Job *>::const_iterator it_job;
  66   for(it_job = _launcher_job_map.begin(); it_job != _launcher_job_map.end(); it_job++)
  67     delete it_job->second;
  68   std::map < std::string, Batch::BatchManager_eClient * >::const_iterator it1;
  69   for(it1=_batchmap.begin();it1!=_batchmap.end();it1++)
  70     delete it1->second;
  71 #endif
  72
  73   pthread_mutex_destroy(_job_cpt_mutex);
  74   delete _job_cpt_mutex;
  75 }
  76
  77 #ifdef WITH_LIBBATCH
  78
  79 //=============================================================================
  80 /*!
  81  * Add a job into the launcher - check resource and choose one
  82  */
  83 //=============================================================================
  84 void
  85 Launcher_cpp::createJob(Launcher::Job * new_job)
  86 {
  87   LAUNCHER_MESSAGE("Creating a new job");
  88
  89   // First step take a resource
  90   std::vector<std::string> ResourceList;
  91   resourceParams params = new_job->getResourceRequiredParams();
  92   try{
  93     ResourceList = _ResManager->GetFittingResources(params);
  94   }
  95   catch(const ResourcesException &ex){
  96     throw LauncherException(ex.msg.c_str());
  97   }
  98   if (ResourceList.size() == 0)
  99   {
 100     LAUNCHER_INFOS("No adequate resource found for the job, number " << new_job->getNumber() << " - deleting it");
 101     delete new_job;
 102     throw LauncherException("No resource found the job");
 103   }
 104
 105   // Second step configure the job with the resource selected - the first of the list
 106   ParserResourcesType resource_definition = _ResManager->GetResourcesDescr(ResourceList[0]);
 107
 108   // Set resource definition to the job
 109   // The job will check if the definitions needed
 110   try
 111   {
 112     new_job->setResourceDefinition(resource_definition);
 113   }
 114   catch(const LauncherException &ex)
 115   {
 116     LAUNCHER_INFOS("Error in the definition of the resource, mess: " << ex.msg);
 117     delete new_job;
 118     throw ex;
 119   }
 120
 121   // Third step search batch manager for the resource into the map -> instanciate one if does not exist
 122 #ifdef WITH_LIBBATCH
 123   std::string resource_name = resource_definition.Name;
 124   std::map<std::string, Batch::BatchManager_eClient *>::const_iterator it = _batchmap.find(resource_name);
 125   if(it == _batchmap.end())
 126   {
 127     try
 128     {
 129       // Warning cannot write on one line like this, because map object is constructed before
 130       // the method is called...
 131       //_batchmap.[resource_name] = FactoryBatchManager(resource_definition);
 132       Batch::BatchManager_eClient * batch_client = FactoryBatchManager(resource_definition);
 133       _batchmap[resource_name] = batch_client;
 134     }
 135     catch(const LauncherException &ex)
 136     {
 137       LAUNCHER_INFOS("Error during creation of the batch manager of the resource, mess: " << ex.msg);
 138       delete new_job;
 139       throw ex;
 140     }
 141     catch(const Batch::EmulationException &ex)
 142     {
 143       LAUNCHER_INFOS("Error during creation of the batch manager of the resource, mess: " << ex.message);
 144       delete new_job;
 145       throw LauncherException(ex.message);
 146     }
 147     catch(const Batch::InvalidArgumentException &ex)
 148     {
 149       LAUNCHER_INFOS("Error during creation of the batch manager of the resource, mess: " << ex.message);
 150       throw LauncherException(ex.message);
 151     }
 152   }
 153 #endif
 154
 155   // Final step - add job to the jobs map
 156   pthread_mutex_lock(_job_cpt_mutex);
 157   new_job->setNumber(_job_cpt);
 158   _job_cpt++;
 159   pthread_mutex_unlock(_job_cpt_mutex);
 160   std::map<int, Launcher::Job *>::const_iterator it_job = _launcher_job_map.find(new_job->getNumber());
 161   if (it_job == _launcher_job_map.end())
 162     _launcher_job_map[new_job->getNumber()] = new_job;
 163   else
 164   {
 165     LAUNCHER_INFOS("A job as already the same id: " << new_job->getNumber());
 166     delete new_job;
 167     throw LauncherException("A job as already the same id - job is not created !");
 168   }
 169   LAUNCHER_MESSAGE("New Job created");
 170 }
 171
 172 //=============================================================================
 173 /*!
 174  * Launch a job
 175  */
 176 //=============================================================================
 177 void
 178 Launcher_cpp::launchJob(int job_id)
 179 {
 180   LAUNCHER_MESSAGE("Launch a job");
 181
 182   // Check if job exist
 183   std::map<int, Launcher::Job *>::const_iterator it_job = _launcher_job_map.find(job_id);
 184   if (it_job == _launcher_job_map.end())
 185   {
 186     LAUNCHER_INFOS("Cannot find the job, is it created ? job number: " << job_id);
 187     throw LauncherException("Cannot find the job, is it created ?");
 188   }
 189
 190   Launcher::Job * job = it_job->second;
 191
 192   // Check job state (cannot launch a job already launched...)
 193   if (job->getState() != "CREATED")
 194   {
 195     LAUNCHER_INFOS("Bad state of the job: " << job->getState());
 196     throw LauncherException("Bad state of the job: " + job->getState());
 197   }
 198
 199   std::string resource_name = job->getResourceDefinition().Name;
 200   try {
 201     Batch::JobId batch_manager_job_id = _batchmap[resource_name]->submitJob(*(job->getBatchJob()));
 202     job->setBatchManagerJobId(batch_manager_job_id);
 203     job->setState("QUEUED");
 204   }
 205   catch(const Batch::EmulationException &ex)
 206   {
 207     LAUNCHER_INFOS("Job is not launched, exception in submitJob: " << ex.message);
 208     throw LauncherException(ex.message.c_str());
 209   }
 210   LAUNCHER_MESSAGE("Job launched");
 211 }
 212
 213 //=============================================================================
 214 /*!
 215  * Get job state
 216  */
 217 //=============================================================================
 218 const char *
 219 Launcher_cpp::getJobState(int job_id)
 220 {
 221   LAUNCHER_MESSAGE("Get job state");
 222
 223   // Check if job exist
 224   std::map<int, Launcher::Job *>::const_iterator it_job = _launcher_job_map.find(job_id);
 225   if (it_job == _launcher_job_map.end())
 226   {
 227     LAUNCHER_INFOS("Cannot find the job, is it created ? job number: " << job_id);
 228     throw LauncherException("Cannot find the job, is it created ?");
 229   }
 230
 231   Launcher::Job * job = it_job->second;
 232   std::string state = job->updateJobState();
 233
 234   return state.c_str();
 235 }
 236
 237 //=============================================================================
 238 /*!
 239  * Get Job result - the result directory could be changed
 240  */
 241 //=============================================================================
 242 void
 243 Launcher_cpp::getJobResults(int job_id, std::string directory)
 244 {
 245   LAUNCHER_MESSAGE("Get Job results");
 246
 247   // Check if job exist
 248   std::map<int, Launcher::Job *>::const_iterator it_job = _launcher_job_map.find(job_id);
 249   if (it_job == _launcher_job_map.end())
 250   {
 251     LAUNCHER_INFOS("Cannot find the job, is it created ? job number: " << job_id);
 252     throw LauncherException("Cannot find the job, is it created ?");
 253   }
 254
 255   Launcher::Job * job = it_job->second;
 256   std::string resource_name = job->getResourceDefinition().Name;
 257   try
 258   {
 259     if (directory != "")
 260       _batchmap[resource_name]->importOutputFiles(*(job->getBatchJob()), directory);
 261     else
 262       _batchmap[resource_name]->importOutputFiles(*(job->getBatchJob()), job->getResultDirectory());
 263   }
 264   catch(const Batch::EmulationException &ex)
 265   {
 266     LAUNCHER_INFOS("getJobResult is maybe incomplete, exception: " << ex.message);
 267     throw LauncherException(ex.message.c_str());
 268   }
 269   LAUNCHER_MESSAGE("getJobResult ended");
 270 }
 271
 272 //=============================================================================
 273 /*!
 274  * Remove the job - into the Launcher and its batch manager
 275  */
 276 //=============================================================================
 277 void
 278 Launcher_cpp::removeJob(int job_id)
 279 {
 280   LAUNCHER_MESSAGE("Remove Job");
 281
 282   // Check if job exist
 283   std::map<int, Launcher::Job *>::iterator it_job = _launcher_job_map.find(job_id);
 284   if (it_job == _launcher_job_map.end())
 285   {
 286     LAUNCHER_INFOS("Cannot find the job, is it created ? job number: " << job_id);
 287     throw LauncherException("Cannot find the job, is it created ?");
 288   }
 289
 290   delete it_job->second;
 291   _launcher_job_map.erase(it_job);
 292 }
 293
 294 //=============================================================================
 295 /*!
 296  *  create a launcher job based on a file
 297  *  \param xmlExecuteFile     : to define the execution on the batch cluster
 298  */
 299 //=============================================================================
 300 long
 301 Launcher_cpp::createJobWithFile(const std::string xmlExecuteFile,
 302                                 const std::string clusterName)
 303 {
 304   LAUNCHER_MESSAGE("Begin of Launcher_cpp::createJobWithFile");
 305
 306   // Parsing xml file
 307   ParserLauncherType job_params = ParseXmlFile(xmlExecuteFile);
 308
 309   // Creating a new job
 310   Launcher::Job_Command * new_job = new Launcher::Job_Command();
 311
 312   std::string cmdFile = Kernel_Utils::GetTmpFileName();
 313 #ifndef WIN32
 314   cmdFile += ".sh";
 315 #else
 316   cmdFile += ".bat";
 317 #endif
 318   std::ofstream os;
 319   os.open(cmdFile.c_str(), std::ofstream::out );
 320   os << "#! /bin/sh" << std::endl;
 321   os << job_params.Command;
 322   os.close();
 323
 324   new_job->setJobFile(cmdFile);
 325   new_job->setLocalDirectory(job_params.RefDirectory);
 326   new_job->setWorkDirectory(job_params.MachinesList[clusterName].WorkDirectory);
 327   new_job->setEnvFile(job_params.MachinesList[clusterName].EnvFile);
 328
 329   for(int i=0; i < job_params.InputFile.size(); i++)
 330     new_job->add_in_file(job_params.InputFile[i]);
 331   for(int i=0; i < job_params.OutputFile.size();i++)
 332     new_job->add_out_file(job_params.OutputFile[i]);
 333
 334   resourceParams p;
 335   p.hostname = clusterName;
 336   p.name = "";
 337   p.OS = "";
 338   p.nb_proc = job_params.NbOfProcesses;
 339   p.nb_node = 0;
 340   p.nb_proc_per_node = 0;
 341   p.cpu_clock = 0;
 342   p.mem_mb = 0;
 343   new_job->setResourceRequiredParams(p);
 344
 345   createJob(new_job);
 346   return new_job->getNumber();
 347 }
 348
 349 //=============================================================================
 350 /*!
 351  *  Factory to instanciate the good batch manager for choosen cluster.
 352  */
 353 //=============================================================================
 354 Batch::BatchManager_eClient *
 355 Launcher_cpp::FactoryBatchManager(ParserResourcesType& params)
 356 {
 357   std::string mpi;
 358   Batch::CommunicationProtocolType protocol;
 359   Batch::FactBatchManager_eClient* fact;
 360
 361   int nb_proc_per_node = params.DataForSort._nbOfProcPerNode;
 362   std::string hostname = params.HostName;
 363
 364   switch(params.Protocol)
 365   {
 366     case rsh:
 367       protocol = Batch::RSH;
 368       break;
 369     case ssh:
 370       protocol = Batch::SSH;
 371       break;
 372     default:
 373       throw LauncherException("Unknown protocol for this resource");
 374       break;
 375   }
 376
 377   switch(params.mpi)
 378   {
 379     case lam:
 380       mpi = "lam";
 381       break;
 382     case mpich1:
 383       mpi = "mpich1";
 384       break;
 385     case mpich2:
 386       mpi = "mpich2";
 387       break;
 388     case openmpi:
 389       mpi = "openmpi";
 390       break;
 391     case slurm:
 392       mpi = "slurm";
 393       break;
 394     case prun:
 395       mpi = "prun";
 396       break;
 397     default:
 398       mpi = "nompi";
 399   }
 400
 401   const char * bmType;
 402   switch( params.Batch )
 403   {
 404     case pbs:
 405       bmType = "ePBS";
 406       break;
 407     case lsf:
 408       bmType = "eLSF";
 409       break;
 410     case sge:
 411       bmType = "eSGE";
 412       break;
 413     case ccc:
 414       bmType = "eCCC";
 415       break;
 416     case ssh_batch:
 417       bmType = "eSSH";
 418       break;
 419     default:
 420       LAUNCHER_MESSAGE("Bad batch description of the resource: Batch = " << params.Batch);
 421       throw LauncherException("No batchmanager for that cluster - Bad batch description of the resource");
 422   }
 423   Batch::BatchManagerCatalog & cata = Batch::BatchManagerCatalog::getInstance();
 424   fact = dynamic_cast<Batch::FactBatchManager_eClient*>(cata(bmType));
 425   if (fact == NULL) {
 426     LAUNCHER_MESSAGE("Cannot find batch manager factory for " << bmType << ". Check your version of libBatch.");
 427     throw LauncherException("Cannot find batch manager factory");
 428   }
 429   LAUNCHER_MESSAGE("Instanciation of batch manager of type: " << bmType);
 430   Batch::BatchManager_eClient * batch_client = (*fact)(hostname.c_str(), params.UserName.c_str(),
 431                                                        protocol, mpi.c_str(), nb_proc_per_node);
 432   return batch_client;
 433 }
 434
 435 //----------------------------------------------------------
 436 // Without LIBBATCH - Launcher_cpp do nothing...
 437 //----------------------------------------------------------
 438 #else
 439
 440 void
 441 Launcher_cpp::createJob(Launcher::Job * new_job)
 442 {
 443   LAUNCHER_INFOS("Launcher compiled without LIBBATCH - cannot create a job !!!");
 444   delete new_job;
 445   throw LauncherException("Method Launcher_cpp::createJob is not available "
 446                           "(libBatch was not present at compilation time)");
 447 }
 448
 449 void
 450 Launcher_cpp::launchJob(int job_id)
 451 {
 452   LAUNCHER_INFOS("Launcher compiled without LIBBATCH - cannot launch a job !!!");
 453   throw LauncherException("Method Launcher_cpp::launchJob is not available "
 454                           "(libBatch was not present at compilation time)");
 455 }
 456
 457 const char *
 458 Launcher_cpp::getJobState(int job_id)
 459 {
 460   LAUNCHER_INFOS("Launcher compiled without LIBBATCH - cannot get job state!!!");
 461   throw LauncherException("Method Launcher_cpp::getJobState is not available "
 462                           "(libBatch was not present at compilation time)");
 463 }
 464
 465 void
 466 Launcher_cpp::getJobResults(int job_id, std::string directory)
 467 {
 468   LAUNCHER_INFOS("Launcher compiled without LIBBATCH - cannot get job results!!!");
 469   throw LauncherException("Method Launcher_cpp::getJobResults is not available "
 470                           "(libBatch was not present at compilation time)");
 471 }
 472
 473 void
 474 Launcher_cpp::removeJob(int job_id)
 475 {
 476   LAUNCHER_INFOS("Launcher compiled without LIBBATCH - cannot remove job!!!");
 477   throw LauncherException("Method Launcher_cpp::removeJob is not available "
 478                           "(libBatch was not present at compilation time)");
 479 }
 480
 481 long
 482 Launcher_cpp::createJobWithFile( const std::string xmlExecuteFile, std::string clusterName)
 483 {
 484   throw LauncherException("Method Launcher_cpp::createJobWithFile is not available "
 485                           "(libBatch was not present at compilation time)");
 486   return 0;
 487 }
 488
 489 #endif
 490
 491 ParserLauncherType
 492 Launcher_cpp::ParseXmlFile(std::string xmlExecuteFile)
 493 {
 494   ParserLauncherType job_params;
 495   SALOME_Launcher_Handler * handler = new SALOME_Launcher_Handler(job_params);
 496
 497   const char* aFilePath = xmlExecuteFile.c_str();
 498   FILE* aFile = fopen(aFilePath, "r");
 499   if (aFile != NULL)
 500   {
 501     xmlDocPtr aDoc = xmlReadFile(aFilePath, NULL, 0);
 502     if (aDoc != NULL)
 503       handler->ProcessXmlDocument(aDoc);
 504     else
 505     {
 506       std::string message = "ResourcesManager_cpp: could not parse file: " + xmlExecuteFile;
 507       LAUNCHER_MESSAGE(message);
 508       delete handler;
 509       throw LauncherException(message);
 510     }
 511     // Free the document
 512     xmlFreeDoc(aDoc);
 513     fclose(aFile);
 514   }
 515   else
 516   {
 517     std::string message = "ResourcesManager_cpp: file is not readable: " + xmlExecuteFile;
 518     LAUNCHER_MESSAGE(message);
 519     delete handler;
 520     throw LauncherException(message);
 521   }
 522
 523   // Return
 524   delete handler;
 525   return job_params;
 526 }
 527
 528 std::map<int, Launcher::Job *>
 529 Launcher_cpp::getJobs()
 530 {
 531   return _launcher_job_map;
 532 }
 533
 534 void
 535 Launcher_cpp::checkFactoryForResource(const std::string & resource_name)
 536 {
 537   // Step 1: Check if resource exist in the resource manager
 538   ParserResourcesType resource_definition;
 539   try
 540   {
 541     resource_definition = _ResManager->GetResourcesDescr(resource_name);
 542   }
 543   catch(const ResourcesException &ex)
 544   {
 545     LAUNCHER_INFOS(ex.msg);
 546     throw LauncherException(ex.msg);
 547   }
 548
 549   // Step 2: We can now add a Factory is the resource is correctly define
 550 #ifdef WITH_LIBBATCH
 551   std::map<std::string, Batch::BatchManager_eClient *>::const_iterator it = _batchmap.find(resource_name);
 552   if(it == _batchmap.end())
 553   {
 554     try
 555     {
 556       // Warning cannot write on one line like this, because map object is constructed before
 557       // the method is called...
 558       //_batchmap.[resource_name] = FactoryBatchManager(resource_definition);
 559       Batch::BatchManager_eClient * batch_client = FactoryBatchManager(resource_definition);
 560       _batchmap[resource_name] = batch_client;
 561     }
 562     catch(const LauncherException &ex)
 563     {
 564       LAUNCHER_INFOS("Error during creation of the batch manager of the resource, mess: " << ex.msg);
 565       throw ex;
 566     }
 567     catch(const Batch::EmulationException &ex)
 568     {
 569       LAUNCHER_INFOS("Error during creation of the batch manager of the resource, mess: " << ex.message);
 570       throw LauncherException(ex.message);
 571     }
 572     catch(const Batch::InvalidArgumentException &ex)
 573     {
 574       LAUNCHER_INFOS("Error during creation of the batch manager of the resource, mess: " << ex.message);
 575       throw LauncherException(ex.message);
 576     }
 577   }
 578 #endif
 579 }
 580
 581 void
 582 Launcher_cpp::addJobDirectlyToMap(Launcher::Job * new_job, const std::string job_reference)
 583 {
 584   // Step 1: check if resource is already in the map
 585   std::string resource_name = new_job->getResourceDefinition().Name;
 586   checkFactoryForResource(resource_name);
 587   ParserResourcesType resource_definition = _ResManager->GetResourcesDescr(resource_name);
 588   new_job->setResourceDefinition(resource_definition);
 589
 590   // Step 2: add the job to the batch manager
 591 #ifdef WITH_LIBBATCH
 592   try
 593   {
 594     Batch::JobId batch_manager_job_id = _batchmap[resource_name]->addJob(*(new_job->getBatchJob()),
 595                                                                          job_reference);
 596     new_job->setBatchManagerJobId(batch_manager_job_id);
 597   }
 598   catch(const Batch::EmulationException &ex)
 599   {
 600     LAUNCHER_INFOS("Job is not launched, exception in submitJob: " << ex.message);
 601     throw LauncherException(ex.message.c_str());
 602   }
 603
 604   // Step 3: add job to launcher map
 605   pthread_mutex_lock(_job_cpt_mutex);
 606   new_job->setNumber(_job_cpt);
 607   _job_cpt++;
 608   pthread_mutex_unlock(_job_cpt_mutex);
 609   std::map<int, Launcher::Job *>::const_iterator it_job = _launcher_job_map.find(new_job->getNumber());
 610   if (it_job == _launcher_job_map.end())
 611     _launcher_job_map[new_job->getNumber()] = new_job;
 612   else
 613   {
 614     LAUNCHER_INFOS("A job as already the same id: " << new_job->getNumber());
 615     delete new_job;
 616     throw LauncherException("A job as already the same id - job is not created !");
 617   }
 618   LAUNCHER_MESSAGE("New job added");
 619 #endif
 620 }