src/ResourcesManager/ResourcesManager.cxx

   1 // Copyright (C) 2007-2016  CEA/DEN, EDF R&D, OPEN CASCADE
   2 //
   3 // Copyright (C) 2003-2007  OPEN CASCADE, EADS/CCR, LIP6, CEA/DEN,
   4 // CEDRAT, EDF R&D, LEG, PRINCIPIA R&D, BUREAU VERITAS
   5 //
   6 // This library is free software; you can redistribute it and/or
   7 // modify it under the terms of the GNU Lesser General Public
   8 // License as published by the Free Software Foundation; either
   9 // version 2.1 of the License, or (at your option) any later version.
  10 //
  11 // This library is distributed in the hope that it will be useful,
  12 // but WITHOUT ANY WARRANTY; without even the implied warranty of
  13 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14 // Lesser General Public License for more details.
  15 //
  16 // You should have received a copy of the GNU Lesser General Public
  17 // License along with this library; if not, write to the Free Software
  18 // Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307 USA
  19 //
  20 // See http://www.salome-platform.org/ or email : webmaster.salome@opencascade.com
  21 //
  22
  23 #include "ResourcesManager.hxx"
  24 #include "SALOME_ResourcesCatalog_Handler.hxx"
  25 #include <Basics_Utils.hxx>
  26 #include <fstream>
  27 #include <iostream>
  28 #include <sstream>
  29 #include <string.h>
  30 #include <map>
  31 #include <list>
  32 #include <sys/types.h>
  33 #include <sys/stat.h>
  34 #ifdef WIN32
  35 #else
  36 #include <unistd.h>
  37 #endif
  38 #include <libxml/parser.h>
  39
  40 #include <algorithm>
  41
  42 #define MAX_SIZE_FOR_HOSTNAME 256;
  43
  44 using namespace std;
  45
  46 const string ResourcesManager_cpp::DEFAULT_RESOURCE_NAME = "localhost";
  47
  48 static LoadRateManagerFirst first;
  49 static LoadRateManagerCycl cycl;
  50 static LoadRateManagerAltCycl altcycl;
  51
  52 resourceParams::resourceParams()
  53 : can_launch_batch_jobs(false),
  54   can_run_containers(false),
  55   nb_proc(-1),
  56   nb_node(-1),
  57   nb_proc_per_node(-1),
  58   cpu_clock(-1),
  59   mem_mb(-1)
  60 {
  61 }
  62
  63 //=============================================================================
  64 /*!
  65  * just for test
  66  */
  67 //=============================================================================
  68
  69 ResourcesManager_cpp::
  70 ResourcesManager_cpp(const char *xmlFilePath)
  71 {
  72   _path_resources.push_back(xmlFilePath);
  73 #if defined(_DEBUG_) || defined(_DEBUG)
  74   std::cerr << "ResourcesManager_cpp constructor" << std::endl;
  75 #endif
  76   _resourceManagerMap["first"]=&first;
  77   _resourceManagerMap["cycl"]=&cycl;
  78   _resourceManagerMap["altcycl"]=&altcycl;
  79   _resourceManagerMap["best"]=&altcycl;
  80   _resourceManagerMap[""]=&altcycl;
  81
  82   AddDefaultResourceInCatalog();
  83 }
  84
  85 //=============================================================================
  86 /*!
  87  *  Standard constructor, parse resource file.
  88  *  - if ${APPLI} exists in environment,
  89  *    look for ${HOME}/${APPLI}/CatalogResources.xml
  90  *  - else look for default:
  91  *    ${KERNEL_ROOT_DIR}/share/salome/resources/kernel/CatalogResources.xml
  92  *  - parse XML resource file.
  93  */
  94 //=============================================================================
  95
  96 ResourcesManager_cpp::ResourcesManager_cpp() throw(ResourcesException)
  97 {
  98   RES_MESSAGE("ResourcesManager_cpp constructor");
  99
 100   _resourceManagerMap["first"]=&first;
 101   _resourceManagerMap["cycl"]=&cycl;
 102   _resourceManagerMap["altcycl"]=&altcycl;
 103   _resourceManagerMap["best"]=&altcycl;
 104   _resourceManagerMap[""]=&altcycl;
 105
 106   AddDefaultResourceInCatalog();
 107
 108   bool default_catalog_resource = true;
 109   if (getenv("USER_CATALOG_RESOURCES_FILE") != 0)
 110   {
 111     default_catalog_resource = false;
 112     std::string user_file("");
 113     user_file = getenv("USER_CATALOG_RESOURCES_FILE");
 114     std::ifstream ifile(user_file.c_str(), std::ifstream::in );
 115     if (ifile) {
 116       // The file exists, and is open for input
 117       _path_resources.push_back(user_file);
 118     }
 119     else {
 120       default_catalog_resource = false;
 121       RES_INFOS("Warning: USER_CATALOG_RESOURCES_FILE is set and file cannot be found.")
 122       RES_INFOS("Warning: That's why we try to create a new one.")
 123       std::ofstream user_catalog_file;
 124       user_catalog_file.open(user_file.c_str());
 125       if (user_catalog_file.fail())
 126       {
 127         RES_INFOS("Error: cannot write in the user catalog resouces files");
 128         RES_INFOS("Error: using default CatalogResources.xml file");
 129         default_catalog_resource = true;
 130       }
 131       else
 132       {
 133         user_catalog_file << "<!-- File created by SALOME -->" << std::endl;
 134         user_catalog_file << "<!DOCTYPE ResourcesCatalog>" << std::endl;
 135         user_catalog_file << "<resources>" << std::endl;
 136         user_catalog_file << "   <machine name=\"localhost\" hostname=\"localhost\" />" << std::endl;
 137         user_catalog_file << "</resources>" << std::endl;
 138         user_catalog_file.close();
 139       }
 140     }
 141   }
 142   if (default_catalog_resource)
 143   {
 144     std::string default_file("");
 145     if (getenv("APPLI") != 0)
 146     {
 147       default_file += getenv("HOME");
 148       default_file += "/";
 149       default_file += getenv("APPLI");
 150       default_file += "/CatalogResources.xml";
 151       _path_resources.push_back(default_file);
 152     }
 153     else
 154     {
 155       if(!getenv("KERNEL_ROOT_DIR"))
 156         throw ResourcesException("you must define KERNEL_ROOT_DIR environment variable!! -> cannot load a CatalogResources.xml");
 157       default_file = getenv("KERNEL_ROOT_DIR");
 158       default_file += "/share/salome/resources/kernel/CatalogResources.xml";
 159       _path_resources.push_back(default_file);
 160     }
 161   }
 162
 163   _lasttime=0;
 164
 165   ParseXmlFiles();
 166   RES_MESSAGE("ResourcesManager_cpp constructor end");
 167 }
 168
 169 //=============================================================================
 170 /*!
 171  *  Standard Destructor
 172  */
 173 //=============================================================================
 174
 175 ResourcesManager_cpp::~ResourcesManager_cpp()
 176 {
 177   RES_MESSAGE("ResourcesManager_cpp destructor");
 178 }
 179
 180 //=============================================================================
 181 //! get the list of resource names fitting constraints given by params
 182 /*!
 183  * Steps:
 184  * 1: Restrict list with resourceList if defined
 185  * 2: If name is defined -> check resource list
 186  * 3: If not 2:, if hostname is defined -> check resource list
 187  * 4: If not 3:, sort resource with nb_proc, etc...
 188  * 5: In all cases remove resource that does not correspond with OS
 189  * 6: And remove resource with componentList - if list is empty ignored it...
 190  */
 191 //=============================================================================
 192
 193 std::vector<std::string>
 194 ResourcesManager_cpp::GetFittingResources(const resourceParams& params) throw(ResourcesException)
 195 {
 196   RES_MESSAGE("[GetFittingResources] on computer " << Kernel_Utils::GetHostname().c_str());
 197   RES_MESSAGE("[GetFittingResources] with resource name: " << params.name);
 198   RES_MESSAGE("[GetFittingResources] with hostname: "<< params.hostname);
 199
 200   // Result
 201   std::vector<std::string> vec;
 202
 203   // Parse Again CalatogResource File
 204   ParseXmlFiles();
 205
 206   // Steps:
 207   // 1: If name is defined -> check resource list
 208   // 2: Restrict list with resourceList if defined
 209   // 3: If not 2:, if hostname is defined -> check resource list
 210   // 4: If not 3:, sort resource with nb_proc, etc...
 211   // 5: In all cases remove resource that does not correspond with OS
 212   // 6: And remove resource with componentList - if list is empty ignored it...
 213
 214   // Step 1
 215   if (params.name != "")
 216   {
 217     RES_MESSAGE("[GetFittingResources] name parameter found !");
 218     if (_resourcesList.find(params.name) != _resourcesList.end())
 219     {
 220       vec.push_back(params.name);
 221       return vec;
 222     }
 223     else
 224       RES_MESSAGE("[GetFittingResources] resource name was not found on resource list ! name requested was " << params.name);
 225       std::string error("[GetFittingResources] resource name was not found on resource list ! name requested was " + params.name);
 226       throw ResourcesException(error);
 227   }
 228
 229   MapOfParserResourcesType local_resourcesList = _resourcesList;
 230   // Step 2
 231   if (params.resourceList.size() > 0)
 232   {
 233     RES_MESSAGE("[GetFittingResources] Restricted resource list found !");
 234     local_resourcesList.clear();
 235     std::vector<std::string>::size_type sz = params.resourceList.size();
 236
 237     for (unsigned int i=0; i < sz; i++)
 238     {
 239       if (_resourcesList.find(params.resourceList[i]) != _resourcesList.end())
 240         local_resourcesList[params.resourceList[i]] = _resourcesList[params.resourceList[i]];
 241     }
 242   }
 243
 244   // Step 3
 245   if (params.hostname != "")
 246   {
 247     RES_MESSAGE("[GetFittingResources] Entering in hostname case !");
 248
 249     std::string hostname = params.hostname;
 250     if (hostname ==  "localhost")
 251       hostname = Kernel_Utils::GetHostname().c_str();
 252
 253     std::map<std::string, ParserResourcesType>::const_iterator iter = _resourcesList.begin();
 254     for (; iter != _resourcesList.end(); iter++)
 255     {
 256       if ((*iter).second.HostName == hostname)
 257         vec.push_back((*iter).first);
 258     }
 259   }
 260   // Step 4
 261   else
 262   {
 263     // --- Search for available resources sorted by priority
 264     MapOfParserResourcesType_it i = local_resourcesList.begin();
 265     for (; i != local_resourcesList.end(); ++i)
 266       vec.push_back(i->first);
 267
 268     // --- set wanted parameters
 269     ResourceDataToSort::_nbOfProcWanted = params.nb_proc;
 270     ResourceDataToSort::_nbOfNodesWanted = params.nb_node;
 271     ResourceDataToSort::_nbOfProcPerNodeWanted = params.nb_proc_per_node;
 272     ResourceDataToSort::_CPUFreqMHzWanted = params.cpu_clock;
 273     ResourceDataToSort::_memInMBWanted = params.mem_mb;
 274     // --- end of set
 275
 276     // Sort
 277     std::list<ResourceDataToSort> li;
 278     std::vector<std::string>::iterator iter = vec.begin();
 279     for (; iter != vec.end(); iter++)
 280       li.push_back(local_resourcesList[(*iter)].DataForSort);
 281     li.sort();
 282
 283     vec.clear();
 284     for (std::list<ResourceDataToSort>::iterator iter2 = li.begin(); iter2 != li.end(); iter2++)
 285       vec.push_back((*iter2)._Name);
 286   }
 287
 288   // Step 5
 289   SelectOnlyResourcesWithOS(vec, params.OS.c_str());
 290
 291   // Step 6
 292   std::vector<std::string> vec_save(vec);
 293   KeepOnlyResourcesWithComponent(vec, params.componentList);
 294   if (vec.size() == 0)
 295     vec = vec_save;
 296
 297   // Step 7 : Filter on possible usage
 298   vector<string> prev_list(vec);
 299   vec.clear();
 300   for (vector<string>::iterator iter = prev_list.begin() ; iter != prev_list.end() ; iter++)
 301   {
 302     MapOfParserResourcesType::const_iterator it = _resourcesList.find(*iter);
 303     if (it != _resourcesList.end() &&
 304         (!params.can_launch_batch_jobs || it->second.can_launch_batch_jobs) &&
 305         (!params.can_run_containers || it->second.can_run_containers))
 306       vec.push_back(*iter);
 307   }
 308
 309   // End
 310   // Send an exception if return list is empty...
 311   if (vec.size() == 0)
 312   {
 313     std::string error("[GetFittingResources] ResourcesManager doesn't find any resource that fits to your parameters");
 314     throw ResourcesException(error);
 315   }
 316
 317   return vec;
 318 }
 319
 320 //=============================================================================
 321 /*!
 322  *  add an entry in the resources catalog xml file.
 323  */
 324 //=============================================================================
 325
 326 void
 327 ResourcesManager_cpp::AddResourceInCatalog(const ParserResourcesType & new_resource)
 328 {
 329   if (new_resource.Name == DEFAULT_RESOURCE_NAME){
 330     std::string error("Cannot modify default local resource \"" + DEFAULT_RESOURCE_NAME + "\"");
 331     throw ResourcesException(error);
 332   }
 333   // TODO - Add minimal check
 334   _resourcesList[new_resource.Name] = new_resource;
 335 }
 336
 337 //=============================================================================
 338 /*!
 339  *  Deletes a resource from the catalog
 340  */
 341 //=============================================================================
 342
 343 void ResourcesManager_cpp::DeleteResourceInCatalog(const char * name)
 344 {
 345   if (DEFAULT_RESOURCE_NAME == name){
 346     std::string error("Cannot delete default local resource \"" + DEFAULT_RESOURCE_NAME + "\"");
 347     throw ResourcesException(error);
 348   }
 349   MapOfParserResourcesType_it it = _resourcesList.find(name);
 350   if (it != _resourcesList.end())
 351     _resourcesList.erase(name);
 352   else
 353     RES_INFOS("You try to delete a resource that does not exist... : " << name);
 354 }
 355
 356 //=============================================================================
 357 /*!
 358  *  write the current data in memory in file.
 359  */
 360 //=============================================================================
 361
 362 void ResourcesManager_cpp::WriteInXmlFile(std::string xml_file)
 363 {
 364   RES_MESSAGE("WriteInXmlFile : start");
 365
 366   MapOfParserResourcesType resourceListToSave(_resourcesList);
 367   // We do not save default local resource because it is automatically created at startup
 368   resourceListToSave.erase(DEFAULT_RESOURCE_NAME);
 369   if (resourceListToSave.empty())
 370   {
 371     RES_MESSAGE("WriteInXmlFile: nothing to do, no resource except default \"" <<
 372                 DEFAULT_RESOURCE_NAME << "\"");
 373     return;
 374   }
 375
 376   if (xml_file == "")
 377   {
 378     _path_resources_it = _path_resources.begin();
 379     xml_file = *_path_resources_it;
 380   }
 381
 382   const char* aFilePath = xml_file.c_str();
 383   FILE* aFile = fopen(aFilePath, "w");
 384
 385   if (aFile == NULL)
 386   {
 387     std::cerr << "Error opening file in WriteInXmlFile : " << xml_file << std::endl;
 388     return;
 389   }
 390
 391   xmlDocPtr aDoc = xmlNewDoc(BAD_CAST "1.0");
 392   xmlNewDocComment(aDoc, BAD_CAST "ResourcesCatalog");
 393
 394   SALOME_ResourcesCatalog_Handler* handler =
 395     new SALOME_ResourcesCatalog_Handler(resourceListToSave);
 396   handler->PrepareDocToXmlFile(aDoc);
 397   delete handler;
 398
 399   int isOk = xmlSaveFormatFile(aFilePath, aDoc, 1);
 400   if (!isOk)
 401      std::cerr << "Error while XML file saving : " << xml_file << std::endl;
 402
 403   // Free the document
 404   xmlFreeDoc(aDoc);
 405   fclose(aFile);
 406   RES_MESSAGE("WriteInXmlFile : WRITING DONE!");
 407 }
 408
 409 //=============================================================================
 410 /*!
 411  *  parse the data type catalog
 412  */
 413 //=============================================================================
 414
 415 const MapOfParserResourcesType& ResourcesManager_cpp::ParseXmlFiles()
 416 {
 417   // Parse file only if its modification time is greater than lasttime (last registered modification time)
 418   bool to_parse = false;
 419   for(_path_resources_it = _path_resources.begin(); _path_resources_it != _path_resources.end(); ++_path_resources_it)
 420   {
 421     struct stat statinfo;
 422     int result = stat((*_path_resources_it).c_str(), &statinfo);
 423     if (result < 0)
 424     {
 425       RES_MESSAGE("Resource file " << *_path_resources_it << " does not exist");
 426       return _resourcesList;
 427     }
 428
 429     if(statinfo.st_mtime > _lasttime)
 430     {
 431       to_parse = true;
 432       _lasttime = statinfo.st_mtime;
 433     }
 434   }
 435
 436   if (to_parse)
 437   {
 438     _resourcesList.clear();
 439     AddDefaultResourceInCatalog();
 440     // On parse tous les fichiers
 441     for(_path_resources_it = _path_resources.begin(); _path_resources_it != _path_resources.end(); ++_path_resources_it)
 442     {
 443       MapOfParserResourcesType _resourcesList_tmp;
 444       MapOfParserResourcesType _resourcesBatchList_tmp;
 445       SALOME_ResourcesCatalog_Handler *handler( new SALOME_ResourcesCatalog_Handler(_resourcesList_tmp) );
 446       const char *aFilePath( (*_path_resources_it).c_str() );
 447       FILE* aFile = fopen(aFilePath, "r");
 448
 449       if (aFile != NULL)
 450       {
 451         xmlDocPtr aDoc = xmlReadFile(aFilePath, NULL, 0);
 452         if (aDoc != NULL)
 453         {
 454           handler->ProcessXmlDocument(aDoc);
 455
 456           // adding new resources to the file
 457           for (MapOfParserResourcesType_it i = _resourcesList_tmp.begin(); i != _resourcesList_tmp.end(); ++i)
 458           {
 459             MapOfParserResourcesType_it j = _resourcesList.find(i->first);
 460             if (i->second.HostName == DEFAULT_RESOURCE_NAME || i->second.HostName == Kernel_Utils::GetHostname())
 461             {
 462               MapOfParserResourcesType_it it0(_resourcesList.find(DEFAULT_RESOURCE_NAME));
 463               if(it0!=_resourcesList.end())
 464                 {
 465                   ParserResourcesType& localhostElt((*it0).second);
 466                   localhostElt.DataForSort._nbOfNodes=(*i).second.DataForSort._nbOfNodes;
 467                   localhostElt.DataForSort._nbOfProcPerNode=(*i).second.DataForSort._nbOfProcPerNode;
 468                   localhostElt.DataForSort._CPUFreqMHz=(*i).second.DataForSort._CPUFreqMHz;
 469                   localhostElt.DataForSort._memInMB=(*i).second.DataForSort._memInMB;
 470                 }
 471               RES_MESSAGE("Resource " << i->first << " is not added because it is the same "
 472                           "machine as default local resource \"" << DEFAULT_RESOURCE_NAME << "\"");
 473             }
 474             else if (j != _resourcesList.end())
 475             {
 476               cerr << "ParseXmlFiles Warning, two resources with the same name were found, "
 477                       "taking the first declaration : " << i->first << endl;
 478             }
 479             else
 480             {
 481               _resourcesList[i->first] = i->second;
 482             }
 483           }
 484         }
 485         else
 486           std::cerr << "ResourcesManager_cpp: could not parse file " << aFilePath << std::endl;
 487         // Free the document
 488         xmlFreeDoc(aDoc);
 489         fclose(aFile);
 490       }
 491       else
 492         std::cerr << "ResourcesManager_cpp: file " << aFilePath << " is not readable." << std::endl;
 493
 494       delete handler;
 495     }
 496   }
 497   return _resourcesList;
 498 }
 499
 500 //=============================================================================
 501 /*!
 502  *   consult the content of the list
 503  */
 504 //=============================================================================
 505
 506 const MapOfParserResourcesType& ResourcesManager_cpp::GetList() const
 507 {
 508   return _resourcesList;
 509 }
 510
 511 //! threadsafe
 512 std::string ResourcesManager_cpp::Find(const std::string& policy, const std::vector<std::string>& listOfResources) const
 513 {
 514   std::map<std::string , LoadRateManager*>::const_iterator it(_resourceManagerMap.find(policy));
 515   if(it==_resourceManagerMap.end())
 516         {
 517           it=_resourceManagerMap.find("");
 518           return ((*it).second)->Find(listOfResources, _resourcesList);
 519         }
 520   return ((*it).second)->Find(listOfResources, _resourcesList);
 521 }
 522
 523 //=============================================================================
 524 /*!
 525  *  Gives a sublist of resources with matching OS.
 526  *  If parameter OS is empty, gives the complete list of resources
 527  */
 528 //=============================================================================
 529 void
 530 ResourcesManager_cpp::SelectOnlyResourcesWithOS(std::vector<std::string>& resources, std::string OS)
 531 {
 532   if (OS != "")
 533   {
 534     // a computer list is given : take only resources with OS on those computers
 535     std::vector<std::string> vec_tmp = resources;
 536     resources.clear();
 537     std::vector<std::string>::iterator iter = vec_tmp.begin();
 538     for (; iter != vec_tmp.end(); iter++)
 539     {
 540       MapOfParserResourcesType::const_iterator it = _resourcesList.find(*iter);
 541       if(it != _resourcesList.end())
 542         if ( (*it).second.OS == OS)
 543           resources.push_back(*iter);
 544     }
 545   }
 546 }
 547
 548
 549 //=============================================================================
 550 /*!
 551  *  Gives a sublist of machines on which the component is known.
 552  */
 553 //=============================================================================
 554 void
 555 ResourcesManager_cpp::KeepOnlyResourcesWithComponent(std::vector<std::string>& resources,
 556                                                      const std::vector<std::string>& componentList)
 557 {
 558   std::vector<std::string> kept_resources;
 559
 560   std::vector<std::string>::iterator iter = resources.begin();
 561   for (; iter != resources.end(); iter++)
 562   {
 563     const std::vector<std::string>& mapOfComponentsOfCurrentHost = _resourcesList[*iter].ComponentsList;
 564
 565     bool erasedHost = false;
 566     if( mapOfComponentsOfCurrentHost.size() > 0 )
 567     {
 568       for(unsigned int i=0; i<componentList.size(); i++)
 569       {
 570         std::vector<std::string>::const_iterator itt = find(mapOfComponentsOfCurrentHost.begin(),
 571                                                             mapOfComponentsOfCurrentHost.end(),
 572                                                             componentList[i]);
 573         if (itt == mapOfComponentsOfCurrentHost.end())
 574         {
 575           erasedHost = true;
 576           break;
 577         }
 578       }
 579     }
 580     if(!erasedHost)
 581       kept_resources.push_back(*iter);
 582   }
 583   resources=kept_resources;
 584 }
 585
 586 //! thread safe
 587 ParserResourcesType ResourcesManager_cpp::GetResourcesDescr(const std::string & name) const
 588 {
 589   MapOfParserResourcesType::const_iterator it(_resourcesList.find(name));
 590   if (it != _resourcesList.end())
 591     return (*it).second;
 592   else
 593   {
 594     std::string error("[GetResourcesDescr] Resource does not exist: ");
 595     error += name;
 596     throw ResourcesException(error);
 597   }
 598 }
 599
 600 void ResourcesManager_cpp::AddDefaultResourceInCatalog()
 601 {
 602   ParserResourcesType resource;
 603   resource.Name = DEFAULT_RESOURCE_NAME;
 604   // We can't use "localhost" for parameter hostname because the containers are registered in the
 605   // naming service with the real hostname, not "localhost"
 606   resource.HostName = Kernel_Utils::GetHostname();
 607   resource.DataForSort._Name = DEFAULT_RESOURCE_NAME;
 608   resource.Protocol = sh;
 609   resource.Batch = none;
 610   if (getenv("HOME") != NULL && getenv("APPLI") != NULL)
 611   {
 612     resource.AppliPath = string(getenv("HOME")) + "/" + getenv("APPLI");
 613   }
 614   string tmpdir = "/tmp";
 615   if (getenv("TMPDIR") != NULL)
 616     tmpdir = getenv("TMPDIR");
 617   resource.working_directory = tmpdir + "/salome_localres_workdir";
 618   if (getenv("USER") != NULL)
 619     resource.working_directory += string("_") + getenv("USER");
 620   resource.can_launch_batch_jobs = true;
 621   resource.can_run_containers = true;
 622   _resourcesList[resource.Name] = resource;
 623 }