]> SALOME platform Git repositories - modules/kernel.git/blob - src/ResourcesManager/ResourcesManager.cxx
Salome HOME
Merge branch 'agy/launcher_swig'
[modules/kernel.git] / src / ResourcesManager / ResourcesManager.cxx
1 // Copyright (C) 2007-2016  CEA/DEN, EDF R&D, OPEN CASCADE
2 //
3 // Copyright (C) 2003-2007  OPEN CASCADE, EADS/CCR, LIP6, CEA/DEN,
4 // CEDRAT, EDF R&D, LEG, PRINCIPIA R&D, BUREAU VERITAS
5 //
6 // This library is free software; you can redistribute it and/or
7 // modify it under the terms of the GNU Lesser General Public
8 // License as published by the Free Software Foundation; either
9 // version 2.1 of the License, or (at your option) any later version.
10 //
11 // This library is distributed in the hope that it will be useful,
12 // but WITHOUT ANY WARRANTY; without even the implied warranty of
13 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14 // Lesser General Public License for more details.
15 //
16 // You should have received a copy of the GNU Lesser General Public
17 // License along with this library; if not, write to the Free Software
18 // Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307 USA
19 //
20 // See http://www.salome-platform.org/ or email : webmaster.salome@opencascade.com
21 //
22
23 #include "ResourcesManager.hxx" 
24 #include "SALOME_ResourcesCatalog_Handler.hxx"
25 #include <Basics_Utils.hxx>
26 #include <fstream>
27 #include <iostream>
28 #include <sstream>
29 #include <string.h>
30 #include <map>
31 #include <list>
32 #include <sys/types.h>
33 #include <sys/stat.h>
34 #ifdef WIN32
35 #else
36 #include <unistd.h>
37 #endif
38 #include <libxml/parser.h>
39
40 #include <algorithm>
41
42 #define MAX_SIZE_FOR_HOSTNAME 256;
43
44 using namespace std;
45
46 const string ResourcesManager_cpp::DEFAULT_RESOURCE_NAME = "localhost";
47
48 static LoadRateManagerFirst first;
49 static LoadRateManagerCycl cycl;
50 static LoadRateManagerAltCycl altcycl;
51
52 resourceParams::resourceParams()
53 : can_launch_batch_jobs(false),
54   can_run_containers(false),
55   nb_proc(-1),
56   nb_node(0),
57   nb_proc_per_node(-1),
58   cpu_clock(-1),
59   mem_mb(-1)
60 {
61 }
62
63 //=============================================================================
64 /*!
65  * just for test
66  */ 
67 //=============================================================================
68
69 ResourcesManager_cpp::
70 ResourcesManager_cpp(const char *xmlFilePath)
71 {
72   _path_resources.push_back(xmlFilePath);
73 #if defined(_DEBUG_) || defined(_DEBUG)
74   std::cerr << "ResourcesManager_cpp constructor" << std::endl;
75 #endif
76   _resourceManagerMap["first"]=&first;
77   _resourceManagerMap["cycl"]=&cycl;
78   _resourceManagerMap["altcycl"]=&altcycl;
79   _resourceManagerMap["best"]=&altcycl;
80   _resourceManagerMap[""]=&altcycl;
81
82   AddDefaultResourceInCatalog();
83 }
84
85 //=============================================================================
86 /*!
87  *  Standard constructor, parse resource file.
88  *  - if ${APPLI} exists in environment,
89  *    look for ${HOME}/${APPLI}/CatalogResources.xml
90  *  - else look for default:
91  *    ${KERNEL_ROOT_DIR}/share/salome/resources/kernel/CatalogResources.xml
92  *  - parse XML resource file.
93  */ 
94 //=============================================================================
95
96 ResourcesManager_cpp::ResourcesManager_cpp() throw(ResourcesException)
97 {
98   RES_MESSAGE("ResourcesManager_cpp constructor");
99
100   _resourceManagerMap["first"]=&first;
101   _resourceManagerMap["cycl"]=&cycl;
102   _resourceManagerMap["altcycl"]=&altcycl;
103   _resourceManagerMap["best"]=&altcycl;
104   _resourceManagerMap[""]=&altcycl;
105
106   AddDefaultResourceInCatalog();
107
108   bool default_catalog_resource = true;
109   if (getenv("USER_CATALOG_RESOURCES_FILE") != 0)
110   {
111     default_catalog_resource = false;
112     std::string user_file("");
113     user_file = getenv("USER_CATALOG_RESOURCES_FILE");
114     std::ifstream ifile(user_file.c_str(), std::ifstream::in );
115     if (ifile) {
116       // The file exists, and is open for input
117       _path_resources.push_back(user_file);
118     }
119     else {
120       default_catalog_resource = false;
121       RES_INFOS("Warning: USER_CATALOG_RESOURCES_FILE is set and file cannot be found.")
122       RES_INFOS("Warning: That's why we try to create a new one.")
123       std::ofstream user_catalog_file;
124       user_catalog_file.open(user_file.c_str());
125       if (user_catalog_file.fail())
126       {
127         RES_INFOS("Error: cannot write in the user catalog resources files");
128         RES_INFOS("Error: using default CatalogResources.xml file");
129         default_catalog_resource = true;
130       }
131       else
132       {
133         user_catalog_file << "<!-- File created by SALOME -->" << std::endl;
134         user_catalog_file << "<!DOCTYPE ResourcesCatalog>" << std::endl;
135         user_catalog_file << "<resources>" << std::endl;
136         user_catalog_file << "   <machine name=\"localhost\" hostname=\"localhost\" />" << std::endl;
137         user_catalog_file << "</resources>" << std::endl;
138         user_catalog_file.close();
139       }
140     }
141   }
142   if (default_catalog_resource)
143   {
144     std::string default_file("");
145     if (getenv("APPLI") != 0)
146     {
147       default_file += getenv("HOME");
148       default_file += "/";
149       default_file += getenv("APPLI");
150       default_file += "/CatalogResources.xml";
151       _path_resources.push_back(default_file);
152     }
153     else
154     {
155       if(!getenv("KERNEL_ROOT_DIR"))
156         throw ResourcesException("you must define KERNEL_ROOT_DIR environment variable!! -> cannot load a CatalogResources.xml");
157       default_file = getenv("KERNEL_ROOT_DIR");
158       default_file += "/share/salome/resources/kernel/CatalogResources.xml";
159       _path_resources.push_back(default_file);
160     }
161   }
162
163   ParseXmlFiles();
164   RES_MESSAGE("ResourcesManager_cpp constructor end");
165 }
166
167 //=============================================================================
168 /*!
169  *  Standard Destructor
170  */ 
171 //=============================================================================
172
173 ResourcesManager_cpp::~ResourcesManager_cpp()
174 {
175   RES_MESSAGE("ResourcesManager_cpp destructor");
176 }
177
178 //=============================================================================
179 //! get the list of resource names fitting constraints given by params
180 /*!
181  * Steps:
182  * 1: Restrict list with resourceList if defined
183  * 2: If name is defined -> check resource list
184  * 3: If not 2:, if hostname is defined -> check resource list
185  * 4: If not 3:, sort resource with nb_proc, etc...
186  * 5: In all cases remove resource that does not correspond with OS
187  * 6: And remove resource with componentList - if list is empty ignored it...
188  */ 
189 //=============================================================================
190
191 std::vector<std::string> 
192 ResourcesManager_cpp::GetFittingResources(const resourceParams& params) throw(ResourcesException)
193 {
194   RES_MESSAGE("[GetFittingResources] on computer " << Kernel_Utils::GetHostname().c_str());
195   RES_MESSAGE("[GetFittingResources] with resource name: " << params.name);
196   RES_MESSAGE("[GetFittingResources] with hostname: "<< params.hostname);
197
198   // Result
199   std::vector<std::string> vec;
200
201   // Parse Again CalatogResource File
202   ParseXmlFiles();
203
204   // Steps:
205   // 1: If name is defined -> check resource list
206   // 2: Restrict list with resourceList if defined
207   // 3: If not 2:, if hostname is defined -> check resource list
208   // 4: If not 3:, sort resource with nb_proc, etc...
209   // 5: In all cases remove resource that does not correspond with OS
210   // 6: And remove resource with componentList - if list is empty ignored it...
211
212   // Step 1
213   if (params.name != "")
214   {
215     RES_MESSAGE("[GetFittingResources] name parameter found !");
216     if (_resourcesList.find(params.name) != _resourcesList.end())
217     {
218       vec.push_back(params.name);
219       return vec;
220     }
221     else
222       RES_MESSAGE("[GetFittingResources] resource name was not found on resource list ! name requested was " << params.name);
223       std::string error("[GetFittingResources] resource name was not found on resource list ! name requested was " + params.name);
224       throw ResourcesException(error);
225   }
226
227   MapOfParserResourcesType local_resourcesList = _resourcesList;
228   // Step 2
229   if (params.resourceList.size() > 0)
230   {
231     RES_MESSAGE("[GetFittingResources] Restricted resource list found !");
232     local_resourcesList.clear();
233     std::vector<std::string>::size_type sz = params.resourceList.size();
234
235     for (unsigned int i=0; i < sz; i++)
236     {
237       if (_resourcesList.find(params.resourceList[i]) != _resourcesList.end())
238         local_resourcesList[params.resourceList[i]] = _resourcesList[params.resourceList[i]];
239     }
240   }
241
242   // Step 3
243   if (params.hostname != "")
244   {
245     RES_MESSAGE("[GetFittingResources] Entering in hostname case !");
246
247     std::string hostname = params.hostname;
248     if (hostname ==  "localhost")
249       hostname = Kernel_Utils::GetHostname().c_str();
250
251     std::map<std::string, ParserResourcesType>::const_iterator iter = _resourcesList.begin();
252     for (; iter != _resourcesList.end(); iter++)
253     {
254       if ((*iter).second.HostName == hostname)
255         vec.push_back((*iter).first);
256     }
257   }
258   // Step 4
259   else
260   {
261     // --- Search for available resources sorted by priority
262     MapOfParserResourcesType_it i = local_resourcesList.begin();
263     for (; i != local_resourcesList.end(); ++i)
264       vec.push_back(i->first);
265
266     // --- set wanted parameters
267     ResourceDataToSort::_nbOfProcWanted = params.nb_proc;
268     ResourceDataToSort::_nbOfNodesWanted = params.nb_node;
269     ResourceDataToSort::_nbOfProcPerNodeWanted = params.nb_proc_per_node;
270     ResourceDataToSort::_CPUFreqMHzWanted = params.cpu_clock;
271     ResourceDataToSort::_memInMBWanted = params.mem_mb;
272     // --- end of set
273         
274     // Sort
275     std::list<ResourceDataToSort> li;
276     std::vector<std::string>::iterator iter = vec.begin();
277     for (; iter != vec.end(); iter++)
278       li.push_back(local_resourcesList[(*iter)].DataForSort);
279     li.sort();
280
281     vec.clear();
282     for (std::list<ResourceDataToSort>::iterator iter2 = li.begin(); iter2 != li.end(); iter2++)
283       vec.push_back((*iter2)._Name);
284   }
285
286   // Step 5
287   SelectOnlyResourcesWithOS(vec, params.OS.c_str());
288
289   // Step 6
290   std::vector<std::string> vec_save(vec);
291   KeepOnlyResourcesWithComponent(vec, params.componentList);
292   if (vec.size() == 0)
293     vec = vec_save;
294
295   // Step 7 : Filter on possible usage
296   vector<string> prev_list(vec);
297   vec.clear();
298   for (vector<string>::iterator iter = prev_list.begin() ; iter != prev_list.end() ; iter++)
299   {
300     MapOfParserResourcesType::const_iterator it = _resourcesList.find(*iter);
301     if (it != _resourcesList.end() &&
302         (!params.can_launch_batch_jobs || it->second.can_launch_batch_jobs) &&
303         (!params.can_run_containers || it->second.can_run_containers))
304       vec.push_back(*iter);
305   }
306
307   // End
308   // Send an exception if return list is empty...
309   if (vec.size() == 0)
310   {
311     std::string error("[GetFittingResources] ResourcesManager doesn't find any resource that fits to your parameters");
312     throw ResourcesException(error);
313   }
314
315   return vec;
316 }
317
318 //=============================================================================
319 /*!
320  *  add an entry in the resources catalog xml file.
321  */ 
322 //=============================================================================
323
324 void
325 ResourcesManager_cpp::AddResourceInCatalog(const ParserResourcesType & new_resource)
326 {
327   if (new_resource.Name == DEFAULT_RESOURCE_NAME){
328     ParserResourcesType default_resource = _resourcesList[DEFAULT_RESOURCE_NAME];
329     // some of the properties of the default resource shouldn't be modified
330     std::string check;
331     if( default_resource.HostName != new_resource.HostName)
332       check += "The Hostname property of the default resource can not be modified.\n";
333     if( default_resource.AppliPath != new_resource.AppliPath)
334       check += "The Applipath property of the default resource can not be modified.\n";
335     if( !new_resource.can_run_containers)
336       check += "The default resource should be able to run containers.\n";
337     if( !new_resource.can_launch_batch_jobs)
338       check += "The default resource should be able to launch batch jobs.\n";
339     if( default_resource.Protocol != new_resource.Protocol)
340       check += "The Protocol property of the default resource can not be modified.\n";
341     if(!check.empty())
342       throw ResourcesException(check);
343   }
344   // TODO - Add minimal check
345   _resourcesList[new_resource.Name] = new_resource;
346 }
347
348 //=============================================================================
349 /*!
350  *  Deletes a resource from the catalog
351  */ 
352 //=============================================================================
353
354 void ResourcesManager_cpp::DeleteResourceInCatalog(const char * name)
355 {
356   if (DEFAULT_RESOURCE_NAME == name){
357     std::string error("Cannot delete default local resource \"" + DEFAULT_RESOURCE_NAME + "\"");
358     throw ResourcesException(error);
359   }
360   MapOfParserResourcesType_it it = _resourcesList.find(name);
361   if (it != _resourcesList.end())
362     _resourcesList.erase(name);
363   else
364     RES_INFOS("You try to delete a resource that does not exist... : " << name);
365 }
366
367 //=============================================================================
368 /*!
369  *  write the current data in memory in file.
370  */ 
371 //=============================================================================
372
373 void ResourcesManager_cpp::WriteInXmlFile(std::string xml_file)
374 {
375   RES_MESSAGE("WriteInXmlFile : start");
376
377   MapOfParserResourcesType resourceListToSave(_resourcesList);
378   if (resourceListToSave.empty())
379   {
380     RES_MESSAGE("WriteInXmlFile: nothing to do, no resource to save!");
381     return;
382   }
383
384   if (xml_file == "")
385   {
386     _path_resources_it = _path_resources.begin();
387     xml_file = *_path_resources_it;
388   }
389
390   const char* aFilePath = xml_file.c_str();
391   FILE* aFile = fopen(aFilePath, "w");
392
393   if (aFile == NULL)
394   {
395     std::cerr << "Error opening file in WriteInXmlFile : " << xml_file << std::endl;
396     return;
397   }
398   
399   xmlDocPtr aDoc = xmlNewDoc(BAD_CAST "1.0");
400   xmlNewDocComment(aDoc, BAD_CAST "ResourcesCatalog");
401
402   SALOME_ResourcesCatalog_Handler* handler =
403     new SALOME_ResourcesCatalog_Handler(resourceListToSave);
404   handler->PrepareDocToXmlFile(aDoc);
405   delete handler;
406
407   int isOk = xmlSaveFormatFile(aFilePath, aDoc, 1);
408   if (!isOk) 
409      std::cerr << "Error while XML file saving : " << xml_file << std::endl;
410   
411   // Free the document
412   xmlFreeDoc(aDoc);
413   fclose(aFile);
414   RES_MESSAGE("WriteInXmlFile : WRITING DONE!");
415 }
416
417 //=============================================================================
418 /*!
419  *  parse the data type catalog
420  */ 
421 //=============================================================================
422
423 const MapOfParserResourcesType& ResourcesManager_cpp::ParseXmlFiles()
424 {
425   // Parse file only if its modification time is greater than lasttime (last registered modification time)
426   bool to_parse = false;
427   for(_path_resources_it = _path_resources.begin(); _path_resources_it != _path_resources.end(); ++_path_resources_it)
428   {
429     struct stat statinfo;
430     int result = stat((*_path_resources_it).c_str(), &statinfo);
431     if (result < 0)
432     {
433       RES_MESSAGE("Resource file " << *_path_resources_it << " does not exist");
434       return _resourcesList;
435     }
436
437     if(_lasttime == 0 || statinfo.st_mtime > _lasttime)
438     {
439       to_parse = true;
440       _lasttime = statinfo.st_mtime;
441     }
442   }
443
444   if (to_parse)
445   {
446     _resourcesList.clear();
447     AddDefaultResourceInCatalog();
448     // On parse tous les fichiers
449     for(_path_resources_it = _path_resources.begin(); _path_resources_it != _path_resources.end(); ++_path_resources_it)
450     {
451       MapOfParserResourcesType _resourcesList_tmp;
452       MapOfParserResourcesType _resourcesBatchList_tmp;
453       SALOME_ResourcesCatalog_Handler *handler( new SALOME_ResourcesCatalog_Handler(_resourcesList_tmp) );
454       const char *aFilePath( (*_path_resources_it).c_str() );
455       FILE* aFile = fopen(aFilePath, "r");
456
457       if (aFile != NULL)
458       {
459         xmlDocPtr aDoc = xmlReadFile(aFilePath, NULL, 0);
460         if (aDoc != NULL)
461         {
462           handler->ProcessXmlDocument(aDoc);
463
464           // adding new resources to the file
465           for (MapOfParserResourcesType_it i = _resourcesList_tmp.begin(); i != _resourcesList_tmp.end(); ++i)
466           {
467             MapOfParserResourcesType_it j = _resourcesList.find(i->first);
468             if (i->second.HostName == DEFAULT_RESOURCE_NAME || i->second.HostName == Kernel_Utils::GetHostname())
469             {
470               MapOfParserResourcesType_it it0(_resourcesList.find(DEFAULT_RESOURCE_NAME));
471               if(it0!=_resourcesList.end())
472                 {
473                   ParserResourcesType& localhostElt((*it0).second);
474                   localhostElt.DataForSort._nbOfNodes=(*i).second.DataForSort._nbOfNodes;
475                   localhostElt.DataForSort._nbOfProcPerNode=(*i).second.DataForSort._nbOfProcPerNode;
476                   localhostElt.DataForSort._CPUFreqMHz=(*i).second.DataForSort._CPUFreqMHz;
477                   localhostElt.DataForSort._memInMB=(*i).second.DataForSort._memInMB;
478                 }
479               RES_MESSAGE("Resource " << i->first << " is not added because it is the same "
480                           "machine as default local resource \"" << DEFAULT_RESOURCE_NAME << "\"");
481             }
482             else if (j != _resourcesList.end())
483             {
484               cerr << "ParseXmlFiles Warning, two resources with the same name were found, "
485                       "taking the first declaration : " << i->first << endl;
486             }
487             else
488             {
489               _resourcesList[i->first] = i->second;
490             }
491           }
492         }
493         else
494           std::cerr << "ResourcesManager_cpp: could not parse file " << aFilePath << std::endl;
495         // Free the document
496         xmlFreeDoc(aDoc);
497         fclose(aFile);
498       }
499       else
500         std::cerr << "ResourcesManager_cpp: file " << aFilePath << " is not readable." << std::endl;
501
502       delete handler;
503     }
504   }
505   return _resourcesList;
506 }
507
508 //=============================================================================
509 /*!
510  *   consult the content of the list
511  */ 
512 //=============================================================================
513
514 const MapOfParserResourcesType& ResourcesManager_cpp::GetList() const
515 {
516   return _resourcesList;
517 }
518
519 //! threadsafe
520 std::string ResourcesManager_cpp::Find(const std::string& policy, const std::vector<std::string>& listOfResources) const
521 {
522   std::map<std::string , LoadRateManager*>::const_iterator it(_resourceManagerMap.find(policy));
523   if(it==_resourceManagerMap.end())
524         {
525           it=_resourceManagerMap.find("");
526           return ((*it).second)->Find(listOfResources, _resourcesList);
527         }
528   return ((*it).second)->Find(listOfResources, _resourcesList);
529 }
530
531 //=============================================================================
532 /*!
533  *  Gives a sublist of resources with matching OS.
534  *  If parameter OS is empty, gives the complete list of resources
535  */ 
536 //=============================================================================
537 void 
538 ResourcesManager_cpp::SelectOnlyResourcesWithOS(std::vector<std::string>& resources, std::string OS)
539 {
540   if (OS != "")
541   {
542     // a computer list is given : take only resources with OS on those computers
543     std::vector<std::string> vec_tmp = resources;
544     resources.clear();
545     std::vector<std::string>::iterator iter = vec_tmp.begin();
546     for (; iter != vec_tmp.end(); iter++)
547     {
548       MapOfParserResourcesType::const_iterator it = _resourcesList.find(*iter);
549       if(it != _resourcesList.end())
550         if ( (*it).second.OS == OS)
551           resources.push_back(*iter);
552     }
553   }
554 }
555
556
557 //=============================================================================
558 /*!
559  *  Gives a sublist of machines on which the component is known.
560  */ 
561 //=============================================================================
562 void 
563 ResourcesManager_cpp::KeepOnlyResourcesWithComponent(std::vector<std::string>& resources, 
564                                                      const std::vector<std::string>& componentList)
565 {
566   std::vector<std::string> kept_resources;
567
568   std::vector<std::string>::iterator iter = resources.begin();
569   for (; iter != resources.end(); iter++)
570   {
571     const std::vector<std::string>& mapOfComponentsOfCurrentHost = _resourcesList[*iter].ComponentsList;
572
573     bool erasedHost = false;
574     if( mapOfComponentsOfCurrentHost.size() > 0 )
575     {
576       for(unsigned int i=0; i<componentList.size(); i++)
577       {
578         std::vector<std::string>::const_iterator itt = find(mapOfComponentsOfCurrentHost.begin(),
579                                                             mapOfComponentsOfCurrentHost.end(),
580                                                             componentList[i]);
581         if (itt == mapOfComponentsOfCurrentHost.end())
582         {
583           erasedHost = true;
584           break;
585         }
586       }
587     }
588     if(!erasedHost)
589       kept_resources.push_back(*iter);
590   }
591   resources=kept_resources;
592 }
593
594 //! thread safe
595 ParserResourcesType ResourcesManager_cpp::GetResourcesDescr(const std::string & name) const
596 {
597   MapOfParserResourcesType::const_iterator it(_resourcesList.find(name));
598   if (it != _resourcesList.end())
599     return (*it).second;
600   else
601   {
602     std::string error("[GetResourcesDescr] Resource does not exist: ");
603     error += name;
604     throw ResourcesException(error);
605   }
606 }
607
608 void ResourcesManager_cpp::AddDefaultResourceInCatalog()
609 {
610   ParserResourcesType resource;
611   resource.Name = DEFAULT_RESOURCE_NAME;
612   // We can't use "localhost" for parameter hostname because the containers are registered in the
613   // naming service with the real hostname, not "localhost"
614   resource.HostName = Kernel_Utils::GetHostname();
615   resource.DataForSort._Name = DEFAULT_RESOURCE_NAME;
616   resource.Protocol = sh;
617   resource.Batch = none;
618 #ifndef WIN32
619   if (getenv("HOME") != NULL && getenv("APPLI") != NULL)
620   {
621     resource.AppliPath = string(getenv("HOME")) + "/" + getenv("APPLI");
622   }
623   string tmpdir = "/tmp";
624   if (getenv("TMPDIR") != NULL)
625     tmpdir = getenv("TMPDIR");
626   resource.working_directory = tmpdir + "/salome_localres_workdir";
627   if (getenv("USER") != NULL)
628     resource.working_directory += string("_") + getenv("USER");
629 #else
630   if (getenv("USERPROFILE") != NULL && getenv("APPLI") != NULL)
631   {
632     resource.AppliPath = string(getenv("USERPROFILE")) + "\\" + getenv("APPLI");
633   }
634   string tmpdir = "C:\\tmp";
635   if (getenv("TEMP") != NULL)
636     tmpdir = getenv("TEMP");
637   resource.working_directory = tmpdir + "\\salome_localres_workdir";
638   if (getenv("USERNAME") != NULL)
639     resource.working_directory += string("_") + getenv("USERNAME");
640 #endif
641   resource.can_launch_batch_jobs = true;
642   resource.can_run_containers = true;
643   _resourcesList[resource.Name] = resource;
644 }