Versions Compared

Old Version 1

changes.mady.by.user Thomas Honne

Saved on

compared with

New Version Current

changes.mady.by.user Thomas Honne

Saved on

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

Die Einstellungen zu den parallelen Berechnungen werden im Steuerdatendialog von Integral7 unter Steuerdaten->Parallelisierung vorgenommen. Es gibt zwei Möglichkeiten Berechnungen zu parallelisieren.

  • Lokale Parallelisierung. Voraussetzung hierfür ist eine lokale MPI Installation (s. INTEGRAL Hilfe)

  • Parallelisierung mithilfe von Microsoft HPC: Voraussetzung hierfür ist die Installation der HPC-Client-Software (s. INTEGRAL Hilfe)

Screenshot des Dialogs

Image RemovedImage Added

Beschreibung der Steuerdaten

Parallelisierung

Hier kann die lokale Parallelisierung eingeschaltet werden. (Von der Einstellung HPC hängt nun ab, ob die Parallelisierung lokal oder auf einem HPC-Cluster ausgeführt wird.)

  • Ein: Netzdaten, Einstellungen und Aufgaben werden an weitere Berechnungsporzesse verteilt.
  • Aus: Integral berechnet seriell.

Voraussetzung:

  • Um eine Parallelisierung zu gewährleisten sind Installationen und Konfigurationen notwendig.
  • Das Netz muss für die Berechnung in einer Datenbank gespeichert sein.
  • Welche Berechnungsverfahren können parallel berechnet werden:
    • über mehrere Netznutzungsfälle: Grundlastfluss, Ausfallrechnung, schnelle Ausfallrechnung, Ausfallapproximation, Lastflussoptimierung, Kurzschlussberechnungen. Für alle Berechnungsarten können zusätzlich Variablen über den Ergebnismonitor konfiguriert werden. Für die Kurzschlussberechnungen gibt es derzeit noch keine Standardauswertungen.
    • je Ausfallsituation in der Ausfallsimulation (die Reihenfolge der Teilergebnisse ist dann zufällig).

Min. Anzahl Kerne

Anzahl der Prozesse, die bei der parallelen Berechunung mindestens gestartet werden.

Max. Anzahl Kerne

Anzahl der Prozesse, die bie der Parallelen Berechnung maximal gestatet werden.

Temporäre Verzeichnis

In diesem Dialog kann der Benutzer nun das temporäre Verzeichnis festlegen.
Bei der Ausführung einer lokalen Paralellisierung wird das temporäre Verzeichnis auf Ihrem lokalen Computer erstellt, bei der Ausführung einer HPC-Berechnung werden die temporären Verzeichnisse auf dem Compute-Nodes erstellt (je nachdem, auf welchen Compute-Nodes der HPC-Job eingereicht wird). Bei der Ausführung einer HPC-Berechnung ist es wichtig, dass das Laufwerk auf dem Compute-Nodes vorhanden sein muss. Wenn das Verzeichnis nicht vorhanden ist, erstellt integral das Verzeichnis selbständig.

Diese temporären Verzeichnisse werden immer gelöscht, wenn:
Die Checkbox "Temporäre Daten immer löschen, auch wenn die Berechnung nicht erfolgreich war" checked ist. "ODER"
Wenn der Job erfolgreich ist.

Wenn der Job nicht erfolgreich ist und das Checkbox nicht markiert ist, werden die temporären Verzeichnisse nicht gelöscht (so dass der Benutzer die Log-Dateien sehen kann).

Datenablage (INTEGRAL_SHARE)

Das Integral-Share ist ein Verzeichnis, das von den Knoten und dem Client beschrieben werden kann. Es dient dem Austausch von Daten zwischen den parallelen Prozessen und der Ablage von Ergebnisdaten. INTEGRAL_SHARE wird als Umgebungsvariable beim Client eingerichtet und per submitter.exe an die Prozesse im Cluster weitergeleitet. INTEGRAL_SHARE wird auch benötigt, wenn die Berechnung rein lokal durchgeführt wird. Dazu die "Umgebungsvariablen für diese Konto bearbeiten" oder durch einen Administrator "Systemumgebungsvariablen bearbeiten" aufrufen und die Variable INTEGRAL_SHARE anlegen (z.B. \\hpc_cluster1\hpc_integral_share). Als Wert ein Verzeichnis angeben, das sofern ein HPC-Cluster verwendet wird, von jedem Knoten aus unter diesem Verzeichnis erreichbar sein muss. Bei rein lokaler Anwendung reicht ein lokales Verzeichnis (z.B. D:\hpc\integral_share).

Für jede Berechnung wird ein Unterverzeichnis mit einer "Integral_id" erzeugt, die sich wie folgt zusammensetzt:
yyMMddHHmm_guid

  • yy: Jahr z.B. 17 bei 2017
  • MM: Monat
  • dd: Tag im Monat
  • HH: Stunde (0-23)
  • mm: Minute
  • guid: eine eindeutiger Text (Globally Unique Identifier)


Das Verzeichnis kann über "Menü->Ergebnisse->HPC-Berechnungen->Verzeichnis öffnen" direkt geöffnet werden.
Das Verzeichnis enthält weitere Unterordner:

  • "in": Eingangsdaten, incl. Dokumentation dieser in "Berechnung.txt". Jeder Knoten kopiert sich diese einmal auf ein lokales Verzeichnis (INTEGRAL_HPC)
  • "log": Logausgaben der Prozesse. Diese werden nach der Berechnung in dieses Verzeichnis kopiert. Quelle ist ein lokales Verzeichnis (INTEGRAL_HPC)
  • "res": Ergebnisse. Die *.bin-Dateien sind reine Binärdateien, die zur Aggregation in diesem Verzeichnis abgelegt werden. Diese verbleiben rein zu Dokumentation in diesem Verzeichnis und sind nicht menschenlesbar. Das Ergebnis kann durch Integral aus der Ergebnisdatenbank geladen werden (Menü->Ergebnisse->HPC-Berechnungen->Ergebnis laden). Je nach Einstellungen in den Steuerdaten "Netznutzungsfallberechnung" und Berechnungsverfahren werden in dieses Verzeichnis auch CSV-Dateien geschrieben.
  • "status": Zwischenspeicher für Statusmeldungen.

HPC 

  • Ein: Integral gibt die Berechnung an einen HPC-Cluster weiter. Voraussetzung: ein über das Netzwerk erreichbarer für INTEGRAL konfigurierter HPC-Cluster (s. INTEGRAL Hilfe)

  • Aus: Die Berechnung wird nicht an ein HPC-Cluster weitergegeben

Clustername

Name (Adresse), über den das Cluster erreichbar ist

Laufzeitverzeichnis

HPC benötigt zu zum Start der Berechnung das Laufzeitverzeichnis mit den zu startenden Prozessen auf den Rechenknoten. Die Versionskennung von Integral wird automatisch ergänzt. So werden z.B. bei einer Angabe von "C:\Runtime\integral" Prozesse in "C:\Runtime\integral\07.08.001" gestartet (bei Version "07.08.001"). Integral muss in diesen Verzeichnis auf jedem Berechnungsknoten installiert sein. Es reicht aus das gelieferte zip-Archiv zu entpacken.

Priorität

Priorität, mit der die Jobs an das HPC übergeben werden.

...

Datenablage (INTEGRAL_SHARE_HPC)

Die Analog zur Datenablage bei der lokalen Parallelisierung brauchen auch die HPC-Nodes benötigen jeweils ein temporäres Verzeichnis. Wenn kein Wert hinterlegt ist, wird "%TEMP%\integral_hpc" verwendet. In diesem Verzeichnis werden größere Mengen an Daten temporär vorgehalteneine gemeinsame Datenablage. Für HPC-Berechnungen wird dieser Pfad verwendet. Der Pfad muss von allen Nodes aus erreichbar sein. Üblicherweise wird hier ein Netzwerkpfad verwendet.