FOCUSスパコンについて

[cal123 jp]

お世話になります。

FOCUSスパコンでOpenFOAMを使いたいのですが、コンパイル環境の

構築の仕方がわからなくて困っています。

FOCUSスパコンに導入されているOpenFOAMのバージョンは、2.3.0ですが、

インクルードしたいヘッダファイルの関係で私はバージョン2.3.1を使いたいです。

どなたかお知恵をいただけませんか？

[Youhei Takagi]

cal123 jp様

高木と申します。

FOCUSスパコンのシステム及びサポートしているソフトウェアに
ついては、FOCUSスパコンのシステムを構築されているSEの方
(ヘルプディスク)にお尋ねされるのが先決かと思います。

FOCUS側で2.3.1をサポートする予定はない、時間がかかるという
ことでしたら、自分のホームディレクトリでビルドすることになる
かと思います。そのときは本グループの有識者の方に質問されるのが
よいかと思います。

2015年12月17日 17:34 cal123 jp <cal1...@yahoo.co.jp>:

--
このメールは Google グループのグループ「OpenFOAM」に登録しているユーザーに送られています。
このグループから退会し、グループからのメールの配信を停止するには openfoam+u...@googlegroups.com にメールを送信してください。
このグループに投稿するには open...@googlegroups.com にメールを送信してください。
https://groups.google.com/group/openfoam からこのグループにアクセスしてください。
その他のオプションについては https://groups.google.com/d/optout にアクセスしてください。

[cal123 jp]

高木様

アドバイスありがとうございます。　確認遅くなって申し訳ありません。

FOCUSのヘルプデスクからは、3.2.1をサポートする予定はないので

自分で構築してくださいと回答をいただきましたので、こちらに問合せ

させていただきました。

FOCUSの場合、たとえば自分のhomeフォルダにOprnFOAMをインス

トールして、OpenFOAMの環境設定ファイル？(添付のbashrc)を変更

すれば良いのでしょうか？　

その場合、bashrcのどこを変更すべきなのでしょうか？

お手数をおかけします。アドバイス頂けると助かります。

[Youhei Takagi]

cal123 jp様

添付のファイルはFOCUSの2.3.0がインストールされている
ディレクトリにある環境設定ファイルでしょうか？それでしたら、

# Location of the OpenFOAM installation
# ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
foamInstall=/home1/share/openfoam/$WM_PROJECT_VERSION/gnu/openmpi
# foamInstall=$HOME/$WM_PROJECT

を

# Location of the OpenFOAM installation
# ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
#foamInstall=/home1/share/openfoam/$WM_PROJECT_VERSION/gnu/openmpi
foamInstall=$HOME/$WM_PROJECT

に変更し、また最初の

export WM_PROJECT=OpenFOAM
export WM_PROJECT_VERSION=2.3.0

を

export WM_PROJECT=OpenFOAM
export WM_PROJECT_VERSION=2.3.1

に変更すれば良いかと思います。GCCとMPIの指定は多分同じで良いかと。

ThirdPartyも2.3.0と同じもので大丈夫かと思います。

コンパイルをしてエラーが出たら、必要なライブラリがきちんと指定
されているかどうか確認してみてください。

またOpenFOAMのインストール手順は、本家のウェブサイトを始めに見ることを
おすすめします。

以上ご参考までに。

2015年12月21日 10:45 cal123 jp <cal1...@yahoo.co.jp>:

[cal123 jp]

高木様　アドバイスありがとうございます。

あれからいろいろ試してみて、確認に時間がかかってしまいました。
しかし、何とかコンパイルできるまでになりました。
ありがとうございました。

手順は、以下の通りです。

1.　FOCUSのホーム/home1/gxxx/uxxx/に　OpenFOAM フォルダを作って、2.3.1の圧縮ファイルを転送。

2.　2.3.1の圧縮ファイルを解凍　tar xvzf OpenFOAM-2.3.1.tgz
      /home1/gxxx/uxxx/OpenFOAM/OpenFOAM-2.3.1/etcにできたbashrcファイルで下記３行を確認
      （gxxxはプロジェクト名、　 uxxxはユーザー名）

　　　export WM_PROJECT=OpenFOAM
　　　export WM_PROJECT_VERSION=2.3.1
　　　foamInstall=$HOME/$WM_PROJECT

3.　コンパイルしたいsolverのあるフォルダに移動して、ターミナルで次の３行を実行。
　 module load PrgEnv-gnu482
 　module load gnu/openmpi165
 　source /home1/gxxx/uxxx/OpenFOAM/OpenFOAM-2.3.1/etc/bashrc

4. wclean
5. wmake
以上です。

ただ、何とか実行ファイルがコンパイルできるようになりましたが、計算したいcaseを実行すると
手元のlinuxでは出ていなかったエラーがたくさん出てしまって動きませんでした。
OpenFOAMnoエラーのようですが意味が解りません。
このあたりアドバイス頂けると助かります。
お手数をおかけしますが、よろしくお願いします。

（以下、エラーです）
--------------------------------------------------------------------------
[[18789,1],0]: A high-performance Open MPI point-to-point messaging module
was unable to find any relevant network interfaces:

Module: OpenFabrics (openib)
  Host: g003

Another transport will be used instead, although this may result in
lower performance.
--------------------------------------------------------------------------
/*---------------------------------------------------------------------------*\
| =========                 |                                                 |
| \\      /  F ield         | OpenFOAM: The Open Source CFD Toolbox           |
|  \\    /   O peration     | Version:  2.3.1                                 |
|   \\  /    A nd           | Web:      www.OpenFOAM.org                      |
|    \\/     M anipulation  |                                                 |
\*---------------------------------------------------------------------------*/
Build  : 2.3.1-262087cdf8db
Exec   : testFoam -parallel
Date   : Dec 24 2015
Time   : 14:44:08
Host   : "g003"
PID    : 17104
[0]
[0]
[0] --> FOAM FATAL ERROR:
[0] "/home2/gxxx/uxxx/testFoam/case/model01/system/decomposeParDict" specifies 12 processors but job was started with 8 processors.
[0]
FOAM parallel run exiting
[0]
--------------------------------------------------------------------------
MPI_ABORT was invoked on rank 0 in communicator MPI_COMM_WORLD
with errorcode 1.

NOTE: invoking MPI_ABORT causes Open MPI to kill all MPI processes.
You may or may not see output from other processes, depending on
exactly when Open MPI kills them.
--------------------------------------------------------------------------
--------------------------------------------------------------------------
mpirun has exited due to process rank 0 with PID 17104 on
node g003 exiting improperly. There are two reasons this could occur:

1. this process did not call "init" before exiting, but others in
the job did. This can cause a job to hang indefinitely while it waits
for all processes to call "init". By rule, if one process calls "init",
then ALL processes must call "init" prior to termination.

2. this process called "init", but exited without calling "finalize".
By rule, all processes that call "init" MUST call "finalize" prior to
exiting or it will be considered an "abnormal termination"

This may have caused other processes in the application to be
terminated by signals sent by mpirun (as reported here).
--------------------------------------------------------------------------
[g003:17103] 7 more processes have sent help message help-mpi-btl-base.txt / btl:no-nics
[g003:17103] Set MCA parameter "orte_base_help_aggregate" to 0 to see all help / error messages

[Youhei Takagi]

cal123jp様

高木です。

3.　コンパイルしたいsolverのあるフォルダに移動して、ターミナルで次の３行を実行。
　 module load PrgEnv-gnu482
 　module load gnu/openmpi165
 　source /home1/gxxx/uxxx/OpenFOAM/OpenFOAM-2.3.1/etc/bashrc

とありますが、openmpiのバージョンはコンパイル時に指定している
バージョンとあっていますでしょうか？また、シングル計算が正常に
できるならば、MPIの問題と思われます。

[cal123 jp]

高木様
アドバイスありがとうございます。
シングル計算を試してみたところ、正常に実行できましたので、
高木様のご指摘の通り、MPI関係のどこかに問題がありそうです。
原因の見当がつきましたので、とても助かりました。
これから色々ためしてみます。
いろいろアドバイスありがとうございました。

[Masashi Imano]

cal123 jp様

今野です．

下記のメッセージは単なるワーニングです．

[[18789,1],0]: A high-performance Open MPI point-to-point messaging module
was unable to find any relevant network interfaces:

Module: OpenFabrics (openib)
  Host: g003

Another transport will be used instead, although this may result in
lower performance.

以下が本来のエラーメッセージです．

[0] --> FOAM FATAL ERROR:

"/home2/gxxx/uxxx/testFoam/case/model01/system/decomposeParDict" specifies 12 processors but job was started with 8 processors.

なお，gcc-4.8.2ではThirdPartyのCGALおよび，OpenFOAMのfoamyHexMeshのビルドに失敗していると思います．

2015年12月25日金曜日 22時27分46秒 UTC+9 cal123 jp:

[cal123 jp]

今野様

お世話になります。 

＞ gcc-4.8.2ではThirdPartyのCGALおよび，OpenFOAMのfoamyHexMeshのビルドに失敗していると思います．

ご指摘の通り、動かない原因はThirdPartyをインストールしてなかったことでした。(o-_-o)

OpenFOAMと一緒にTherdPartyが必要なのですね．．．

自分の場合、2.3.0を2.3.1にしただけですが、再度手順をまとめますと。。。

---2.3.1のインストールのしかた------------------------------

1.　FOCUSのホーム/home1/gxxx/uxxx/に　フォルダ「OpenFOAM」を作って

    OpenFOAMのＨＰからダウンロードした圧縮ファイルをscp転送する。

      OpenFOAM-2.3.1.tgz

      TherdParty-2.3.1.tgz

2.　圧縮ファイルを解凍

  　　tar xvzf OpenFOAM-2.3.1.tgz

  　　tar xvzf TherdParty-2.3.1.tgz

      /home1/gxxx/uxxx/OpenFOAM/OpenFOAM-2.3.1/etcで

　    　bashrcファイル内の下記の３行を修正    （gxxxはプロジェクト名、　 uxxxはユーザー名）

    　export WM_PROJECT=OpenFOAM

    　export WM_PROJECT_VERSION=2.3.1

　    foamInstall=$HOME/$WM_PROJECT

3. 解凍されたフォルダに入って、それぞれコンパイルする。

　    /home1/gxxx/uxxx/OpenFOAM/OpenFOAM-2.3.1　　　　　./Allwmake

　    /home1/gxxx/uxxx/OpenFOAM/TherdParty-2.3.1　　　　　./Allwmake

4.　モジュールを読み込む。　ターミナルから、次の３行を実行。

      module load PrgEnv-gnu482

      module load gnu/openmpi165

      source /home1/gxxx/uxxx/OpenFOAM/OpenFOAM-2.3.1/etc/bashrc

5. コンパイルしたいsolverのあるフォルダに移動して、

      wclean

      wmake

アドバイスありがとうございました。