PCクラスターを用いたab initio結晶軌道法の並列処理

寺前 裕之, 大田原 一成

1 はじめに

2 並列計算環境の構築

Figure 1. PCクラスターシステムの外観

当時はメモリーも未だ高価であったため、一筐体当り256メガバイトとした。またハードディスクは一筐体当り12ギガバイトのIDE接続の物を使用した。CD-ROMドライブおよびフロッピーディスクドライブは省略しても差し支えないが、OSインストールの容易性から今回は装備した。ファストイーサネット(100BaseT)のカード及び8ポートのスイッチングハブを使用して各PC間では比較的高速な通信ができるようにネットワーク接続した。
オペレーティングシステムは、FreeBSD 3.2-RELEASEを使用した[8]。デュアルCPU用にカーネルにSMPオプションを付加して再コンパイルを行った。並列計算を行なうためのライブラリとしては、MPI(Message Passing Interface)の実装の一つであるLAM(Local Area Multicomputer) version6.2b[9]を用いた。Fortranコンパイラーはegcs-1.1.2のg77を使用した[10]。

3 計算方法

      ...
      icount=0
      DO J= 0,N
        DO K=-N+J,N
          DO L=-N+J,N
            DO R=1,n
              DO S=1,n
                DO T=1,n
                  DO U=1,n
                  icount=icount+1
                  if(mod(icount,nproc).eq.me) then
                     Calculate \ltR(0)S(J)|T(K)U(L)>
                        or     \ltR'(0)S(J)|T(K)U(L)>
                  endif
                 ENDDO
                ENDDO
              ENDDO
            ENDDO
          ENDDO
        ENDDO
      ENDDO
      ...

Figure 3. Poly-(para-phenylene sulfide)の構造、破線内がユニットセル

速度比較のために前報と同様にpoly-tetrafluoro-ethylene (C₂F₄)_x を対象に選んだ。基底関数系はSTO-3G基底関数系[11]を用いた(n = 30)。隣接セル数Nは5として、二電子積分のカットオフ法にはNamur cutoff法を用いた[12]。さらに大規模な計算としてpoly-(para-phenylene sulfide) (C₆H₄SC₆H₄S)_xを対象に選んだ。基底関数系は3-21G基底関数系[13]を使用し(n = 150)、隣接セル数Nは3、二電子積分のカットオフ法にはcell wise法を用いた[12]。波数ベクトルのサンプリングは前者は41点後者は21点で行ない、Simpsonの公式を用いて電子密度の積分を行なった[14]。Figure 3にpoly-(para-phenylene sulfide)の構造を示した。交互に90度傾いたベンゼン環が硫黄原子を挟んで連なった構造をしており、電導性があることで知られている[15]。計算時間の計測については各10回行い最速値をとった。

4 結果と考察

Table 1. Poly-tetrafluoro-ethyleneの並列計算の速度比較。8CPUまでは各PCで1CPUに限定。

CPU数	CPU時間(秒)	CPU時間加速率	実時間(秒)	実時間加速率
1	182.8	1.00	197.0	1.00
2	93.9	1.95	102.8	1.92
4	45.9	3.98	51.6	3.82
8	24.4	7.49	31.4	6.27
16	15.8	11.60	28.3	6.96

それを確かめるために、同一マザーボード上の2CPUを同時に使用するように設定して計測した結果をTable 2に示す。ここで例えば4CPUの場合は2台のPCにある4CPUを使用している。Table 1では、4CPUの場合は4台のPCを使用して計測した。CPU数が2の場合のみ加速率が理論最高値である2倍以上になっているが、これは同一マザーボード上にCPUがありSMP構成として動作しているため、CPU間の通信もメモリーのみを介して行われるなど、並列化によるオーバーヘッドがほとんど生じない上に、カーネルの動作も多少は異なってくるためと思われる。また時間計測のルーチンの誤差も考えられる。

Table 2. Poly-tetrafluoro-ethyleneの並列計算の速度比較。2CPU以上では各PCで2CPU使用。

CPU数	CPU時間(秒)	CPU時間加速率	実時間(秒)	実時間加速率
1	182.8	1.00	197.0	1.00
2	88.8	2.06	97.0	2.03
4	51.3	3.56	57.9	3.40
8	28.4	6.44	34.2	5.76
16	15.8	11.60	28.3	6.96

CPU数が4または8の場合は、同じマザーボード上のCPUを使用しなかったTable 1に比べて明らかにCPU時間・実時間共に増加しており加速率は落ちている。従って、Table 1における16CPU使用時にパフォーマンスが上がらなかったのは、デュアルCPUマザーボードの使用が原因であったと考えられよう。共有メモリー型の計算機をさらにクラスター構成とするのは避けるべきと思われる。現在ではラックマウントタイプの筐体のPCが発売されているため、省スペースを目的としてデュアルCPUマザーボードを使用する必要性も薄れてきていることを付け加えておく。
Table 3にpoly-(para-phenylene sulfide) (C₆H₄SC₆H₄S)_xの計算において計測されたCPU占有時間および実経過時間(各々秒単位)を示す。CPU数が2および4まででは、CPU時間・実時間共に順調に加速されており計算のみならずファイルの入出力も自然に並列化されており、実時間はCPU時間の約3倍程度となっている事がわかる。これはローカルにハードディスクやメモリーを持つクラスター型の並列計算機に特徴的なことで、共有メモリー型や高速なスカラー計算機においてはCPU時間の短縮と実時間の短縮は必ずしも一致しない。特にスカラー計算機で高速なCPUに取り替えてもハードディスクが遅いため実時間の短縮に至らないという事はよくある事例である。

Table 3. Poly-(para-phenylene sulfide)の並列計算の速度比較

CPU数	CPU時間(秒)	CPU時間加速率	実時間(秒)	実時間加速率
1	5330.7	1.00	15341.0	1.00
2	2741.5	1.94	7787.9	1.97
4	1477.3	3.61	4088.4	3.75
8	641.6	8.31	784.8	19.55
16	462.2	11.53	764.2	20.07

CPU数が8になったところで、CPU時間・実時間共に非連続的に加速されている事がわかる。特に実時間は8CPU時に約20倍という加速率が得られている。これは二電子積分のファイル容量が約2ギガバイトで、一台あたり256メガバイトのメモリーを搭載しているため、ちょうど8台使用時に全てがメモリー上にバッファーされファイル入出力がほぼ無くなったためと考えられる。OSとしてUNIXを使用する事により、有効にメモリーが使用され、プログラムの書き換え無しに実時間の減少に結び付いたことがわかる。また8CPU使用時にはCPU時間も加速率は理論値である8倍より大きくなっているが、これもファイル入出力に関するオーバーヘッドが無くなったためと考えられる。この例でも、8CPU使用時から16CPU使用時への実時間の短縮はCPU使用時間の短縮に比べて残念ながら小さい。前に述べたのと同じ事情に依ると思われる。なお、Table 1とTable 2のpoly-tetrafluoro-ethyleneの計算ではファイルが小さいため、最初から全てのファイルがメモリー上にバッファーされている事を付け加えておく。
以上のようにCPU使用時間のみならず実時間の減少という点でも並列処理が有効であることが示された。

5 結論

参考文献