Gfarmファイルシステムとは
計算機クラスタの各ノードのローカルストレージを利用して構築する分散ファイルシステムです
- Osamu Tatebe, Kohei Hiraga, Noriyuki Soda, "Gfarm Grid File System", New Generation Computing, July 2010, Volume 28, Issue 3, pp 257-275
- 建部修見, 曽田哲之, “広域分散ファイルシステムGfarm v2の実装と評価,” 情報処理学会研究報告 2007-HPC-113, 2007, pp. 7–12.
- 建部 修見, 曽田 哲之, 関口 智嗣, “広域仮想ファイルシステムGfarm v2の設計と実装,” 情報処理学会研究報告 2004-HPC-99, 2004, vol. 2004, no. 81, pp. 145–150.
- メタデータサーバ (MDS)
- Gfarmファイルシステム全体を管理する計算機サーバ。マスター1台またはマスター＋スレーブを設置する。
- gfmd デーモンを起動させる。
- PostgreSQLまたはLDAPにファイルシステムの情報を保存する。
- ファイルシステムノード (FSN)
- ファイルの実体を保存する計算機。多数の計算機を用いて分散させることが可能。
- gfsd デーモンを起動させる。
- Gfarmファイル保存先のローカルストレージは、Ext4など通常のファイルシステムで構築しておき、保存先のディレクトリを指定する。
- クライアント
- Gfarmファイルシステムにアクセスする計算機。
- gfls など、Gfarmファイルシステムにアクセスするコマンド群が用意されている。
- gfarm2fs により、FUSEを利用してユーザごとにGfarmファイルシステムをマウントできる。こちらはlsなどのコマンド、C言語のstdioなど、標準のI/O操作が可能。
（これらの役割を1台の計算機が兼ねることも可能）
- 耐障害性
- ファイルを複数のノードに自動複製しておけば、ファイルシステムノードがストレージだけでなく計算機ごと1台故障しても、運用を継続できる。
- メタデータサーバのスレーブを設置しておけば、マスターが故障しても、スレーブに切り替えて運用を継続できる。
- スケールする並列書込み性能、並列読出し性能
- NFSのファイルを並列に読み書きする場合、合計の転送速度（バイト/秒）はそのストレージの性能を超えることができず、結果的に個々のアクセス性能が低下する。
- Gfarmファイルシステムのファイルを並列に読み書きする場合、アクセスがファイルシステムノードに分散していれば、台数を増やすことにより合計の転送速度を上げることが可能。（スケールアウト型のファイルシステム）
- さらに、あるプロセスがあるファイルを読み書きする場合、プロセス実行ノードとファイル保存ノードが一致していれば、ネットワークを経由しないローカルアクセスとなり、スケールアウトの効果がより大きくなる。このようなスケジューリングを行うためのツールとしてPwrakeがある。
- 遠隔地間のファイル共有
- インターネットを経由した遠隔地のクラスタ間でGfarmファイルシステムを設置することにより、ファイルの共有が可能。
- ユーザ権限でファイルシステムを構築可能
- ルート権限がないクラスタでも、ローカルストレージに書き込み権限があれば、構築可能。
- 使い方に慣れるための試用、性能試験などの時に便利。
- ネット上で Gfarm version 1 の情報を見かけることがあるが、現在の Gfarm version 2 （2007年11月～）とは仕組みが異なり、当てはまらない場合がある。
- Gfarmの昔のウェブサイト datafarm.apgrid.org は、2015年に閉鎖された。