vast.aiと言う個人間でGPUを貸し借りできるサイトにて、NVIDIA H100 SXMを$4/h(1時間$4の意味)ほどで借りられるので、実際に借りてふかうら王を動かしてベンチマークを取ってみました。

• vast.ai : https://vast.ai/

NVIDIA H100はNVIDIA A100の後継となるGPUで、現在LLMの学習などにさかんに使われており、お値段は1枚500万円ほどします。H100が8枚搭載されているHGX H100サーバーは、その10倍ぐらいします。お高いですね。

H100はPCIe接続のものとSXM(接続はNVLink)のものとがあり、前者だとPCIeの帯域がボトルネックになる(ことがある)らしいので、今回、後者を借りてみました。

ちなみにこのvast.aiと言うサイトでは、GeForce RTX 4090は、$0.3/h～$0.5/h程度で借りられます。H100 SXMを借りるには、4090の実に10倍ぐらいの料金がかかります。

モデルがあまり小さいと、帯域がボトルネックになったりして、GPUの性能をフルに発揮できないと思い、WCSC34(第34回世界コンピュータ将棋選手権)で使用した30b(bはブロックの意味)の大きなモデルでベンチをとりました。

ふかうら王を起動してbenchとコマンドを叩くと、4つの局面を15秒ずつ探索し、その平均NPS(Nodes Per Second : 1秒あたりの探索局面数)を返します。

それではやってみましょう。

GeForce RTX 4090のとき。

Total time (ms) : 59985
Nodes visited : 964405
Nodes_visited/second : 16077

16077 NPSでした。

H100 SXMはというと…。
// H100 SXM , PCIE 5.0 16x , CPU = Xeon Gold 6448Y

Total time (ms) : 60012
Nodes visited : 1048731
Nodes_visited/second : 17475

17475 NPSでした。

8.7%しか速くなってないですね。4090とH100とはGPUの世代が同じなので、推論速度にはそんなに差がないのでしょう。

そんなわけで、将棋AIで検討するためにH100は買ったら駄目ということがわかりました。(誰も将棋AIの検討のためにH100は買わないか…)

GeForce RTX 4090が28万円ぐらいで買えるのは、異常なほど高コスパというのがわかっていただけたでしょうか。

LLMの学習も、GeForce RTX 4090×4とかの構成で出来るようになると世界が変わると言われているのは、このようにコスパに天と地ほどの差があるからですね。NVIDIAとしてはH100をたくさん買って欲しいんでしょうけども…。