NNUE型評価関数はAVX-512化で速くなるのですか？

投稿日時: 投稿者:

AWSでコンピューター将棋のためにvCPUの多いインスタンスを探すとm5.24xlarge(96 vCPU)やc5.18xlarge(72 vCPU)などが見当たりますが、どのCPUが最強なのでしょうか？

AWSで最近リリースされたu-6tb1は、448 vCPUですがクロック低め、かつ８プロセッサ構成なのでコンピューター将棋向きではないと思います。(誰かベンチマークをお願いします…)

いずれにせよ、WCSC(世界コンピュータ将棋選手権)のような大会で、当日、u-6tb1やm5のインスタンスが借りられるとは限らないので、せめてc5(これはAVX-512対応)でm5(これはAVX-512非対応)ぐらいのパフォーマンスが出て欲しいところです。

そのためには、NNUE型評価関数のAVX-512化が必須になってくるのですが、c5がAVX-512対応とは言え、AVX-512のすべての命令をサポートしているわけではありません。AVX-512の命令はいくつかのカテゴリーに分かれていて、「AVX-512対応」と謳っているCPUも、CPUごとにそのサポートの段階が異なるからです。

特にNNUE型の評価関数を高速化する上では、8bit整数×8bit整数の内積を取る命令(VPDPBUSD)が欲しいのですが、この命令はIntelのCPUではIce Lake以降(2019年以降のリリース)でサポートされると言われています。AWSに来るのはおそらく2020年以降でしょうか…。

この命令、低精度整数でのDeep Learningをやる上で欠かせなくて、この命令がないとますますGPUを用いたDeep Learningとの差が開くように思いますが、何にせよ現状c5インスタンスでは使えないようです。

もしかして次回のWCSC29では、m5やu-6tb1インスタンスの取り合い(前日か前々日から確保しておく)になるのでしょうか…。お財布に優しくなさそうです…。

2018/12/17 10:00 追記

「NNUE型評価関数はAVX-512化で速くなるのですか？」への6件のフィードバック

  1. AVX-512 VNNI（Vector Neural Network Instruction）でしたっけ。
    VNNI対応のCascade Lakeが2019年上半期って言っているのでWCSCに間に合うかかなり微妙なラインになりそうですね。

    メインストリーム向けは2021年予定のGoldenCoveでようやく”AI performance”とそれっぽい記述があるのでまだ先になりそうな予感。

    Cascade Lakeが間に合えばサーバー持ち込み組が久しぶりに見られるかも？

    返信 ↓

  2. IntelがろくなCPU出せてないので、
    2019年の最強はZen2ベースのEpycを2発積んだ
    128コア256スレッドのマシンになりそうです。
    (AVX512先行対応が意味ないとは言ってない)

    返信 ↓

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です