floodgateのレーティング、ぐちゃぐちゃになってしまうwww

floodgateという将棋ソフトのオンライン対局場があるのですが、いまここのレーティングがぐちゃぐちゃになっています。

RTX2080Tiのソフトとそれと同じソフトをV100×8で放流しても、R80程度しか変わらないのです。nps(探索速度)、10倍以上違うのに…。

まだ検証中ですが、どうもDL(Deep Learning)系の将棋ソフトは、終盤で頓死が多いようで下位のソフトにも一発もらいやすいようです。なので、R4050(dlshogiをR2080Tiで放流した時の本来のレーティング)~R4450(dlshogiをV100×8で放流した時の本来のレーティング)ぐらいのソフトが入り乱れている状況ですと、R4050ぐらいのソフトは上位のソフトに一発を入れるため、本来のレーティングより高くなり、R4450のソフトは、下位のソフトに一発を入れられるため、本来のレーティングより低くなるということです。

その結果、nps的には10倍以上違うマシンスペックなのに、なんとR80程度しか違わないという現象が生じているのです。

// この問題は、探索部の問題もあるのかも知れません。別の記事で書きます。

もはやDL系とNNUE系、長い時間で強いのはどちらかとか、そういう次元の話ではなくなってきて、レーティングとは?棋力とは?強さとは?みたいな根源的な問いかけが必要になってくるように思います。

まあ仮に、DL系の将棋ソフトは本来は強いのに、下位ソフトに対する勝率が悪いだけだとしたら、対局数が少ない大会であれば、(下位ソフトに一発入れられなければ)優勝もあるでしょうし、対局数が多い大会では、いくらハイエンドなサーバーを持ってきても優勝は難しいというのはあるのかも知れないですね。

8 thoughts on “floodgateのレーティング、ぐちゃぐちゃになってしまうwww

  1. すごい速度で幅ばかり広げてないで細くても深く掘った方が、Ever Givenが詰まったスエズ運河みたいなことにならないってイメージでいいですか?

  2. いままでのレーティング、対dlレーティング、対dl以外レーティングの3種類の数値を持たせるようにすべきなのかも

  3. 今こそ、従来型エンジンの詰将棋自動生成とディープラーニングを組み合わせて、
    「なんとなく詰みそう形」のディープラーニングを走らすべきでは。

    「詰めろ逃れの詰めろ」は難しいか…

  4. 富岳をこのあたりに使ったりとかしようなんて話は出たりしないのかな?
    くしゃみさせてばかりな話しか出てこないのはもったいないというかw

  5. 最近、SNN_210511_4t というソフトがfloodgateで流れていますが、このソフトはスパイキングNNという技術を使っているのでしょうか?
    ちょっと調べてみてすごい技術だなと思ったのですが、実用化されているのでしょうか?

    • Spiking Neural Networkは、まだ将棋ソフトに使えるレベルになっていないと思います。面白い応用はあるのかも知れませんが、まあ、ResNetとかいまDeep Learningに出てくるようなネットワーク構造というのは、人間の脳を模倣することを目指していないからこそ小さな計算コストで高い表現能力を獲得できている意味もあるので、特定の分野に限って言えば、人間の脳に近ければいいというものでもないのでしょうね…。

やねうらお へ返信する コメントをキャンセル

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です