前回の続き。

教師なし学習の実験に取り組んでいた、ひまうら王、ひようら王(ひよこ将棋)より有意にかなり強くなったので、floodgateに放流しておきます。明後日ぐらいにバイナリ公開します。

— やねうら王 (@yaneuraou) December 3, 2015

前回、ひようら王のほうがひまうら王よりnpsが高いため、駒得のみの評価関数(ひようら王)のくせに、なかなかそれを超えられないという話を書きました。

ところが、ひようら王同士の自己対戦を1手1～3秒1スレッド6並列×3PCで行なって、棋譜を2000局ほど作り、それで学習させるだけでなんとひようら王と同等か少し強くぐらいの強さになったわけですよ。これにはびっくり！

棋譜2000局でこの強さになるならば、棋譜を増やせばまだまだ強くなることは経験的にわかっています。

しかし棋譜を増やすにしても強い棋力で指された棋譜のほうが好ましいです。そこで、この棋譜から学習させたひまうら王で自己対戦させてまた棋譜を2000局ほど追加で生成。

棋譜合計4000局から学習させてみるとひようら王よりR50ぐらい高くなりました。

この強くなったひまうら王で自己対戦させて(以下略)

何がどう強くなっているのか対局棋譜を見ていてもよくわかりませんが、中盤で勝つための知恵が少しついたのかなという印象でした。

と金製造も少し減った気がします。

まあ、実戦において探索すれば敵玉から離れたところに「と金」を作って良しになるかどうかはわかるわけで、そういう指し手は回避される傾向にありますから、棋譜からそういうのを少しずつ学んでいくんでしょうね。

こうして強くなったソフトで自己対戦させて、またその棋譜から学習させることにより、悪いと金製造について学習する。

この過程は遺伝的アルゴリズムや淘汰による進化に似たものがありますね。

まあ、これをいつまでも繰り返していても仕方がないので、この手順で強くなるということが実証できたので、この手順を2,3回繰り返して、ひようら王よりR100ほど強くなったところで、次の実験にとりかかりました。

序盤を改善するということです。

ひまうら王、強くなったとは言え、序盤がでたらめです。端歩とか突く手が大好きです。なかなかこれが改善されません。上記の反復を繰り返していればもしかすると改善するかも知れませんが、それにはとてもとても長い時間がかかりそうです。

そこでBishopLearningを改良して…という話は長くなるので次回に書きます。

ともかく、今回の結論としては、駒得だけの評価関数の将棋ソフトの自己対戦棋譜から3駒関係を学習でき、強くすることが出来るということです。3駒関係だと教師なし学習は難しいというのが定説でしたが、今回はそれを覆す結論が出ました。Aperyでも同じ結果が出ると思うので、気になる人は是非Aperyを使って追試してみてください。

成功の秘訣は、ズバリ

・NDFのKPP相対
・KPE次元下げ
・(Stockfish風の)まともな探索部
・まともな学習部(ボナメソでもSGD+αでも良い)

だと思います。

探索部を下手に自作しようとしたり、Aperyがソースコードの形で示してくれているレベルの次元下げをしていなかったり、プロ棋士の棋譜を入力として与えたときにきちんと収束することすら怪しい学習部とか、そういう信頼性のないパーツを使わないことがこの手の未知の実験では非常に重要だと私は考えています。

他の教師なし学習の取り組んでおられる開発者の批判がしたいわけではありませんのでこの話はこれくらいにしておきます。

そして次回、序盤をなんとなく(?)改善した学習手法および、ひまうら王のバイナリを公開します！