表題の件を当事者視点で。

「近年のコンピュータ将棋の急速な伸びの理由は？」という問いの模範解答が分からない。（１年で２００ほど伸びるようになった理由。）
そこそこ聞かれる質問なので、答えを用意しておきたいのだが・・・

— Shota Chida (@mizumon_) July 14, 2016

理由をたったひとつ挙げるとしたら、2016年時点での最新の回答は「誰でも機械学習が出来るようになった」ではないかと思います。

従来、将棋ソフトの機械学習というのはBonanzaメソッド(通称ボナメソ)一択でした。激指はオンライン学習風の何かをやっていたのですけど、Bonanzaの3駒関係ほどパラメーターの数が多いと(数百万パラメーター)、オンライン学習ではうまくいかないと信じられていたので、誰もやっていませんでした。

ボナメソについて書かれた保木さんの論文自体、当時の将棋ソフト開発者には難解で(見慣れない数式で)、何が書いてあるのかすら多くの開発者には理解できませんでした。

また、ボナメソが発表された頃は、機械学習の書籍と言うとビショップの『パターン認識と機械学習』(通称PRML本)一択でした。

  

この本がまた難しい。大変な良書なのですが、統計学の得意な大学院生向けと言った内容です。

将棋ソフトを作るのにガウス分布？ヤコビ行列？(を勉強しないといけないの？)
嘘でしょ？

と(コンピューター将棋開発者の)誰もが思ったに違いありません。

その流れが変わりだしたのは、近年の機械学習のブームです。オンライン機械学習についてのわかりやすい書籍がいくつも発売されました。

いや、本すら買わずともWeb上に機械学習に関する記事が溢れかえるようになりました。

これにより、高校生レベルの数学力(出来れば偏微分ぐらいは理解できたほうが良いですが)であっても、SGD(確率的勾配降下法)を使ったプログラムを書くことが出来るようになりました。

というか、SGDの式自体は単純で、wを評価関数のパラメーター(ベクトル)、ηを学習率(適当な定数)、Jを目的関数(これを最小化する)として、次のようにwを更新していくだけです。

$$ w = w – η\frac{\partial J}{\partial w}$$

∂J/∂wは、wを少し動かしたときにJがどれくらい増えるかです。それがわかっていれば、偏微分を知らない人でも上の式は「Jが小さくなっていくように元のwから引き算して行くんでしょ？」ぐらいのことはわかります。そうです。それだけです。

おまけにPonanzaのようにある程度の深さで探索した局面とその評価値を教師データとして使い、浅い探索での評価値をそれに近づけるようにSGDを適用するだけなら、何も難しいことは必要ありません。

$$ J = \frac{1}{2m} \sum (深い探索の値 – 浅い探索の値)^{2}$$

深い探索での評価値と浅い探索での評価値の差(誤差)の二乗和が最小になるようにするだけです。(mは標本数とします。分母の2は、これを微分したときに出てくる2と打ち消すために置いてあるだけです。)

そして、80億局面もあるなら、AWAKEやNDFのような次元下げや、ボナメソのような複雑な式は不要なのです。L1正則化等も必要ありませんし、棋譜の指し手以外を減点するようなテクニックも必要ありません。ただの―本当に純粋なSGDです。機械学習の教科書の1ページ目(?)に載っている、まさにそれです。

※ ボナメソが将棋ソフトにおいてブレイクスルーであったかどうかはここでは議論していません。また、私はBonanzaの功績を否定しているわけでもありません。現在ではボナメソも激指の論文の手法も全く使っていないと言っているだけです。

例えば、AWAKEの次元下げは、とても実装が難しかったのを私は覚えています。私はその次元下げだけで4000行ぐらいのコードを書きましたし、また、とても学習が遅かったのを覚えています。新しい特徴因子を追加するごとに、この悪夢のような次元下げのコードを追加しないといけないのかと思うと、怖くて私はKKP/KPPの三駒関係に新しい特徴因子を追加できませんでした。

それが、ついに我々は悪夢のような次元下げから解放されたのです！

我々は、次元下げをしなくともApery(WCSC26)の評価関数バイナリと同じぐらい(それ以上)の強さのものが作れるようになったのです。

これを機械学習の勝利と言わずに何と言うのでしょうか。

※ これまた、私は、NDF・AWAKEの功績を否定しているわけではありません。現在では、NDFやAWAKEの手法(次元下げに関して)は全く使っていないと言っているだけです。

機械学習で何らかの問題を解くとき、普通は、
1. 特徴量設計(Feature engineering)に始まり、
2. その特徴量を使った目的関数を設計し、
3. その目的関数を最小化する手法を選択・実装
することになります。

そして、機械学習の教科書は2.について代表的な方法と、3.についてのいくつかの手法を教えてくれます。つまり、1.をやり、2.をうまく設計すれば、あとは機械学習のライブラリなり何なりを使えば答えが求まる、そんなイメージです。1.の部分には結構その分野の専門的な知識・工夫が要求されるのが普通です。

ところが、将棋ソフトでは、1.は、3駒関係＋手番がかなり有力だとすでにわかっており、2.は今回のケースでは浅い探索の評価値が深い探索の評価値に近づくようにすると良いということまで周知の事実となっており(上で書いたJがそれです)、3.はSGDでも大丈夫とまでわかっています。

これだけわかっていれば、1.を変更しない限り、機械学習に関しては何も考える必要がありません。

また、表題の件について、80億局面を生成するだけの計算資源を個人開発者が手に入れられるようになってきたという点を挙げる人がいるかと思いますが、やねうら王で生成した棋譜を私が配布しはじめたのでこのへんの状況は変わりつつあります。

80億局面は深い探索を行なうので、生成にはとても時間がかかります。40コア(80HT)のPCで探索深さ6で1週間近くかかります。ところが学習は一瞬です。なぜなら、学習時には浅い探索しかしないからです。

20コアでやったときに80億局面1回のiterationが6時間程度した。(40コア、フルに使うとプロセッサを2つ使うことになって効率が悪いようで、それについては実験していません。) 何回のiterationで収束するのかはわかりませんけども、まあ1回でもそこそこの値には到達します。

つまり、4コアぐらいのPCでやっても1日程度であるということです。80億局面から学習させるのには、普通の家庭用PCでも1日。

この速度で出来るなら、家庭用PCしかなくとも、たくさんの実験が出来るはずです。
私が2年前の電王トーナメント前にAWSで何十万円も使ったのが嘘のようです。

これにより、コンピューター将棋ソフトは今年もまた全体的に昨年と比べるとR200ぐらい上がるのではないかと私は予想しています。