メモリが少なすぎて棋譜からの学習出来ない件

棋譜からの学習用のPC、メモリ増設して32GBにしたら、Windows7 Home Premiumだと16GBまでしか使えないようでした。Windows10にアップグレード(無償)をしたところ、32GBまで使えるようになりました。これって凄い裏ワザじゃないですか?(誰でも知ってるのかな?)

電王トーナメントで使われるPC、今回は32GBだそうです。前回は64GBでしたのでダウングレードですが、64GB搭載するためには16GBのメモリモジュールが必要になって、16GBのメモリモジュールは8GB×2枚組の3倍ぐらいの値段なので、コスパが悪く、この仕様のPCをそのまま一般ユーザーに販売するとなるとガリレアPCの売れ行きにも影響しそうですから仕方ないのかも知れません。

ところで、いまどき棋譜からの学習には、次元下げやら何やらで学習させる評価関数テーブルの10〜20倍ぐらいのワーキングメモリを必要とします。スレッド並列で学習させる場合、Bonanzaのような書き方ですと、スレッド数分だけワーキングメモリが必要となるのですが、それは少し頑張ればなんとかなります。

ともかく、32GBメモリのPCでは2,3GB程度のテーブルしか学習できないのが実状です。

大量の教師データから学習させることが出来るなら、次元下げなんてほどほどにしておけば良いので、このへんは問題にはならないのかも知れませんが、オンライン学習でなければ現実的な時間で学習させられませんし、オンライン学習でこのような大規模な評価関数パラメーターの学習に成功しているのはPonanzaチームだけ(しかもかなりハイエンドなPCを使用?) という状況なので、ちょっと真似出来る気がしません。

あと今回のやねうら王では評価関数をかなり大きくしようと思っているのですが(16GBぐらいまで)、学習のためにメモリが256GBほど欲しいです。早くも死亡フラグ確定ですか?


メモリが少なすぎて棋譜からの学習出来ない件” への11件のコメント

    • 問題)
      ・8GBメモリ5千円
      ・16GBメモリ3万円
      ・32GBメモリ8万円
      ・メモリが4本載るマザーボード1万円
      ・メモリが8本載るマザーボード2万円
      ・メモリが16本載るマザーボード7万円
      として32GB、64GB、128GB、256GB搭載PCにおいて最安となる組み合わせを考えなさい。ただし、メモリとマザーボード以外の値段は考えないものとします。

      みたいな問題を考えたのですが、64GB構成、メモリが8本載るマザーボードを使っていいなら思ったより安くで済みそう..。

  1. cr1.8xlarge vCPU 32 メモリ 244GiB 2×120 SSD
    スポットインスタンス LINUXで $0.3415 /1 時間

    AWS 意外と安いんじゃないですか?

    • AWS、以前見たときは興味なかったのでよく見てませんでした。 > 大容量メモリ

      お値段はスポットでないと結構しますけども、まあサーバー機買うこと思えば誤差かも…。

  2. Windows7 => 10 へのアップグレードでなにか不具合や、面倒になった事等、また、ここが良くなった等 ありますでしょうか。
    いわゆる、ライターの記事は良いことしか書かないか、ちょうちん記事が多いので、ユーザー視点でのコメントをいただけると有難いです。
    ちなみに、自分は、まだ Win7のままで様子見です。

    • Edge → Chromeで間に合ってます。
      新しいUI → よく使うアプリはタスクバーにピン留めして使うのでどうでもヨシ。
      音声認識アシスタント → 手入力のほうが速いです。
      メール・カレンダー・写真・地図 → gmail(InBox)、Googleカレンダー、Google Drive、Google Mapsを使っている私には不要。
      アクションセンター → Windowsから通知して欲しいことは何一つないですが?
      OSの起動が速くなった → 起動なんてせいぜい1日一回しかしませんし…。
      仮想デスクトップ → Windows3.1のころからフリーウェアでこういうのありましたよね…。キー割り当てすら変更できないような劣化版を25年以上経ったいまさらOSの機能として用意されましても…。

      • 返信有難うございます。
        なるほど、です。
        いまの7はいくらメモリを積んでもファイルキャッシュにしてしまうので、この点が改善されている事を期待していたのですが、あえて、10にする必要はなさそうですね。
        過去に、自分で作成、コンパイルしたプログラムを、ウィルスとして警告なく削除された(ユーザーのデータをMSの意向で削除してよいと考えている。)経験があり、MSには、警戒心を持っています。
        クラウドに上げたファイルをウィルスと(独断的に)判断されアカウントごとフリーズされた人もいますし。
        10に上げたあと規約を変更され、囲い込みを強化されるのもいやなので、このままにしようと思います。

  3. 端末用意するとのAWS、どっちが効率良いのでしょうね。私のような転勤族だとAWSしか選択肢がないですがwww

    ソースコード書いてAWSで動かして手ぶらで会場に現れてめっちゃ強いとか憧れますね、まるで魔法使いのようで

    • Aperyの平岡さんはAWSうまく活用している派ですね。私は大会間際にAWSにじゃぶじゃぶお金を使ってしまってカッコ悪い派です。(去年の電王トーナメント時)

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です