• Skip to main content
  • Skip to primary sidebar
  • Skip to footer
  • トップ
  • プロフィール
  • AI仮想通貨自動売買ーLISAー
  • LISA -Trading View
  • すべての投稿
  • お問い合わせ
  • ショップ

Rebellio

あなた以上をあなたの手に

AIは過去のデータから未来を予測できるのか?トレーニングデータとテストデータ

2020年4月18日 by M

※本記事は「トレーニングデータ」と「テストデータ」についての解説記事です。Lea(リア)の資産シミュレーションは別記事ですのでご注意ください。

【シミュレーション記事執筆中】

自動売買アルゴリズムを評価する指標として

資産増減のシミュレーション

がありますよね。
そのアルゴリズムを使えばどのように資産が増えるのかを分かりやすく示しています。
しかしそれを見る際に注意しなければならないことがあります。それは

「そのシミュレーションは、結果が良くなるよう調整されたものではないか。」

ということです。
「アルゴリズムのパラメーターを調整して最も結果の良かったものを見せている。」
のだとしたら当然シミュレーション結果はよく見えます。
しかしそれがその後も同じパフォーマンスを見せるのかどうかには疑問が残ります。要は

「その時だけ結果が良かったわけではない」

ということを示せないとシミュレーション結果の信憑性は低いということです。
本記事ではLea(リア)の資産シミュレーションでそれを示します。

目次

  • トレーニングデータとテストデータ
  • AIと過学習
  • 過学習を防ぐ
    • この記事を読んだ人はこんな記事も興味があるかも:

トレーニングデータとテストデータ

AIを学習させる際、データは「トレーニングデータ」と「テストデータ」に分けられます。

  • トレーニングデータはAIを学習させるためのデータ
  • テストデータは学習したAIを評価するためのデータ

テストデータはAIの学習には使用されません。
なぜわざわざ学習させるためのデータを小さくしてまで2つに分けるのか。
それは先程述べた

「その時だけ結果が良かったわけではない」

を確認するためです。

「そのAIはちゃんと過去のデータから未来を予測できるのか?」

を確かめるためとも言えます。

AIと過学習

ところで、みなさんも学生時代周りに

テスト範囲の練習問題は全部解いたのに、テストで点数が取れなかった!!

なんて人がいませんでしたか。
まあ私なんですけど、それはつまりどういうことかというと

その練習問題の解き方や数字を覚えただけであって、問題の本質、構造はわかっていない。

ということです。
そしてAIでもこれが起こるんです。 「過学習」 といいます。

これは約802日分のビットコイン/円の価格データをトレーニングデータとテストデータに分けたものです。
AIはこの青色で囲ったデータのみを学習します。
では一度AIを学習させてみましょう。

AI仮想通貨自動売買の学習プロセス
学習が進むにつれて精度が増す様子

「過去72時間のデータから24時間後に上がるかどうかを予想するAI」を作ります。そして

「上がる」予想をして実際に上がったら+1点
「上がる」予想をして下がってしまったら-1点

という試行をし、AIの性能を評価します。点数の推移をグラフ化したものがこちら

(グラフのスケールが違うことには注意してください)
左が「トレーニングデータ」での点数の推移、右が「テストデータ」での点数の推移です。
スケールを合わせて一つのグラフにまとめるとこうなります

明らかに「テストデータ」の方はトレーニングデータと比べてパフォーマンスが落ちています。正答率も

  • トレーニングデータ: 88%
  • テストデータ   : 52%

と大きく離れています。つまり

テスト範囲の練習問題は全部解いたのに、テストで点数が取れなかった!!

状態なわけです。
「正答率88%!」とだけ言われればすごそうに思えます。
しかしこの結果を見て「このAIは優秀だ!」とは思わないでしょう。
トレーニングデータはAIが学習したデータそのもの。成績は良くて当然なのです。
一方テストデータはAIにとっては初見のデータ。
初見のデータでいい結果が出れば実際の環境でもそれに近い結果が出ると期待できます。

つまり重要なのは
「テストデータの成績」と「トレーニングデータとの差」です(差が小さいほうが良い)。そのためには過学習を防がなくてはなりません。
方法は様々ありますが、一番多く用いられる「ドロップアウト」を設定する方法で学習させなおします。

過学習を防ぐ

  • トレーニングデータ: 75%
  • テストデータ   : 56%

ドロップアウトを設定し学習させたことで先ほどよりは差が小さくなりましたがまだ大きく離れています。更にドロップアウトを調整します。

  • トレーニングデータ: 60%
  • テストデータ   : 58%

トレーニングデータとテストデータの差がかなり小さくなりいい感じです。
この結果は

  • 結果が良かった時のデータだけを見せているのではない
  • 実際に動作させてもシミュレーションに近い結果が大いに期待出来る

と言えます。
しかし24時間毎の勝率60%と言われて物足りなく感じる方もいらっしゃるでしょう。
リアはAIを1つではなく、計165個搭載しそれらを組み合わせることでこの数字を
約70%にまで向上させています。

【シミュレーション記事執筆中】

この記事を読んだ人はこんな記事も興味があるかも:

ディープラーニング用PCを作ったよ
マルチロジックAI自動売買使い方 -AIビットコイン自動売買-
複数のAIを搭載した自動売買AIの詳細なシミュレーション -AIビットコイン自動売買-
完成!!機械学習でAIがビットコインを自動売買
LINEで送る
Tweet
このエントリーをはてなブックマークに追加

前の記事

AI仮想通貨自動売買の学習プロセス >>


次の記事

<< Lea資産シミュレーションーAI仮想通貨自動売買ー

 

Filed Under: ディープラーニング, 人工知能 Tagged With: AI自動売買, ディープラーニング

Reader Interactions

Primary Sidebar

開発者プロフィール

M学校では工業デザインを
個人ではAI開発をしている大学生​

ー詳しくみるー

AI予想

Tweets by rebellio_jp

人気記事

  • 似てるAV女優を教えてくれるAI「エロAI先生」完... AI開発に挑戦するとなると避けては通れない道「○○に似たAV...
  • LISA -有料版 AI仮想通貨自動売買システムLISAは無料で利用できますが...
  • 新型AI仮想通貨自動売買ーLISAー完成... お久しぶりです。 世界は新型コロナウイルスの影響で大き...
  • AI自動売買搭載ラズパイ 完成!!機械学習でAIがビットコインを自動売買... お久しぶりです。しばらく投稿をしていませんでしたが、その間...
  • 写真を送ると似たAV女優を教えてくれるラインBOT... 男としてAI開発に手を出したからには「エロに利...

Footer

ライブツイート

Tweets by rebellio_jp

カテゴリ

人気記事

  • 似てるAV女優を教えてくれるAI「エロAI先生」完成!! 92件のビュー
  • LISA -有料版 49件のビュー
  • 新型AI仮想通貨自動売買ーLISAー完成 37件のビュー
  • 完成!!機械学習でAIがビットコインを自動売買 35件のビュー
  • 写真を送ると似たAV女優を教えてくれるラインBOT「エロAI先生」 35件のビュー
  • 送った写真に似たAV女優を教えてくれる「エロAI先生」は1年間でいくら稼いでくれたのか? 28件のビュー
  • LISA-ハードウェア版使い方 18件のビュー

最近の投稿

  • LISA-ハードウェア版使い方
  • LISA -有料版
  • 新型AI仮想通貨自動売買ーLISAー完成
  • AI仮想通貨自動売買 Lea(リア)使い方ーシステム起動編ー
  • AI仮想通貨自動売買 Lea(リア)使い方ー準備編ー

Tags

AI自動売買 エクセル自動売買 エロAI シミュレーション ディープラーニング デザイン バイク ボートレース統計 ラインボット 仮想通貨 時計 生活 自作PC 自動売買 車 鬱病

検索