めもめも

このブログに記載の内容は個人の見解であり、必ずしも所属組織の立場、戦略、意見を代表するものではありません。

Reinforcement Learning 2nd Edition: Exercise Solutions (Chapter 2 - Chapter 4)

Reinforcement Learning: An Introduction (Adaptive Computation and Machine Learning series)

Reinforcement Learning: An Introduction (Adaptive Computation and Machine Learning series)

Chapter 2



Sample code for the multi-armed bandits

gist.github.com

Chapter 3





Chapter 4



Sample code for the Jack's car rental problem

gist.github.com

Exercise 4.8

Since p<0.5, if you keep playing with a constant bet, you will eventually lose in average. So, at some points, you need to bet enough to win at once. In this particular case, the player decided to bet 50 when he/she has 50, and to bet 25 when he/she has 75 (hoping to win with this bet). Similarly, the player decided to bet 25 when he/she has 25 to reach 50 (hoping to win at the next bet).

Exercise 4.9

gist.github.com

Exercise 4.10

\displaystyle q_{k+1}(s,a) = \sum_{s',r}p(s',r\mid s,a)\left\{r+\gamma \max_{a'}q_{k}(s',a')\right\}

Google Colaboratory を用いた演習環境の準備手順(TensorFlowによるニューラルネットワーク入門編)

はじめに、Google アカウント(Gmail アカウントと同じもの)を取得しておいてください。

Google Colaboratory にアクセスして、Python 3 の新規ノートブックを開きます。

コード用のセルで次のコマンドを実行して、Google Driveをノートブックの実行環境にマウントします。

from google.colab import drive
drive.mount('/content/gdrive')

次のように、ユーザー認証のリンクが表示された場合は、リンクをクリックして認証を行います。認証コードが表示されるので、それをコピー&ペーストで入力してください。

コード用のセルで次のコマンドを実行すると、ノートブックが Google Drive にダウンロードされます。

%%bash
cd '/content/gdrive/My Drive/Colab Notebooks'
git clone https://github.com/enakai00/colab_tfbook.git

Google Drive の下図の場所にフォルダーができていることを確認します。(見つからない場合は、ブラウザーの画面をリフレッシュしてください。)

ノートブックを開く際は、右クリックのメニューから「アプリで開く」⇒「Colaboratory」を選びます。

ここでは、動作確認用に「Chapter01/1. Least squares method with low-level API.ipynb」を開きます。

メニューから「編集」⇒「出力をすべて消去」を選択すると、既存の実行結果が消去されます。

メニューから「ランタイム」⇒「すべてのセルを実行」を選択すると、すべてのセルが上から順に自動実行されます。

すべてのセルが正しく実行されることを確認しておいてください。たとえば、最後のセルでは、次のようなグラフが表示されます。