目的 Latent variable を持つ確率分布 について、 を極大にする を求めること。 説明 より、 任意の確率分布 を両辺に掛けて、 の和をとると下記が証明される。 ―― (1)ここに、 ここで、 は、Kullback-Leibler divergence なので、、かつ、（すなわち、 が …

PRMLの「9.3.3 Mixtures of Bernoulli distributions」で紹介されている手書き文字の分類アルゴリズムを実装してみます。アルゴリズムの解説は下記資料の「混合分布とEM法によるクラスタリング」を参照してください。 ソフトウェアエンジニアのための「機械…

基本的にはテキストと同じことを言い直してるだけですが、テキストはGLMの定義などが曖昧なので、そのあたりを正確に書きます。 GLMの定義 一般に、目的変数 の確率分布がパラメータ と特徴変数 の関数 として決まるモデルを考えます。その中でも特に、ある1…

何かというと 下記のような画像ファイルの色数を減らして、N色の画像にする処理を考えます。どんな方法を思いつくでしょうか？ （N=16あたりで考えてください。）たとえば、次のような手順が考えられます。 (1)画像の中で代表的な色をN個選ぶ。 (2)それぞれ…

こちらです。 # -*- coding: utf-8 -*- # # Perceptronによる二項分類 # # 2015/04/24 ver1.0 # import numpy as np import matplotlib.pyplot as plt import pandas as pd from pandas import Series, DataFrame from numpy.random import multivariate_nor…

ロジスティック回帰とは？ ロジスティック回帰は線形判別法の一種で、Type=0, Type=1 の2種類のカテゴリーに分類されるデータがあるときに、「あるデータが Type=1 に属する確率」を推定します。たとえば、(x, y) 平面上に Type=1, Type=0 のサンプルが10個…

これです。 # -*- coding: utf-8 -*- # # ロジスティック回帰とパーセプトロンの比較 # # 2015/04/24 ver1.0 # import numpy as np import matplotlib.pyplot as plt import pandas as pd from pandas import Series, DataFrame from numpy.random import ra…

ちなみに 本記事のタイトルは「PRML第1章」とついていますが、実質的には、「3.3 Bayesian Linear Regression」の説明になっています。 ベイズ推定によるカーブフィッティング 下記の記事では、平均 が未知の正規分布について、ベイズ推定でフィッティングす…

ちょっと準備 正規分布の平均 と分散 に関する計算をする際に、 （つまり、）とおいて、 の代わりに で計算することがあります。この方が計算が簡単になることが多いためですが、一般に、分散 の逆数を精度（precision） と呼びます。精度が大きい（精度が高…

簡単な例 どれか１つのボールが等確率で出てくる玩具があります。 小玉 大玉 合計 青玉 2 3 5 赤玉 6 1 7 合計 8 4 12 ■周辺確率の関係式青玉が出てくる確率は、 小さな青玉が出てくる確率は、 大きな青玉が出てくる確率は、 これらから分かるように、 一般…

何の話かというと 「PRML 第1章の多項式フィッティングの例を再現」では、二乗平均平方根誤差を最小にするという条件でフィッティングを行いました。しかしながら、フィッティングを行う条件は他にもいろいろ考えられます。「有用な結果（つまり、未知のデー…

何の話かというと Pattern Recognition and Machine Learning (Information Science and Statistics)作者: Christopher Bishop出版社/メーカー: Springer発売日: 2010/02/15メディア: ハードカバー購入: 5人 クリック: 67回この商品を含むブログ (29件) を見…

何の話かというと Kubernetesの環境をセットアップする際は、コンテナ間で通信するための内部ネットワークを用意する必要があり、このためのツールとして、Flannelがよく利用されます。この時、バックエンドにVXLANを指定すると、物理ネットワークの上にVXLA…