めもめも

このブログに記載の内容は個人の見解であり、必ずしも所属組織の立場、戦略、意見を代表するものではありません。

2023-02-01から1ヶ月間の記事一覧

「JAX/Flaxで学ぶディープラーニングの仕組み 〜 新しいライブラリーと畳み込みニューラルネットワークを徹底理解」が発売されます。

book.mynavi.jpすでにお気づきの方もいるかも知れませんが・・・2019年に発売された「TensorFlowとKerasで動かしながら学ぶディープラーニングの仕組み」の物理本が売り切れ・絶版になっており、現在、電子版しか手に入らない状態です。そんな中、「JAXを使…

Transformer モデルの仕組みを JAX/Flax で実装しながら解説してみる(パート4)

パート3はこちら。enakai00.hatenablog.com なんの話かと言うと 最近、大規模言語モデルを用いたチャットシステムがよく話題になりますが、言語モデルの性能が大きく向上するきっかけとなったのが、下記の論文で公表された「Transformer」のアーキテクチャー…

Transformer モデルの仕組みを JAX/Flax で実装しながら解説してみる(パート3)

パート2はこちら。enakai00.hatenablog.com なんの話かと言うと 最近、大規模言語モデルを用いたチャットシステムがよく話題になりますが、言語モデルの性能が大きく向上するきっかけとなったのが、下記の論文で公表された「Transformer」のアーキテクチャー…

Transformer モデルの仕組みを JAX/Flax で実装しながら解説してみる(パート2)

パート1はこちら。enakai00.hatenablog.com なんの話かと言うと 最近、大規模言語モデルを用いたチャットシステムがよく話題になりますが、言語モデルの性能が大きく向上するきっかけとなったのが、下記の論文で公表された「Transformer」のアーキテクチャー…

Transformer モデルの仕組みを JAX/Flax で実装しながら解説してみる(パート1)

なんの話かと言うと 最近、大規模言語モデルを用いたチャットシステムがよく話題になりますが、言語モデルの性能が大きく向上するきっかけとなったのが、下記の論文で公表された「Transformer」のアーキテクチャーです。arxiv.orgここでは、JAX/Flax を用い…