rohaniのブログ

ゆるっと自然言語処理奴。ときどき工作系バイト。

可変長系列をRNNでミニバッチ学習したい時はパディング処理に気をつけて

系列長の違う複数の特徴系列(振れ幅 1〜200くらい)を、ミニバッチ化するために纏める時、 面倒に思って、データ全体を通して同じ系列長でパディング処理を施して纏めた。

そうしたら順方向RNN(many2oneで次の層に隠れ層を渡す)がうまく学習できなくなった。 ちゃんと確かめてはいないけれど、パディング部分があまりに長かったので元のデータの情報が最終ユニットまで届かなかったんだろうと思う。

ちゃんと想像せずに作業的にモデリングしましたねぇ?ハイ。。。
ええねん、ええねん。誰にでもあるねん。今後気を付けましょう。。。