輪講でも度々登場するBPE(Sennrich, 2016)を勉強のために書いてみた。 論文に乗っている Algorithm 1 Learn BPE operations そのまま。→ import re, collections def get_stats(vocab): pairs = collections.defaultdict(int) for word, freq in vocab.items…

まさにこちらの記事の通り。 githubで本名が暴露してしまった件 MacをクリーンインストールしたのでGitも初期化されているという事を失念し、やらかしてしまった。 紹介通り、漢字フルネームでリポジトリに表示される。 リポジトリの削除は、リポジトリの画…