研究内容

転移学習

2019年11月20日
研究室の田中君が日本語 wikipedia を訓練コーパスとして ALBERT のモデル構築をしました。
モデルだけですが、以下で公開します。tokenizer は MeCab+Neologd です。未知語はそのまま未知語です。BPE は行いません。
ALBERT モデル (BERT-base 相当)

半教師あり学習

半教師あり学習としては Triple-GAN を利用する手法と、VAE を利用する手法を研究しています。