目次
janomeのバージョンを上げると、分かち書きの出力をgeneratorで返すようになった。
generatorはメモリ効率が良いというメリットがある一方でリストでデータを保持したいという気持ちがある。
対処としてリストに出力するステップを加える。
対処方
token_generator = t.tokenize(text,wakati=true)
token_list=[token for token in token_generator]
参考リンク
https://mocobeta.github.io/janome/