目次 概要 ソース 概要 分散表現を用いた検索システムを作る。 teratailから質問をスクレイピングする。 スクレイピングした文章をもとにword2vecを学習する。 word2vecによって得られた分散表現をもとにcosine similarityを計算して、クエリと質問文の類似度を得る。 類似度をもとにソートする。 ソース teratail_w2v_question.ipynb word2vec 分散表現 自然言語処理 技術 技術系 スクレイピング pytorch google colaboratory 制作物 See also poetry環境でpytorchをインストールしても失敗したのでその対処法 日本語要約の手法・サービスのまとめ 日本語の分散表現の計算方法まとめ 技術書典11に参加するに当たって技術書を作成したメモ 経緯、あと感想 日本語で学習済みのT5がhugging face で公開されたので使い方メモ