日本語文章の自動要約について調べたのでまとめておく 原文から一部を選択的に抜粋する抽出型と機械翻訳のように対応する要約文を生成する生成型がある
[Read More]
日本語の分散表現の計算方法まとめ
単語単位の分散表現 Word2vec 自然言語処理における分散表現の一つのオリジナル 基本原理くらいは知っていてもいいかもしれない gensimがよく使われる Fasttext で
[Read More]
日本語で学習済みのT5がhugging face で公開されたので使い方メモ
T5(Text-To-Text Transfer Transformer) とは 事前学習における入出力を文に統一してしまうことで、 複数の形式の問題に対しても適応できる様式となった。 モデルの基本構造としては Transformer が使
[Read More]
word2vecでteratailの検索システムっぽいものを作る
概要 分散表現を用いた検索システムを作る。 teratailから質問をスクレイピングする。 スクレイピングした文章をもとにword2vecを学習す
[Read More]
ポートフォリオ
実績 機械学習など 画像処理による観賞魚の品種推定モデルの作成 AI を用いて観賞魚の品種識別 画像処理による犬猫の品種推定モデルのデモ作成 アテンション
[Read More]
要約文の評価指標についてのメモ
生成式要約文のモデルに需要がある。 そのモデルの評価指標についてのめも。 結論としてはやはり正解になる文の用意は必要だということ。 そこを省きたい
[Read More]
python を用いた自然言語処理の環境を整える
この記事はコマンドラインをある程度利用できる方に向けて書いています。 コマンドラインがなにか分からないけど、pythonを使いたい方はGoog
[Read More]
word2vecのアルゴリズムを把握するためにnotebookで動かしながら挙動を理解しよう
word2vecを理解しよう! word2vec のアルゴリズムについて、勉強しようとして苦戦していませんか? アルゴリズムの基になる発想は意外に直観的なもので
[Read More]
深層学習でニュースタイトルの自動生成モデルつくったった
深層学習モデルを使って、新聞記事から見出しを自動で生成するモデルが提案されている。 朝日新聞が自動要約生成APIの提供を始めました。 自動要約生
[Read More]