2021/8/30週の情報収集　メモ

 Posted on Sun Sep 5 2021  |  6 minutes  |  2995 words  |  近藤綾乃

目次

自動要約の展望

  • 元ツイートは Amazon Transcribeで会話の文字起こしを行い、それをELYZAで自動要約を行ったというもの
  • Amazon Transcribeには話者分離の機能があり、議事録作成には一歩秀でているか？
  • しかし、対話分を要約するデータセットというものが用意しにくいという問題があり、生成系のようやくモデルは不自然な出力が得られる事が多い。
    • そもそも一つの対話文から一つの要約が得られるのか？という根本的な問題設定にも課題がある
    • つまり、データセットを作成する際に特定の作業者による偏りが生じないように複数の作業者によって作成されたデータの平均を取ることをする
    • しかし、出力が選択肢ではなく、自由作文の形式のときに正解とはなにか？を正しく設定することが難しい
    • そういうのめんどくさいし、ウィキペディアのデータでええやんというのが２０２１年時点では多く見られる
      • もちろん英語の場合には更にデータが用意されることもある
    • 問題はウィキペディアは会話の形式ではないということ
      • これは単純に形式だけの問題なのか、人間が言語を用いて会話するときには特殊なルールが存在するのか、そしてそのルールはデータのみから学習できるのか？
  • 出力の自然さ自体は学習におけるチューニングでなんとかなりそう
    • T5やGPT-2などはとても自然な文章を出力する
    • ということは見た目はそれらしいものを得ることができる
  • では中身においてはどうか？というと人間がみて判断するのが現時点の状況である
    • 中身があっているかどうか？という評価基準が必要だよね、という話は機械翻訳の文脈でもされており、事前学習により単語の意味を学んだモデルを用いて文と文の類似度を出すというアイデアがある
      • BERTをもちいた評価指標
    • しかしBERTがどれだけ信頼できるのか？その評価方法は妥当なのか？など疑問はあり、一般的な指標としては未だにトークン列の一致度を用いることが多い

顔の自動生成モデル　結構人種のバイアスがありそう

  • いわゆる機械学習モデルの惰弱性を突くとこういう愉快な結果になる
  • 理屈の上ではこのモデルを一種のブラックボックス関数とみなして、出力結果を任意の顔にすることもできるだろう
    • 顔のパターンなんかは意外と勾配情報に落とし込むことができるのでは？
      • だとするといろいろな最適化アルゴリズムが適用できる
  • 冗談として解釈することもできるが、セキュリティの観点からすると問題点が見えてくる
    • 機械は人の顔を正しく認識しているといえるのか？
    • 任意の顔や模様を作り出せてしまうことで悪用の危険性はないのか
      • そもそもおかしな挙動をしないようにコントロールするべき？

アドベンチャーワールドのパンダ　楓浜　元気

  • アドベンチャーワールドのパンダはよく子供を産むイメージがある
  • パンダの名付け親になりたいならアドベンチャーワールドの広報には目を光らせておいたほうがいい
  • 上野動物園でも繁殖に成功している
  • パンダって意外と赤ちゃんおいてご飯を食べに移動するんだな、というのは意外な印象
  • でも赤ちゃんにつきっきりの動物って意外と少ないか？
    • ペンギンくらい？

写本って意外と知らない　でも写本があるから現代に残っている文献も多いハズ

  • 恥ずかしながら、写本については本当に知識がない
    • ベルセルクで団長がやってたっけ？くらいの感覚
    • あとはクトゥルフ神話系のアイテムとして〜写本ってでてくるくらい？
    • というか西洋に限らず、日本でも源氏物語とか書き写されまくってたっけか？
      • 後付の話も結構あったような？

なんとなく初期のプログラマーは女性が多かったという話を思い出した

  • 核開発の産物の一つとして計算機が挙げられる
  • ファインマンが核開発を行っていた当時の計算機はパンチカードを用いたものだった
  • それが時代を経てフロッピーになり、HDDになり、DVDになり、今ではSSDか？
  • そもそものプログラミングの方法そのものがガラッと変わっているし、職業に対する先入観も大きく変わっている
    • なんせ小学生に教えないといけませんからね

身近な熱力学？

  • 断熱圧縮で紙切れを燃やすという実験は見たことがある
  • これはその逆かな？

電話はデジタル

  • 今どきは電話の音声はデジタルに変換されているからじつは声色の違いは数パターンに集約されているという話を聞いたことがある
  • 同じ理屈で人の声を特徴づける部分からはずれた音は切り捨てられているんだなぁ

エスコンやってたら多少わかるネタ

くずし字を読み取るためのアプリが公開された　つまり文献の内容だけを読み解くスタイルが現れる？

  • 古い文献を使った研究をする際に文字や言語の壁がある、という話
  • このアプリはその壁を崩す一助になるだろうか？
    • 時代や文化的背景によってモデル変えたほうが精度がでるかもという指摘があったが、それは本質的ではないと考える
      • 単純に精度を出したいというモチベーションで発表されているわけでないので、それは論点が違う
      • iPodが出たときにこんなのしょーもねーといった人種に近いか？
      • 世界初かどうかだけが評価基準ではないんですよね
      • 細かいあらはどうせ時間が経って関係者が増えれば熟れていくのだから些事にすぎない
      • 精度を上げる研究はむしろ他の研究者が率先してやるべき
  • 文字の筆跡から情報を汲み取る手法もある気がするので頼り切りになると研究の幅が狭まるとは思う
  • ひとつの派閥として純粋に文献の情報のみを扱うという抽象度ですすめるというのは面白くなるだろう
メモ 

See also