2020年1月24日更新
『AIの衝撃 人工知能は人類の敵か』（小林雅一，講談社現代新書，2015年3月20日発行）を読了。
ディープマインドの共同創業者の一人であるシェーン・レッグ氏は「最終的に，人類はテクノロジーによって絶滅するだろう。（中略）今世紀におけるその最大の危険要因は AI だ」と語っています（Q&A サイト「Less Wrong」より）。（p. 35）
ターミネータの世界を思い浮かべてしまう。
「本物の AI を創造することは，人類史上，最大の偉業となるだろう。それは戦争，飢餓，貧困といった極めて困難な問題さえ解決してくれるかもしれない。しかし一方で，それがもたらすリスクを回避する手段を講じなければ，AI は人類が成し遂げた最後の偉業になってしまう恐れがある（つまり AI は人類を破滅に導くかもしれない）」（米カリフォルニア大学バークレー校スチュアート・ラッセル教授や 4 名）（p. 39）
これもまた，ターミネータの世界を思い浮かべてしまう。
ロボット三原則 by 米国 SF 作家アイザック・アシモフ （p. 58）
- ロボットは人間に危害をくわえてはならない。また何もしないで人間が危害をうけるのを見過ごしてはいけない。
- ロボットは人間の命令に従わねばならない。ただし第1原則に反する命令はその限りではない。
- ロボットは自らの存在を守らねばならない。ただし，それは第 1，第 2 原則に違反しない場合に限る。
こんな単純な三原則では不十分だろう。
AI が誕生すれば，うまく AI を制限しなければターミネータの世界が訪れてしまう。
このやり方は，現実世界に起き得る様々なケースをあらかじめ人間が想定し，それに応じて個々に対策（ルール）を決めていく方法でした。これは第 1 章で紹介したフレーム問題，つまり「現実世界で起こり得るケースを数えあげれば切りがない」という問題の恰好の餌食となってしまったのです。（p. 91）
ルールは無限にあるため，ルール作りには終わりがない。
原則で示すことも一つ。
そこでベイズは次のように考えました――「最初から，そんな理想的な確率（客観確率）を得ようとしたら，一歩も前に進めないよ。それよりも最初は不正確でもいいから，自分で適当に確率（主観確率）を決めておいて，そこに実験や測定の結果を反映させて，徐々に確率を改良していこう。そうすれば，いますぐにでも仕事を始められるから，こっちの方が便利だよ」という発想です。（p. 94）
実践しながら改善していく，というやり方は合理的かもしれない。
「本当に変種の『枝刈り』などは，謎の黒魔術みたいな感じです。でも言われた通りにプログラムすると，不思議と（ポナンザが）強くなるんです」（山本氏） （p. 199）
先人の知恵はすごいということか。
「チェスは音楽や文学のような感情的に深いものは含まない。コンピュータが芸術作品を作り出すようなことがあれば，それこそ一大事である」（ダグラス・ホフスタッター）（p. 231）
コンピュータが作り出した音楽が，人の作った音楽よりも優れていることもあるらしい。音楽も大したものではないのかもしれない。
「（創造性とは）一見異なる領域に属すると見られる複数の事柄を，一つに結びつける能力を持った人から生まれる」（アイザック・アシモフ）（p. 235）
幅広い知識を持ち，異なる領域の事柄を結びつけることができれば，創造が生まれる。
