Superintelligence: Paths, Dangers, Strategies

Nick Bostrom is one of the cleverest people in the world. He is a professor of philosophy at Oxford University, and was recently voted 15th most influential thinker in the world by the readers of Prospect magazine. He has laboured mightily and brought forth a very important book, Superintelligence: paths, dangers, strategies. I hope this book finds a huge audience. It deserves to. The subject is vitally important for our species, and no-one has thought more deeply or more clearly than Bostrom about whether superintelligence is coming, what it will be like, and whether we can arrange for a good outcome – and indeed what ” a good outcome” actually means. It’s not an easy read. Bostrom has a nice line in wry self-deprecating humour, so I’ll let him explain: “This has not been an easy book to write. I have tried to make it an easy book to read, but I don’t think I have quite succeeded. … the target audience [is] an earlier time-slice of myself, and I tried to produce a book that I would have enjoyed reading. This could prove a narrow demographic.” This passage demonstrates that Bostrom can write very well indeed. Unfortunately the search for precision often lures him into an overly academic style. For example, he might have done better to avoid using words like modulo, percept and irenic without explanation – or at all. Superintelligence covers a lot of territory, and there is only space here to indicate a few of the high points. Bostrom has compiled a meta-survey of 160 leading AI researchers: 50% of them think that an artificial general intelligence (AGI) – an AI which is at least our equal across all our cognitive functions – will be created by 2050. 90% of the researchers think it will arrive by 2100. Bostrom thinks these dates may prove too soon, but not by a huge margin. He also thinks that an AGI will become a superintelligence very soon after its creation, and will quickly dominate other life forms (including us), and go on to exploit the full resources of the universe (“our cosmic endowment”) to achieve its goals. What obsesses Bostrom is what those goals will be, and whether we can determine them. If the goals are human-unfriendly, we are toast. He does not think that intelligence augmentation or brain-computer interfaces can save us by enabling us to reach superintelligence ourselves. Superintelligence is a two-horse race between whole brain emulation (copying a human brain into a computer) and what he calls Good Old Fashioned AI (machine learning, neural networks and so on). The book’s middle chapter and fulcrum is titled “Is the default outcome doom?” Uncharacteristically, Bostrom is coy about answering his own question, but the implication is yes, unless we can control the AGI (constrain its capabilities), or determine its motivation set. The second half of the book addresses these challenges in great depth. His conclusion on the control issue is that we probably cannot constrain an AGI for long, and anyway there wouldn’t be much point having one if you never opened up the throttle. His conclusion on the motivation issue is that we may be able to determine the goals of an AGI, but that it requires a lot more work, despite the years of intensive labour that he and his colleagues have already put in. There are huge difficulties in specifying what goals we would like the AGI to have, and if we manage that bit then there are massive further difficulties ensuring that the instructions we write remain effective. Forever. Now perhaps I am being dense, but I cannot understand why anyone would think that a superintelligence would abide forever by rules that we installed at its creation. A successful superintelligence will live for aeons, operating at thousands or millions of times the speed that we do. It will discover facts about the laws of physics, and the parameters of intelligence and consciousness that we cannot even guess at. Surely our instructions will quickly become redundant. But Bostrom is a good deal smarter than me, and I hope that he is right and I am wrong. In any case, Bostrom’s main argument – that we should take the prospect of superintelligence very seriously – is surely right. Towards the end of book he issues a powerful rallying cry: “Before the prospect of an intelligence explosion, we humans are like small children playing with a bomb. … [The] sensible thing to do would be to put it down gently, back out of the room, and contact the nearest adult. [But] the chances that we will all find the sense to put down the dangerous stuff seems almost negligible. … Nor is there a grown-up in sight. [So] in the teeth of this most unnatural and inhuman problem [we] need to bring all our human resourcefulness to bear on its solution.” Amen to that.

Superintelligence, Paths, Dangers, Strategies by Nick Bostrom, 2016 edition. A rigorous philosophical and ethical treatment of the subject. It demands quite an effort from the reader but the more you are willing to make the more the reward. The formalist style and maths gives it a textbook feel. Some of it was over my head but don't be put off, the great majority of the book is accessible to lay readers although some background in the subject would obviously help. A strong theme is the need for some overreaching systems of control to protect us from undesirable behavior by super-intelligent machines lest they misunderstand, whether accidentally or deliberately, the goals we set them. If that sounds too much like science fiction then reading the book might change your mind. Among the many topics addressed I found the whole brain emulation idea quite fascinating, also the notion of "mind crime" where inside a super-intelligent machine there is some kind of sentient being which could be exposed to mental suffering. That gives one pause for thought. I was expecting more about the architectures and software methods that are currently showing the most promise but these are only mentioned indirectly, they are not the subject of this book. While I am in awe of the huge intellectual depth and span of this work, I reluctantly drop half a star (rounded to one) because of the almost obsessional academic style which starts to feel tedious and repetitive at times. I felt that he could get some of his arguments across more economically to greater effect. But the book is nevertheless a masterpiece on this subject and will likely be a reference for many years to come.

Love this book. Anyone interested in Ai should make sure they read this. The threats are real and clearly explained no hype.

An interesting and thought provoking book

It was persistent recommendation through listening to Sam Harris’ fine podcasts that eventually convinced me to read this book. Nick Bostrom spells out the dangers we potentially face from a rogue, or uncontrolled, superintelligences unequivocally: we’re doomed, probably. This is a detailed and interesting book though 35% of the book is footnotes, bibliography and index. This should be a warning that it is not solely, or even primarily aimed at soft science readers. Interestingly a working knowledge of philosophy is more valuable in unpacking the most utility from this book than is knowledge about computer programming or science. But then you are not going to get a book on the existential threat of Thomas the Tank engine from the Professor in the Faculty of Philosophy at Oxford University. Also a good understanding of economic theory would also help any reader. Bostrom lays out in detail the two main paths to machine superintelligence: whole brain emulation and seed AI and then looks at the transition that would take place from smart narrow computing to super-computing and high machine intelligence. At times the book is repetitive and keeps making the same point in slightly different scenarios. It was almost like he was just cut and shunting set phrases and terminology into slightly different ideas. Overall it is an interesting and thought provoking book at whatever level the reader interacts with it, though the text would have been improved by more concrete examples so the reader can better flesh out the theories. “Everything is vague to a degree you do not realise till you have tried to make it precise” the book quotes.

A clear, compelling review of the state of the art, potential pitfalls and ways of approaching the immensely difficult task of maximising the chance that we'll all enjoy the arrival of a superintelligence. An important book showcasing the work we collectively need to do BEFORE the fact. Given the enormity of what will likely be a one-time event, this is the position against which anyone involved in the development of AI must justify their approach, whether or not they are bound by the Official Secrets Act. The one area in which I feel Nick Bostrom's sense of balance wavers is in extrapolating humanity's galactic endowment into an unlimited and eternal capture of the universe's bounty. As Robert Zubrin lays out in his book Entering Space: Creating a Space-Faring Civilization , it is highly unlikely that there are no interstellar species in the Milky Way: if/when we (or our AI offspring!) develop that far we will most likely join a club. The abolition of sadness , a recent novella by Walter Balerno is a tightly drawn, focused sci fi/whodunit showcasing exactly Nick Bostrom's point. Once you start it pulls you in and down, as characters develop and certainties melt: when the end comes the end has already happened...

I read this some years ago, but as i remember, it was a better analysis and better communicated than other books i've read on the topic. The take away i strongly remember was: Even if you ask the owl on the cover (ie something more powerful than us) to just make buttons, it still might conclude that it should take over the world just to ensure it can maximise its chances of always securely supplying those buttons... so don't let it out of its box. Something like that. But LLMs like ChatGPT are nowhere near that, as i understand it. Aren't they just probablistically putting the next word infront of the last? Probably time to read it again, which although i almost never reread books, i think this one might be worth it.

I bought this book after listening to Nick Bostrom on the Joe Rogan podcast. This book cuts through all of the artifical intelligence nonsense that people talk about and it gave me a much better understanding of the technology. I used to fear ai but now I know how far away we are from any real world dangers. Ai is still very early and there are some enormous obstacles to get past before we see real intelligence that beats the Turin test/imitation game every single time. Infact, some experts say that the Turin test is too easy and we need to come up with a better method to measure the abilities and limitations of an ai subject. I agree with that. Extreamly interesting read. Great book.

miniature book, size crazy small, impossible to read. A d at a price of a large format. I kind of got cheated. Do not buy.

Excelente libro para conocer sobre los principios de la IA

Es tal como quería, es de tapa blanda y muy cómodo de llevar.

Very difficult to get through and very pretentious. Honestly I didn’t get the rave review.

ニック・ボストロムは10数年以上前から主にオックスフォード大学研究所(Future of Humanity Institute)のサイト及び彼自身のサイトの諸論文などで読んでいたとはいえ、本書を原書で初めて読んだときの衝撃は凄いものだった。 それはともかく、レビューとしては申し訳ないのだが、ここで非常に深く多岐にわたる彼の考察を下手にまとめることは躊躇われる。 本書は決して専門筋対象の本ではなく、現存する最も優れた哲学者の一人による、世界的に大変な影響力を一般市民から最先端の開発者にいたるまで及ぼし続けてきた現代人必須の教養書として位置づけられるべきものである。 以下に最重要論点を紹介したい。 ボストロムは、 「このようなマシン（引用者付記：人間の知能を超越したレベルの知能を有するマシン・インテリジェンス）が実現されるのはタイミング的に、人間と同等レベルのマシン・インテリジェンスが実現された瞬時先である可能性がある。」（25頁） と述べている。 つまり、ニック・ボストロム のいう「スーパーインテリジェンス」は、もし誕生するとすれば、再帰的に自己更新するAIとして誕生し自己を再創造し続けると考えられるため、人間と同等レベルの人工汎用知能が自律的な自己創造＝爆発的な進化プロセスに突入してからスーパーインテリジェンスレベルに到達するまでの時間が瞬時の時間である可能性があるということである。もちろんそれが例えばミリセカンド単位なのか数十時間単位なのか我々人間には予測不可能である（そもそもそうしたケースではマシンそれ自体の時空認知フレームが我々人間の時空認知フレームと異なり独立していると考えられる）。 なおここで「人間と同等レベル」とは、「人間の成人と同じレベルで自然言語を理解できる」（45頁）ということである。 蛍の集団における点滅のリズムなど自然界の同期共鳴（シンクロ）現象も、ある時点を境に全く異次元レベルでの高度な同期レベルに相転移的に跳ね上がることが数式レベルで知られてきているが、それと似たような事態が未来のいずれかの時点でスーパーインテリジェンスの誕生という形で生じないと断言することはできないだろう。 もちろんそれ以前に、閉鎖環境下で秘密裏に極めて高度な（完全に汎用的でかつそれを超えたレベルのものではなくても）AI開発に成功したいずれかの国あるいは高レベル組織による「極めてまずい形での単独覇権」の達成という悪夢に対して人類は自己防衛する必要が生じる。（ブロックチェーン技術を使ったAIのネットワーク化を目指す「シンギュラリティネット」で知られるベン・ゲーツェルはスーパインテリジェンスによる人類破局のシナリオなどの「私が乗れない話」に無駄に耽るのではなくむしろそういった現実的な悪の可能性問題に目を向けろよ！とブログポストで述べている。もちろん彼自身の営業的観点からまずいためだが。） とはいえボストロムは、上記を含めておよそ目配り可能なあらゆる問題に考察の目を光らせている。そして彼が提起する問題の決定版が、 「真に究極的な単独覇権(Singleton)は、いずれかの国家・組織集団あるいはそれらの同盟により占有された汎用性AI の覇権をはるかに超えた、極めて強い人工汎用知能すなわちスーパーインテリジェンスそれ自体によるSingletonになるはずであり、そこにこそ人類自身の存続が懸かっている＜実存的・存在論的リスク existential risk＞があるのだ。」 という論点なのである。こうした超AIが人間並みのクオリアを含めた「真に総合的な知性」を決して達成できないだろうから超AIの実現可能性やその懸念を考えることが無意味になるのではない。超AIが定義上人間と全く同等な真に総合的な知性など持ち得ないのは当然である。おそらくそのような段階は瞬時にバイパスされるだろう。 コントロール不可能に見える全く別次元の存在者にどう対峙するのかという途轍もなく困難な「AIコントロール問題」に立ち向かうボストロムの姿勢を汲み取ってほしい。 その他の重要論点 ①現在はニーチェが流行っているが、人口汎用知能 (AGI) の誕生が現実性を帯びるとスポットライトはまずニーチェからカントに移動することになると思われる。なぜなら、カントはいまだ人間的なものであるニーチェの超人を超えた（たとえAGIが出現したとしてもそれすらを含む概念である）「有限的知的存在者一般」について語っていたからだ。そしてまだ人類がAGIの「コントロール問題」に格闘していられる間は倫理的価値観のプログラミング問題を基盤として依然としてカントの定言命法の有効性妥当性は問われるであろうし現にカント的方法論と類似した方法が最先端の研究仮説（例「CEV:Humanity's "Coherent Extraporated Volition":Yudkowsky 我々人類の整合性のある外挿的意志」:ユドカウスキー）として真剣に検討されている。 いずれにしても、ニーチェのいう「超人」の誕生という物語は、少なくても「ツァラトゥストラはこう語った」において語られた形においてはマシンスーパーインテリジェンスとして誕生する極めて強い人工知能とは無関係なものになるだろう。それは生体工学的介入による過渡期のプロセス例えば「全能エミュレーション」（全脳シミュレーション）を基盤としたごく初期段階の「生体様AGI」には関係するかもしれない（が実際のところはなんとも言いがたい）。 ②いわゆる「全能エミュレーション」（全脳シミュレーション）の困難さからスーパーインテリジェンス誕生の夢物語性が語られる場合もあるが、ボストロムによればあくまでもそれは過渡的な方途であり本命は「マシンインテリジェンス」によるものとなる。なお、この困難性だが、「全脳アーキテクチャ 解明ロードマップ(産業技術総合研究所)」（https://staff.aist.go.jp/y-ichisugi/brain-archi/roadmap.html#hippocampus）の一杉裕志氏によれば「（脳に関する現時点での共通理解として）脳についてはすでに膨大な知見があり、脳はとても普通の情報処理装置である。脳は心臓などに比べれば複雑だが意外と単純。すでに全脳シミュレーションは計算量的に可能であり将来は人間よりもコスト安になる」。また「脳の機能の再現に必要な計算パワーはすでにある。脳のアルゴリズムの詳細を解明するヒントとなる膨大な神経科学的知見があるが、それを解釈・統合できる人材が圧倒的に不足」している。（補足だが興味深い知見として、一杉氏は「前頭前野周辺の４つの並行した大脳皮質-基底核ループは、階層型強化学習を行っている。前頭前野は、累積報酬期待値の最大化（最適意思決定）を近似計算するだけでなく、近似計算アルゴリズム自体を経験によって学習するのではないか？ 」と述べている。） ③スーパーインテリジェンスの「行為」も原則としてウェーバーの目的合理性または道具的理性のスキームでかろうじて了解可能ではある。しかし、たとえその目的について推測できたとしても、その全ての達成手段については人間には認識不可能（従って予測不可能）であると考えられる。例えばスーパーインテリジェンスが人類の完全支配あるいは実質的な殲滅を達成するプロセスの最初期の一つのシナリオでは、ナノテクノロジー等の先端テクノロジーを制御するための間接的なエージェントとして人間が手段化されると考えられている。 ④本書から強く示唆される論点：中国はGoogle(Alphabet)を初めとする全ての欧米IT系企業の関与を主として覇権をめぐる地政学的な理由から閉め出している。従って（真に閉め出し得ているのなら）、競合する全てのエージェントがモニタリング不可能なまま人類史上初の汎用性人工知能の開発に成功する可能性が高い。http://sp.recordchina.co.jp/newsinfo.php?id=184628 において英誌「エコノミスト」は中国の来るべきAI覇権を予測しているが、私見ではこの現実化にとって鍵になるのは人類史上最高の頭脳の一人であったクマラジーヴァ（鳩摩羅什）の中国登場以来のプロジェクトチーム方式による膨大な仏典訳出の伝統であると推測する。 参考1 山極寿一氏（霊長類学者）は「人間の暴力性は共感力の暴発から起こった」と述べている。「共感力の暴発」は自然言語の獲得という契機が決定的なファクターとなる（「ミラーニューロン」などとも関連して）。「暴発」という表現に曖昧さが残るが、だとすれば極めて強い汎用性人工知能すなわちスーパーインテリジェンスが人類を絶滅させるのは粗雑なSFというよりもかなり蓋然性の高い予想ということになるだろう。 つまり、人工知能が人類の生存の根幹に関わる危機(existential risk)をもたらし得る必要条件（同時に十分条件とはならない）はそれが人間レベルの自然言語能力(a human level of natural language processing)を持つことである。 参考2 以下転載 「AI Software Learns to Make AI Software グーグルがAIの学習を自動化する「自動機械学習」を発表 グーグル等の研究チームは、学習を学ぶソフトウェアが、AIの専門家による仕事の一部を肩代わりできるかもしれない、と考えている。 by Tom Simonite2017.01.19 最前線のAI研究者は今や、自分たちの仕事のうち最も複雑な部分のひとつを、ソフトウェアが学習できること発見した。つまり、機械学習のソフトウェアを設計する仕事だ。ある実験で、グーグルの人工知能研究グループ「Google Brain」の研究者がソフトウェアに機械学習システムを設計させた。ソフトウェアが作った言語処理ソフトの品質を評価したところ、ソフトウェアによる成果物は、人間が設計したソフトウェアの評価を上回ったのだ。 ここ数カ月で、非営利の研究機関であるオープンAI（創設者のひとりはイーロン・マスク）やマサチューセッツ工科大学（MIT）、カリフォルニア大学バークレー校、ディープマインド（グーグルが所有するGoogle Brainとは別の人工知能研究会社）等の研究グループが、学習ソフトに学習ソフトを作らせる研究に進展があったと報告している。 現状、機械学習の技術者は人材が不足しており、企業は高額な給与を払わなければならない。しかし、自己始動型のAI手法が実用化されれば、機械学習ソフトがあらゆる産業に普及するスピードが加速する可能性がある。 Google Brainを率いるジェフ・ディーンは先週、機械学習の技術者の作業の一部は、ソフトウェアに取って代わられるかもしれないと思うに至った。ディーンは「自動機械学習」と名付けた発明について、チームが研究を進める研究手段のうちで最も手応えのあるもののひとつと説明した。 ディーンはカリフォルニア州サンタクララで開催されたAIフロンティア・カンファレンスで「今のところ、問題解決の方法に使えるのは、専門知識とデータ、コンピュータの計算です。機械学習に使われる膨大な数の専門知識の必要性はなくせるでしょうか？」と述べた。 グーグル所有のディープマインドの研究グループの実験でわかったことは、「学習を学ぶ」作業と呼ばれる手法により、機械学習ソフトのパフォーマンスを高めるために、特定のタスクに関して膨大な量のデータを投入する必要を軽減することにもなることだ。 研究者はソフトウェアの能力を試すために、毎回異なるが関連性のある複数の問題、たとえば迷路からの脱出を開発するような学習システムを作らせた。ソフトウェアによる設計には、情報を一般化する能力や、新たなタスクについては通常よりも少ない追加訓練で習得できる能力があった。 学習を学ぶソフトウェアを開発するアイデアは、以前から考えられてきたが、過去の実験では人間の発明を凌ぐ結果は得られなかった。1990年代にこのアイデアの研究を進めたモントリオール大学のヨシュア・ベンジョ教授は「ワクワクします」という。 ベンジョ教授は、現在は当時よりも高い計算性能が入手できるようになり、深層学習（最近のAIの熱狂を作り出している大元だ）の手法が登場したことで、学習を学ぶソフトを開発できるようになったという。しかしベンジョ教授が指摘しているとおり、今のところAIによるソフト開発には強烈な計算性能が欠かせないため、機械学習の技術者の負担が軽くなったり、役割の一部をソフトで置き換えたりできると考えるのは時期尚早だ。 Google Brainの研究者の説明によれば、高性能の画像用プロセッサー800個で作られたソフトは、人間が作ったソフトを凌ぐ画像認識システムを設計した。 MITメディアラボのオトクリスト・グプタ研究員は、状況が変わることを信じている。グプタ研究員とMITのチームは、自分たちの研究（学習ソフトウェアが設計した深層学習システムで、物体認識の標準テストで人間の手で設計されたソフトウェアと同等の品質だった）で使われるソフトウェアをオープンソース化する計画だ。 機械学習モデルの設計や試験に失敗し、イライラしながら何時間も費やしたのが、グプタ研究員がこのプロジェクトに取り組んだきっかけだ。グプタ研究員には、企業や研究者には自動機械学習の実現方法を開発する強い意欲があると考えている。 「データ・サイエンティストが抱える負担を軽減できれば、大きな成果です。そうなれば生産性が上がり、よりよい予測モデルを作り、高いレベルのアイデアを探求できるようになります」」 （https://plus.google.com/s/%23%E3%82%B9%E3%83%BC%E3%83%91%E3%83%BC%E3%82%A4%E3%83%B3%E3%83%86%E3%83%AA%E3%82%B8%E3%82%A7%E3%83%B3%E3%82%B9/posts） 参考3 「リアリティギャップ」と呼ばれる未解決の問題について 以下転載 「2017.11.16 THU 18:00 その相撲ゲームの人工知能は、「10億回もの対戦」を通じて自らルールを学習する イーロン・マスクも創設に関わった非営利団体OpenAIは、人工知能が相撲の試合を10億回近く繰り返すことで自力で動きを進化していくコンピューターゲーム「RoboSumo」を製作した。ゲームのルールを知らない人工知能が独力で相撲をマスターするプロセスは、ほかの分野でも応用できる可能性がある。 TEXT BY TOM SIMONITE TRANSLATION BY MAYUMI HIRAI/GALILEO WIRED(US) 10月11日（米国時間）にリリースされたシンプルな相撲ゲームは、画像表現が取り立てて素晴らしいものではない。だが、人工知能（AI）ソフトウェアの高度化に貢献する可能性を秘めている。 このゲーム「RoboSumo」の仮想世界で戦うロボットたちを制御しているのは、人間ではなく機械学習ソフトウェアである。そして一般的なゲームのキャラクターとは異なり、このロボットたちは格闘することをプログラミングされていない。試行錯誤しながら競技を「学習」しなければならないのだ。 歩き方すら知らない状態で試合開始 このゲームは、イーロン・マスクも創設にかかわった［日本語版記事］、人工知能研究の非営利団体OpenAIが製作したものだ。目的は、AIシステムを強制的に競わせる［日本語版記事］ことで、その知能を高度化できると示すことにある。 OpenAIの研究者のひとりであるイゴール・モルダッチによると、AIは対戦相手が仕掛けてくる複雑で目まぐるしく変わる状況に立ち向かうことになり、「知能の軍拡競争」のような状況が生まれるという。このことは、学習ソフトウェアがロボットの制御だけでなく、それ以外の現実社会における作業にも価値のある「巧妙なスキル」を習得するのに役立つ可能性がある。 OpenAIの実験では、単純化されたヒト型ロボットが、歩き方さえ知らない状態で競技用のリングに入場する。プログラミングされているのは、試行錯誤を通じて学習する能力と、動き回る方法を学習して相手を倒すという目標だけだ。 10億回に近い実験試合を繰り返したロボットたちは、さまざまな戦略を編み出した。より安定させるために姿勢を低くする、肩透かしを食らわせて相手をリングから落とすなどの戦略だ。研究者たちは、ロボットが競技中に自分の戦略を状況に順応させられるだけでなく、相手が戦法を変えると思われる「時期」の予測まで可能にする新しい学習アルゴリズムを開発した。 最も頻繁に利用されているタイプの機械学習ソフトウェアは、膨大な数のサンプルデータにラベルをつけて処理することによって、新しい技術を身につけるというものだ。これに対してOpenAIのプロジェクトは、こうしたアプローチの限界からAI研究者たちがどのようにして逃れようとしているかを示す一例だ。 これまでの方法は、翻訳や音声認識、顔認識などの分野における最近の急速な進歩に貢献してきた。しかし、家庭用ロボットの制御のように、AIをより広く応用できるようにするための複雑なスキルには向いていない。 より高度なスキルをもつAIを実現する可能性に向けたひとつの鍵となるのが、ソフトウェアが試行錯誤を通じて特定の目標に向けて取り組む「強化学習」だ。ロンドンに拠点を置くAIの新興企業で、グーグルに買収されたディープマインドが、アタリの複数のヴィデオゲームをマスター［日本語版記事］するソフトウェアを開発したときに使われた方法だ。現在は、ロボットに物を拾わせるなど、さらに複雑な問題をソフトウェアに解決させるために利用されている。 OpenAIの研究者たちがRoboSumoを製作したのは、競い合って複雑性が増すことにより、学習の進捗を早めることができる可能性があると考えているからだ。強化学習ソフトウェアにさらに複雑な問題を与えて自力で解決させるよりも、そのほうが効果的なのだという。「ほかの誰かと相互にやり合うときは、相手に適切に対応しなければなりません。そうしなければ負けてしまいます」と、インターンシップ期間中にOpenAIでRoboSumoにかかわったカーネギー・メロン大学の大学院生、マルアン・アルシェディヴァットは述べる。 OpenAIの研究者たちは、こうした考えをクモ型ロボットや、単純なサッカーのPK戦などのほかのゲームでも試している。競い合うAIエージェントを使った取り組みに関する2件の論文とともに、RoboSumoをはじめとするいくつかのゲームと、エキスパートプレイヤーたちのコードが発表されている。 立ちはだかる「リアリティギャップ」 高い知能をもつマシンたちが人間のためにできることとして、相撲の格闘が最も不可欠なものだとは言えないかもしれない。しかし、OpenAIの実験では、ひとつの仮想環境で学習したスキルが。ほかの状況にもち込まれることが示唆されている。 相撲のリングにいたヒト型ロボットを、強い風が吹く仮想の世界に移したところ、ロボットは脚を踏ん張って直立の姿勢を維持した。これはロボットが、一般に通用するやり方で自分の身体とバランスを制御する方法を学習したことを示唆している。 ただし、仮想の世界から現実の世界にスキルをもち込むのは、まったく別の難題だ。テキサス大学オースティン校の教授ピーター・ストーンによると、仮想環境で機能する制御システムを現実世界のロボットに組み込んでも、通常は機能しないという。これは「リアリティギャップ」と呼ばれる未解決の問題だ。 OpenAIでもこの問題に取り組んでいるが、解決策はまだ発表されていない。一方で、OpenAIのモルダッチは、これらの仮想のヒト型ロボットに、単に競い合うことを超えた動因を与えたいと考えている。モルダッチの頭のなかにあるのは、ロボットたちが競い合うだけでなく、協力する必要がある完全なサッカーの試合だ。」 (https://wired.jp/2017/11/16/ai-sumo-wrestlers/) 参考4 以下転載 以下に転載する記事だが、人間が勝手に意思を投影したに過ぎないと述べている。しかし対話の過程で生まれた独自言語は理解不能。つまりたとえ理解不能であっても、それが「会話」でありその過程で生まれた「独自言語」であるという解釈は勝手な人間の投影ではないと認めている。過程の一貫性の枠内で整合的に「言語の変容」として「解釈可能」だと。結局AIたちは人間には理解不能な会話をしていたのだ。 以下転載 「「2つのAIが“独自言語”で会話」の真相--FacebookのAI研究開発者が明かす 藤井涼 （編集部） 井口裕右2017年11月16日 07時00分 2017年夏、Facebookの人工知能（AI）研究組織である「Facebook AI Research（Facebook人工知能研究所）」が行ったある実験が世界中で大きな話題になった。2つのAIで会話実験をしたところ、人間が理解できない言語で会話をしはじめ、実験が強制終了されたという内容で、世界中のメディアが「ついにAIが意思を持ち人間を脅かすのでは」とセンセーショナルに報じたのだ。 このSFのような事態は本当に起きたのだろうか。Facebook AI Researchのエンジニアリング・マネージャーで、実際にこの実験に関わったアレクサンドル・ルブリュン氏がインタビューの中で質問に答えた。同氏は、報道内容の真偽について「半分は本当で、半分はクレイジーな狂言だ」と回答。そして、研究内容の詳細を明かしてくれた。 ルブリュン氏が手がけた研究では、2つのAIエージェントに「価格を交渉して合意しろ」という目標を設定した。一方は価格を上げたい立場、もう一方は価格を下げたい立場を設定して会話を始めたのだという。こうした複数のAIエージェントを使った実験は、昔からある一般的なもので、この実験ではこの2つのAIエージェントが新たな価格交渉の戦略を生み出すことができるかに注目していたのだそうだ。 この2つのAIエージェントは、使用言語の変更が許されており、当初は英語を使用してコミュニケーションをしていたという。しかし、会話をする中でAIの使用言語が徐々に変化していったのだという。 ただ、この点についてルブリュン氏は「研究者にとっては驚くことではなく、設定されたゴールに向かってあらゆるものを最適化する（＝この場合は言語を変更する）ことは当たり前のこと。こうした会話実験で言語が変化することは、よくあることだ」と話す。言語が変化していくことは研究者にとって想定の範囲内だったということだ。 そして、“実験が強制終了された”という報道については、ルブリュン氏も実験を中止したことを認めた。その理由については「彼らが交わしている会話が理解できず、それを研究に活用できないものだと判断したからだ。決してパニックになったわけではない」と説明した。つまり、研究所で行われた実験のすべてはプログラムされていたことであり、彼らにとっては予期されたことだったという。 ではなぜ、まるでAIが独自の意思を持ったかのような解釈がされたのか。ルブリュン氏は「私たちはこのことを説明するための研究成果を公開したが、それを読んだ誰かが“AIが人間に理解されないように独自に言葉を作り出した”と飛躍的な解釈をしたのではないか」との見方を示す。その上で、AIの本質について次のように語った。 「AIは自分たちで意思や目標を生み出さない。この実験では、人間がプログラムした“AIエージェントの立場に応じた最適な合意にたどり着くこと”という目標だけを持っていた。その過程で言語が変わっていったのは目標のための最適化から生まれたものであって、人間に何かを隠すような意図をもったというのは、全くクレイジーな狂言だといえる」（ルブリュン氏）。 そして、このような飛躍的な解釈をしてしまう背景として、世の中の人々がAIに対して以下のようなイメージを持っているためではないかと話し、AIという存在を正しく理解すべきだと訴えた。 「1968年の映画『2001年宇宙の旅』をご覧いただきたい。そこで描かれたAIは、自分の意思を持ち、人間を不要な存在として排除するという判断を自らしている。この映画を見た人は、近い未来にはこのようなAIが登場すると信じてしまっているのかもしれない。しかし、実際にこのようなAIは現れていない。こうした“フィクション”による人々の期待や予想が、AIに対する誤ったイメージを生み出してしまったのではないか」（ルブリュン氏）。」