2024年

1年前の大みそかのブログを書いたときくらいから、AIに関する情報にどう向き合うべきかを考えてきました。
https://rmaruy.hatenablog.com/entry/2023/12/31/005332
来年は「AI」よりも「データセンター」がもっと語られるべきだと感じています。

2024.12.28 Bloomberg “AI Needs So Much Power, It’s Making Yours Worse”https://www.bloomberg.com/graphics/2024-ai-power-home-appliances/
米国のデータセンターの近隣の家庭に供給される電力に、許容できるレベルを超えた電圧ゆがみが生じていることを報じたBloomberg記事。

@kei_masutomi 興味深いです。静止した視覚像を見ているときにも、脳はそれを時間的に構成している（スケッチを描いている）ということかと思いました。『世界は時間でできている』という本と、『センスの哲学』という本にも、似たような視点の記述がありました。

At one time I thought the lack of acute division between AI ethics and AI safety communities in our country can be an advantange to realize healthier discourse, but now I feel more like we're exposed to epistemically dubious claims without antidotes.

はてなブログに投稿しました
2024年の振り返り - 重ね描き日記（rmaruy_blogあらため） https://rmaruy.hatenablog.com/entry/2024/12/30/214435
#はてなブログ …主に1年後の自分向けの振り返り記事です。本年お世話になった皆様に感謝申し上げます。

（ALIGNのSlackは年末休みでも専門家がいろいろ教えてくれてありがたい…）

やはり、Luccioniさんも同意見。この問題、2025年のelephant in the roomであることは間違いなさそう。数億人にどのようにcomputeを配分するか、その胸算用はビッグテックの中だけにある。
https://x.com/SashaMTL/status/1873300573422039070?t=hCe6XHuYPpVEzg2CCoHltQ&s=19

SalesforceのSustainability Leadによる試算では、ARC-AGIで用いられたo3の消費電力量（多い方）は1785kWh。ただしOpenAIのAPI料金をもとにした試算であるため、かなりの不確かさがあると考えられます。https://www.linkedin.com/posts/bgamazay_openai-has-announced-o3-which-appears-to-activity-7276250095019335680-sVbW?utm_source=share&utm_medium=member_android

ちなみに「至りストーリー」というワーディングは荒木健太郎@arakencloudさんからかなと思います。https://note.com/academist/n/n2becf9c9f2d6
…研究者に伴走するRe:Relの「至りストーリー」、もっともっと聞いていきたいです。

…個人名を出していただいているところはズシンと来ます…が、私も大きな波を感じながら一つの余波を山本さんに伝えられたのかなと思いました。「構造の外」という話については、体制の内外で人の流動し、Re:Relの活動の幅が広がると良いと思います。自分も、広げる一助になる活動をしたいです。

今月、文科省からアカデミストに転職された山本弦さんによる、自身のキャリアの振り返り。こういう思いで仕事をしている（いた）行政官がいるということを広く知っていただければと思います。 https://t.co/5gCGI0Mzuo

@tanichu https://diamond.jp/articles/-/356700
読書猿「いまや…多くの人は大学で「文章はフォーマットだ」と教わっています。その人たちがつくる「文章ならざるもの」を相手にしなくてはならない時代にあって、阿部さんはフォーマットの裏側にあるダイナミズムを解明してみせることで、文章の「正道」を示してくれた。」

@gnymmt …私もですwww
連鎖させていきましょう～～

@hayataka88 ありがとうございます…！！
気の利いた言葉が思い浮かばないので、全部説明してしまえと決めたタイトルでした。podcastでその後の動きもフォローできそうでありがたいです！！

巷で「文系」という言葉が「理数系の素養を持たない人」という意味で使われることが多すぎるために、「人文学・社会科学の大学院レベルの訓練を積んだ人」を指す別のラベルが必要かもしれない。

おおーこれは毎回聞きたいです。
（@hayataka88さんに「拡張する研究開発エコシステム」を副題まで紹介していただいて感激でした…） https://x.com/ryo77331/status/1872785794026619094

グレーター霞が関は賛成。上山先生、シンクタンクを作るというけれど、簡単ではないと思う。よい人が集まるか、アカデミアとの連続性のあるキャリアとして成立するかが鍵になりそう。 https://t.co/dTYqOReuLH

LLMのトークンあたりの値段が「指数的に下がっている」とも言われるが、これは市場競争のなかでつけられた「定価」であることに注意したい。ChatGPT等では訓練に要する計算量を数日の推論で使っているとの推計もあり、価格低下はユーザーに配分できる計算資源の拡大で実現しているのでは。

生成AIの消費電力について調べ始めて、先陣を切って取り組む欧米の研究者数名がわかってきた。彼らの報告を読むと、いかに実態が霧に包まれているかがわかる。LLMの一クエリーがおおよそ「数Wh」でGoogle検索の10倍という話も、実は2023年初頭時点の推計で、GPT-4以降の数字を見つけられない。

Melanie Mitchelさんの、ARC-AGI解説とo3の所感、大変勉強になる。
・ARCは「人間はすぐに解ける問題」なことがミソだが、近年はaugmentした課題を大量に解かせる手法が主に。＝「ARC版苦い教訓」
・o3はそうではないかもしれないが、計算量に頼っていることは確か。

https://substack.com/home/post/p-153510923

自分の受験勉強は、割と好奇心駆動だったように思う。受かることより、分かることに主眼があった。化学平衡論が理解しきれなかったので浪人してよいか親に聞いたら、それは大学で勉強しろと言われた。熱・統計力学という、想像を超える学問が待っていた。

@ifuiaa 「張り合う以外の方法で」の主語は私でした。科学コミュニケーションの立場で何ができるかなと。もちろん、AI研究はどんどんやっていただきたいです。

何度も頷きながら読んだ素晴らしい記事。
「私は「AGI」という言葉の使われ方に一抹の不安を抱いている。…機械学習コミュニティにおいて工学的要求から定められたベンチマークが、社会全体における「（人間の）知能」の定義を揺れ動かす可能性を感じているからだ。」https://x.com/hiromu1996/status/1871655424874971539?t=YWjv78nJZR27rDjZea2Aig&s=19

@ifuiaa 読んでみます！ありがとうございます🙏

高木さんがいつも言っていて記事にも盛り込んだのは、「どう変わるか」だけでなく「どう変えたいか」「そもそもどうであるとよかったのか」についてもっと会話があってもよいよね、ということ。それを知の勾配の低いところでやるのが挑戦。もちろん勾配を減らす努力も大事。
https://www.nikkei-science.com/202502_048.html

上記のようなフラストレーションは、むしろ英語圏ではしばしばSTSの研究などから普通に表明されているものであるように思うが、自分の周りではほとんど共感されない気がしている。起こることを冷静に受け入れているというか。どうなのだろう。

しかし、大きくて強力な基盤モデルを作って張り合う以外の方法で、一石を投じる道はないのだろうか。ある種の作られた「無知」を自覚しつつも、オルタナティブなイマジナリー、世界観をしなやかに発展させていく可能性。…年明けから関わる企画が、そのささやかな一歩になればと思う。9/9

（この前、そんなことを言うなら、Sam Altmanに会いに行けばいいじゃないか。遠くから言ってたって駄目なんだ、事を起こしたことが偉いんだ、と言われた。それは一理ある。）8/n

AGIまでのカウントダウンといった技術発展のビジョン、共同的な未来想像（＝イマジナリー）が、自分がいるコミュニティから隔絶した他国のテクノロジーエリートに牛耳られているように思えることにもやるせなさを感じる。しかもそれは技術だけでなく、人間としての自己像にもじわじわ浸透していく。7/n

しかも、o1は（私は触ったことがないが）すでに国内の知識層に浸透しつつあり、知的活動の基盤になる可能性が高い技術でもある。巨大な「作られた無知」としてのインフラの上に、私たちはどのような知を積み上げようとしているのだろうか。6/n

o1ほど強力な装置の仕組みが、科学として公知にされず、国内髄一の科学雑誌ですら提供企業のナラティブを報じるしかないというこの状況は何なのだと思う。科学・技術は競争原理により「隠される」のは当然だろうが、これほどの汎用技術について、これほど知の勾配が存在したことはあっただろうか。5/n

知る限り、o1の「仕組み」はごく表面的にしか外に出ていない。変化していないかどうかもわからない。「推論スケーリング」もどれくらい実在するのかわからない現象だと思うし、reasonerからagentへというOpenAIのビジョンも、どこまでが技術的展望でどこからがビジネスプランなのかを知る術がない。4/n

まず、o1、そして雑誌発売の数日前に発表されたo3などという世界を揺るがしつつある最先端の技術の内実について、OpenAIが注意深く選んだ情報とナラティブを通してしか私たちは知る由がないのだということを改めて感じた。3/n

記事の素晴らしさの一方で、これを読みながら最近のAI動向について感じているモヤモヤがさらに強まった。一度連投で吐き出してみたいと思う。2/n

『日経サイエンス』2月号の吉川記者の記事。o1を中心にreasoningを強化した言語モデルの解説。中国企業による開発など、知らない情報も多く充実している。1/n
https://www.nikkei-science.com/202502_034.html

日経サイエンス記事を脱稿したくらいの時に、ちょうど別件でSakana AIの伊藤COOのインタビューの機会をいただいて、「The AI Scientist」に関するビジネス方面からの理解が少し深まりました。https://scienceportal.jst.go.jp/.../interview/20241216_e01/

「計算の物理学」みたいな本はないのかな。

こちら明日くらいから発売です。よろしければ店頭でご覧ください。他の記事も楽しみです（o3はカバーできていないと思いますが）。
https://www.nikkei-science.com/202502_048.html?fbclid=IwZXh0bgNhZW0CMTEAAR2Hwjka8tYLy5gBwb7VsxnueNt0RfK5cGeLm9KRDx8C1FAgQw86WP0OvSc_aem_SaylVH3_D6FdCEPBtds8Cw

計算量が「知能」に変換される時代、計算資源の再分配政策としての ”Universal Basic Compute (UBC)" は必要だろうか。いや、いらないか。人間は生まれながらに「脳」という名のUBCを割り当てられているとも言える。

渡邉さんが委員を手掛けていらっしゃる「寄付白書2025」プロジェクトもあと数日クラウドファンディングを実施中です。重要なプロジェクトだと思いますので、こちらもご確認ください。https://congrant.com/project/jfra/13498

【1/17開催】Open academia Lectures #4 のテーマは「研究への寄付」。寄付募集の実践と研究の両面で活躍する渡邉文隆さん @fwatanabe をお迎えし、研究に寄付を募る、研究に寄付をする、研究への寄付文化を形成するための第一歩を考えます。ぜひご参加ください！https://peatix.com/event/4232208/view

SmartNews社からの公募。日本語圏のアカデミア・非営利セクターにも、西海岸のAIコミュニティとつながれる人が求められていると思う。https://x.com/kensuzuki/status/1870992062382039249

@hayataka88 響き合っていて、よかったですね～。
デーモンに突き動かされる人と一緒に走るフォロワーシップを、どう磨いていけるかと考えながら聞いていました。

公開情報からo3の中身を推測した記事。難しいが、たぶんこのあたりがぎりぎりの推定なのだろう。https://x.com/natolambert/status/1870254092754596294?t=RMt_ho63BP0iGdYv80VJYQ&s=19

@taka_mimura 最終回で、個人の記憶と記録と集合的記憶の話だったことがわかって、すごく感動しました。

ARC-AGIという特定のベンチマークで驚くべき性能が出たことが、どれくらい「AGI」という言葉に込められた多様な期待や脅威の実現に近づいたといえるのかについては、冷静に見ていく必要があるかなと。
https://x.com/rmaruy/status/1840147277996011612

「o3はAGIなのか？」という問いが俄かに立てられているここ2日間ですが、「AGIとは何か？」が気になるところだと思います。答えは「明確に定義されていない」だと思っています。https://speakerdeck.com/rmaruy/gai-yao-ban-kao-cha-noto-agirisuku-noyi-lun-nidouxiang-kihe-ebaiinoka-ver-dot-1?slide=5 https://t.co/aKrIDPxixo

@beast_the_box 特定用例は念頭にありませんのであしからず…笑

「〇〇完全に理解した」や「〇〇なんも分からん」という表現は、「〇〇がわかること」の階梯における自身の中途半端な位置を、上から・下からの差異として戯画化した表現だと思うが、〇〇を理解することの価値が前提されていように見える点は好ましい感じがする。

20代前半までは過去の問題は「記憶の脳科学」で迫れると思っていたのだが、自然科学で収まらない問題ということをはっきり確信したのが30歳くらい。https://rmaruy.hatenablog.com/entry/2018/09/23/223511　「記憶の哲学」との出会いもそれからでした。

理解には時間がかかりそうだが、「共進化モデル」には大変興味をそそられる。過去への指示をサポートする様々な「技術」がそこで演じた役割に特に興味がある。
「過去はどこに行ったのか？」は20歳頃の自分の中心的な問いでもあり、問題自体は個人的にはど真ん中。
https://rmaruy.hatenablog.com/entry/2018/12/21/221553

平井講義第3回を視聴。100年来の大問題に生成中の哲学を聞く貴重な機会に。 https://x.com/hiraiyasushi1/status/1869408572385456131

寄付というお金の流れに関心を寄せてきた一人として、寄付白書プロジェクトに微額ながら寄付しました。https://congrant.com/project/jfra/13498/reports/6290

@dothen74boc そのうえで、自分の役割はなんだろうと。「1000人の先」については、それぞれご本人とコアスタッフで個別の物語を見いだしていかれるのだと思いますが、私は側方・後方から、7つの挑戦から学べることの形式知化に取り組む役回りかな、と思いながら聞いてました。
…二次会公開していただいて感謝です！

@dothen74boc 一夜明けて聴きました。土田さんと櫃割さんの前半の掛け合いを1.5倍速で聞きながら爆笑。。。
真面目になりすぎず「こうもできると示す」というのに大変共感しました。

@ifuiaa 分かっていませんが、まだOpenAIからo1のときのような説明が出てないんですかね。推移を見たいと思います。

@ifuiaa ありがとうございます、参考になります。Cholletさんは、計算量ではなくアーキテクチャが大事で、プログラムの探索を可能にするブレークスルーがあったのだろうといったことを言っているように読みました。何をやっているのか、定性的にでも理解できたら嬉しいですね。

@ifuiaa そうです、Cholletさんの記事。ARC側も、やっぱりo3についてわかっていないことが多いと書いていました。そうですよね、値段と計算量は単純な相関ではないはずだか、そこは無知が残りますよね。どこまで計算量で殴っているのか…。

@ifuiaa 細かい質問で恐縮ですが、「o3 requires $17-20 per task in the low-compute mode」などとあるのは、ARCをテストする人がo3のAPIに払ったお金、という感じなのでしょうか。ここから計算量？トークン数？を見積もることは可能でしょうか。

昨日のOpen academia Summit #OAS2024 を楽しんでいただいた方には、「分析編」としてこちらのレポートも楽しんでいただけるのではと思います。https://www.jst.go.jp/crds/report/CRDS-FY2022-RR-03.html
終章で必要性を述べたアイディア・資金・スキルの集積が、少しずつ始まっているように感じています。 https://t.co/RulJ2pZTZe

［お知らせ］1/23（木）15-17時に「第4回メタサイエンス勉強会：生成AIと研究のこれから」を開催します（Zoom/要登録/無料）。研究倫理や医事法を専門とする樋笠知恵先生から話題提供をいただき、参加者の専門分野での利用実態も踏まえた議論をする予定。ぜひご参加ください。https://sites.google.com/view/metascience/20250123

Francis Chollet氏の、o3がARC-AGIで飛躍したことへの長文の所感。いつもながら誠実かつ明晰。o3についてわかっていないことは多いが、「深層学習にガイドされたプログラム（自然言語でのプログラム）探索」と見るのがよかろうと。これでAGI達成ではなくARC-AGI2を作ると。
https://arcprize.org/blog/oai-o3-pub-breakthrough

いくつかの未発表原稿、最新動向としてo1を紹介しているのにo3が出てしまった。

しかし、この機運が今日の会の外でどれくらい共有されているのがわからないのと、今日の参加者も「自分に何ができるか考えたくて来た」という人が多かった。自分も同じ思い。一歩の踏み出し方を、その多様性とともに共有知にしていくのが次のステップではないかと思う。#OAS2024

#OAS2024 終了。どうなるだろうと思いながら準備に参加したが、2年前「拡張する研究開発エコシステム」レポートを書いたときから、資金面でも、活動の幅の面でもOpen academiaへの機運は広がったのでは。"Research Relations"概念も、来てくれた方の数人の問題意識に合致していたことが確認できた。

#OAS2024 アカデミスト柴藤さん、自身の研究をわかりやすく魅力的に語れる研究者も、クローズドなアカデミアではそうするインセンティブがない。

#OAS2024 鈴木健吾さん、研究者は「嘘をついたり話を盛るのが苦手」と開示することでビジネスでのコミュニケーションが円滑になるかも、と。

#OAS2024 野村佳祐さん、クラファンは自分を応援してくれる人がいるという自信になった。そこから研究が軌道に乗った。

#OAS2024 さわかみ投信株式会社の黒島光昭CIO、農学研究から金融業界へ。金融の世界で基礎研究の「時間軸」への理解が少ないことに問題意識。長期的に打ち込む若手研究者への投資へ。

#OAS2024 濱田太陽さん、今の研究環境で、若手研究者が自分の足場をつくる起点としてのクラウドファンディング。しかしそこがスタート地点で、その先につなげるのが大事。

#OAS2024 齋藤大さん、樹木研究は木が育つスピードは変わらないので、いかにキャリアの初期から研究ができるかが大事と。

2024.12.19 Kapoor & Narayanan "Is AI progress slowing down?"
巷で語られる「モデルのスケーリングから推論時のスケーリングへ」というトレンドを批判的に考察。推論時のトークン数投入で向上するタスクは限定的。テック企業のインサイダーの予測を過度に信じるなかれと。
https://www.aisnakeoil.com/p/is-ai-progress-slowing-down?utm_source=post-email-title&publication_id=1008003&post_id=153318545&utm_campaign=email-post-title&isFreemail=true&r=2els7s&triedRedirect=true&utm_medium=email

@ss_f_official @MarikoKitaOsada @tayo_jp @desilo_jp @ktrokd @RShibato 明日のイベントは少し登録締め切りが延長になり、本日いっぱい現地参加登録が可能になりました。急遽時間ができた方にもよろしければ東京・京橋に寄ってみていただければ幸いです。2025年のいろいろな動きの始まりになりそうで、楽しみです。#OAS2024 https://academist241220.peatix.com/view

高木さんのパースペクティブ論文に感動してお声がけしたのがちょうど去年のクリスマスイブでした。あれからまだ1年とは。https://x.com/rmaruy/status/1738762405575004594

【お知らせ】12/25発売の日経サイエンスに、@takagi_shiroさんと共著記事「研究できるAIは科学をどう変えるか？」を書きました。高木さんと今年ずっと議論してきたことを、割と欲張って盛り込みました。冒険しすぎな所もあるかもしれませんが、何かの議論の糧になればと思います。
#AI科学を哲学する https://x.com/NikkeiScience/status/1869170717599969652

（営業連絡：3月末までの仕事が決まりました（御礼）。1．AI関連新学域のアウトリーチ、2．AIの社会的影響に関するスポット調査、3．メタサイエンス研究会運営補助、4．Open academia関連企画の実施の4本柱で、これらとシナジーのあるもの以外は手掛ける余力がない想定です。4月以降は白紙です。）

数学の難問は解けても「人間レベルのAI」が実現されていないなら、今後計算量（x）をつぎ込んで「増える」ものは何なのか。すべての「スコア」でAIが人間を超えてもなお人間に届かない状況は「スケーリングの終わり」ではなく「知能の定量化の限界地点」を意味するのかもしれない。

「計算量(x)を増やせば能力(y)が上がるというAIの“スケーリング則”が今後も続くか？」という問いは、yの増加が観測できることが前提になるが、あらゆるベンチマークテストでAIが人間を超えつつある昨今、この問いが意味を持ち続けることは可能なのだろうか。

こちらのシンポジウムを聴講。いつもながら上山先生、橋本理事長の視座は高い。しかし「地域中核・特色ある研究大学強化促進事業」のためにCSTIに提出された60数大学からの「力のこもった」「読み切れないほどの量」の提案書の話、その作成に費やされた研究者と職員の人日はいかほどか、と思った。 https://x.com/XforURA/status/1867724763537510880

金曜日の #OAS2024 、上記Re:Relセッションからは特別協賛として一般社団法人 Stellar Science Foundation @ss_f_official、Vision Sharing Partnerとして株式会社tayo @tayo_jp、一般社団法人デサイロ @desilo_jp の3団体にイベント全体へご参画いただくことになりました。https://x.com/academist_cf/status/1868871011342729615?t=-SLdsxTxboV6NUePk5Dumw&s=19

「インテリジビリティとはモデルを使用する主体とそのモデルを構成する構造、解釈、具象化との関係性から生まれるのである」p.53
「現象はモデルと比較される対象なのではなく、モデルによって作られる対象なのである」p.60
2つ目の引用はChirimuuta著、第5章と強く符合する。https://x.com/rmaruy/status/1851630526614081577

自分のために書かれたのか、と思う博論だった。de Regtの科学的理解の特徴づけの不十分な点に挑んだ、著者の問題意識が非常にわかる。「構成的理想化としての科学的理解」という説については今後よく考えてみたい。

de Regtのintelligibility概念など、科学的理解のど真ん中を論じる科学哲学者が登場していたことを知る。

高橋和孝「構成的理想化に基づく科学的理解の解明」
https://eprints.lib.hokudai.ac.jp/dspace/handle/2115/93284　…いつかじっくり読みたい。神経科学の哲学につながるはず。

If I self-proclaimed to be a "metascience communicator," would I be the first? https://t.co/yLUePVa7VK

前職のJSTからお声がけで、Sakana AIの伊藤錬COOのインタビューを担当させていただきました。短い時間ながら、重要な話をたくさんしてくださいました。https://buff.ly/3ZGzMGu

久保さんの第2の回答。学問は「思考の可動域を広げる」（が、それは辛いことでもありうる）。第3の回答、「学問はなんの役に立つのか」という問いの背後で自明にされている「XがYの役に立つ」におけるYの価値を学問は問う。https://x.com/philo_to_biz/status/1868187228306042930?t=rZpWRly-dgneD3aH5Gr-AA&s=19

For those of us who would like to find an effective refute simple outright brain-ANN correspondence:

- Mazviita Chirimuuta "Your Brain Is Like a Computer" https://www.youtube.com/watch?v=JuxZk35I3RE

- Matthew Cobb "Why your brain is not a computer" https://www.theguardian.com/science/2020/feb/27/why-your-brain-is-not-a-computer-neuroscience-neural-networks-consciousness https://x.com/poolio/status/1867697143290683573

これで自己紹介ができるようになったと思った矢先、新しい肩書を思いついてしまった。「メタサイエンス・コミュニケーター」。多少なりとも伝わりそうなときだけ使っていこう。 https://t.co/pblT7EK4Qb

興味があるのは、この「意味のサプライチェーン」において今後のLLMがどんな役割を果たすのか、ということだ。言語使用のリソースを提供する「サプライヤー」なのか、利用しまくる「バイヤー」なのか、意味の流通を加速するインフラなのか、混乱させる破壊者なのか。そのどれでもあるのだろう。

書き手にも読み手にも「そう考えていた」という事態を生じさせる言語の力は、言語という記号体系（とその使用の来歴）自体が宿すものであり、書き手は「意味のサプライチェーン」の最後の役割を担ったにすぎないとも言える。しかし言語の進化は、そうした優れた末端の言語運用者を当てにしている。

Kapoor & Narayananによる、2024年米大統領選挙における生成AIによる誤情報の分析。懸念されていたほど深刻ではなく、AIによるDeepfakeは、AIを使わない「cheapfake」の悪影響と大差ないと。
https://www.aisnakeoil.com/p/we-looked-at-78-election-deepfakes?r=2els7s&utm_campaign=post&utm_medium=web&showWelcomeOnShare=true

LLMの消費電力に関する興味深い試算。これが当たっているとすると、推論時は電子レンジを動かしているという感覚だろうか。
https://picocela.com/blog/how-much-energy-does-ai-generation-consume/

言語表現という外的表象（external representation）はそれが言語ゲームのなかで意味を持ったのち遡行的に「私がそう考えていた」という事態が生じる。後期ウィトゲンシュタインの思考観はそういうものだと思うが、良い表現は「誰が考えていたのか」という思考の所有者まで超越させるのかもしれない。 https://x.com/korpendine/status/1867540846876536914

こういう話に興味を持ってくださる方はぜひ #OAS2024 へ！https://x.com/academist_cf/status/1866657510926717423?t=40BcVBD0SpJimKYiKZeltA&s=19

先日話す機会をいただいた時に作った自己紹介スライドを公開します。実際にやっていることに比べて夜郎自大的な話だとは思いますが、自他に役立つこともあるかと思い、ナラティブにしました。
https://www.canva.com/design/DAGZJxpJlvM/sqtVq-XL3G5NdeTIkD9Cfg/edit?utm_content=DAGZJxpJlvM&utm_campaign=designshare&utm_medium=link2&utm_source=sharebutton

第3回メタサイエンス勉強会の開催記録を公開。京都大学の清水右郷さんの差配で、豪華メンバーで開催された会。メタサイエンス、科学史、科学哲学、科学政策というトピックを並べたときにどういう対話になるのかの一例として、貴重な機会でした。
https://sites.google.com/view/metascience/%E9%81%8E%E5%8E%BB%E3%81%AE%E6%B4%BB%E5%8B%95/20241211?authuser=0

Chirimuuta著への充実の書評。同書への不満足点を的確に指摘しながらも（著者が脳が複雑だと言いつつ、神経科学における「計算」等の扱いが単純化しすぎなのではないか、など）、神経科学の哲学の道標になる一冊だと。
https://www.thebsps.org/reviewofbooks/burnston-on-chirimuuta/

Metascience Conference 2025のCall for Proposals。締め切りは2/7。https://x.com/jameswilsdon/status/1867162635566989437

岩渕正樹さんのOpen academia Lectureの開催レポートを公開しました。https://x.com/academist_cf/status/1867046113116885432

渡邉文隆「最も親切な、しかし最も富に恵まれていない人が…心ばかりの寄付をしたいと思える社会をつくることが、寄付市場全体の構造と関連」「研究機関が…社会におけるもっとも恵まれない層に対してどういうスタンスや考え方を持っているのか、は実は重要」https://academist-cf.com/fanclubs/274/progresses/4061?lang=ja

これへの一歩を踏み出すチャンスが巡ってきたように思う。
https://x.com/rmaruy/status/1859206736051306750?t=-Ei_Xl-RCnM7mzCNOEG_Bg&s=19

（営業連絡：本日の打ち合わせ2件およびその他諸々のメール連絡により、1〜3月にやることが（中身はともかく誰とやるかは）ほぼ決まりました。ありがとうございます。頑張ります。）

牛久祥孝「経営者として研究者の楽園を…目指す営み（を）NexaScienceで作っていきたいと思っています。…基礎研究と社会実装のループがうまく回ること…だけでなく、研究のプロセスを革新することでも研究者に貢献しようとする…「ダブル楽園」を目指す運動」
https://note.com/losnuevetoros/n/ne951df3ae3a2

さらに一般化すれば、仮説と行動の現場の乖離こそが、あらゆるブルシットワークの温床なのではないか。仮説を確かめようもない、行動のパーパスがわからないということが、仮説形成側でも行動側でも「やった感」を出すことしか原理的にできない構造を生むのではないだろうか。

明日「何でもいいから話してご覧」という機会をいただいたので、最近AIに関して私たちが余儀なくされている特定の見方・話し方への不満があるので、それをまとめてみた。ここまで話がいくかどうかは分からないけど、とりあえず持っていく。 https://t.co/esrzMUbaLN

2重サイクルの決定的な問題は、「仮説行動」(©馬田著）が回らないことではないだろうか。現場からは姿の見えない政策に経営層が朝令暮改していると見え、政策からは政策意図が現場において雲散霧消しているように見える。「仮説」を持ちつつ「行動」する人がおらず、どこにも学びが蓄積しない。

@nshinshi_ ALIGN slackで教えてもらった"NeuroAI for AI Safety"論文、神経科学がどうAI safetyに寄与しうるかを論じた内容だが、シミュレーションと基盤モデルを駆使する最先端の大規模神経科学の俯瞰として非常に充実。脳科学政策にかかわる人は必読と思う。そしてMarr3レベルが健在。https://arxiv.org/abs/2411.18526 https://t.co/cZBOAUqFuf

山田仁一郎先生らの論文「何が大学のベンチャー支援を難しくさせているのか―効果的な支援を阻む二つのサイクル―」 https://scirex.grips.ac.jp/paper/archive/241209_3106.htmlベンチャー支援に限らず今の大学の難しさを言い当てているのでは。ループが1重ならコミュニケーションで何とかなるかもしれないが、2重だとどうしようもない。 https://t.co/BQiPZJfWwh

もう一つ思ったのは、世界の在り様についての信念の蓋然性を能動的に確認しにいく「仮説行動」は、今のAIにできないことの最たるものであり、来るagenticなAIの焦点も、仮説行動の技術的可能性と社会的な容認可能性にあるなということ。馬田著に寄せれば、仮説行動するAIは「起業家」になれるだろう。

o1 proの月額200ドルというのは、いよいよ高純度のスマートドラッグに人々が課金して使う時代に入ったのだなと思う。次は月額2000ドルを飛ばして2万ドルのプランがITエリート層限定で売られるのではないだろうか。すでに200ドルで私は脱落。

@tumada おお、そこまで考えられていたのですね。クリアな整理をありがとうございます！　阿部著において、論文として書かれたあとの主張文をアーギュメント（エビデンスや論理を引き連れているので）、書く前に置いてみた主張をクレーム（まだエビデンスがない）とすると、すっきり理解できると感じました。

「『学問は何の役に立つのか』には3つの答え方がある」と語り始めた久保明教さん、まだ第一の「間接的な回答」だけだが、相当面白い。 https://x.com/philo_to_biz/status/1864993821425307765

読書メモ：『仮説行動』（馬田隆明 著） - 重ね描き日記（rmaruy_blogあらため） https://rmaruy.hatenablog.com/entry/2024/12/09/154542　…本にあまり関係ないことも含めて、触発された思考を書いた感想文です。
#はてなブログ

認知バイアスかもしれないけど、母校の筑波大学からは時々外れ値的に凄い人が出てくる。

@shingyodon @nshinshi_ ありがとうございます！　@nshinshi_さん、DM等で対応いただけますでしょうか。

気づけば今月はすっかりライター稼業に。対価をもらって何かを書くようになるとは思わなかった。しかもこのLLMの時代に。

はてなブログに投稿しました
【再掲】読書メモ：ニタ・ファラハニー『ニューロテクノロジー：脳の監視・操作と人類の未来』 - 重ね描き日記（rmaruy_blogあらため） https://rmaruy.hatenablog.com/entry/2024/12/07/184913

#はてなブログ https://t.co/Pr3m7g4Jnr

@hiroaki_skm 人の何倍も生きておられると思うので…

「生き延びるための事務」（by坂口恭平さん）とも言う… https://x.com/hiroaki_skm/status/1865216229411348955

『〈現実〉とは何か』の西郷先生と、「現実科学」の藤井先生。
https://x.com/rmaruy/status/1527925054696493058

これは聞きたい。真打登場感。 https://x.com/Misa_Saigo/status/1864825598151135352

我々こそが安全なAGIを作るのだというナラティブが優秀なエンジニアをひきつけ、AGIはすべての労働を代替するというナラティブが投資をひきつける。
このエンジンに全世界が巻き込まれている…のだろうなと読んでいて思った。

2024.12.5 Brian Merchant “AI Generated Business” …AI Now Instituteからのエッセイ。OpenAIが「AGI」をいかにマーケティング用語として使ってきたかを、米国の投資環境などと関連付けて紐解くアナザーナラティブ。これがすべてではないとは思うが、読む価値あり。https://buff.ly/41fjWFs

昨日は #OAS2024 の「Re:Relセッション」の打ち合わせ。3人の登壇者とも楽しみに参加いただける感触でありがたかったです。
セッションはうまく回せるかわかりませんが、お三方とも会場で捕まえてお話しすることが可能だと思うので、ぜひ会いに来ていただければと思います。 https://x.com/rmaruy/status/1859777821398466743

@hiroaki_skm 大変重要なお仕事ではないかと想像します。頑張ってください…！

@ikehara_y おお、やはり。。そういうのをどう、実世界にインパクトのある形で流通させることができるのかに興味があります。

@ikehara_y ありがとうございます。このあたりはぜひ人類学の視点が必要だろうなと思っています。
まったく学術的ではないのですが、以下のようなことを考えたりしています。（某所でさせていただく話題提供資料の後半に少し妄想を書いています…https://docs.google.com/presentation/d/10CwKeJuRklAJpIJwhhnBYjZpzhscKtHzQEiIPc-fOX0/edit#slide=id.g31b38dafd21_1_2995　） https://t.co/QraWxWksbX

来週水曜日の京都大学日帰り出張は楽しみ。

@ikehara_y その辺、気になっています。
またどこかでお話しできましたら幸いです。

ただ、その昇降が自在だと思うのも幻想で、本当の学際的対話は、双方が無意識に頼る知の体系、価値観の体系（二つの「上げ底」）が批判的視点に晒され、相対化され、「傷つく」ものだと思う。だから話せばいいというわけではない中、対話の深度調節をしつつ、何かを媒介できたらよいと思う。

「学問の価値」や「”研究”のあるべき未来」は、本来そう易々と相互了解できないはずなのは、どの前提の上に価値を語るかそのものを問うのが学問であるから。それでも「2種類の上げ底」のどこに立っているか意識し、場合に応じて”昇降”することで、ある程度対話の幅が広がると信じる。 https://x.com/rmaruy/status/1762475146613555522

あらゆる「分かる」が、他人への「伝わる」を含意しているのではと考えたことがある。https://note.com/rmaruy/n/nfee11b037e8c
先週ある場で、あらゆる「分かる」は誰かが「意図/設計」した「かのように」了解することが含意されているのではと述べてみた。人によってはこの直観は共有されないことも分かった。

スター研究者、増えてほしいな。ピンのスターもよいけど、個人的には「コンビ」や「トリオ」のスターが見たい。

@nshinshi_ これはご存知でしょうか。結構良かったです。https://x.com/rmaruy/status/1591372038773821442?t=zP8Zm69g36zP7HRCktWHPw&s=19

文章は様々な速度で読むことができるが、そこでクリティカルに重要なのが「自分がこの文章をどれくらい読めていないか」に関するメタ認知だと思う。「LLMを使って読む」と、その手がかりとなる情報がごっそり落ちてしまうので、自分には向かない読み方だと思う。

12月は弦さんとのRe:Rel飲みからスタート。

ASCONEは終わりましたが、「The Brain Abstracted」の読書会はほそぼそ続けます。@nshinshi_ さんの「神経科学の哲学」Discordサーバーも立ち上がっています。Discordに参加したい方はお知らせください https://t.co/O3gaV672sG

2024.12.1 M. Nielsenによる長文エッセイ「How to be a wise optimist about science and technology?」。https://michaelnotebook.com/optimism/index.html
AGI/ASIによるxriskが存在しているという前提のもと、破滅論に陥らずにどのように考えればよいのかを考察。参考になる思考のフレームワークがたくさん。

古谷さんがおっしゃるように、さらなる人の流動性、「Re:Rel」が在野に増えていく兆しであると良いです。
https://x.com/yuki_furufuru1/status/1862719081948025145?t=ca5xznUWaAN8U2A9fpmrsw&s=19
どこかでクリティカルマスを超えてほしい。

Kraussは、科学を対象とする14の分野を4つに分類：
1）内的な要因の研究：科学の生物学・言語学・認知・心理学
2）外的な要因の研究：科学社会学・経済学
3）歴史・文化的要因の研究：科学の考古学・科学史・科学人類学
4）メタ・方法論的要因の研究：科学哲学・科学計量学・統計学ほか https://t.co/razEhxDYz1

文科省の山本さんの存在には何度も助けられ、希望を持たせられました。
...Out of spaghetti and into the wilderness.
これからぜひ頑張っていきましょう！！ https://t.co/bH35i0Am6H

政策の世界の片隅にいると、どうしても「問題を分析し、手当てを考える」という発想になりがち。でもそれだけだと問題はきっと永遠に解決しないし、何より弥縫策がスパゲッティ化して訳が分からなくなっていくし、何より辛い。荒唐無稽でも自分の世界観を持ってやっていくほうがいいのかも。

岩渕さんの講義は、運営の不手際で時間が圧迫気味でしたが、とても触発的でした。未来に靄がかかったまま、あるいは誰かの未来予測を所与のものとして行動するのではなく、自分たちなりにワイルドに構想した世界観に向けた「一歩」を踏み出すことが、自分にもできるかもしれない、と思いました。 https://x.com/rmaruy/status/1862253551986372867

@tanichu 『知恵の樹』、いいですね…。

@gongonKS 本発表で一番議論を呼ぶスライドがこちら。
（今月観測したこのやり取りをベースにトークを構成しました。こういうプロレスをSNSでやってくれるのは本当にありがたいですね。） https://t.co/He1YyQZrf9

2024年11月オープンアクセスで発行。Alexander Krauss "Science of Science: Understanding the Foundations and Limits of Science from an Interdisciplinary Perspective" https://buff.ly/4fP77Gd
狭義のSciSciではなくあらゆる角度から学際的に科学の基礎と限界を検討。少しずつ読もう。

「…どんな条件下で、何がどう今と異なる社会なのかを具体的に想像しなければ、抽象的な言葉の定義や解釈についての空中戦に…具体的な「世界観」というレベルに没入することで…根本的に現実を変容させるためのヒントを得ることができるでしょう。」『世界観のデザイン』p.19

登録ページ：https://peatix.com/event/4176471/view https://t.co/7FIhki0ckd

『世界観のデザイン』の岩渕正樹さんによるLectureは今晩です。鋭意トークを準備してくださっているそうで楽しみです。夕方まで参加登録を受け付ていますので、ご関心がありましたらお願いします（事後アーカイブ共有あり）。 https://x.com/academist_cf/status/1861917432857960706

本日終了した #ASCONE 2024 の感想を勢いで書きました。@terashimahiroki さんはじめオーガナイザーの先生方に感謝申し上げます。

参加メモ：ASCONE2024　～「議論の醍醐味」を凝縮するオータムスクールという仕掛け～ - 重ね描き日記（rmaruy_blogあらため） https://rmaruy.hatenablog.com/entry/2024/11/28/232434

「理解屋」を自認する私（https://x.com/rmaruy/status/1840555636670808334?t=Ir6didnk3EGIUDBlVAWA6A&s=19 ）の内観としては、理解を模索するプロセスはクリエイティブなものだが、得たあとには「見つけた」感覚もある。ただしいつでも「見失う」可能性に開かれた儚いものでもある。

理解は見つけるものなのか、つくるものなのか。受け取るものなのか。

@gongonKS 私たちが向こう10年は問い続けるであろう問い。https://x.com/sho_yokoi/status/1861714591098798554?t=3T74UC-HBfcscNwzU0Z0IA&s=19

…上記のような「『理解』の背後には他者の意図・設計が介在している説」を述べたところ、他者が介在しない世界の在り方を端的に「理解」する欲求がありうるとの反論をもらって興味深かった。しかし、それは知識=「知る」への希求と言い直しても良い気もする。

しかし、私はcomprehendの話をしていたのだろうか。graspというのもある。

自然科学における「理解したい」は、あらゆる現象を送り手のいない「メッセージ」として受け取り、あらゆるものを設計者が不存在な「被造物」としてみる態度を含意するのだろうか。はじめて気づいた気がする、膝の力が抜ける科学観。

理解のトイメンにはもしかして常に意図や意味が控えている想定があるのだろうか。言語であれば発話者、記号であれば符号者、物であれば設計者が想定できないものを「理解（understand）」すると言えるだろうか。理解は設計スタンスを含意するのだろうか。

#ASCONE 2024での発表のために作成したノートを公開しました。

【発表ノート】脳を理解するとはどういうことなのだろうか　～「Marrの3レベル」は死んだのか～

※後日誤植等の修正をするかもしれません。
https://researchmap.jp/multidatabases/multidatabase_contents/detail/643705/fab4968dcc2118d7e5650b2326d71e22?frame_id=1218030 https://t.co/MnETKSeqRR

メタサイエンスの問いに向き合う必要性がしっかり書かれている。 https://t.co/7c8U0Cg16l

AIは予測精度のために理解を犠牲にするか？という懸念については、1）これはAI以前から言われてきた懸念、2）AIのモデルに「理論が入っていない（atheoretical）」わけではない、3）解釈性の研究も進む、4）AIなしでは理解のできないであろう分野の開拓を助ける、として応答。 https://t.co/gxsnFCsOZZ

2024.11.26 DeepMindによる、「AIが科学をどう変えるか」に関する政策的含意も含む論点を網羅したエッセイ。これは…舌を巻かざるを得ない包括性。DeepMind見識ありすぎ。AI for Science時代におけるヒルベルト問題は何か、など。 https://x.com/GoogleDeepMind/status/1861352542229189059

🎉 https://x.com/beatphysfreak/status/1861373529687773608

「国の代表」「会社の経営者」「組織の執行部」のビジョンに頼ればいい時代ではないのだろうと個人的にも思う。リーダーたちが提示できるのは、未来の話のようで今の秩序を維持するための「ビジョンもどき」でしかないことも多い。プレーヤーが各自のビジョンを抱く時代。https://x.com/rmaruy/status/1852603492692828243?t=fzqPQyiby2iiZFdVVz56vA&s=19

『世界観のデザイン』再読了。
ビジョンとは「旗」ではなく「マグネット」、懐疑的な承認者はビジョンづくりのプロセスに巻き込んで関係者に、というのはなるほどと思った。「20年後の〇〇」を周りの仲間と考える技術。不安だからこそ、持ちたい。
https://note.com/iwabm/n/n732674ba50c3

承前「日本でも…「AIアライメントネットワーク」が立ち上がり、AIの開発を人間や社会の価値観とその発展にアライン（合致）させるための議論が顕在化」
「シンギュラリティの実現とは、加速か破滅かという単なる二項対立に与せずに、答えのない問いを世界規模で解き続けていく過程そのものなのだ。」

松島倫明「本書によって投げかけられた問いは、「シンギュラリティを実現することはわたしたちの世代の役割なのだろうか」というものだ。」
（カーツワイル『シンギュラリティはより近く』日本語版解説）

@KyokutenSekichi 文献のご紹介、どうもありがとうございます！
ご指摘の意図通りかわかりませんが、私も現時点の言語モデルが、人間やそれら同士での言語ゲームを行っているとは言えないのではないかと思っています。

@ymorita613 おおー、シチズンサイエンスのためのウィトゲンシュタイン。広く「科学とは何か？」を考えるうえでも立ち戻るべき視点があるように思います。

私は『哲学探究』は2年くらい断続的に読み続けたけれどもまだ読了には至らず…。野矢茂樹『ウィトゲンシュタイン 『哲学探究』という戦い 』は非常に助けになりました。
七転八倒しながらつくった第12章のレジュメ↓
https://docs.google.com/document/d/1jShCRgv9iSfdCR3zTjiVOyYL96g_9VDJnjJW_vOz0OQ/edit?tab=t.0#heading=h.av3jigmolei3

『哲学探究』は「現代のNLPとAIの研究テーマの宝庫かも」→そのように思います。あるいは逆に、現代のNLPやAIの状況は、『哲学探究２』を書くための素材の宝庫かも https://x.com/tanichu/status/1860822135293534328

随所に、これまでの科学番組には見られないセンスを感じた。
・教授たちの部屋が片付けられていなかった…権威付けもキャラ付けもせず、素の研究者を映す意思を感じた。
・最後の「原子核の中の生物」に関する会話…学際的な会話を生み出した価値を製作者が手応えを持って感じたのだろうと思った。

見ながら思ったのは、池崎さんは平井さんの「未完了相の哲学」が深いところで腑に落ちたし、感動したのだろうということ。
https://x.com/ikezaki_YEAH/status/1860489968654909858
#朝までラーニング

@hiraiyasushi1 @a02matsu 構成も編集も素晴らしかったです。ネタバレ？もよくないので（といち視聴者が言うのも変ですが）まずはご覧ください！

@a02matsu 心と物をまたぐ「時間学」は、学問の中心的テーマであってよいもの。Canalesが書いているように100年前は西洋世界でもそうだった（https://x.com/rmaruy/status/1206090740226383872）。日本語圏でその萌芽があると思うし、今回の番組は、そのパブリックエンゲージメントの作品としてものすごく質が高いものではないかと思う。

7年前、松浦壮先生 @a02matsu の『時間とはなんだろう』を読み、心理学や哲学とつなげて考えてみたいと思った。一川先生、平井先生と談笑しながら池崎さんの講義を見ている画には、感激せざるを得ない。池崎さんが平井著に共鳴しているのが伝わってくるのもよかった。
https://x.com/rmaruy/status/913612480336691201

NHKの「朝までラーニング!」想像の3倍くらいのすばらしさでした。構成も完璧。ぜひ多くの方に見ていただきたい。間に挟まれるNHKの過去の「時間の学問」関連番組も資料として有益で、逆にいかに今回の番組が学問的な最前線と言えるかがわかる。
https://www.nhk.jp/p/ts/883N4WZPGQ/episode/te/8L7NWW599G/

哲学は、心理学の時間と物理学の時間を丸ごと考える。 https://t.co/5Out0Ed70K

この研究におけるMLエンジニアとLLM（AIエージェント）の比較が「どのような意味でアンフェアか」を考えるのは面白いと思う。人間側からは、LLMは実験者がプロンプトを書いた時間で下駄を履いているといえそうだし、AI側からは、人間のエンジニアは何年ものfine-tuningを経ている、と言えそう。

AI Safetyのためのモデル評価に特化した非営利研究所のMETRが、今日、AIエージェントのML研究のためのエンジニアリングスキルを測るベンチマークRE-Benchを公開。時間をかければClaudeやo1-previewより人間のエンジニアが勝るという穏当な結果に。 https://x.com/METR_Evals/status/1860061711849652378

@tanichu 先生による絶賛。たしかに、本書の前後では論文執筆が「教師なし学習」から「教科書あり学習」のようなものには変わりそう。（その得失は実はあるのかもしれない。）

https://x.com/tanichu/status/1860120886243917994

@ss_f_official @MarikoKitaOsada @tayo_jp @desilo_jp @ktrokd @RShibato このイベント、背景が全く違う5-6人のコアメンバーがそれぞれのスキルと問題意識を持ち寄って企画を作っていってるのがとても面白いです。違う特技を持つRe:Relがチームを組んで価値を発揮できるのではないかと何となく思っていたのですが、そのことを実感しています。

https://x.com/academist_cf/status/1859817867639914633?t=kl50cUq7QFPgbEOBeWup4g&s=19

@hiraiyasushi1 ニュートンの絶対時間を、この顔で解説した人がいたでしょうか🤣

transformerのスケール拡大がどこまで続くのかはわからない。せっかく人間が人間のためにつくってきた言語表現をわざわざバラして、明らかに冗長な積和計算を繰り返して「タスク」をこなすAIが最終回答であってほしくない、とは思う。

@kmoooooog いつもありがとうございます！　先ほど @EurekaYerBlues さんとお話ししました。当日がとても楽しみです。

@ss_f_official @MarikoKitaOsada @tayo_jp @desilo_jp @ktrokd @RShibato 図らずもではありますが、前職でまとめた『拡張する研究開発エコシステム』レポートの後にやらなければと思っていたイベントを、立場を変えて手掛けるような形になりました。有難いです。
https://x.com/rmaruy/status/1636554156789092356

@ss_f_official @MarikoKitaOsada @tayo_jp @desilo_jp @ktrokd “支援”を超えた研究者のエンパワメントを実践・実験する3団体とのセッションにて、アカデミスト @RShibato さんが提唱するRe:Rel（Research Relations）の未来について語り合います。https://x.com/academist_cf/status/1854661771396792490

一般社団法人Steller Science Foundation @ss_f_official COOの北真理子 @MarikoKitaOsada さん、株式会社tayo @tayo_jp WISERプロジェクト総括の土井ゆりかさん、一般社団法人デサイロ@desilo_jp の岡田弘太郎 @ktrokd さんのお三方です。

【お知らせ📷】12/20（金）の「研究の未来」を考えるイベント「Open Academia Summit」にて、丸山が担当するセッションの登壇者が確定しました。
- 詳細・登録：https://academist241220.peatix.com/view
（要登録、懇親会を除いて無料） https://t.co/vBb52v3weM

Future of Life Institute strongly opposes the "AGI Manhattan Project".
https://x.com/tegmark/status/1859267448916304220
In my view, this is the battle between camps 1 and 3. Whereas the Trump administration trying to cancel many regulatory measures in AI is between 2 and 3.

第2回メタサイエンス勉強会の開催記録を公開。再現性問題の「先」にある「一般化可能性問題」、私は恥ずかしながら初耳でしたが、どの分野でも問題になりうる、まさに”elephant in the room”だと思いました。植田さんのご発表が整理されていてとにかく素晴らしかったです。
https://buff.ly/3V1T9Iy

狭間に落ちている仕事の例としては、
・研究業績にはならない分野概況の調査。
・新領域のコミュニティ創設補助。
・異なる専門知の邂逅の場づくりとその成果報告
・海外動向のウォッチと共有
・政策とのコミュニケーション
…今のところこれらをほんの少しずつやってみた感じになっている。

自分が見たいのは、日本語圏の研究者の内発性が存分に発揮され、日本語の知的なコミュニケーション空間がこの上なく魅力的になった世界。それに2mmでも貢献すべく、「研究の狭間に落ちている仕事」を拾えるのではないかというのが、この10ヶ月の「行動」からの暫定的な仮説。

たぶん、フリーランスの自分にも必要な仮説思考/仮説行動。自分ができそうなことと、貢献したいgreater causeと、誰かが対価を払いたいと思うようなニーズの共通部分がどこにあるのか、に関する仮説。 https://x.com/tumada/status/1858783523303551404

情報化社会で溢れているものは、「脳外エングラム」と言い換えてみることができる。あらゆるデータは誰か・何かの過去を電子回路等に刻み込んだものであり、一つの脳が処理できる量をはるかに超えた「誰かの過去」が、私たちを襲い、想起を迫る。この呟きもまた、脳外エングラムとして漂うことになる。

【営業連絡】10月からお店を開くつもりが色々オファーをいただいてこの2ヶ月（自分としては）全力疾走でしたが、気づいたら12月後半以降の予定が空きがちに。役に立ちたい場所のイメージはあり各所に営業的な相談をさせていただこうと思います。それらがうまくいかなければお店を開くかもしれません。

訂正：一川誠先生の名前が間違っていました。申し訳ありません。

一般相対論の回もよかったので、期待が高まります。
https://x.com/H_szk_P/status/1697448415758893241

これはやばい。松浦壮さん、平井靖史さん、市川誠さんが池崎さんに「時間とは何か」を教える企画？　面白くないわけがない。。。

物理学者＋心理学者＋哲学者。完璧ですね。 https://x.com/hiraiyasushi1/status/1858727953779310719

なるほど。ここでも鍵は「知的自律性」になるのだと思う。ただし、それを自分が発揮できてきいるかどうか知るのは難しい。https://x.com/shingoemoto/status/1858713464094798099?t=DyCZxIxperrEozkTykck7A&s=19

大統領選挙後、神経科学者によるBlueskyでの投稿の増加が観測されている。 https://x.com/_TheTransmitter/status/1858581203705643431

2024.11発行『Bayesian Models of Cognition
Reverse Engineering the Mind』by Thomas L. Griffiths, Nick Chater and Joshua Tenenbaum

MIT Pressよりオープンアクセス版公開中。
https://buff.ly/3OimsTH

こちら本日お昼まで登録いただけます。ご関心ありましたらよろしくおねがいします。 https://x.com/catch_d_17/status/1858022306720919912

@terashimahiroki @sho_yokoi （まだ粗いメモにすら至っていませんが、下記のような骨組みで話題提供を検討中。https://www.notion.so/ASCONE-12ece8355e6b80a2a702d9f475ae43e6?showMoveTo=true&saveParent=true
来週、時間の取れる範囲でつくっていこうと思います。）

@terashimahiroki @sho_yokoi @sho_yokoi 丁寧なリプライありがとうございます！　（2）や（3）まで進むのですね！　非常に興味深いです。日高理論との接点も生まれそうで、たのしみです。
曲解が含まれるかもしれませんが、メモをアップデートしました。 https://t.co/KbemQIknSp

まさに。12/20は「研究の未来」をつくる鍵を握る”研究者以外”の方々にぜひ足を運んでいただきたいです。参加者の2025年の動きのきっかけが多く生まれるのような場になるのではないかと。自分が担当するRe:Relセッションもとても豪華になりました。 https://t.co/SygIwFlpcw

因果推論とAIエージェントの「エンパワーメント」概念をつなげる議論。面白そう。 https://x.com/AlisonGopnik/status/1857504135400271982

2024.11.14 Melanie Mitchel氏。”The metaphors of artificial intelligence”　「個人の心としてのLLM」という比喩（“LLM as individual mind” metaphor）が、LLMの研究開発、利用や、AIの「存亡リスク」の議論に大きく影響。メタファーの選定は大事。
https://www.science.org/doi/full/10.1126/science.adt6140?af=R

Chirimuuta著が、Nayef Al-Rodhan International Prize in Transdisciplinary Philosophyという賞を受賞。（読書会も盛り上がってきました。）
https://royalinstitutephilosophy.org/news/2024-book-prize-winner-announced/

@yoshi_and_aki あれはエビデンスではなく、「歳出削減という『正義』のためにNISTEPデータをどこまでチェリーピックしてストーリーを作れるか」というロールプレイ的なパフォーマンスであって、反対のストーリーをぶつけていくことが前提なのだろうなと最近思いました。ちゃんとカウンターを出さないとですね。。

とても面白い。。機械間取引がもたらすのは「機械を挟まないと売ることも買うこともできなくなる（さもなければ損をする）」世界ではないかと思う。経済的な取引だけでなく情報の流通について起こっていることとも類比的。取引の外側に作られる人間のとのインターフェースの部分がカギになりそう。 https://x.com/fwatanabe/status/1856916143887487391

I've been advocating for this Tripolarized view of the AGI-risk conversation lately. Interestingly, of the many academic researchers I followed on X, those who fall in categories 2 and 3 seem to be way more likely to leave X and move to places like Bluesky than those in group 1. https://t.co/C0NBCCDh5J

ASPIREはじめ今のJST-文科省には、「トップ研究者」の「国際頭脳循環」への誘導が「研究力」回復の鍵という思想がある。しかし、1)トップ研究者は既に多く役割を課され身動きがとれないのではないか、2)新興分野では「トップ」になる道がそもそも狭いのではないか。点ではなく面の施策が必要だと思う。

トップ研究者の交換派遣という針に糸を通すような高難度の施策よりも、日本からの参加が少ない新興国際会議への派遣（50万円など）や、国内での国際会議開催費（200～2000万円）のグラントが欲しい。現状ここは資金不足による機会損失が大きく、トップ層だけでなく裾野の広い交流の種に寄与するはず。

AI Safetyの分野でも、海外（ほぼ英米）から日本との共同研究への期待もちらほら聞いていたので、このASPIREが使えると良いかもしれないが、諸々の条件を整合させる難易度は高そう。また、今から立ち上がる分野だと定義上あらかじめ「業績」を積んでいることが無理であり、はじめから漏れてしまう。 https://x.com/JST_ASPIRE/status/1856609996437594477

来週火曜日の第2回メタサイエンス勉強会のプログラムが確定しました。心理学者として「再現性問題の先」を考える植田航平@catch_d_17 さんからの提題と、科学哲学者とのクロストーク。もしよければご参加ください。https://sites.google.com/view/metascience/241119?authuser=0

『まったく新しいアカデミック・ライティングの教科書』は、図の縦方向の「アカデミックな会話」への参加資格としての論文執筆をノウハウとして横展開してくれるだけでなく、アカデミックな価値がさらに外の非アカデミアの価値へどう波及するかを真っすぐ語ってくれてもいる。
https://x.com/rmaruy/status/1836774264990818532

あともう一つよいのは、あらゆる文献や仕事のツールが、自分が判断したその瞬間に経費で落とせること…。（まあ、自分のお金ではあるのですが。）

@sho_yokoi @terashimahiroki ここだけ私の理解がずれていなければ特段事前にお話ししなくて大丈夫かなと思いますので、何かお気づきの点があればコメントいただけますでしょうか。よろしくお願いいたします🙇

（上記ツイート内画像の誤植：「際に注目」→「差に注目）

@sho_yokoi こちら、言いっぱなしで恐縮です。理解を扱う話、数年前に日高先生と議論した経験上、「何が何を理解する話をしているのか？」をメタに整理しておくと見通しが良くなるかなと思い、私の発表で提示しておくのはどうかと思いました。自分の理解で下記のように整理してみました。cc: @terashimahiroki https://t.co/jTHrLXTM2c

無所属になってよかったと思うのは、自分起点で「これは大事では」と思うテーマの調査・執筆の多く時間を割けること。今週は平日の午前を全部それに使えたりする。それが生活の糧につながるかは運次第で不安定だが、まだ書きたいことがいくつもあるのでしばらく続けたい。

PFN岡野原さんの所見。https://x.com/hillbig/status/1856100891524510049
「近年では生成した候補を判断・評価するようなツールなども登場しており、「アイディア生成」から「判断」に仕事がうつったのはたまたまと思われる。」「研究者がこうしたツールを使った上でも自分の能力を発揮し協調できるか…は今後の大きな課題」

メモ：これはASCONEに向けて読むべき論文。AIの解釈性においても、Marrの３レベルは健在。。 https://x.com/martinagvilas/status/1799103639069594088

AGIリスクの考察ノートについて某所で話題提供・ディスカッションさせていただきました。書いてよかったです、ありがとうございました。 https://x.com/rmaruy/status/1840147277996011612

はてなブログに投稿しました
読書メモ：『まったく新しいアカデミック・ライティングの教科書』（阿部幸大 著） - 重ね描き日記（rmaruy_blogあらため） https://buff.ly/4elSVmx
#はてなブログ

2024年11月21-22日、サンフランシスコで行われる会議で発足するInternational Network of AI Safety Institutes（AISIの国際ネットワーク）に関するいくつかの提言：
2024.10.30 CSIS https://buff.ly/3NMKaY1
2024.11.9 IAPS https://buff.ly/48Lgyne 後者では中国のメンバーシップに着目。

月一で開催しているOpen academia LectureはRe:Relのコミュニティを広げていくことも目指しています。引き続きよろしくお願いします🙏https://www.notion.so/academist/Open-academia-Lectures-02f6e02cb9204e82877a443332943d1d https://t.co/TNucKE4GUm

@hayataka88 @PeatixJP ありがとうございます！！　hayatakaさんのインプットの幅にいつも頭が下がります…！
岩渕さんのお話は自分のこれからを考える上でも重要な回になる予感もあり、私もとても楽しみです。

AI導入によって仕事への満足度が下がったとの回答が82％で、研究者のWellbeingへの負の影響も見られた。
https://aidantr.github.io/files/AI_innovation.pdf https://t.co/0ZOTd6wiyC

Toner-Roger 2024 "Artificial Intelligence, Scientific Discovery, and Product Innovation" MITの経済学者（PhD課程）の単著。米国の材料系企業研究所で、1018人を対象に、時期を分けてAIツールをロールアウトし、AIにより新材料発見が44％向上、特許出願が39％向上。(続)
https://aidantr.github.io/files/AI_innovation.pdf

Kathleen Creel氏（Northeastern Univ）による、2024年10月のトーク。「機械学習の哲学」の問いをオーバービュー。科学者と機械学習（AI）の関係から、科学の社会的な側面における問いがもっとあるはず、と締めている。https://buff.ly/3YGPQHV #AI科学を哲学する

この本は知らなかった。https://buff.ly/3YFL65h ”A Critical Reflection on Automated Science
Will Science Remain Human?”　2020年発行。人間の科学とAIの科学の関係を科学哲学から扱う論考がいくつもある模様。#AI科学を哲学する

この問題は、「どの一線からは本当に問題が生じるのか」という事務の構造に精通した人が、「ここから先は自分が責任を取る」というスタンスで細かいルールの伝達の連鎖をどこかで切る必要があるのだと思う。 https://x.com/kanair_jp/status/1855062897271197989

@jimpe_hitsuwari @takagi_shiro 抽象的ですみません。でもそう考えると、すでにご自身の研究の「コミュニティ」をもつ櫃割さんは極めてAI-proofな研究スタイルを作り始めているのではないかと思いました！

@jimpe_hitsuwari @takagi_shiro あと出しですが…「ある探究（AI利用有無にかかわらず）の”価値”は、研究者本人だけではなく、研究コミュニティや広義のパトロンとの関係で定まるもの。そのことが、俳句の”価値”が俳句を文化として享受できる人々の存在に依存していることと類比的」ということが言いたかったのだと思います。

@jimpe_hitsuwari ありがとうございました！放談失礼しました。。（特に最後のほうは「こういう世界にしたいな」という願望が強いです。）いろいろな方に聞いてみたいと思っているので、今後ともまたお話させてください。
@takagi_shiroさんの意見もまた違うはずｗ

アカデミスト柴藤さんが提唱する、Research/Researcher Relationsという新たな職種。個人的にも、このRe:Rel（リレル）の役割と可能性について、次の半年、手を動かしながら考えていきます。いろいろな場所でRe:Rel的に活躍されている方と対話ができればと思っています。 https://x.com/academist_cf/status/1854661771396792490 https://t.co/ykSSgApA24

神谷先生のこの講演は聞きたかった。最後のページがMesseriらの論文。 https://x.com/ykamit/status/1854455462349217925

12/20、アカデミストのハイブリッドイベントがあります。私は「研究支援をアップデートする ”Research Relations”」という企画を担当しています。参加無料（懇親会除く）ですので、ご関心のある方は登録の上、部分的にでも立ち寄っていただければ幸いです。 https://buff.ly/3UAx5Vd

Bengio氏、Mitchell氏、Nick Chater氏らが名を連ねるオピニオン論文。AIが目指すべきはWisdom（知恵/賢明さ）であり、メタ認知がカギになると。…「Flat mind」辺りの話が面白い。Intelligence以上にWisdomは文脈や文化依存だろう。違う文化圏から言うことがたくさんありそう。https://arxiv.org/abs/2411.02478

These lines of thinking comes naturally to me as I am now reading Chirimuuta's "The Brain Abstracted"

I think that's because he was interested in understanding the brain as a computer (of his time). If that can be done then the brain might be interpretable and more importantly manipulatable as a computer. Developmental and evolutionary understanding did not have such uses. https://x.com/KordingLab/status/1853987319168270389

またぞろMarrレベル論が話題に。ASCONEのネタとしてメモ。
https://x.com/SebastianSeung/status/1853523095270863206

Noah Hutton監督のドキュメンタリー”In Silico”についてのトークイベント。オンラインで聞けるもよう。
https://x.com/IEEEBrain/status/1853861120873738380

”The Brain Abstracted”を読む会は方針を変更し、毎週１章読んでいくことになりました。ご関心のある方はお知らせください。 https://t.co/k4MnryjBLt

「神経科学の哲学」Discordサーバーが産声をあげた。素晴らしい…。

こちら「読む会」はこのあと20時から。3章までざっと見ていくつもりでしたが、会の予定の相談が主になるかもしれません。 https://x.com/rmaruy/status/1843169942247751994

一週間前の写真と5年前の写真、昨日の投稿と3年前の投稿が、同じ鮮明さでretrieveされるために、生きた時間の遠近感がもはや感じられなくなっているように思う。 …その点、かろうじて頼れるのは生物学的な時間だ。自分や親の加齢と、子どもの成長。

平井さんが言及した（と理解した）ようにあらゆる記憶想起 (memory retrieval) が再認つまり情報検索 (information retrieval) を経由するようになる時、私たちは何を失うのだろうか。一つは「今はいつ」という時間の見当識かもしれない。ネットに入り浸る自分では既に喪失が始まっている気もする。

@nshinshi_ The Brain Abstracted 第8章。複雑な神経現象のモデルとして深層ニューラルネットは高い予測精度を持つ一方、理解可能性は低い。これは理解と予測・制御という科学の目的の離別、さらにはある種の「科学の終焉」とみる向きもある。それは本当だろうか。
https://www.notion.so/Ch-8-Prediction-Comprehension-and-the-Limits-of-Science-120ce8355e6b80178ccddff246dd9302

先日のOpen academia Lecturesに登壇いただいた須田さんがNewsPicksを離れインディペンデントに。今後のご活躍が本当に楽しみです！
https://x.com/MomokoSuda/status/1853312497102848127

後半の動画。今は強力なリーダーがビジョンを提示するのではなく、一人ひとりがボトムアップに未来のビジョンをもつ時代、と。
https://youtu.be/tZhM4CXGvYY?si=XVkj3EcSxK9i4pBA

岩渕さんが『世界観のデザイン』を書こうと思った経緯を語っている対談動画です。
https://youtu.be/JccrY_l9ziE?t=1285&si=E3ibcTDCNOoFgGwh

朝倉書店の判断が素晴らしい。書籍全文を読み込ませたGPTs公開と、書籍販売がビジネスモデルとしてどうなっていくか。本の終わりの始まりなのか、本の新時代の幕開けなのか。 https://x.com/hashimotostring/status/1852258044622835895

@nshinshi_ The Brain Abstracted 第7章。脳は本質的に非定常であり、安定した表象を仮定するモデルは単純化を含むことを運動皮質の例で解説。一方、ダイナミカルな描像も別の意味での抽象化を含む。単純化戦略の選択は、ある種、科学のモダリティなのだという科学哲学的ビジョンを提示。https://www.notion.so/7-The-Heraclitean-Brain-11cce8355e6b806ba7a0d3d94a9c9528

「本日、次の方がいらっしゃいますんで、確実に返却お願いします」と注意するレンタカー屋さん。タスクに可処分時間を割り振る私に似た気持ちかもしれない。にも関わらず延滞してくる輩の多いこと。しかしタスク側の私たちとしては、延長時間が一番創造的になれたりするので、そこは大目に見てほしい。

ご自身の研究がつくる未来像の解像度を高めたい研究者の方、研究プロジェクトの計画やロードマップを描く立場の方々には、確実に役立つお話になると思います。もしよろしければ、ぜひご参加ください！
https://peatix.com/event/4176471/view

企業の新規事業開発だけでなく、大学等でも教えておられるとのこと。今回は「研究ビジョン」にチューニングした、ビジョンデザインについてお話しいただくことになりました。個人的にもとても楽しみです。

そうした中、8月に出た『世界観のデザイン』は、スペキュラティブデザインの考え方を応用して岩渕さんが編み出してこられた、「世界観」のレベルにまで包括的かつ細部を作りこんだ未来像をつくる「方法」が書かれており、いろいろな意味で目からうろこでした。

これまで参加した「○○の未来」を話すワークショップでは、なんとなく「絵空事感」というか「空々しさ」がある議論になりがちな気がして、未来について考えるのは苦手だな…と思っていました。

【お知らせ：11/29開催】9月から毎月行っているOpen academia Lecturesの第3回のテーマは、「研究ビジョンのつくり方」。『世界観のデザイン』著者の岩渕正樹
@powergradation さんをお迎えすることになりました。 https://x.com/academist_cf/status/1852113489499951293

@nshinshi_ そういえば、数年前に読んだPatricia Churchland氏の神経哲学についてのブックチャプターがこれ。https://docs.google.com/document/d/1kUpumz7IHBrA2wsGAJuTZXdLKynOtfMdCrzls8nrNKg/edit?usp=drivesdk
ものすごく神経科学を信じているのだなと思ったとともに、仮想敵が30年前なのではないかとも思った。自分は神経哲学より「神経科学の哲学」の方に惹かれる。

@tumada 私は部外者ですが、学会でいうと研究イノベーション学会は一部近そうに思いました。（以前、同学会でDARPAのプログラムマネジメントについての発表を聞いたような記憶があります。）

お正月に読もう。 https://x.com/k_morita_hand4/status/1851963344372273358

Koshinen 2023 "We Have No Satisfactory Social Epistemology of AI-Based Science"
#AI科学を哲学する の重要論点を提起している。科学では「認識」は集団的に行うが、相互の「信頼」は責任をとれる個人に担保されていた。AI科学にはまだその担保が見いだせないと。 https://www.tandfonline.com/doi/full/10.1080/02691728.2023.2286253

昨晩のTBSラジオで工藤郁子さん出演。足元のAI関連立法の議論についての報告から、人類史における機械化のパターンに関するパースペクティブまで。 https://x.com/Session_1530/status/1851588035168899560

@nshinshi_ The Brain Abstracted 第5章。脳内の「現象」は実験と分析手法によって「理想パターン Ideal Pattern」として作りあげられることを、一次視覚野の「単純型細胞」の研究史で例示。複雑なままモデル化するには今度はANNが必要となり、いずれにせよ人工物が介在する。https://notion.so/5-Ideal-Patterns-and-Simple-Cells-11cce8355e6b80d28282f423233a575b

@jimpe_hitsuwari 設定しました！櫃割さんの考えていること、お聞きできるのを楽しみにしています！
https://x.com/i/spaces/1gqGvNbamowGB

@jimpe_hitsuwari なるほど。スキルの中でも、むしろ抜き去ってほしい部分と、そうでない部分が研究者ごとにあるのかもしれませんね。ぜひお話聞かせていただければと思います。

@RShibato アンケートは取る側の都合→たしかに。事後でも双方向のコミュニケーションが生じる仕掛けがあればいいのかも。

@jimpe_hitsuwari すみません、研究者ではありませんが💦
「抜き去られる」というよりは「ゲームが変わる」のかな、という捉え方をしていて、今絶賛高木さんと議論中です。またお考えお聞かせください～！

下西風澄「僕は最近とくに、哲学の内容というよりも、世界が概念によって構築されているという「形而上学」という考え方の形式そのものが、近代がすでにインストールしてしまった西洋思想のゲームの一部であると感じることが多くなりました。」 https://x.com/ekrits/status/1851197348468441297

I noticed that Qiu & @michael_nielsen 's essay "A Vision of Metascience" explicitly says they omitted AI as a transforming factor of the social process of science. It's about time we talk about the metascientific potential impact of AI. https://scienceplusplus.org/metascience/#fn143 https://t.co/nL72KmfK75

須田桃子さんのレクチャーの開催記録記事を公開しました。須田さんの行動力と、それを言葉で明晰に語られる姿勢が強く印象に残りました。 https://x.com/academist_cf/status/1851405761005699430

（ただこの瞬間は、最も尊敬する方々から別々に6つくらい発注（執筆やイベント企画など）をいただいていて、しかもどれも自分の「知りたい」「変えたい」ビジョンに合致度が高いという状況。たまたまだと思うし、どれも自分にとってのハードルは高いので、頑張りどころだと感じる。）

ただ、社会への何某か役に立つという面では、わりと最近は明確に、「研究者の自発性をアシストするスタッフ」の役割と課題について考え、コミュニティ活動や執筆活動で少しずつ状況を変えることに貢献したいと思っています。

定期的に、何がやりたいのかわからないと言われる。基本的に私は知りたいのだと思う。ただし、そこに「自分の知らなかった知り方を知りたい」ということが含まれるために挙動が探索的になりすぎ、解釈不能になるのだと思う。必ずしもそれで良いとも思っていない。
https://x.com/rmaruy/status/1810304652107526344?t=CJrqGPP5-2tmFIFYBvNkxQ&s=19

もし仮に、これまでの日本社会を覆っていた「どうせ"上"が変わらないから」という諦めと裏腹の安心感のようなものがあり、かつそれが辿っていくと政治の世界の権力者たちに行きつく階層的な閉塞構造だったとしたら、その一番上の蓋が一時的に取れたかに見えるいま、みんなが動き出すときかもしれない。

私自身は、時代・集団ごとの実践体系に相対的、かつ多元的な「理解」を目指すのが科学だと思っており（cf. https://x.com/rmaruy/status/1169610504848863232）
、「予測」のためのグローバルな外的表象の事後分布をつくるCPC-MSとは一見相いれないが、しかしどうすれば両者の科学観が近づくか、と考えることができる。

高木さんのCPC-MS論文の要を得た講演を聞いて。改めてこの仕事の意義はIs this the science we do? What science do we want? という思考を回し始めるプロンプトとしての役割だと思った。まさにCPC-MSが提供する「生成的」な理論・モデルに、それ自体がなっている。https://x.com/rmaruy/status/1831180632388735095?t=tDSbP6SkAcKJQ4KW4GYsug&s=19

本日はAIロボット駆動科学研究会へ。

昨日ラジオから流れてきた「Both Sides Now」という曲の歌詞に心を掴まれた。素敵な雲ソングであるとともに、生きるうえで一番大事な概念がどこから見てもイリュージョンとしてすり抜けていく認識論の切なさを唄っている。

樺島先生の、ホップフィールドモデルのその後の講演、わかりやすく、素晴らしかった。ホップフィールドモデル自体は単一の発見・発明ではなかったが、彼の貢献はは一つの分野を発見・発明したことだ、と。まさにフィールドビルディング。https://x.com/hashimotostring/status/1850521326467084403

@nshinshi_ The Brain Abstracted 第3章。20世紀初頭の神経生理学で一時主流の見方を形成した「反射理論」は、脳を「反射」の束に還元することを目指した。その単純化は予測と制御という観点から擁護されたが、批判者もいた。単純さの追求は時に科学をミスリードする。https://www.notion.so/Ch-3-The-Reflex-Theory-Misleading-Simplicity-in-Early-Neuroscience-3-11cce8355e6b80249cdacda380353de0

2年前に颯爽とTwitterを去っていった西郷甲矢人先生のお身内の方による代理？アカウントが登場…！ https://t.co/caIm4gLBHP

ちなみに、3年前、Kate Crawford氏はAI産業の資源集約性の問題を包括的に論じていた。しかしそれはChatGPT以前、スケール競争前の話。当時も説得力があったが、ここ数ヶ月で箍が外れてきているように思う。
https://x.com/rmaruy/status/1394299780516311041?t=ohMTSnCSVqkEqcC29TBk5Q&s=19

論点、リッチに膨らませていただきありがとうございます！！
日本では争点になりませんが、まさに有権者の考えどころだと思います。研究基盤としての計算資源は必要だと思うので、冷静に良いところを考えていけたらいいと思います。 https://x.com/tanichu/status/1849993310880006443

このビューのもとでは「AGI」という概念はナンセンス（もしくは著しく違う意味）になるように思う。どの端末=人間もgeneralな知能など持たず、それは言語リソース全体（+人間）で発揮されているものだからだ。LLMも人間の言語リソースへの入出力装置である限り「我々の知能」の一部だ。

人間が集団で作ってきた外的表象系としての言語リソースこそ「本体」とみなす知能観に立つと、人間の脳も基盤モデルもこのリソースへのread/write端末にすぎない、となる。外的表象系へのアクセスのバンド幅において脳はLLMに遠く及ばないかわり、身体を通した物理世界との接続に一日の長をもつ。 https://x.com/rmaruy/status/1768806489110818873

今この時代に甘利先生が45歳だったら、いろいろなプロジェクトやイベントで忙しく、本当に議論したい相手との時間が十分に取れなかったかもしれない。そんな発想から、以前「ペアのサバティカル」というのを思いついたことがある。
https://x.com/rmaruy/status/1401884941755944965?t=gocNS9pHIS62LLsX28dE1w&s=19

いろんな煌びやかなイベントもいいけれど、甘利先生、福島先生らの「こたつを囲んだ会議」のようなものを増やさないといけなんだろうな。 https://x.com/rmaruy/status/1699433231248941235

@ifuiaa ありがとうございます。そうですね。Altmanなどは市場原理を超えて国にリソースを求め始めていると思うので、おっしゃるような不確実性を加味して、（アメリカ）社会として費用対効果をどう考えるか、ですね。

ずっと思っているのは、私たちがtransformerベースの基盤モデルの真のcostをまだ知らず、今は提供企業が「未来への期待」を担保として集めた資金で使えている状態だとすると、これは結局general purpose technologyにはならないのでは、ということ。（一方Gemma等は高性能だという話も聞く。）

AltmanやAmodeiが数兆～数十兆億円のステークをかけて発言していることにも注意が必要。「これからはAIは省電力化する」と多くの人から聞くが、Altmanらの発信を見ているとやはり電力集約的なスケールアップがブレイクスルーへの本命であると考えているように見える。

Sam Altmanの書きぶり（https://ia.samaltman.com/）も、Dario Amodeiの書きぶり（https://x.com/rmaruy/status/1844913888762249553）も、「Intelligenceがいかに社会に大きなリターンをもたらすか」を壮大に喧伝しており、その元手であるはずのエネルギーや環境コストを分母に入れることを意図的に避けている。

重要な記事だと思う。AI業界が、温暖化もエネルギー問題も「AIによる解決」に全振りして環境負荷を高めていく方向に突き進むことこそ、AIによるcatastrophic riskではないかと割とはっきり思うようになってきた。
https://www.technologyreview.com/2024/09/28/1104588/sorry-ai-wont-fix-climate-change/

@nshinshi_ The Brain Abstracted 第2章のレジュメ。本論に入る前に、著者の科学哲学的なスタンスを示しているパート。
https://infrequent-worm-6bc.notion.site/Ch-2-Footholds-2-11cce8355e6b8063bedad9c43c8d24c5

Given that this year's Nobel Prize reminded us that AI in science will become increasingly the norm, I'm curious who envisions the ecosystem of AI-human hybrid scientific enterprise. I'm finding way less discussion on this topic than I would expect. https://x.com/rmaruy/status/1845665270855336434

下記レポートの末尾でも、「人文知も巻き込んだ、新しいAIアライメントのフレームワークを構築し、提示していく」一つの契機として京都会議に触れました。
https://x.com/rmaruy/status/1840147277996011612

京都哲学研究所の京都会議は9月23、24日とのこと。https://news.yahoo.co.jp/articles/ea2605b2ae74b944aea8555d4ba3e8270be6e18a

@nshinshi_ コロナ禍全盛期に作った動画。ほぼほぼChirimuutaさんの立場とアラインしていると感じる。https://x.com/rmaruy/status/1273586896954814465?t=Vvpn7Xq9pkUCxNEzeqwCgw&s=19

今自分が書こうと思っているものを生成できるだけのpretrainingが今の自分になされているのか、この判定がいつも難しい。

先月までとはうって変わって、今月は1日中何かを書いている生活に。いろいろご注文をいただき、12月初旬までは全力でやって終わるかどうか…という仕事量になりました。

杉本先生の『「人工知能」前夜』はこの時期の計算機科学・AI研究の経緯を知るのに随一の和書です。
https://rmaruy.hatenablog.com/entry/2018/10/25/235430

専門家からのさらに解像度のある情報が。https://x.com/MaiSugimoto4/status/1848646590929715225

@MaiSugimoto4 おお、助成金提案書と会議プロポーザルでそのように違っているのですね、補足ありがとうございます。今朝、『「人工知能」前夜』と見比べながら、もとtweetの文献を読んでいました。

@hiraiyasushi1 次回も楽しみにしております！　また、いずれ、より広くこの講座の内容がアクセシブルになるとよいなと思います！

そして面白いのが、日本ではマッカーシーよりウィーナーのサイバネティクスがずっと有名で、ダートマス会議の数か月前にウィーナーは来日。AI研究を指す訳語も「電子頭脳」や「人工頭脳」などが使われるなど当初揺らいでいたという勝野宏史氏らの記述。
出典：https://academic.oup.com/book/46567/chapter-abstract/408129160?redirectedFrom=fulltext https://t.co/nE3WyGVLBg

上記2つの引用から、野心的で血気盛んな若者としてのジョン・マッカーシー像が浮かんでくる。ダートマス会議を企画した当時は28-29歳。40歳前後のシャノンなどを巻き込んで「人工知能」という言葉を作ることに成功。62歳のウィーナーを呼ばずに済むようサイバネティクスを避けて。

McCorduck (2004)によると、McCarthyはShannonから共著論文集のタイトルは『オートマトン研究』以外は「派手（flashy）」すぎるといわれ、まあいいかと思ったが、後にスコープが狭すぎたと感じたので1956年会議では「人工知能」を主張した。（しかし中央の引用はShannonに大分失礼ではないだろうか笑） https://t.co/5i9ur322De

John McCarthyが1988年にとある論考集への書評のなかで、「人工知能」という言葉を作ったのは、アナログのフィードバック機構を中心とする「サイバネティクス」と距離を取り、ウィーナーを重鎮として扱ったり彼と論争することを避けるためであったと書いていたのを知る。http://jmc.stanford.edu/artificial-intelligence/reviews/bloomfield.pdf https://t.co/fpiXils1w3

面白い…。サトシ・ナカモトが誰であれ、それが明らかになった暁には我々全員の世界観の更新を迫られる、と。 https://x.com/tylercowen/status/1848369366120779886

Terrence Sejnowski氏の新刊「ChatGPT and the Future of AI」の第13章のプレビュー。
神経活動を生成する「large neurofoundation model（LNM）」についての記述が興味深い。（今度のASCONEでは銅谷先生からこの辺りの話がきけるのかもしれない。）
https://www.thetransmitter.org/large-language-models/are-brains-and-ai-converging-an-excerpt-from-chatgpt-and-the-future-of-ai-the-deep-language-revolution/

物理的に不可能な要求をする娘3歳に「それってあなたの願望ですよね？」と言っていたらおこられた。

『ロボットの人類学』は第1章（草稿版）が著者のウェブサイトで公開されています。「日本におけるAI・ロボットと人間の共生」のようなことを考えている人にはずばっと刺さる内容のはずなので、多くの方に読んでいただきたいです。
https://anthropology.soc.hit-u.ac.jp/akinorikubo/

平和博さんによるハーバーマス・マシンの解説記事。https://news.yahoo.co.jp/expert/articles/2b6aaca6cacedac8ecbcfdc0ed9728aa02d53c58

久保明教『ロボットの人類学』（2015年、世界思想社）をようやく読了。想像より読みやすく、とくにロボットのマンガ／アニメでの表象と、20世紀後半以降の日本のロボット工学の歩みの記述はそれだけで読みごたえがすごい。ロボットと人間の関係を、その「内」からの視点で、かつ時間的に捉える。

平井靖史講師による「記憶の哲学とは何か」講義、非常に有益だった。2016年ころから急速に立ち上がったというこの分野のチュートリアルを日本語で聞けるのは極めて僥倖。 最後に指摘されていた「今記憶の哲学をやらなければという危機感」の理由は、意外かつ重要だと思った。 https://x.com/nhkcul_aoyama/status/1846396313438761145

第2回メタサイエンス勉強会で話題提供される植田さんの記事です。
https://x.com/catch_d_17/status/1847884564976587183?t=Rveg5zsGzucVdcSEV0IzBg&s=19

@hir_kurashige 評価の形式面だけでいうと、まだ人間プレイヤーでサチっていないメトリックがたくさんあり、かつ投打という普通は両立しないメトリックで同時で卓越することができるのが野球の特徴でしょうか。ボーリングやダーツだとそうはいかなそうです。

@hir_kurashige 最近私もそれを少し考えて、まず大事なのが「人間離れしているけど人間である」ということだと思いました。

オックスフォードの神経科学者Chris Summerfield氏やGoogle DeepMindのチームによる、市民の議論結果をAIに要約させ、市民会議の質を向上させたとする「ハーバーマス・マシン」論文。5000人の市民で検証したという。 https://x.com/bakkermichiel/status/1846988167549014061

須田桃子さんの講演、充実していた…。持ち帰るものがたくさん。

今晩の須田さんのトークはとても楽しみ。聞いてみたいことがたくさんあります。
昨晩は『捏造の科学者』を改めて再読。文庫版あとがきの「「研究者が誠実でいられる研究環境」を実現するための道筋」（p.464）という言葉が印象的でした。
もしよければご参加ください。 https://x.com/rmaruy/status/1836916934958534802

高木さんとの会話をもとにぼんやりと浮かんできた、メタサイエンスへのスタンスの広がりのイメージ。 https://t.co/lRXHkeRdGy

@sho_yokoi 横井さんの講義大変楽しみにしております。（来月に入ってから少しだけ打ち合わせをさせていただけるとありがたいかもしれません…🙇）

やはり、Danさんからこういう見解になる。陣営によって、状況認識がずれている。
https://x.com/DanHendrycks/status/1846585909959139417?t=2402y-kJzDslqeTsbIu_ZQ&s=19

「現在、私たちはAIエージェントの社会的な進化という重要な過渡期に直面している。…AIエージェントをめぐる環境は…AIが実社会に融合するためのプラットフォームへと変貌を遂げつつある。…人間とAIがともに成長し、相互に価値を提供し合う新しい情報生態系の誕生を示唆している。」前掲書p.215

岡瑞起・橋本康弘『AI時代の質問力：プロンプトリテラシー』掬読了。prompt engineeringはアドホックな印象があったが、うまく体系化されていて勉強になる。自然言語をこんなに技巧的に使う時代が来るとは。
そして、ノウハウ指南のパートをAIエージェント社会への展望で挟んだ本の構成が面白い。

Maleki+2024. AI Hallucinations: A Misnomer Worth Clarifying.
AIにおける「ハルシネーション」という言葉の使われ方をとことん調べた研究、面白いな。2000年代は画像分野のみだったが、2010年代後半に機械翻訳の文脈に入り、ChatGPTでCS以外にも広がった。
https://arxiv.org/pdf/2401.06796v1

@hiraiyasushi1 いえいえ、この期に入門したいと思います。
見逃し視聴になると思いますが、とても楽しみにしています！！

受講します。皆さんぜひ。 https://x.com/hiraiyasushi1/status/1846443646394290204

@beatphysfreak @shingoemoto 江本伸悟「社会を滔々と流れゆく時間に比べれば、物理学の内部を流れている時間は、ほとんど凍りついて止まっているかのようです。…しかし、物理学の時間がそうして…おだやかに流れて居るからこそ、人は…物理学とふたたび出会うことができる。」 https://note.com/shingoemoto/n/nba9ac586d0b5

高橋恒一（2024.10）「科学AIの自律性レベル」読了。非常に重要かつ恐ろしく面白い。
Sakana AIのAI Scientistはある領域に限定されたレベル4。レベル4以降で人間とAIの科学が分岐する可能性がある。各レベルの「インパクト」の記述にも目を引くアイディアが多い。 https://x.com/ktakahashi74/status/1846366684451586336

昨日の自分が書いた出来の悪い途中原稿を見てやってくださいよ、と今日の自分をだまくらかして席につかせ、校正のついでにその続きをちゃっかり書かせる。その繰り返し。

Science as it could beから、Science as it should be / want it to be を集中的に話し合って、メンバーで「科学デザイン原則」を取りまとめてみる実験的なワークショップをしたら面白そう。メタサイエンス的な感覚のある、一流の20-30代の科学者を巻き込めるかがたぶん鍵になる。

上記のメンバーは基本的には②と③の間くらいの陣営の人々（したがってe/acc対doomerのようなフューチャリスト的対立軸から距離を置こうとする）という理解です。
https://speakerdeck.com/rmaruy/gai-yao-ban-kao-cha-noto-agirisuku-noyi-lun-nidouxiang-kihe-ebaiinoka-ver-dot-1?slide=21

2024.9.25　カリフォルニアのSB-1047の決着がつく少し前に、スタンフォードのメンバーを中心に打ち出された声明「A Path for Science‑ and Evidence‑based AI Policy」。Fei-Fei Li氏、もとOSTP長官のNelson氏、AI Snake OilのNarayanan氏らがいる。 https://x.com/dawnsongtweets/status/1838610481797333150

@MrHengYang @bioshok3 At this moment, I've written this essay only available in Japanese... (partly because it is mainly intended to fill the knowledge gap on AGI risk discussions in the English-speaking and Japanese-speaking worlds).

Much wanted in this era of AI for/in Science may be "The Structure of *Meta*scientific Revolutions" featuring the transformation of science as a social process through innovations in technological infrastructure. The closest may be @michael_nielsen 's "Reinventing Discovery."

@kotobuki ちょっとわかります。似たものとして「パワハラプロンプト」などもあるように思います。ツール・モノと割り切っているから使える乱暴な動詞が、それでも擬人化を免れ得ない対象に使われている気持ち悪さ…のような感じでしょうか。

つまり、『社会-技術的インフラによる”メタ科学革命”の構造』を誰かに書いてもらって、その外挿で「AIによるメタ科学革命」を論じてほしい。一番近いのはニールセン『オープンサイエンス革命』かもしれない。

つまり、Kuhnが『科学革命の構造』を書いたときの科学-科学論の前提状況そのものを、AIはどのように変えつつあるのかに、私は興味があるのだと思う。https://x.com/rmaruy/status/1670427563624370177

野家啓一先生は昨年の『化学』にて、今のLLMではパラダイムシフトをもたらすような発見は無理なのではと書いていた。https://x.com/rmaruy/status/1681462478142865412　一方、AIは個別ドメインのパラダイムを超えて、「科学」という実践そのもののパラダイム（と言っていいのかわからないが）を変えつつあるようにも思われる。

橋本先生、「科学革命が起こっている」と。
近年のAIによる科学の変化と、クーンの意味での「科学革命」との異同を考えてみるのは面白そう。 https://x.com/hashimotostring/status/1845051000576671946

11月下旬バークレーにて、AIのこれからを議論するカンファレンス「The Curve」開催とのこと。会場はAGIリスクの総本山のような場所だが、かなり広い意見の人が集うようだ。日本からも一人は参加してほしい。https://thecurve.is/

一つ今日はなさなかったことに、基礎科学が世界の共通言語になり、経済や地政学的な対立がある国や文化とも科学ではつながれるという価値は私は大事だと思う。水曜日にお話ししたWilsdonさんもそこを強調していた（メタサイエンスは競合国とも知見を共有できる今日稀有な分野だと）。

AIの津波が押し寄せつつある今、science as it isに埋め込まれた私たちはいったんそのステークを離れて、今日の高木さんの問いのようなレイヤーで話すことがとても大事だと思う。

しかし「総体としての科学」が何らかの前進（この前進の意味の非自明性が重要なのだが）することに、道具的ではないintrinsicな価値を見出す、高木さんや私のような人もいるはずだと思う。私がそういうことを考えだしたころ、佐藤文隆さんの本を読んで感銘を受けた覚えがある。https://www.amazon.co.jp/dp/4004312906/

あとからいろんなことを思った。一つは、「科学にどうあってほしいか」というのは多くの人にナチュラルな関心事にはなりにくいレイヤーの問題意識かもしれないということ。とくに研究にはそれぞれその活動を駆動する「原初の問い」のようなものがあるのだと思う。cf. https://rmaruy.hatenablog.com/entry/2018/12/21/221553

高木さんからの、AIが科学を変えるこのタイミングで、科学のグランドデザイン的なものを、いったん実現性とかは置いておいて、そもそも”どんな科学であってほしいんだっけ？”という視点から考えてみませんか、という問いかけは、とても時宜を得ているし、スケールが大きい問いだと思った。

Dashun Wangらのビブリオメトリクス研究。論文・特許のキーワード分析により、文理またがる広範な分野におけるAIの活用を経時分析。AIを使うとインパクト（引用数）が上がりやすい分野の上位に「哲学」や「数学」が上がっているなど、いろいろ興味深い。 https://x.com/dashunwang/status/1844767889846423956

@jimpe_hitsuwari @takagi_shiro フリーにゆるく話すので録音なしのつもりでしたが、櫃割さんに頼まれたからにはアーカイブしますか！　@takagi_shiro

今晩、@takagi_shiroさんと雑談します。
https://x.com/i/spaces/1YpKklAQvEyGj

AIがもたらす生物学と神経科学の加速効果の見立てについては、専門家の見解が気になる（日本で一番考えているはずの @ktakahashi74 さんなど）。
また、Anthropicが推し進めるinterpretability研究がどこまで「脳の理解」に実際資するかはとても関心がある。

あと、「return on intelligence」の概念は面白く、 思考を促される。一方、知能がスカラー量であることがこの概念の成立要件になるようにも思える。この想定に問題がある気がしていて（例：https://note.com/rmaruy/n/n8b608dc20207…）、この観点から「Compressed 21th centruy」にどう反論できるか、考えてみたい。

下記ノートに書いたように、こういうものが出る背景には注意が必要だと思う。 https://x.com/rmaruy/status/1843592455607988336…うがった見方をすれば、SafetyでポジションをとっていたAnthropicですら、「明るいAIの未来」を描く必要を感じるほどに投資環境に陰りが見えているのかもしれないし、違うかもしれない。（続）

2024.10.12 Dario Amodei氏エッセイ「Machines of Loving Grace: How AI Could Transform the World for the Better」掬読了。https://darioamodei.com/machines-of-loving-grace…　まずAmodeiさんの知力に敬意を覚える。この未来がくるとは私は思えないが、ものすごくよく書かれているし誠実さも感じる。（続）

ご関心がある方は@nshinshi_ さんまでお願いします。

「"The Brain Abstracted"をざっくり読む会」を、@nshinshi_ さん、@Kotaro_Ueda1998さんと行います。
第1回（Ch.1-3）：11/5 20時〜
第2回（Ch.4-6）：11/7 20時〜
第3回（Ch.7-10）：未定

When people start saying "Now we can't do X without AI," the immediate next questions should be, "What have we meant by saying 'doing X' all these years?" and how is "'AI for X' changing what we mean by 'doing X'?"

記憶の哲学講義、アーカイブでも見られるようだったのでオンライン受講することに。これは楽しみだ。。 https://x.com/nhkcul_aoyama/status/1843964565945807286

樺島先生の洞察。
「ホップフィールド氏の論文は、連想記憶に関する無駄な部分を極力削ぎ落とし本質だけを残したモデル化を与えた点、また、磁性体のイジングモデルとの類似性に着目し見通しのよい考え方の筋道を示した点で他の論文よりも可読性、波及性に優れていた。」
https://www.jps.or.jp/information/2024/10/2024novelprize.php

【お知らせ】運営補助で関わっているメタサイエンス研究会で以下のイベントを行います。ご関心があればお願いします。
・第2回メタサイエンス勉強会：「再現性」とその先を考える
・開催日時：2024年11月19日（火）15:30～17:00
https://sites.google.com/view/metascience/241119?authuser=0

@tanichu 物語と本気の技術解説で「ALICE」像がくっきりイメージできたため、逆に今のAIの「非ALICE性」が明確になりました。向こう数年のAIリスク・AI倫理はきっと非ALICEのドメインで考えればよくて、その先の可能性としてのALICEとの共生社会を別途考えればよいのかなと思いました。考えます。

谷口忠大（2022）『僕とアリスの夏物語：人工知能と、その先へ』読了。…面白かった……。

LLMブームで寄り道したAI研究は、プロジェクトALICEに戻っていくのだろうか。

Schmidhuberさんのアナザーヒストリーがきた。冒頭から、ほぼ甘利先生の業績ではないかと。https://x.com/SchmidhuberAI/status/1844022724328394780

↑こちら、事前に登録いただいた方には動画の事後共有もありますので、時間が合わない方もご関心があればぜひ。

…おや、論点をまとめた手頃な資料が。
#AI科学を哲学する
https://x.com/rmaruy/status/1776872652361412883?t=UbLuZFTliVzlMF4V67coCQ&s=19

@Historyoflife 科学が変わるのは間違いないと思います。それを健全性の損失とみるか、新たな科学の萌芽とみるか…変わりゆく科学をメタに語る視点がますますほしいです。

Domingosさんのsatireが止まらなくなってるな…。 https://x.com/pmddomingos/status/1843923877329809761

まさにこれを思い出していた。AIでノーベル賞が2つ出た2024年は、AI科学の加速元年かもしれず、AI科学のメタサイエンスが萌芽していく年かもしれない。 https://x.com/michael_nielsen/status/1843999699390615850

James Wilsdonさんと2時間くらい話していた。めちゃくちゃ面白かった。

あれぱ→あれば

Nielsenさんに寄せられた「物理学なの？」への応答。分野を区切るのは1)共通の原理（例:量子計算、相対論）、2)共通の問い（例:基礎論）、3)共通の応用（例:凝縮系物理）、4)1-3の分野間の哲学的/組織論的/政治的な集散。何が物理学かは大概偶有的。「一なる自然」への洞察があれぱ自身はなんでもOK。 https://x.com/michael_nielsen/status/1843712795017392301

今晩は六本木へ。

cf. https://x.com/rmaruy/status/734293826441863168

祝Hopfield氏ノーベル賞受賞！　ここで甘利先生の本を見ると…
「ホップフィールドの考えたモデル自体は私がその10年ほど前に提案したものとまったく同じだったので、これを「ホップフィールド－甘利のモデル」と呼ぶ人もアメリカにいたが…その声はかき消されてしまった。」『脳・心・人工知能』

某所で使うために「考察ノート」のスライド版をつくりました。

【概要版】考察ノート：「AGIリスク」の議論にどう向き合えばいいのか Ver.1 https://speakerdeck.com/rmaruy/gai-yao-ban-kao-cha-noto-agirisuku-noyi-lun-nidouxiang-kihe-ebaiinoka-ver-dot-1

「知的自律性という徳」は、AGIリスク論（先日まとめたhttps://x.com/rmaruy/status/1840147277996011612）のように専門家の見解が分極化したテーマにおいてとくに導き手になるように思う。加えて、「AIが知的自律性の徳」を持つといえるのはどのようなときか」という問いが（なかば強迫観念的にではあるが）湧いてくる。

「…判断を委ねるべき場面で判断を委ねるべき相手にきちんと判断を委ねることができる人こそが知的な謙虚さという徳をもっている人であり、その判断を自律的に行える人こそが本当の意味で知的に自律している人だといえるだろう。」前掲書pp.113-4

山田圭一『フェイクニュースを哲学する』（岩波新書）読了。現代の情報環境で何を信じればいいのか、という素朴かつ切実な問いから出発し、哲学の認識論を道案内してくれる好著。「知的な自律性」というキーワードは胸の中に持っておきたい。

『The Brain Abstracted』を少人数で読む会のためのメモを作ってみました。時間がなさ過ぎてどこまでできるかわかりませんが、できる範囲で読んでいこうと思います。
https://infrequent-worm-6bc.notion.site/Chirimuuta-The-Brain-Abstracted-118ce8355e6b80419703e27b4258642f

Yanai & LercherのNature誌コラム。 https://x.com/ItaiYanai/status/1842787938175697232　
「考えるには二人必要」。真にクリエイティブな即興的議論は2、3人がベストだと。実感として正しいと思う。

@tumada 用語の略し方がイデオロギーや立場の符丁になってしまうようなケースはありそうですね。原子力発電所→原発など。人権が略語だという意識はありませんでしたが、なるほど、と思いました。

Agreed.
Open academia Lecturesも海外の有識者への英語インタビュー形式ができるといいな。 https://x.com/ryuichirot/status/1842718093602394312

（営業連絡：上掲ノートに関する議論・説明のご依頼は有償でお受けすることにします（生計のため）。書いた内容以上の知見は持ち合わせていないことをご了承ください。いうまでもなく、各所で批評いただくのは歓迎です。お知らせいただければ私も拝読し勉強します。）

@takagi_shiro ぜひ！　私はたぶん、メタサイエンス運動の概観、AIアライメントの議論動向、個別ケースとしての「神経科学と理解」、アクティビズムとしてのOpen academia、等々に目配りしながら、考えていく感じになると思います！

”The Brain Abstracted”第8章では、AIが神経科学をどう変えるかに関して、
1）予測と理解が離婚することによって科学としての神経科学が終わる
2）今までやってきたことと変わらない
3）人工ニューラルネットにより目指される「理解」が変わる
の3路線を詳しく検討している。

高木さんの熱い資料。 https://x.com/takagi_shiro/status/1842454702400938420

2024.10 米国シンクタンクCSETより、間もなく実装が広がる「LLMベースのAIエージェント」の可能性とリスクと対応を議論したワークショップレポート。的を射た議論がなされていて参考になる。https://cset.georgetown.edu/publication/through-the-chat-window-and-into-the-real-world-preparing-for-ai-agents/　…考えるほど、AI agentは迷惑と混乱の元になることのほうが多い気がする。

手を挙げてくださる方がいたので、Chirimuuta著の読解会？をごく少人数、超短期でやることになりそうです。ご関心があればお知らせください。

@HiroTHamadaJP @RShibato 入れ違いで福岡から帰るところです🙇

小林先生 @beatphysfreak と江本さん @shingoemoto の対話を聞いたのはいつかなと思ったら、9年前でした。https://rmaruy.hatenablog.com/entry/2015/12/16/090129

こちら、残念ながら自分は参加できないのですが、間違いなく面白いと思います。 https://x.com/shingoemoto/status/1834882494719836413

Narayanan & Kapoor『AI Snake Oil』読了。AIと社会に関して、広く読まれるべき名著がまた一つ。未来をインチキAI社会にしないために。少しでも早く邦訳が出ると良いと思います。

荒木健太郎さんのレクチャーの開催記録を公開しました。ここまで考えてここまでやるのかと、荒木さんとの対面は科学コミュニケーション観がアップデートされる経験でした。
https://note.com/academist/n/n2becf9c9f2d6

弦さんは、研究エコシステムのなかで未曾有の動き方をされている人だし、この対話も類をみないものでした。👏 https://t.co/wiXpDRrzW2

この文章の最後に書いたことは、おそらく上記のNarayanan氏のテーゼと同じことだと思うhttps://x.com/rmaruy/status/1836594780161392792

「超知能がコントロール不能になる懸念は混乱している」という趣旨のこの投稿には賛成できる。どんなに強力なAIでも、人間の制御下にある限りは人間の能力拡張ツールに過ぎず、人間の制御を離れて初めて「超知能」と呼べるものになるはずだから、と。超知能が制御不能になるというのはほぼ同語反復。 https://x.com/random_walker/status/1841489242071191893

@hiraiyasushi1 解説ありがとうございます！
アインシュタインとは違う意味でのpluralな時間というのは、21-22世紀の形而上学のロゼッタストーンという感じがします。

#ASCONE の準備で、いよいよChirimuuta著をしっかり読んでいきます。もしご関心がある方いましたらお知らせください。https://x.com/rmaruy/status/1785974593800593431

運営補助で関わることになった「メタサイエンス研究会」。これからどう発展していくかわかりませんが、とりあえずWebサイトができました。
https://sites.google.com/view/metascience/home?authuser=0

@hiraiyasushi1 掬読しました。singular and universalなdurationというところで、そうか…となっていたので、貴重な注意でした。

ポストAI automated科学のグランドデザインを描かなければいけないという話で盛り上がった今晩の飲み会。

ALIGNにて事務局として動くのは本日で一区切りとなりました。力及ばずな点が多々ありました。上記ノートの認識にもつながり、得難い経験をさせていただきました。https://x.com/rmaruy/status/1835987593068249566

たしかに！　サプライズを求めて情報を渉猟しつつ、驚いた後に何とか自分なりに分かった気になるまで粘るのが理解屋。
https://x.com/golden_lucky/status/1840602116039348524

理解屋の仕事は、世の中に新しい知をもたらす人たちの縦（通時）方向のスコープに学びながら、横（共時）方向への見晴らしをそれを必要とする人たちとともに整備すること。
https://x.com/rmaruy/status/1836774264990818532

編集者、事務、コミュニティマネージャ、事業企画、研究支援者、シンクタンカー、ライター等々、どれを名乗るにも中途半端でアイデンティティに悩む日々。物分かりが悪いため「理解しよう」と藻掻くなか産み落としてきた副産物に価値を見ていただけることが多い気がするので、「理解屋」でいくか。

一方、生成AI開発者に2026年からデータセットの透明化を義務付けるAB 2013には署名。https://x.com/chrmanning/status/1840419528267964545?t=Ceqi71UYoQbvydeMS2zvkA&s=19

カリフォルニア州知事、州議会を通過していたAI規制法案SB1047に対する拒否権を発動。 https://x.com/latimes/status/1840492005597606230

36ページあるためエグゼクティブサマリ的なものをつけることも考えたのですが、短い記述で「わかった」or「理解できない」とされがちな状況への不満が起点になっているため、ナラティブを通して読んでいただく構成にしています。

@bioshiok3 さんどうもありがとうございます！　このレポートでも多くbioshokさんの日々の発信を参照させていただきました。今後は自分は今までのようにはこのテーマを観測できなくなっていくと思うので、引き続きbioshokさんの情報収集に期待しています。ぜひよろしくお願いいたします。 https://x.com/bioshok3/status/1840274977653961038

Thanks:
@bioshok3 @mari_izumikawa @takagi_shiro

※過去9か月間事務局を務めたALIGNでの活動期間中に調べた・考えたことであり、 @AIAlignNetJP 関係者の皆様に御礼申し上げます。ただ本稿は完全に個人の見解に基づく発信です。

【個人レポート公開のお知らせ📣】
「考察ノート：「AGIリスク」の議論にどう向き合えばいいのか Ver.1」を執筆・公開しました。
https://researchmap.jp/rmaruy/published_works
AIの「存亡・長期・壊滅的リスク」の議論の個人的な状況把握です。こういう整理が一部に求められていると感じたため、拙速ながらまとめました。 https://t.co/cRMxiP4scO

@tanichu めっちゃ準備します…！

ASCONE2024『脳・理解・計算』で話題提供することになりました。http://ascone.brainsci.net/#Lec4　場違いすぎて恐ろしいことなのですが、参加者としてASCONEに行ってみたい気持ちが抑えきれずお受けしました。楽しみです！

あと数千字。今日はこの図を描いた。 https://t.co/RRc2aFgBaY

科学研究のアイディエーションのためのツールがAllen AI研から。こういうthink with AI系は未来があると思う。 https://x.com/marissa_rad/status/1839032504155779290

また、荒木さんの平時と非常時のSNSでの科学コミュニケーションの方針の首尾一貫性には舌を巻いた。自分のtwitterは180度違い、基本的には「今初めて知った/考えた（と考えた）こと」を呟いていて（cf.https://x.com/rmaruy/status/1781168905454834044?t=EJOeTPpTf45U7dJc0YY1_A&s=19）
この使い方に満足しているが、infosphereを汚しているかもしれない。

昨晩の@arakencloud さんのお話で、印象的だったのが荒木さんの本のつくり方。2000人がゲラを読む「先読みキャンペーン」、「チーム体制」での執筆など。著者と読者の区別をグラデ―ションにする「本の文化」を書籍編集者時代に漠然と考えたが、ここまでのことができるとは。https://x.com/rmaruy/status/1264204832128155648

Metascience 101というポッドキャストが始まったもよう。https://www.macroscience.org/p/announcing-the-metascience-101-podcast

あと一万字くらい…

最後の予習。
気象学の科学コミュニケーションは、物理現象として紐解く理学的な面白さと、風景として楽しむ審美的な面と、災害に備えるリスクコミュニケーションの側面が同居し、かつ相互に関連していて、とてもエキサイティングだと改めて思う。 https://t.co/KnWbvBhEUf

タイトルはコリンズ著のオマージュですね。
https://rmaruy.hatenablog.com/entry/2017/05/06/155932

おお、Wilsdon先生が来日。参加します。 https://t.co/Ij4ngneynt

このAI Snake Oilという本はかなり気になる。「まやかしのAI」といったニュアンスか。 https://x.com/random_walker/status/1838543394181730472

21世紀は記憶設計学の時代になるのではないかと思っている。未来は思い通りに変えられないが、記憶は変えられるかもしれないと、私たちが気づくことによって。https://x.com/rmaruy/status/1213099864361275393?s=19

石井裕さんのトークは初めて聞いたが、さすがに力強かった。「未来記憶」のコンセプトは印象的。

神経法学者らによる「弁護士、裁判官、政策立案者のための脳科学」という本が今年出ている。（Brain Scienceは和製、というのはもはや成り立たなそう。） https://www.amazon.com/Brain-Science-Lawyers-Judges-Policymakers/dp/0197748864/ref=sr_1_1?crid=I9Z6QBFG07CP&keywords=owen+jones+brain&qid=1706902247&sprefix=owen+jones+brain%2Caps%2C219&sr=8-1

@hiroaki_skm 野武士、かっこいい！お疲れ様でした！！

エッセンスフォーラム@八重洲へ参ります。オンライン視聴しながら。

@arakencloud https://sites.google.com/view/2023jcsir/%E9%9B%AA%E6%B0%B7%E6%A5%BD%E4%BC%9A　「雪氷楽会」

「進化心理学でこう説明できる」ことと「こうあるべき」という規範は別というのは本書で何度も注意されている一方、「進化的説明を踏まえて、こうするとよさそう」という含意は引き出せそう。そこでは多分「では、どこまで変えられるのか」という臨床心理的知見が揃うといいのだろうと思った。

小松正さん@Tadashi_Komatsuからご恵贈いただいた『なぜヒトは心を病むようになったのか?』、すごく面白くて一気に読了。表題のうつ病をはじめ、厄介な心理的性向の出自に関する進化心理学の学説をわかりやすく解説されています。

落合陽一「計算機は自然であり、自然は計算機である――僕はこの考え方を追究していくだけなので、AIは生産性を上げてくれるありがたい存在です。」https://www.dentsusoken.com/case_report/research/20240919/2690.html

国連のAI Advisory Boardの最終報告書、さすがにしっかり書かれていた。先日の社会科学オリンピックで高校生たちの模擬国連は論点をしっかり拾っていたなと改めて思った。https://mainichi.jp/articles/20240920/k00/00m/030/071000c

「第3の職種」ないし「研究開発マネジメント人材」と「Research Relations」の差分として想定してみたいのが、後者では「予算」や「組織」によって恣意的に仕切られた研究グループをまたぐ動きにコミットできるのではないかということ。ただし現実にはフィーがどこから出るのかが問題にはなります。

直近ではWeb媒体に移り、線虫がん検査の調査報道などで注目されている方も多いと思います。研究者との緊張関係もいとわず、科学の姿を伝えることができるのはどうしてなのか、ぜひお聞きしてみたいと思っています。科学・学問を伝える記者や編集者を目指す方にはぜひご参加いただきたいです。

私が初めて須田さんの名前に触れたのが、2018年の『合成生物学の衝撃』。科学記者って、こんなにも深く研究現場に入り込んで、先端技術の開発状況を伝えることができるのかと、思いました。

【お知らせ】10/18 Open academia Lectures #2 では須田桃子さん@MomokoSuda をお迎えします。新聞、書籍、Webと、マルチメディアで科学ジャーナリズムを実践する須田さんから、ご自身のお仕事について伺う数少ない機会だと思います。https://academist241018.peatix.com/view

Research Relationsが求められる理由をものすごく雑に言えば、「通時的な知の継承と算出」を必須要件とする研究という営みが、今の社会で居場所を持てるようにするための「共時的な共創と価値交換」を促す機能が必要だから、だと思う。 https://t.co/VBo2z7j9fw

（↑どなたか思いついたらこっそり教えてください🙇）

「すごいresearch relations」を探したい。
研究者の方々に、「この人は、自分の研究プロジェクトを始動・加速する／研究の波及効果を広げるうえで、目を瞠る役割を果たした」という非研究者（事務職、URA、編集者、ファンドレイザー、広報 etc.）の人を聞いて回りたい。

ベンチマークで知能は測れるのだろうか｜R. Maruyama @rmaruy #note https://note.com/rmaruy/n/n8b608dc20207?sub_rt=share_pb …何となくずっと考えていたこと何となく書いてみました。

AI開発が「計算資源不足」や「データ不足」よりも先に「ベンチマーク不足」に直面しているように見えるのは面白い。AIの能力を「測る」手立てが枯渇しつつあるにもかかわらず「AGI」ができていないのだとすれば、汎用知能とはペーパーテストでは測れないものだったということになるのだろう。

Open academia LecturesのDiscord、先陣を切ってコアな方々が入ってきてくださっていてありがたいです。
第2回の登録も明日から開始します。

Open academia Lecturesは、実はそうしたresearch relationsな方々（大学や公的機関にいる方含め）のコミュニティをつくりたい、というのが裏テーマになっています。https://x.com/rmaruy/status/1833700991277142218?t=XO-TKjxSfucs-AUrZGelEg&s=19

研究開発マネジメント人材、「研究者の負担を減らす」にとどまらず、新しい研究の芽（つながりやビジョン）を研究者とつくったり、研究の波及効果をブーストする「research relations」としての活躍へ広げていきたいところ。https://mainichi.jp/articles/20240917/k00/00m/040/078000c

下西さんの『生成と消滅の精神史』を思い出してめくったところ、以下の記述があった。通じるものがある。
「私の心とは何なのか？　そう考えようとした瞬間に、そこに見える心や自分は、そのような問いを発した自己からはすでに離れてしまっている。」下西著 p.446

F.カプラン(2011)『ロボットは友だちになれるか』読了。
p.267「西洋人は、メタファーを使い、差異によって…機械に「何ものかが」付加されたものとして、みずからを定義してきた。新しい機械の登場は…この…特異性を再定義するように迫る。それゆえ、人間と機械が合致することなどありえないのだ。」

現状、ALIGNからの情報発信は主にXで行っています。
日本語：@AIAlignNetJP
英語：@AIAlignNetwork

活動記録メモ：ALIGNでの9か月間 - 重ね描き日記（rmaruy_blogあらため） https://rmaruy.hatenablog.com/entry/2024/09/14/230041
…今年お世話になったALIGNについて書きました。得がたい機会を与えて下さった創設メンバー、協力いただいた皆様に深く感謝します。団体としてはこれからなので、引続きALIGNをよろしくお願いします。

Boyle & Blomkvist (2024)、ざっと読了。心理学・認知科学で蓄積された議論に比べて、AI分野で「エピソード記憶」概念がゆるく使われている状況を踏まえ、より広い「イベント記憶」を使うことを提案。その上で、AIのイベント記憶と、認知科学の記憶研究がどう互いに資するかについて広く検討している。

「AIとエピソード記憶」の哲学的分析に関する本格的なレビュー論文が出た。これは読む。
Boyle Alexandria and Blomkvist Andrea 2024Elements of episodic memory: insights from artificial agentsPhil. Trans. R. Soc. B37920230416
http://doi.org/10.1098/rstb.2023.0416

「私は「#人間性の回復」というハッシュタグをつけて…地球の朝焼けや夕焼けの写真をたまに投稿しています。」「徹夜するほど仕事が忙しくなると空さえも眺められない日が増えます。そんなとき、美しい地球の気象衛星画像を見て癒しを得るのが、私の小さな楽しみです。」荒木健太郎　前掲書p.131, 134

MMLUやMATHといったAIのベンチマークを提案してきたCenter for AI Safetyが、Scale AIとともに新たなベンチマーク「人類の最後の試験」を専門家のクラウドソーシングで構築する計画を発表。 https://x.com/hendrycks/status/1835725770402185399

心というか"mind"ですね。大規模言語モデルのせいで、AIに関する哲学的議論におけるmindの値打ちが下がっている気がする。

さらに「強力なAI」は、人間の「心」を探求の対象としてきた認知科学や心の哲学をも変えていくと想像できる。性能が証明された強力なAIが説明項となることで、被説明項である「心」の見え方が変わっていく。今までの心の諸学問が何を問題にしていたのか、今後わからなくなっていくかもしれない。

理由は、昨今のAIとその未来のより汎用的なAIのすさまじい社会・経済的インパクトが体感され始め、「強いAI」であるか／「心」をもっているかはそれに関係ないから、だと思う。「強力なAI」を前に、「強いAI」論は吹き飛ばされるのかもしれない。

2016年に自分がAIについて初めて書いたブログ記事は「強いAI」の話だったが、https://rmaruy.hatenablog.com/entry/2016/01/14/205240　思えば当時は「強いAI（論）は可能か？」=「AIは”心”をもてるか」がまだ論点だった。8年たって議論の位相が変わり、今は「AGI」がいつ来るかが問題で、強いAIや「心」は問題にされなくなった。

「気象学を学ぶと、人生がより豊かになると私は考えています。…美しい空や雲の風景に出会いやすくなるだけでなく…災害から身を守ることにつながったりします。…空にどのような名前の雲があり、今空がどうなっているのかがわかるようになる――つまり「空の解像度が上がる」のです。」前掲書p.7

たしかに、reasoningプロセスの強化学習の部分に膨大なノウハウがありそう。https://x.com/icoxfog417/status/1835515003618947499?t=yWkTWU3SLxdLMqz4cefvcQ&s=19ここの部分が「意図された無知」（無知学の用語で言えば）の領域に入っていくのは、AIアライメントにとって大きな問題のはず。

例えば、ニューロンレベルでのメカニズム的記述と解釈性を両立させるのは「コネクショニズム」の大もとの発想からすると無理筋のようにも思える。また、認知・神経科学の哲学では盛んに議論されてきた「表象（representation）」に相当するもの扱いがどうなっているのか気になる。

近年一分野を形成している深層ニューラルネットの「mechanistic interpretability」は、計算論的神経科学や認知科学の哲学と深く関係するはずだと思うが、今のところ言葉遣いや問題設定がずれていて相互翻訳が難しい状況のような印象を受ける。どうなのだろう。

岩渕正樹『世界観のデザイン』読了。スペキュラティブデザインで有名なダン&レイビーの薫陶を受けた著者が、「世界観」と呼べるほど包括的な未来像を作り込むやり方を、企業で使える方法論にまで落とし込んでいる。未来洞察系のワークショップをやる人には必読だと思った。https://book.cm-marketing.jp/books/9784295410065/

nonprofit経営というものが、片手間にやるものでも奇特だからやるものでもなく、一つの専門職になっているのだろう。

米国の中小のNonprofitが
経営層（CEO，COO？）にしっかりとした報酬を確保していることがわかる。とくに予算規模3500万円以上〜1億円くらいのところの数字が示唆的だと思う。予算の10％位が経営スタッフ一人にかけられている。 https://x.com/Largo37980797/status/1835098201139167642

@Largo37980797 どうもありがとうございます！中小の非営利組織でも、しっかりとした給与に出る仕事になっていることが分かり、貴重な情報だと思いました！

@Largo37980797 貴重な情報ありがとうございます。確認ですが、これは経営者「一人」の報酬中央値でしょうか？

スタンフォードのFei-Fei Li教授がCEOを務めるWorld Labs社創業。「大規模世界モデル」の構築を掲げる。
…「空間知能」というキーワードは、三宅陽一郎さんの一連の論考を想起する。 https://x.com/theworldlabs/status/1834563552750838117

（3続き）むしろ、実世界の問題を「多段階の論理推論で『正解』が求まる問題」に仕立て上げる能力こそが、「本当の知能」と私たちが呼びたくなるものの内実に近いのかもしれない。

（3）「多段階の論理推論が必要で、かつ『正解』が定義できる問題」というのは、実世界にどれくらいあるのだろうか。実は、それらは試験問題/パズル/コンテストなど、「ある方向に特殊能力をもつ人間のスキルを測るベンチマーク」であって、それで測られる能力そのものではないかもしれない。

（2）o1が「熟考」しているとして、「早い思考」との「使い分け」の部分である種のフレーム問題に直面するのではないか。OpenAIのドキュメントによると、何トークン使うかはユーザーが設定できるようで、「どれくらい深く考えるかのダイヤル」はまだ人間が握るのかもしれない。

この記事を読んで発想したこと。
（1）o1は「熟考」しているのだろうか。「早い思考」を膨大に走らせて、多重ループでクロスチェックすることでエラーを抑え込んでいるように見える。（本当のところはOpenAIの情報開示が不十分なためわからないわけだけど。）
https://www.nikkei.com/article/DGKKZO83467290T10C24A9TB0000/

ＡＩ制度研究会第２回資料。
・宍戸先生の資料は何周もした議論がコンパクトにまとまっている。
・神戸市の条例は知らなかった。
・NICT鳥澤氏の「正義を志向する生成AI」は防御的AI、"safeguarded AI”などと比べ踏み込んだ表現。https://www8.cao.go.jp/cstp/ai/ai_kenkyu/2kai/2kai.html https://t.co/zbrBidOasL

davidadさんが試したo1との三目並べ、勝ってないのに勝ったと言い張るo1。 https://x.com/davidad/status/1834339165158388080

OpenAIはここ数ヶ月、何らかのエージェントをサンドボックスの外に放って安全かをはかり続けているのかもしれない。何となく、「チョロQ」のようなものがでてくるイメージがある。辺りにぶつかりまくりながら自分が壊れるまで暴走する玩具。実際にはそうならないように頑張るのだろうけど。

コリングリッジの本を買ってみた。1980年刊。有名な「ジレンマ」が1ページ目からでてくる。マンハッタン計画を扱った8章は力が入っている。 https://t.co/sZdKJ2LRG8

対人コミュニケーションの間に立ち込める靄（もや）としてのAI。すっきりと晴れわたっていた時代への郷愁。

LLMフリーの世界に戻りたい、とやっぱり思う。
一言一句を自分で選んだ書き手の存在を信じられた、あの頃に。

ここのところ、自分が何者なのか、何がしたい人間なのか説明しなければいけない場面が増えているが、4年前に書いたこの文章の冒頭部分には、結構本音が詰まっていると感じる。ここで書いたことを、その後ちまちまやってきた感じ。だから何、という話ですが、自分にとっては書いておいてよかった文章。 https://x.com/rmaruy/status/1258348906984861696

意外なXの効用も。「私がこれまで撮影した雲の写真をざっと数えてみたところ、どうやら四五万枚を超えているようです。…特定の雲の写真を探し出すのは非常に骨が折れます。そこで、X(Twitter)などのSNSで…検索をすると、目当ての雲の写真 や撮影日などがわかってしまうのです。」（前掲書p.374）

荒木健太郎『読み終えた瞬間、空が美しく見える気象の話』読了。身近な物理現象から紐解く気象の科学、気象学という学問の成り立ち、面白く美しい気象現象の写真付き解説、気象学者というキャリアの紹介が盛り込まれた一冊。元気がないときに読むのにも良い本だと思います。https://www.diamond.co.jp/book/9784478108833.html

【お知らせ】9/26（月）夜にOpen academia Lectures #1 荒木健太郎@arakencloud氏「雲研究者はなぜ、どのように、45万人に発信するのか」を開催します。
有料なのですが、「研究を伝える」に関わる方々にはきっと記憶に残る回になると思います。ご関心あればぜひお願いします。https://academist240926.peatix.com/view

哲学の一部界隈でも「惑星的」がキーワードになりつつあるのだろうか。
https://x.com/berggruenInst/status/1833555324537868586?t=STD93z8RLS-Mpa6LWQg35w&s=19

Speculative Technologiesを率いるBen Reinhardtさんといえばこれもよかった。https://x.com/rmaruy/status/1776023267574473187

プログラムの目的は「才能ある科学者が、スタートアップや学術研究室には適さない、革新的な研究プログラムを開始するための「第3の道」を切り開くこと」とのこと。https://x.com/Spec__Tech/status/1833522461335261442

Speculative Technologiesが手掛ける、研究アクセラレーションのプログラムBrains Accelaratorの第2期が公募に。フィランソロピー資金を得て研究チームを立ち上げたい研究者向けに、15週間の学習・メンタリングと2日間のdemo dayを実施。国外参加可能。https://spec.tech/brains

bioshokさんが紹介してくれているこのstrawberryとかによって、私の予断はもろくも崩れるのかもしれない。強化学習は使っていないのかもしれないけど。
https://x.com/MoreNoReplyX/status/1833511302788223166

この本の各章では、これについての哲学議論の見取り図をだいたいもっている気になっている読者を、あれ？もしかしたら自分は（ウィトゲンシュタインの言葉でいえば）fly bottleの中にいたのかもしれない、と立ち止まらざるを得ない地点に連れていく、ということを著者はやっているのだと思いました。 https://x.com/hiraiyasushi1/status/1833345435261669826

Danさんのような強い問題意識も、正しい問いを持てている感覚もないが、確実に考えるべき問題はあるし、面白いし未来社会にrelevantな分野であることは分かった。ここにコミットしていく20代は今後増えるだろうし、彼らの後押しが少しでもできたら、自分の半年ほどの活動の意義があったと思いたい。

海外を見れば、私の世代より一回り下の人たちが、組織を立ち上げ、コミュニティをつくり、政策提言をし、AIと生きる社会を自分たちの手で設計しようとしている。代表例が、ALIGNの外部アドバイザーにもなっていただいたDan Hendrycksさんだ。https://www.aialign.net/blog/20240517

自分でいいのかと戸惑いつつ、AIアライメントネットワークのロジスティクスを自分なりにあくせくやってみた。ここから先、日本でこれが根付くかは、腰掛けの私と異なりこれが人生の一定期間をかけるに値する活動だと感じて動ける人が現れることにかかっていると思う。いるのではと期待している。

Tomorrow AI Alignment Network (ALIGN) will be hosting its inaugural 2.5-hour symposium, inviting leading figures of AI research and AI governance across industry/academia/government/lawmaking sectors. https://www.aialign.net/symposium-240909

@HiroTHamadaJP 生まれ育った多摩川が好きだったのですが、荒川の良さがわかってきました。

荒川。北に入道雲。海の方向からの風が強い。 https://t.co/MJl8b0ZxpK

@hayataka88 ありがとうございます！　ただ糊口をしのぐような意味合いもあり楽しみにしていただくような活動ではないかも…😅。直近は生き方を模索して参ります笑

10月から、「研究コミュニケーションの触媒役」のような能書きで、小さくお店を開こうかと思っている。研究者がいて、プロジェクトにお金がついていて、しかしアイディアを出す時間や実行に移す人手がない、かつ自分が役に立てる状況、という極めてニッチな市場があるのではないか、という仮説。

@jimpe_hitsuwari @arakencloud ありがとうございます。櫃割さんに今度聞いてみたいなと思っていたことに、なぜ空とか雲とか宇宙とか、スケールの大きな自然に私たちは「美」を感じるのか、という問いがあるのですが、また今度教えていただければと思います！

鈴木健「（AIリスクについて）「…議論の80％から90％は現在の課題の検討に充て…同時にせめて10％くらいは…未来を議論すべきではないでしょうか。未来の議論が1％や0％ではあまりにも悠長ですし、逆に80％も充てているようであれば、目の前の課題をあまりにも軽視しすぎています。」『Voice2023.9』

森田さんの文章を読むときの個人的な心得は、たとえば「山は生きている」といった自然観に対して常識的な科学的世界観を自明視する「上げ底」から一度降りることを意識すること。

森田真生さんの『新潮』新連載、「数学する惑星」第1回読了。ウィーナーのところは、ちょうど先月『サイバネティックス』第4章を読んだところだったのでタイムリーだった。第2回以降どんな展開になるのか予想もつかないが、待ちたい。

@kazeto 重要な論考ありがとうございます。「同期／非同期」がとても大事なキーワードだと思いました。（ずっと世界と同期できないコンプレックスがあった私は、マインドモード偏重だなと思いました笑） 『世界は時間でできている』との関連性に触れていただいていたのも、個人的にありがたかったです。

これは、AI科学が何を目指すのかにかかわる実質的な論点だと思う。AIにとってのパターン（cf. 「高次元科学」）と、人間科学者にとってのパターンが乖離していくのか、あるいは人間-AIの共同的な記号創発のダイナミクス（cf. CPC-MS論文）で、人間だけでは見いだせない「リアルパターン」を探すのか。

Aames論考で扱われている、デネットのパターン実在論やその先のRossらの存在的構造実在論（OSR）は、渡辺慧が「醜いアヒルの子定理」等で展開した唯名論的なパターン論や、Chirimuutaのプラグマティックなパターン論と対比的な方向性だと思う。「誰にとってもパターン」があるかないかが焦点。

@asonosakan ご論考、大変勉強になりました！！　「AIの哲学」というよりは「AI科学の哲学」のほうが適していたかもしれません。「AIによる科学」が、今後どんな「パターン」を探していくのかというのは重要な問題だと思いますが、デネットのパターン論から展開している議論はとても関係がありそうに思いました。

京都が、これからの日本の学術と価値観の発信のメルティングポットになっていくのだとすれば、東京はGreater Kyotoということで良いのかもしれない。タイムゾーンが同じで、2.5時間くらいで陸路で行ける巨大なサテライト都市。

Aamesさんのリアルパターン論のなかで、Chrimuuta氏の「Ideal pattern」概念がどのように捉えらえるかは考えてみたい。https://x.com/rmaruy/status/1346084991109722113

デネット特集、みんなデネットの「先」を考えている感じで、相当面白い。下西論考における「ライフモードとシステム１の違い」、Aames論考のおける「スコラ実在論としてのリアル・パターン論」などは、今日の人工知能の哲学における最先端ではないかと思う。

「SB1047に賛同するには、doomerである必要はない。ユドコスキー的なdoomerにとっては、どうせSB1047は『戦車の前のティッシュペーパー』のようなあってもなくても変わらないものでしかない」など、さすがの切れ味。

9/26（月）に、Open academia Lectures #1 を開催します。
私も先日、荒木さん@arakencloudの著書『読み終えた瞬間、空が美しく見える気象のはなし』を読んで以来、本当に毎日空を見上げるようになりました。とても楽しみです。ご関心がありましたらお願いします。
https://academist240926.peatix.com/view

@RShibato 火曜日の #desilo_academist イベントを記事にしました。これを「始まり」にしていきたいと思っています。https://x.com/academist_cf/status/1831837906992034149

2年間、客員的にOpenAIに在籍していたScott Aaronsonは、OpenAIの立場と異なりカリフォルニア州のAI規制法案SB1047を「強く支持」。これからAI safetyに関する見解をブログに書いていくとのこと。https://scottaaronson.blog/?p=8269

デネット特集を読む。

AIのcatastrophic riskの一つと目される「コントロール問題」は、実際のところどれだけ「強化学習エージェントを野に放つ」行為がsensibleだと思える状況になるか、に大きく依存する気がする。自分の狭い見識だと、それがすぐに起きるようには思えない。

強化学習って、すでにどれくらいリアルワールドで使われているものなのだろう？　サイバー空間でも、物理空間でも、「箱庭の中での実験」ではなくある程度開かれた環境のなかで動いている強化学習エージェントは、現状どれくらいあるものだろうか。

"Going Infinite"の邦訳が出たようだ。https://bookplus.nikkei.com/atcl/catalog/24/05/15/01398/

2024.9.4 Oxford大にHuman-Centered AI Lab新設。哲学者のKoralus氏が所長を務め、次世代のphilosopher-technologistsの育成、philosophy-to-code pipeline構築を掲げる。米国非営利のCosmos Instituteの取り組みの一環。Cosmosには経済学者のTyler Cowen氏が参画。
https://www.development.ox.ac.uk/news/new-human-centered-ai-lab-to-pioneer-integration-of-philosophy-and-ai-development

Johns Hopkins大でCarrollさんが仕掛ける自然哲学シンポジウム。日本でもこういうのあったらいいな。 https://x.com/seanmcarroll/status/1830943304902742404

@takagi_shiro 素晴らしい論文ありがとうございます。上記メモでは伝わらないと思うので、どこかで時間いただいて議論できればと思います！

ここ数ヶ月読んでいる、Chirimuutaの多元主義的、観点主義的でプラグマティックな「神経科学の哲学」を、CPCのレンズを通して見たらどうなるか考えてみたい。

（追加）
・外的表象wの「恣意性」があるなら、真の分布p(w|{o^k}_k) というのは何を意味する？
・wの非定常性というのは面白い。どういう状況？

（ちなみに謝辞で名前を出していただくようなことは何もしていないので、大変恐縮しています。著者たちの議論を組み立てる力にただ感銘を受けております。）

・オッカムのカミソリ的な、wのコンパクトさ（compression, abstraction）を利する効果はモデルに入っている？
・本当に異なる「パラダイム」を一つのp(w|o)の土俵で扱えるか。
・報酬Cがどのように効いてくるのかを実例ベースで考えてみるのは興味深そう。

聞いてみたい、もっと考えたいと思ったことがあるので、備忘的にメモしておく。
・科学と言語の記号創発は水平的な類比というより入れ子構造？
・wに上付きのkがつく時の含意は？
・「薬の効果」よりも定性的なwのときはどうなる？
・たとえば本論文のような新観点の良しあしはp(w|z)で語れるか。

Taniguchi+ CPC-MS論文、一読了。「集団的予測符号化としての科学観」の説明力のポテンシャルを、かなり手広くデモンストレーションしている。今後、「科学の総体」を語る上で念頭に置かないことができないビジョンだと思う。個人的にはとくに3.3節「確証的科学から生成的科学へ」が白眉に感じた。

Theoretical metascienceの幕開け、というべき論文。今年の春、アイディアレベルだったものがみるみるフルペーパーの解像度になっていく様子を見ていたが圧巻だった。…今日、やるべきことがたくさんあるけど、ちょっとこれを読む。 https://x.com/takagi_shiro/status/1831166116464582781

そしてアカデミストでは正式にacademist Prize第4期が始動。https://x.com/academist_cf/status/1830742690927124595
7人の研究はどれも魅力的で、今後お話を聞けるのが非常に楽しみ。「Open academia Lectures」にも伴走いただけるとのことで、たくさんシナジーがあることを期待しています。

80分と短い時間ですが、1）Desiloのリサーチレポートを知っていただく、2）デサイロとアカデミストの活動を知っていただく、3）次のアクションへの議論をプロンプトする、を目標にやってみたいと思います。
#desilo_academist

今晩はこちら。楽しみです。あと16人くらい申し込めるようなので、ご関心があればお願いします。https://academist240903.peatix.com/view

ブリュッセルに影響を与える「サクラメント効果」。 https://x.com/ikegai/status/1830587006675730934

夏って終わるんだな。

曇天。荒川は空が広い。 https://t.co/supDde3s8c

先週末に引いた風邪の症状はほぼなくなったものの、気力が今ひとつ戻らず。今週はいろいろ山場なので、自分が動かないと動かない部分に注力します。

@yoshi_and_aki 在職時には大変お世話になりました。長年の科学技術政策へのご献身、誠にお疲れ様でした！！

稲谷龍彦「…法テクストと人の認知のフレームワークとは相互に触発し合い、日々記号を創発させながら、法システムを作動させている」「AIやロボットの社会実装を進めるため…より分散的な法システムを採用することは、記号創発のあり方自体も変化させるかもしれない」『記号創発システム論』p211,213

簡易開催記録：メタサイエンス勉強会 - 重ね描き日記（rmaruy_blogあらため） https://rmaruy.hatenablog.com/entry/2024/08/29/214734
ご参加いただいた皆様、誠にありがとうございました。

10月、「AIの長期リスクの議論への向き合い方」についての一人policy briefを書く。

いろいろ終わったら「AIの長期リスクをめぐる言説」に関する自分個人の状況把握と認識をまとめておきたい。仕事探しよりも、まずはそれが優先な気がしてきた。

アカデミストに関しては先日の@RShibatoさんのnote記事をご覧ください。https://note.com/academist/n/n163977a82936

参加いただける方にはぜひ『DE-SILO RESEARCH REPORT』の一読をお薦めします。概要版だけでもぜひ。https://desilo.substack.com/p/30de-silo-research-report
私もこれから読み直します。#desilo_academist

こちらあと1週間になりました。あと30名くらい登録可能なようです。#desilo_academist　https://x.com/academist_cf/status/1828205791611924610

@AmmannNora Sorry this time the session will be held entirely in Japanese . Thank you for your interest!

@hayashiyus 恐れ入ります！！9月末というのも「ここまでOJT的な研修としてやってみよう」と自分であらかじめ引いていた線なのですが、どうしても手元のことに熱中してしまうところがありまして笑　あとひと月、何か活路を見出せるように考えていきます！

自分の心を固定端にして、移ろう世の中を精密に写し取ろうとする分析的態度を習慣にしていると、自分の心を自由端にして、所与の世の中に対する自分の心の動きを捉えてみようとする歌人のような態度のあることを忘れてしまう。ポエムを書く科学者が稀なのはその切り替えの難しさゆえだろう。

10月以降、何か個人で商売をしないといけないのだが、何を売るのか、何のプランも存在していない。どうしてこうなった…。年々、未来のことを考えなくなっている。

こちら今週木曜日です。もし科学哲学の政策方面への接点にご関心がある方がいましたらお願いします。 https://x.com/rmaruy/status/1813947619053551697

ダブルミーニングは言い過ぎだったかも。言語ゲームで意味が定まる言葉の最初期の事例の一つとして（言語ゲームという概念の提示以前に）「ゲーム」が使われている、という感じです。読書会では「こんな事例の出し方をしたら分からないよ」と言った人がいたのが印象的で、私もそう思ったのでした。

『哲学探究』を読んだときに驚いたのは、ウィトゲンシュタイン自身も「ゲーム」を、「言語ゲーム」のなかで意味が決まる実例としても用いることで、ダブルミーニング的に用いていること。 https://x.com/tanichu/status/1827970000017334773

メタサイエンス勉強会の清水右郷さんのスライドをちら見せしていただき、うわこれは面白い（少なくとも自分にとっては）…となっている。

そこで当然気になるのが、現在の生成AIがどの程度、人間と記号創発をともに行うアクターになりうるのかということ。クリスチャンセン&チェイターはGPT3の段階ではまだだ、と言っていた。https://x.com/rmaruy/status/1601939765942964225?t=5vA1zJwspi9aLNaEF-Uesg&s=19

そういう意味では、「形式言語によるプログラミング」や「第一世代（記号主義）の人工知能」は、本来恣意的な記号の意味をカチッと一意に定めて演算を行うものであり、人間知能の拡張の最たるものと言える。そこでは機械の側には可塑性がなく、人間の言語ゲームに加わる余地は一切ない。

「記号の恣意性は人間が脳の外に持つ可塑性なのです」というパンチラインから始まる珠玉のポスト。
人間の知能は、脳の中よりも外に多くあるのだろう。そして「単体で知的に見えるAI」は人間が脳の外に作ったリソースを利用して知的に見えるのだろう。 https://x.com/tanichu/status/1826949841286766950

9/3のこちらのイベント、早くもチケット（無料）は残り半分弱となりました。ご関心があればぜひお願いいたします。
#desilo_academist https://x.com/rmaruy/status/1826056741731389677

@ktrokd @masakik512 9/3のイベントのハッシュタグは　#desilo_academist に決まりました。事前・事後の議論に使えればと思います。

しかし一方で、本気でfield buildingしようとしている研究コミュニティに本当についていくには、キャリアをそれに賭けてみようかという若手が取り組んでいかないといけないのだろうと思った。もしくはこっちなりに別のfieldをつくるか。

@zawazawa1987 ありがとうございます！！
ぜひ連携して盛り上げていただければ幸いです！　中での議論も楽しみにしております。

永井さんの「AIアライメント入門コース」の受講終了。半身での参加になってしまったため、何が分かっていないかが分かったくらいではあるが、足が速く教科書が待てないトピックについて、先達者によって注意深くリーディングマテリアルが選ばれている」ことの限りない価値を感じた。 https://x.com/AIAlignNetJP/status/1826260502999412796

この「生成モデルを効果器として含む系のサイバネティクス」という視点に立つと、davidadさんらがやろうとしていることの自然さがわかる。https://x.com/AIAlignNetwork/status/1824028069503640048　ただそこで「実時間」が考慮されているか気になる。

20世紀初頭、人類は機械や電気素子のふるまいを数学的に記述し、その入出力関係だけでなく、フィードバック回路に組み込んだ際の挙動を「制御」するための理論を作った。今、超高次元かつブラックボックス極まりない深層ニューラルネットワークという「素子」を手なずける、システムの理論が要る。

また、本シリーズのプレ企画として、アカデミストと同じく目を瞠る挑戦を繰り広げる一般社団法人デサイロの@ktrokdさん、@masakik512さんをお迎えする対談企画を行います。

9/3（火）20時～　De-Silo × academist クロストーク「アカデミアの未来と、次の一歩を考える」https://academist.notion.site/De-Silo-academist-Open-academia-Lectures-718d87faa4d24d7eb04e489dbcf5e188 https://t.co/q1VblnhYOy

（承前）「学術業界の問題」を口では言えても、実際にやり方を変えるべく動くのは並大抵ではないこと。アカデミストもそうですが、「なぜここまでできるのか？」と思う方々に登壇いただき、今後自分なりの挑戦をする研究者、研究業界関係者の動機付けやヒントになる、熱量のある場になればと思います。 https://t.co/yOV4IqiUjo

【お知らせ】先月より準備に関わってきた企画「Open academia Lectures」が、本日リリースに。https://x.com/academist_cf/status/1826031496991486346…厳しさを増す研究業界において「研究者の生き方」「研究者を活かす仕掛けづくり」を独自に開拓している講師をお招きし、皆さんで議論してみたいという趣旨で考えました。 https://t.co/gNMwdjabbR

昨日思ったのだが、いま待望される学理は、「大規模生成モデルを”効果器”として含む系のサイバネティクス」ではないだろうか。

やることがありすぎて意味がわからなくなっているなか、とりあえず今晩の読書会（80年前の本を読む）は楽しみ。発表頑張ります。

Vermeer "Historical Analogues That Can Inform AI Governance" 読了。見通しが良い整理だと思ったので表にしてみた。こう見ると、やはりAIを一つの技術だとみなしてガバナンスしていくことの無理が際立つ。 https://t.co/eHecO12UYC

RANDの報告書、面白そう。少し見てみると、「What is AI like? プロジェクト」にて、過去のテクノロジーガバナンスとの類比でAIガバナンスを考えていこうという内容のもよう。 https://x.com/maitake_stp/status/1825690067647737934

こちらあと9日となりました。参加登録いただいた方には今週中に接続情報を送りますのでよろしくお願いします。 https://x.com/rmaruy/status/1813947619053551697

「AI」について人々が語ること、問題にすることの多様性には驚くほどのものがあるけど、それはAIという観念が多様な視点を生んだのではなくて、もとから多様で交わることのない世界観をもっていた人たちが、いま初めて同じ「AI」について語る状況が生まれたがゆえに、可視化された多様性なのだと思う。

30歳を過ぎたころに自分のアイデンティティをある方向に固める契機となったのが『在野研究ビギナーズ』だったが、いまなら「知の生産者」と「知の享受者」のあいだに、「知の流通者」とか「知の再生産者」などもっと多くの役割を考えてみたい。 https://x.com/rmaruy/status/1170688920251592705

土屋尚嗣氏「科学は健全な懐疑主義のもとに、厳密な手続きを踏むところに特徴があります。その結果として出てくる答えが、問いが発っせられた当時の前提になっていた世界観の変更を求めるような場合が、一番理想的な科学の進歩だと思います。」 https://x.com/shu_yomitai/status/1821139474002407932

本日17時～のWebinar、開催リンクを変更し、あと200名の方に参加いただけるようになりました！　ご関心のある方は、是非お願いします。https://x.com/ImAI_Eruel/status/1825153803957510523

@ImAI_Eruel 述べる→伸びる

@ImAI_Eruel すみません、ここまで登録者が述べる想定ができておらず。。もうちょっとだけ様子を見てZoom Meetingをアップグレードするかもしれません。

永井均さんによる青山拓央さん評。https://x.com/hitoshinagai1/status/1825106153527009281たしかに。頭の良さはスカラー量ではない。全く違う方向にずば抜けて頭が良い人に一人出会うたびに、自分という個人が想像可能な「知の空間」が著しく広がるのだと思う。

明日はこちらです。参加者上限まで残り30名ほどとなっています。RLHFを中心とするLLMの技術にご関心のある方の参加をよろしくお願いします。https://x.com/AIAlignNetJP/status/1819513816537092377?t=tTA9OMAO99L_ZEcbajuwVA&s=19

2日目は、法哲学からのAIの論点に関する大屋先生の講義（圧巻）から始まり、グローバルなAIガバナンス体制構築という、誰も解を持たない課題に具体性のある提言を書き下していく参加者たちのプレゼンと、充実していました。オーガナイザーの皆さんに脱帽&感謝します。https://x.com/IOSS2024/status/1824802902990581976?t=opyUpy-EOY_KoItgc08Fqg&s=19

@nkwyri まだ本件の運営で大人の姿をみてないです。。たぶん、広尾学園は会場を貸しているだけだと思われます。
発表の質も高くて、ネクストジェネレーションの台頭を感じます。。

僭越ながら専門家の先生に混じって審査員の枠で参加させていただいてますが、自分が非常に勉強になっています。明日は朝一から大屋先生の講演の後、今日の「30カ国」のプレゼンをもとにした国際的な決議案の議論を行われるとのことで楽しみです。

本日は国際社会科学オリンピックで広尾学園に。朝から晩まで、30組の高校生のチームのグローバルAIガバナンスに関するプレゼンを聞くという得がたい経験。この100人くらいが参加する2日間のイベント、企画、ファンドレイズ、あらゆるロジを高校生だけでこなしていて驚異的。 https://x.com/IOSS2024/status/1795792736529908055

5年前、青山著を読んだ日にその本の価値を言おうとして書いた文章、やや劇的で鬼気迫っているが、まあこれだよなと思う。
https://rmaruy.hatenablog.com/entry/2019/12/11/234638 https://t.co/irDW5QGCdM

同じく散策的に書かれた『心にとって時間とは何か』は七転八倒しながら読んだが、『哲学の問い』はそんな努力をする必要もなく端的に世界理解の底が抜けた場所まで連れて行ってくれる本に見える。https://x.com/rmaruy/status/1225418293940387841?t=fjN92QueeXQRSdtk8aCflQ&s=19

青山拓央さんの単著は（たぶん）すべて読んでいるので、『哲学の問い』も読み始めた。間違いなく、これまで書かれた本の中で一番入門的。かつ、「最速」で哲学的問いの深みに到れる本。 https://x.com/aoymtko/status/1818965206959296637

史上最年少の16歳でMIT修士号を取得したというdavidadさん。先日の来日時に少しお話を聞く機会がありましたが、1を聞いて10を知る知力の一端を感じました。Tweetで突然漢詩を引用されたのもびっくりしました。
https://x.com/davidad/status/1807790364574765080

davidadさんが率いるARIAのSafeguarded AIプログラムについては下記記事を参照ください。https://www.aialign.net/blog/20240520-takatsuki
先日は、Yoshua Bengio氏のこのプログラムへのScientific Director就任が伝えられました。

ALIGN理事の林祐輔さんのご尽力により、なんと英国ARIAのプログラムを任された異才、davidad氏のウェビナーが実現しました。これはぜひ多くの方の参加をいただければと思います。 https://x.com/AIAlignNetwork/status/1824028069503640048

1週間後に、過去一ヶ月準備してきた企画の情報開示をする予定。正直どれくらいの人に響くか分からないのですが、今一番やるべきと思うことを色々な方の助けをいただいて企画しているので、祈る気持ちです。

「AIは○○に過ぎない」という話法には、「でも、人間も○○に過ぎないかもしれない」という返す刀があり、AI・人間双方のdemystification/disenchantmentのデフレスパイラルを呼び込む。むしろ「AIも自分もまだまだ」と、共に未発揮の知性・人間性・生命性の高みを目指す態度がよいかもしれない。

この論文が言う「think with people」してくれる相手との作業のことを、「発注者－受注者の協働制作モデル」と呼んでみたことがある。AIとこの関係になれたときが、総じてAIの有用性に懐疑的な自分にとっての回心の瞬間かもしれない。
https://rmaruy.hatenablog.com/entry/2021/04/05/081901 https://t.co/vAtEHGPFYc

タイトルはTenenbaum一派が6年前に出した”Building machines that learn and think like people”のオマージュ。
https://rmaruy.hatenablog.com/entry/2018/01/03/085105
「認知科学が大事」という主張は一緒だが、その目的を「人間のように考えるAIを作る」から「人間とともに考えるAIを作る」へと変えているのが非常に面白い。

個人的には、いきなりend-to-endで科学論文を書く昨日のAI Scientistの方向性よりは、think with peopleしてくれるAIのほうが最終的には価値をもたらすのではないかと思う。しかし技術的には後者は難しいかもしれない。ほぼ人間を作り出す難度のようにも聞こえる。

今のLLMは質の高いアウトプットは出しくれるかもしれないが、人間の「共著者」のように「一緒に考える」ことはしてくれない。共創的なパートナーとしてのAIというのは、自分が個人的に一番AIに期待することであり、それをど真ん中から書いている論文だと思った。

Tenenbaum & Griffithほかによるperspective論文"Building Machines that Learn and Think with People"読了。https://arxiv.org/pdf/2408.03943
人間に代わってではなく、人間とともに考えてくれるAIを作るために、心の理論や世界に対する信念の共有などベイジアンな認知科学の知見を使っていこうという。 https://t.co/w0HK56UiQl

自分の場合、等閑視してきた「元気になる要素」は「非日本語話者と英語で話す」だった。ALIGNでの海外有識者から、キャベツ農家で一緒だった技能実習生と交流まで、相手によらず感じてきた効果。

キャリア選択で考慮するmust/will/canに加えて、「それをやると元気になるか？」という要素があるように思う。willとcanと一部重なるが微妙に違い、経験上これを等閑視すると意外とあとからじわじわ効いてくる。

この、LLM推論の自動実行における「停止条件設定の問題」は、次の数か月の焦点かもしれない、と思った。無意味なループや危険な挙動になったら止めたいが、早く止めすぎたくない。この問題に解が出ない限り、安心してスタートボタンを押せないので、この種の試みは実験段階を出ないと思う。 https://x.com/rmaruy/status/1823214390101061871

テンプレートのファイルも公開されていた。かなりシンプルに見える。https://github.com/SakanaAI/AI-Scientist

高木さんの第一声。
https://x.com/takagi_shiro/status/1823236860292088227

まだ「人間科学者による理解」は放棄されていない。これまではアイディア生成、実験実行、論文執筆の工程の「中」で「理解」が発揮されていたのが、AIに渡す「テンプレート」の準備と、生成された「論文のチェック」の部分に理解のburdenが移行するのだとみるのが妥当だろう。#AI科学を哲学する

AIセーフティの観点からは、コードが止まらなくなったり、あらかじめ指定していた制約をAIが外そうとした挙動について書かれている。
AI科学に限らず、LLMを自動ツールに組み込んで使うときに共通で問題になることだと思う。多くの人が同時に使いだすと混乱が起きるかもしれない。 https://t.co/X3m4Xuq0IT

論文の結語の部分が重要だと思う。
「AI科学者は、拡散モデルやTransformer、さらにはニューラルネットワークや情報理論のようなパラダイムを変えるアイディアを提示できるのか？」「人間のオープンエンドな発見を人工エージェントで実現できるのか？」
https://www.amazon.co.jp/Why-Greatness-Cannot-Planned-Objective/dp/3319155237 ←は気になる。 https://t.co/nQzSm6WxTU

この論文の狙いは、とにかくend-to-endでやって見せることで想像力を掻き立てることにあるのだと思う。まず思うのは「論文」にする意味について。著者らは、人間の可読性や標準化の観点から論文化の意味はあると言っているが、こうしたAI科学は、論文というフォーマットを壊していく方向性だと思う。

テクニカルな部分で一番気になったのは、アイディア生成の種となる「テンプレート」はどれくらい作りこんだものなのかということ。数年後にこれが使われまくる未来がくるのかどうかは、そこに大きく依存しているのではないかと思った。

Sakana AIの”The AI Scientist”論文、本文だけ掬読。難点はありそうだが、論文まで書けるのが示された以上、使われない未来はないのだと思う。翻訳者の仕事の多くがポストエディットに変わったように、研究者の仕事の一部も生成論文のポストエディットになるのかも。手間が減るのかどうかわからない。 https://x.com/SakanaAILabs/status/1823178623513239992

柴藤さんの #FtCTokyo 講演の録画。https://youtu.be/bdV1yPGU-pA?si=63cVenJwCBuVQ2KX

ウィーナーが解説する制御工学、「これをラプラス変換します」ともなんとも言わずに進むから難解。以下に後世の教科書執筆者たちが理解の道筋を整備したきたかが分かる。ウィーナーがとくに不親切な可能性もあるけど。

「ムダで意味のない競争」。https://x.com/tsuyomiyakawa/status/1822482458367209722

必要が生じて、古典制御理論を少し学び直しているが、たとえば、「ナイキストの安定判別法」が出てきたのが1930年代。エレガントで、非自明で、強力に役立つ、こういう応用数学の成果がバンバン出ていた時代、世界を理解し、予測し、制御する、応用数学への期待はうなぎのぼりだったのだろうなと想像。

伝統的な価値体系・評価体系の中でdeliverし続けることと、そのゲーム自体を振り返り変えていくことに価値を見出してもらう活動との、バランスが必要なのだと思う。自分はこの一年、後者に振り切ろうと思っているが、それだけだと生きてはいけなそうだ。

大事な話。今かかわっているいくつかの活動はアカデミアの尺度でもビジネスの尺度でも価値がつかないので、いったい何をdeliverしようとしているのか、既存の尺度に頼らずtheory of change的なものを自分たちで作って示さなければいけない。 https://x.com/kanair_jp/status/1822184075509060016

2024.8.9 Sean Trott "What we talk about when we talk about LLMs"
https://seantrott.substack.com/p/what-we-talk-about-when-we-talk-about
「LLMの語られ方」に着目し、用いられる比喩を以下の4つに分類。
1.「コピー」としてのLLM
2.「シミュレーター」としてのLLM
3.「群衆の知恵」としてのLLM
4.「理解不能な神やエイリアン」としてのLLM

Nielsenさんの「いまだかつて書かれたもっとも野心的な本は何か？」というtweet、800を超えるリプライがついてる。
『ウィトゲンシュタインの愛人』という小説を挙げている人が何人かいて気になる。https://www.amazon.co.jp/%E3%82%A6%E3%82%A3%E3%83%88%E3%82%B2%E3%83%B3%E3%82%B7%E3%83%A5%E3%82%BF%E3%82%A4%E3%83%B3%E3%81%AE%E6%84%9B%E4%BA%BA-%E3%83%87%E3%82%A4%E3%83%B4%E3%82%A3%E3%83%83%E3%83%89%E3%83%BB%E3%83%9E%E3%83%BC%E3%82%AF%E3%82%BD%E3%83%B3/dp/4336066574

「有力な著者が10年かけて書いた本」は、思えば立派な「公共財」。ならば、著者の執筆時間（毎年1か月分の給料x10年）、編集のフィー、印刷費を込みで、たとえば2000万円を100人の著者に渡す20億円の基金があったらどうか。10年かけて書かれた本が100冊世に出る。こんなことを考えてみた。（了）

たとえば東さんような人の作品が、30年後に参照されるなら動画ではなくやはり著作なのではないか（と思うのはナイーブだろうか）。30年後も読まれる本が生まれる「文化」ができるといいなと思ったことがあるが（https://rmaruy.hatenablog.com/entry/2020/05/23/234123）、それは商業ベースでは無理なのかもしれない。　（続）

そこで思うのは、もし本を書くということが、学者・知識人の経済活動が成立する前提条件でありながら、もはやそれ自体ではお金が回らない、一方、かといって自費出版のように一人で本をつくることでは実はある種の機能は担えないのだとしたら、何か別の仕組みが必要なのかもしれないということ。（続）

先日の仲俣暁生さんと東浩紀さんの対談はとても面白かった。東さんは、動画と本を書くのとではコスパが全然違うという話をしていたが、私がある程度自明ではないかと思ったのは、本を何年もかけて書き続けている人が話している動画だからこそ、観たいと思うのではないかということ。（続）

それか論理哲学論考かな。

いつも最高なtweetスレッドを作ってくれるNielsenさん。やっぱりGodel Escher Bachかなあ。 https://x.com/michael_nielsen/status/1821778224806019157

LLM開発の歴史についてのAlbertさんの講演はとても面白かった。「やっぱりそうか」と「そうだったのか」と思う点が満載。過去数年とこれから数年の、必然と偶然にまみれたLLM開発の成り行きは、人類の技術史の中でも見どころの多いものと言えそう。

「AI／機械学習というパースペクティブ」が数世紀前の哲学書の読み方をも塗り替えるのだとすれば、それは当然、より広く、より卑近なモノの見方全般に影響する。であるならば、AI／機械学習というレンズを通さずに世界をとらえる2010年代以前の感覚が、ある種の希少価値になっていくのかもしれない。

英国のメタサイエンスユニットの続報。他の国でも広がるか？というNatureの記事。https://www.nature.com/articles/d41586-024-02469-4

Geminiの開発を手掛けるAlbert Websonさんのウェビナーは明日開催です。今回は録画配信はありません。 https://x.com/AIAlignNetJP/status/1814230282888769713

人間の有史以来の思索を再解釈する「パースペクティブ」としてのAI／機械学習。他方では、現代の「AI／機械学習」が強いる眼鏡を外して物事をみるための、「AI以前の哲学」。その往還で、新しい哲学と、新しいAIが生まれていくのだと思う。 https://x.com/junotk_jp/status/1820982652180296191

@ikehara_y ありがとうございます。「テクストそのものとしての他者」というのがありうるとはわかりつつも、自分にはその感覚があまりなく、でもこの感覚がどこまで普及するかが、LLMの存在感の今後にすごく影響する気がしています。

興味深いです。そのとき、その短歌は他者の作品のように感じられたのか、あるいは、自分が放ったホームランの記憶のようなものなのかなど、興味があります。 https://x.com/ikehara_y/status/1821049426976370940

［業務連絡］明日は丸一日お休みをいただきます。

Fascinating list of questions. Though I may be more interested in "meta-"scientific ones:
- is the emergence of intelligence capable of understanding the universe an intrinsic property of universe?
- does the notion of "computation" make sense in the absence of intelligence? https://x.com/ylecun/status/1819670025155850466

@orionis23 『計算する生命』の続きが始動とのこと、楽しみです！！

上記事中のPavlick氏の発言引用：“I don’t really like when the question becomes ‘Does the model understand—yes or no?’ because, well, I don’t know. Words get redefined and concepts evolve all the time.”

Ellie Pavlick氏の、記事で書かれているような科学者としての”agnostic"な態度に惹かれました。なお、Pavlickさんは、金曜日にWebinarをしていただくAlbert Webson @albertwebson さんの先生・共著者です。https://lu.ma/bvlk1int

人工知能（AI）という用語のオルタナティブとして、“automata studies” “complex information processing” “engineering psychology” “applied epistemology” “neural cybernetics,” “non-numerical computing” などなどがあったという話も興味深い。

Bender、Marcus、Hinton、Aschenbrennerなど、当世の論客に加え、1930年代生まれのMargaret Boden氏なども登場し、歴史観が充実している。書きぶりからして著者の考えに一番近いのがBrown大学のEllie Pavlick氏で、LLMはAGIではないが何か未知なことが起こっているとみて、解釈性の研究をしている。

2024.07.10　MIT Technology Press のWill Douglas Heaven氏による記事：”What is AI?”は、過去1年読んだ中で個人的にベストかも。立場を異にする広範なAI研究者へのインタビュー、50年代さかのぼる歴史的視点、「AI」という概念の多義性を、全方位から描き出した凄い記事。https://www.technologyreview.com/2024/07/10/1094475/what-is-artificial-intelligence-ai-definitive-guide/

自分の知性、ビジネスには意思決定の速度が足りず、学問には思考の持続力が足りない。
実務的には優柔不断すぎる判断力と、学術的には浅すぎる分析力とを掛け合わせて、なんとかやっていくしかない。

谷口忠大「言語や社会というより上位の主体が、人間というシステムの上に立ち現れてくるというような描像…これをシステム３と名付けています。」
https://www.technologyreview.jp/s/341218/professor-tadahiro-taniguchis-vision-for-ai-research-in-the-age-of-system-3/

これは人生観の違いにも対応しているかもしれない。
確固としたobjectiveを胸に秘め、AIや他人に発注をかけていく人生と、ぼんやりとした意図のもとAIや他人と交わりながらどこかに流れつこうとする人生と。

前者のアライメント問題は、先日気がついたように、https://x.com/rmaruy/status/1816108082419884480?t=shyIOM2XA8HoLSzV0SR0zQ&s=19
不良設定性が伴うので、原理的には後者のアライメント問題に包摂されるのだと思う。一方プラクティカルな議論としては、どちらの問題設定にも意味があり、その適用範囲を見極めることが鍵になりそう。

これは、結果的には以前考えた整理でほ「狭いアライメント/広いアライメント」の軸と重なる。
https://x.com/rmaruy/status/1799806163275637040?t=4_nZBhn7TPFphJ3WMMOYOQ&s=19
ただ、ここでは考えるシステムの広さというより、AIに向き合う人間の発注者=プリンシパルとしての主体性の強さの想定の違いが問題となっている。文化的な差が大きそうなところだ。

一方、そうした「特定の誰かの目的・意図を代行するエージェント」としてではなく、
・社会のシステムの中に新しく登場したアクターとしてのAI
を念頭に、どのように人間社会と調和的な状態を作るかという意味でAIアライメントが用いられることがあり、両者の問題関心は割と異なっている。

「AIアライメント」という言葉のイメージが食い違うまた一つの理由が見えてきた気がする。
・AGI Safetyやコントロール問題の文脈で問題にされるAIアライメントでは、人間とAIは「発注-受注」関係ないし「プリンシパル-エージェント」の関係が念頭に置かれている。

金井さんがこのポストで書いてくださっていることを、研究者個々人にお任せするのではなく、研究者の周りにいる自分のような人間も含め「チーム」で担っていくというのが、柴藤さんのいう”分散型研究所”のあり方なのだと思う。https://x.com/kanair_jp/status/1819041990341951938

「審判不要論」で検索してみつけた2022年の記事。https://www.nippon.com/ja/in-depth/d00851/
「スポーツに限らず、世の中のあらゆる機能が利便性を求めて機械化される今、われわれはどのような社会や生き方を選択すべきか、じっくりと検討すべきように思われる。」

8月6日刊行：Sara Imari Walker "Life as No One Knows It : The Physics of Life's Emergence" https://x.com/NYTScience/status/1818649732085882977

@hamajit ありがとうございます。私自身が何かを考えられているわけでは全然ないのですが、「ソフトランディング」というのは、どのドメインでも共通のキーワードになりそうに思います。

これは、学術という文脈に即せば"Open academia"を作るということとほぼ一致すると思っている。
https://x.com/rmaruy/status/1817705035595431994?t=2tb5S4fZMKbi3apYJeMBMg&s=19

今日はとある高校生の方と打ち合わせ。どのような社会を作りたいのか問われ、自分の言葉を持たない我が身を恥じる。

何気なくパスを投げたとき、濱田さんが1年後に何を成し遂げるか想像だにできなかった。イベント自体のレガシーについては上に書いたとおりだが、濱田さん個人の「馬力」自体が伝染力を持つ。自分の人生選択にも少なからず影響を受けたと思う。https://x.com/HiroTHamadaJP/status/1818291170604433855?t=lIRnN6YnLm7JgXskXwA2Vw&s=19

@HiroTHamadaJP @iamtrask Thanks!! In the ALIGN (AI Alignment Network) Slack, I found that @mari_izumikawa is interested in this topic and willing to dig deeper in his works. May be she should talk to @nishio-san as well. (Though she'll be busy organizing another event until Thursday.)

Open academiaはトップダウンに「仕組みを変える」のではなく、小さくてもインパクトが出る事例をつくっていく、ボトムアップなアプローチだと理解している。だからこそ、各事例をつなげたり、斜めの事例から刺激をうけたりする、「場」も合わせて作っていくのが大事だと思う。

#AI科学を哲学する
https://x.com/rmaruy/status/1776872652361412883

これは5年前のtweetで、現在はもう少しニュアンスのある考え方をしています。「理解」とか、「既知」とか、「未知」とか、科学に何が「必要」とか、そういうものごとの意味自体が、AIの科学導入によって変わっていくのだと思います。 https://x.com/rmaruy/status/1199538228358856704

アカデミストは分散型研究所へのマイルストーンとして「academist Prize第4期」にて今までにない挑戦・実験に乗り出しています。私は「解像度を上げる」部分、またOpen academiaへの機運づくりで動いていきたいと考えています。
https://x.com/RShibato/status/1817704028916379945

・日本語記事：https://note.com/academist/n/n163977a82936
・英語記事：https://rshibato.medium.com/decentralizing-research-towards-open-academia-ten-years-of-academist-and-beyond-b3756155a90b
今回、発表と記事の編集協力で参画させていただきました。私個人の限られた経験からではありますが、柴藤さんが掲げる「Open academia」は目指すべき方向であると確信しています。ぜひご一読、ご感想お聞かせください。

【記事公開！】
先週のFunding the CommonsでのアカデミストCEOの柴藤さん@RShibatoの発表「Open academia に向けた研究の分散化」が記事になりました。
アカデミストの目指す「Open academia」とは何か、10年の実績、そして今後の「分散型研究所」構想が凝縮されています。#FtCTokyo https://t.co/orSNqLmqo0

バスを持っている時間や、たぶん寝ている時間すら、タスクたちがsubconsciousな思考の資源を奪い合っている。そして宿主のこういうメタな思考はどのタスクも進まないからやめてくれと言ってくる。

仕事を掛け持つようになって、自分がタスクを順番にこなしているというよりも、集まってきたタスクたちが自分の認知資源の順番待ちをしている感覚もある。横入りする奴もいる。キャパが小さくて申し訳ないが、集まってきたタスクたちに実りある出会いがあるとよいなと、家主としては思う。

前掲書を読みつつ、メタサイエンスとEBPMの関係を考えていた。「科学政策という政策ドメインにおけるEBPM」が「メタサイエンス」という側面もありつつ、メタサイエンスは科学者コミュニティの規範や科学出版の業界慣行など公共政策以外の介入ポイントを想定するためEBPMより「広い」側面もあると思う。

杉本和哉『日本の政策はなぜ機能しないのか』（光文社新書、2024年）読了。EBPMにおける「エビデンス」とは何なのかに関するモヤモヤを、研究の流れと日本の行政への導入の入り組んだ経緯から解いてくれている。終盤で著者が強調する「政治の要素を切り離さないこと」は重要だと思った。

［営業］開業当時は、短期の仕事を複数受託して持続可能になるイメージはなかったのですが、最近ありうるのかもと思い始めています。
1)時間的・能力的に務まるか、2)報酬等の条件、3)1,2にかかわらずやるべきと思えるか、を勘案してお返事をさせていただきます。現状8、9月はほぼ埋まっています。

Just unbelievable what he and his team have accomplished. https://x.com/HiroTHamadaJP/status/1817004105229119690

おお、本日昼のNEURO2024ランチョン大討論会はオンラインで一般公開される模様。 https://x.com/kanair_jp/status/1816978535120273896

2年前、科学ファンディングモデルの「カンブリア爆発」をみていた時は完全に「彼岸の話」だったが、日本でも火花的なものは着実に見られ始めているように思う。 https://x.com/rmaruy/status/1539083038943870976

Funding the Commonsで何が話され、自分の活動においてこのコンセプトは何を意味するのか。それを語り出す人によって、この高密度な二日の意義がその参加人数以上に出てくるのだろう。自分も自分なりに少しずつ頭を整理せねば、、、とお弁当を運びながら考えていた。。

期待して、話を聞いて終っては意味がなく、自分も手を動かすか、その活動がより意味をもつように社会的気運を高める言説活動をしてこそインパクトにつながる。ただし、個々人によって受け止めは様々なはずで、そろったベクトルにはならないはず。それでいいのだと思う。

多様な参加者（とくに登壇者）の共通項をあえて挙げるとしたら、「違うやり方を作ろうとしている」人たち、となると思う。”公共財への資金配分”に象徴される、社会にとって大事なことに関して「違うやり方が必要なことをみんな分かっていて、実際に手を動かしている人に期待するから、この熱気になる。

それでも、このFtCというコンセプトに沿ってこれだけの人があつまり、また単に海外の動向を知るだけでなく、日本の取り組みや思想とつなげるというオーガナイザーの意図も発揮された。これから参加者が自分の実践のなかでFtCをどう語っていくかで、遡行的にこの二日間の意義が決まるのだと思う。

イベントの中身がどうだったのかは、多くのトークを片耳でしか聞いていないためわからない。聴衆として目を凝らして参加したとしても、言語化するのは難しかったと思う。”Funding the Commons”というコンセプトに何を期待し得て、何を持ち帰りうるのか、そもそもの難易度はあると思う。

2日間のFunding the Commons終了。それぞれこのテーマに想いのあるオーガナイザーたちのプロのようなオペレーションの傍ら、役割をもらって当日スタッフとして参加させていただけたことに感謝。#FtCTokyo

もちろん、だからと言ってAIアライメントという問題設定が無意味だとは全くならない。原理的に解きえないとしても、「よりアラインしている」「明らかにミスアラインしている」という程度問題はあるフレームのもとでは議論でき、それこそが現実の社会の中では対処しなけくてはいけないことだから。

つまり、AIのどんな挙動にも、「ああ、それじゃなかった」とミスアライメントだという評価もあり得るし、一見ずれた挙動にも、「あれ、たしかにそれもいいね」という事後評価もありうる。アライメント問題の原理的な不良設定性を、ウィトゲンシュタインは言い当てていたのではないか。

しかしそう考えると、アライメント問題はもろにウィトゲンシュタインの「規則に従う」ことに関するパラドックスにぶつかるのだと思う。「規則に従う」が言語ゲーム依存的に事後的にしか決まらないのと同じで、「アラインしている状態」も、本質的に事前に言い当てることはできないのではないか。

outer misalignmentは、AIにやってほしいことを「目的」として書き下すときに生じる「ずれ」、inner misalignmentは、同じ「目的」に対してAIが汎化してほしい環境のバリエーション（分布）と実際に訓練時にモデルに与えられる分布の「ずれ」。いずれも、「ああ、それじゃなかった」となる。

永井さん@mnagai_による今日のALIGN勉強会ではAIアライメントの基幹的なコンセプトであるouter alignmentとinner alignmentの理解がぐっと高まった。ありがたや。

柴藤さん、登壇中！
https://streameth.org/funding_the_commons/livestream?stage=669f4dfa7c705d1e62987cf4

#FtCTokyo has begun. I'll be at the room next to the main venue all day.

数年前、米国の科学フィランソロピーの動向を手探りで調べて驚いたが、今日の話はその背景を見通し良く整理してくれる内容で、やっぱりそういうことが起こっていたのか、と思った。
https://x.com/rmaruy/status/1718394828470513790

事後モニタリングにエフォートを取られる「管理型」の寄付関係から、事前の信頼構築と信託に基づくtrust-basedなフィランソロピーの在り方へ。大事な話がいくつもあった。今後勉強会を継続するかもとのことなので、日本の非営利セクターに関わる多くの方に参加してほしい。

ハーバード公共政策大学院の@Largo37980797さんが開催してくださった、米国のフィランソロピー事情についての勉強会は非常に密度が濃く、勉強になった。ここ10年でみられる大きな進化と知識体系の整備にもかかわらず、その動向がほとんど日本の非営利セクターに入ってきていないという。（続）

明日、Funding the Commons Tokyoに柴藤さんが登壇されます。アカデミストクラファン10周年の節目に、同社ビジョンのプレゼンに関する壁打ちをさせていただきました。明日のFtCを狼煙に、次の挑戦が始まるのではないかと思います。私も伴走してきたいです。
https://x.com/RShibato/status/1815738010270392436

勇気づけられる。と同時に、ハッタリをかまさずに、「自分は十分に知らない」というスタンスのまま、文化に貢献することはできないだろうか。それが「勉強者」として自分が試していきたい生き方。 https://x.com/masayachiba/status/1815002366992888090

2歳児には憂いがなさそうなのがすごい。そのつど「嫌」なことはたくさんあっても、これからやってくるかもしれない悲しみや不快さへの「憂い」はないように見える。成功体験などないはずなのに、自信とやる気に満ちている。勇敢だと思う。

文科省、国立大学、研究者、受験生、政治、スタートアップ、VC…といった各アクターが参加する何らかの価値交換の「社会ゲーム」があるとして、少なくてもここ20年については安定的な局所解が見出された形跡はなく、どこまでも不安定な系として時間発展しているように自分には見える。

個人的には、学術という「社会ゲーム」は、青木著が主に扱っている自動車産業・IT産業といった経済分野の社会ゲームに比べて、制度の分析が数段階難しそうに思える。制度の均衡解を議論する前提としての、ゲームの目的がまずは自明ではなく、ゲームのプレイヤーが多様性が大きいため。

科学技術・学術の「制度」に対して、このような「比較制度分析」はどれほどなされてきたのだろう。（もっとずっと前に持つべき問いだった。）狭くは国立大学独法化という「制度移行」の分析、広くは産官学の各制度間の「補完性」とその全体の「均衡点」はどのように議論しうるのだろうか。

だから制度を意のままに変えることは「生易しいことではない」。とはいえ青木氏は政策的な処方箋を示すことを控えてはいない。特に22年前に書かれた第8章では、「仕切られた多元主義（bureau-pluralism）」に対する内閣の旗振りによる構造改革への期待が示されている。

青木昌彦『比較制度分析序説』読了。例えばある業界の制度を国家間で比較する際には、企業組織のタイプ、業界の慣習、国の政策といった種々の「制度」が相互に補完関係をもちながら経路依存的に落ち着いていくいくつかの「均衡」をまず見定める必要がある。極めて雑にはそういうことが書いている。

Chalmers氏のこの三段論法の2)の変形版（「原理的に」を「実質的に」寄りに弱める）を説得的に反駁しているのがChirimuuta著第9章。https://x.com/davidchalmers42/status/1815128203167445347?t=DijNpUTY1uGJaiMLTcJ5ug&s=19

この1週間、柴藤さんが構想している「分散型研究所」の狙いやポイントに関する解像度がぐっと上がった。ALIGNが目指しているのもきっと「分散型研究所」的なものだ。本当にワークするかはわからないが、方向性は間違っていないのだと思う。 https://x.com/academist_cf/status/1809033931905454223

Bento-Kaiもそうした動きの一つですが、今回の勉強会はそれよりはだいぶ学術寄りになると思われます。即効性の時定数の異なる議論を並走させるのも大事だと思います。https://note.com/metasci_bentokai/n/ne72295e30f28

前職で私が「メタサイエンス」に感じていたポテンシャルを活かそうという動きの一つとしてありがたいと思います。https://www.jst.go.jp/crds/column/choryu/222.html

本件、広島大学の野内玲さん、京都大学の清水右郷さんという二人の科学哲学者からお声がけいただき、メタサイエンスという旗を使って科学哲学と他分野・他領域との接点を作っていこうという試み。私は企画補助として参画し、一回やってみようということになりました。

読みたい。 https://x.com/KordingLab/status/1813758863424057615

［お知らせ］8/29（木）15-17時に、「メタサイエンス勉強会：科学哲学から科学政策・研究公正を考える」と題したオンライン勉強会を開催します。メタサイエンスを旗印に、科学を扱う各分野・実践の領域を超えて話してみようという試みの第一弾。ぜひお気軽にご参加ください。
https://docs.google.com/document/d/1VaR8KXedUzUwhqKBsuWprpFNKgssyopOLj9-n9-lP74/edit?usp=drivesdk

問いを厳密に発するスキルの奥深さを感じさせる、David Chalmersさんの投稿。「AIの”思考”を解読するAI解釈性の研究」について。 https://x.com/davidchalmers42/status/1813653326858424384

大澤博隆@hiroosaさんのウェビナーは本日。楽しみです。予習として、テッド・チャン「ソフトウェア・オブジェクトのライフサイクル」を読み直しました。 https://x.com/AIAlignNetJP/status/1813354290372833681

@ikehara_y すみませんでした、DMで説明しますね。

@ikehara_y 同意します。ALIGNのSlackでぜひ😁

ここ数日タイムラインで見られる、基礎研究の重要性や「役に立つ／立たなくてもいい／長期的には役に立つかもしれない」といった話について、人文・社会科学ではどうなの？と話題が転じたときに、Xでやり合う前にぜひ皆で読むべきはデサイロのレポートだと思う。とてもおすすめです。 https://x.com/masakik512/status/1809404096975368433

訂正
ポンチ→ポンチ絵

この、「伝達可能な『理解』の商品価値」は、社会の中の意思決定が、1）人間が、2）理性的に理解したことをベースになされることに依拠しているので、人が意思決定に理性を使わなくなったり、AIが決定を担うようになった社会が想定しうるとすれば、理解には道具としての値はつかなくなると考えられる。

何かを理解したいという欲求だけに従って、何も作る技能を持たずに生きてきた自分のような者にかろうじて仕事があるのは、現状はまだ「人間の理解」が社会における集合的な意思決定に必要だからで、文章やポンチに落とした自分の「理解」にそうした道具的な機能と何某かの商品価値が宿るからだろう。

2024年9月に、"An Introduction to Metascience"という本が出るもよう。 https://www.routledge.com/An-Introduction-to-Metascience-The-Discipline-of-Evaluating-the-Creation-and-Dissemination-of-Research/Bennett-Goodall/p/book/9781032769066

この勉強会（私は主催代表者ではありませんが）は、8/29（木）の午後の予定になりました。詳細が決まったら公開します。 https://x.com/rmaruy/status/1803261970394861886

@gershbrain I think this paper discusses just that. https://pubmed.ncbi.nlm.nih.gov/37177850/

適応不全が極まっていくようにしか見えない制度を体験し、これは「体系的な制度変化の臨界点」が近いと感じ、臨界到来を早める一分子になろうと動いたものの、思い知るのは結局自分の身体でできることしかできないということで、制度のほうに戻る日を先延ばしにしつつ、今日できることをちまちまと。

(承前)「しかし、どこかにブレイク・スルーがあると…他の領域にも適応変化が誘発される…あるいは、適応努力が最初は微弱であっても、じわじわとすべての領域に変化が生じ始めると、それらはお互いに補完的作用を強めあい、体系的な制度変化の臨界点に近づいていくかもしれない。」(前掲青木著p.270)

「市場・技術環境に大きな変化が生じても、制度体系のどこかにそれに対応するブレイク・スルーがないと、制度的補完性が粘着的な慣性力として作用し、システム全体が環境変化にたいする適応不全を起こしてしまうこともある。いわば「悪い均衡」である。」（続）

上記の出典：青木昌彦『比較制度分析序説（文庫版）』所収、第８章「制度とは何か、どう変わるか、そして日本は？」より

青木昌彦（2002）「（国立大学独法化により産学の）流動性の引き金が引かれうる可能性がある。しかし…いわばゲームのルールを外生的に変更するにすぎず、モジュール化の原理に基づく実効的な産学連携が制度としてその中から創発するか否かは、当事者たちの創意と競争によることはいうまでもない。」

@Largo37980797 はじめまして、国内で非営利組織の事務局を行っている者で、米国のフィランソロピーへのグラント申請中なこともあり、関心があります。日時があえば参加させていただければ大変幸いです。

@sakuyou_sf ありがとうございます！読んでみます！

イーガン『順列都市』の「塵理論」、ノーラン『TENET』の時間逆行、イシグロ『クララとお日様』におけるロボットの内面描写は（これらが「SF」かどうかは置いておいて）、どれも「本当にありうるか」は怪しいが、私たちの形而上学の自然な延長に感じる。むしろ、自分たち自身について教えてくれる。

SFは、「ありうる未来」を描くことで「人間の想像力を解放する」ものとしてイメージされることが多いように思うが、逆に「本当はあり得ない世界／設定」を描くことで「人間の想像力に組み込まれたバグ」を明らかにしているのではないかと思うことがある。カントのいう悟性の形式のようなもの。

2024.7.9 Yoshua Bengio氏ブログ「Reasoning through arguments against taking AI safety seriously」。Bengioさん、国際科学者グループの中間レポート作成を経て、かなり思考が進んでいる印象。彼のナラティブについていくことが今かなり重要だと感じる。https://yoshuabengio.org/2024/07/09/reasoning-through-arguments-against-taking-ai-safety-seriously/

たしかに！　あるいは、Cから出発してAに向かうのが構成論的アプローチでしょうか。そしてポイントは、そうした理学・哲学的な探究も自動的にB（社会的影響）とつながるのが今日のAI、とも言えそうです。 https://x.com/nkwyri/status/1810921081647386901

（A）「AIに〇〇はできるのか？」という科学・工学の問いは、（B）「AIに✕✕を認めるべきか？」という倫理・法学の問いの前提になる。しかしそれとともに、（C）「そもそも〇〇とはどういうことだったのか」という哲学の問題を（再）惹起し、（C）いかんでは（A）と（B）の前提が塗り替わる。 https://t.co/80T1zPiuUY

しかし自分個人にとっての未知の無知領域は事実上無限大で、高々生涯かけて徘徊できる範囲は全体からするとゼロに等しいことを薄々知り始めたとき、これは何をしていることになるのだろうか。「未知の無知の縮減不可能性の知」は、知的撤退者を生むのか、知的趣味人を生むのか。

「無知の知」は人を知的探究者にするのだと思うが、以下のような「higher orderな無知の知」、ないし願望は、（私のような）知的徘徊者を生む。
1）未知の無知の知への願望：自分が知らないとすら知らないことを知りたい。
2）未知なる知の方法の知への願望：自分がまだ知らない「知り方」を知りたい。

cf. 谷口忠大「「表層的な言葉の並びを学習する」という言明は、「深層的な言葉の意味を学習できない」ということを「含意しない」。」（しかし）「言語理解には「世界」が必要だ。… 現在の人工知能は…分布意味論の範囲での意味に限界まで迫っているにすぎない。」https://www.repre.org/repre/vol45/special/taniguchi/

「理解 as グラフマッチング」というテーゼ。これが、D. Hofstadterが”Surface and Essences”で挙げている最も深いアナロジーの理解まで成り立つのか、本当に気になるところ。

おもしろい、わかりやすい。知りたかったことが書いてある、読めるスライド。 https://x.com/sho_yokoi/status/1810161111519596560

カタカナ発音化できない自分の中での2大英単語：squirrelとaltruism。Rと母音が二つ絡むとダメっぽい。

町田樹『アーティスティックスポーツ研究序説』掬読了。4年前にポッドキャストで聞いて気になっていた本。すごい迫力の研究書だった。対象を捉えつくそう、語ってやろうという意欲で、ここまで広範な学問領域を跨げるものなのかと。https://x.com/rmaruy/status/1302067184449933314

町田樹さんが描く、創造者、享受者、支援者の三者の各「能力」によってアーティスティックスポーツの「価値の創出と文化の醸成」がなされているという図は、学問の世界でもその「文化」としての側面については完璧に成り立つと思う。出典：町田樹『アーティスティックスポーツ研究序説』p.20 https://t.co/ciSnOLoJfW

2日寝て、事務メールに返事をする気力が回復し、次に活字を読む気力が戻ってきた。明日から稼働できそうです。

これは聞いてみたかった。 https://x.com/Plinz/status/1808739915506798913

@masakik512 ぜひ！もしかすると近日ご相談するかもしれません。またよろしくお願いいたします！

@masakik512 素晴らしいレポートをありがとうございます。多くの方に読んでいただきたいです！

よかった。 https://www.nikkei.com/article/DGXZQOUE012FT0R00C24A7000000/

昨日より子供からうつった夏風邪で寝込んでおり、もろもろ仕事が進んでいません。

高木さんが呼びかけているテーマは、いろいろな意味で日本の科学技術や産業のコーナーストーンとなりうる話。お金がある人は高木さんにとりあえず5千万円くらい寄付してほしいと思う。良い公共財投資になるはず。https://x.com/takagi_shiro/status/1808514933346513047?t=f6J8SCVuiAcGDkIK0j_RqA&s=19

@kotobuki ちょっと違うかもしれませんが、私もAIと人間がともに未完了相で時間をつくることができるのか気になったことがあって、その時に「スピード」がアラインしていることが重要なのではないかと思いました。https://x.com/rmaruy/status/1724054396487532877

この動画を見返した。初見の時は見逃していたが、「AIが、ゴキブリにとっての人間のように人間にとって理解不能なものになってしまう可能性について恐れていて、最近はほぼ毎日そのことについて考えている」と語っている。https://youtu.be/lfXxzAVtdpU?feature=shared&t=1967

2024.7.2 Jonathan Zittrain氏によるAtlantic記事。徐々に使われ始めているAIエージェントが、社会に溢れ混乱する前に手を打つべきだとの論。高度なAIではなく、単純な作業を肩代わりするようなAIが忘れられたあとにも存在し続けることが厄介だと。https://www.theatlantic.com/technology/archive/2024/07/ai-agents-safety-risks/678864/?utm_source=copy-link&utm_medium=social&utm_campaign=share

2024.7.3　一橋大／JST-CRDSの市川類さんによる資料。https://drive.google.com/file/d/1fvvUoIkyBTmcCc-XchyM_rT3Wq518ovn/view
すごい分量になっています。

Yi Zeng先生の2020年の講演資料を見つけた。”Building Ethical AI for the Human-AI Symbiotic Society” https://www.ethikrat.org/fileadmin/PDF-Dateien/Veranstaltungen/nec-forum-19-11-2020-yi-zeng.pdf

Astera InstituteがAIによる科学変革で本気を出してくるもよう。 https://x.com/catehall/status/1805295789247545707

@beatphysfreak 拝見しました！　BossBさん、カッコよかったですね。

https://forbesjapan.com/articles/detail/72100/page2
「ゲイツは英ロンドンで開催されたイベントで、データセンターは世界の電力使用量を2～6％増加させるだろうと述べたうえで「問題は、AIが6％以上の削減を加速するかどうかだ。その答えはこうだ──間違いない」と断言。」
How can he be so sure?

@inflorescencia 発掘してごめんなさい^^;
キラリと光るご提案だと思いました。

@davidad Consciousness can always be a pseudoproblem if you wish to see that way; likewise, motion can be a
genuine mystery even now if you wish to see that way.

@ryoueharaS2 （訂正）
実はそうでもない　→　実はそう一筋縄ではない

@ryoueharaS2 先ほど、大変興味深く拝読しました！　素晴らしい解説をどうもありがとうございます。「化学なら」日常的と科学的世界像が対応付けやすいと思いがちだからこそ、実はそうでもないんだよという気付きが、ほかの分野（私の関心では脳とか）を考える際にもとても示唆的だと感じます。

化学の哲学、とても面白いと思う。この面白さは化学が（物理や生物学に比べて）それなりに「分かる」（ような気がする）ことから来るように思う。高校理科では化学が一番嫌いだったが、化学の哲学に触れるとやってよかったと思う。 https://x.com/ryoueharaS2/status/1807750005106917534

自分が作ってみたいのは「分散型シンクタンク」なのかもしれない。

形而上学の足場を外せば、いつでもこのステージに戻れるのではないだろうか。 https://x.com/davidad/status/1807603500832235990

今のLLMはPythonなどを使ってタスクを実行できるので、ある意味neuro-symbolic AIなのかもしれない。でもそこで活用されるのは、自然言語側も形式言語側も、すべて人間が作った言語。次の質的な転換点は、プログラミング言語をAIが自分で作れることかもしれない。それはだいぶ遠そうだ。

昨日のイベントで見えてきたことはいくつかあるが、「ASLが高めのところで江間先生の働きができる人」が日本で求められるだろう、というのが一つ。

金井良太「今後、場所が本当に記憶をもって、歴史を語り始める可能性がある」（『Wired 2024 vol.53』豊田啓介氏との対談より）

あとはYi Zeng先生の3角形。単純な図ながら、秀逸だと思う。これはやられたと思った。特定の国や西洋・東洋という単純な文化論にしてはいけない部分に注意しつつも、議論の入り口としては極めて有用。これから何度も引用することになると思う。 https://t.co/tyARd1Gcir

いろんなところから依頼・打診はいただくので自分のような活動に需要はあるのだろう。ただ、全然「市場」が成立していないような世界なので需要供給曲線を見極めないといけないと思う。

今日のテイクホームはこれ。 https://x.com/AIAlignNetwork/status/1807256587389530499

次の3ヶ月は本当に頑張りどころ（ただし夏バテしないようにペース配分するので頑張っていようには見えないかも🙇）で、ALIGNはなんとか一人事務局体制を抜け出すのと、もう一つ始まる受託仕事に注力します。

2024年上半期終了。フリーランスになって3ヶ月経過。一般社団法人事務局を6割、いくつか受託を2割、その他個人活動をやってきて、収入面では新卒初任給くらい。良かったことは、ゆるくテーマ設定のもとオンラインで議論する場ができてきたこと、定期的に海外の人とやり取りする機会が持てていること。

2024.6.27 Goldman Sachsのレポート「Top of Mind」にて生成AIへの過熱する投資は期待するリターンを生むのかについて特集。悲観論者としてアセモグル氏のインタビューを掲載。https://www.goldmansachs.com/intelligence/pages/gen-ai-too-much-spend-too-little-benefit.html

明日は朝から横浜に。AIアライメントネットワークにとって大事な一日になりそうです。 https://x.com/AIAlignNetJP/status/1806903236345106527

現代思想のサイバネティクス特集、半分ほど読んだ。高橋昌一郎氏の論考におけるノイマンとの対比が面白い。「観念的あるいは哲学的な論争を嫌っていた」、「徹底した「経験主義者」」のノイマンと、いかなる問題に対しても最後まで全体論的に見渡そうとする「合理主義者」」のウィーナー。

Critchさんの記事。技術的なAI Alignment/safety研究は大体AIのタイムライン短縮につながる、しかしそれが人類にとって危険なこととは限らない、との論。この見立てはセンシブルだと個人的には感じる。
https://www.lesswrong.com/posts/F2voF4pr3BfejJawL/safety-isn-t-safety-without-a-social-model-or-dispelling-the

This seems to me an excellent point. The next thing I would wonder is whether people will/should trust a "seemingly interpretable insight" from an "uninterpretable model". Would there be a way to make sure that such partial interpretability is not hallucination? https://x.com/msyk_nagai/status/1806726982681403794

文科省戦略的調査分析機能に関する有識者懇談会（第1回）配付資料に、元同僚の加納さんの過去1年が凝縮した重要資料が掲載されている。
加納寛之「未来洞察に関する諸外国の政策上の取り組み」https://www.mext.go.jp/content/20240531-mxt_chousei01-000036289_03.pdf
…科学政策で、何のために未来を洞察するのか。あるべくしてなかった議論。 https://t.co/nao894dKkv

@tanichu 読みたいです。
（そして今思いましたが、これは遊びのようでいて、講談社の新書企画担当の編集者は「いいね」の数を虎視眈々とモニターしているのだろうな…😬）

これに必要なのは、リーダー、資金、スタッフ。自分にできることは微力すぎるが、すくなくとも「自分が2000人いたら変わるな」と思える動きを、次の4，5か月はしたい。 https://x.com/kanair_jp/status/1806350765885464585

ここ数年？で組織外の人にも使うのが当たり前になってきた「カレンダー招待」の機能は、人類の時間観念にとって一つの画期ではないだろうか。”他人”の、”未来”の、”時間”という考えうる最もintangibleなものを、30分なり60分なりきっかり「確保」できるという、この感覚。

こちら、準備中の資料を少し拝見。オリジナル・初出の資料が多く、震撼しております。当日が非常に楽しみです。

出版社時代は科学的知識が教科書や専門書としてdisseminateする段階、JSTでは科学へのfundingというもう少し上流の段階で研究者と関わることができたが、今はさらにその上流、異分野交流により研究アイディアが生まれたり、分野そのものが萌芽する段階を目撃できている。これは刺激的。

『現代思想』2024年7月号「特集＝ウィーナーとサイバネティクスの未来」。青土社Kさんよりご恵贈いただきました。サイバネティクス再訪の機運が（個人的に）高まる中でのベストタイミング。拝読します。 https://t.co/UcMBxi5nGn

小林茂先生をお迎えするこちらのWebinar（7/4）、AIと人間についての新しい語り口を作っていく、貴重なきっかけになりそうです。今考えつつあることを共有いただけるとのことで、大変楽しみです。 https://x.com/kotobuki/status/1805753496949735675

Jaeger et al. 掬読了。認知の計算主義ではなく"agential emergentism"、問題解決ではなく"relevance realization"、環境と共進化する"situated Darwinism"など色々な言い方が出てくるが、基底にあるのはS. Kauffmanの生命現象の探索空間は事前言い当て不可能（unprestatable）だという発想だと思う。

Jaeger et al. 2024. "Naturalizing relevance realization: why agency and cognition are fundamentally not computational"
認知・意識・エージェンシーの「非計算主義」の急先鋒、Jaeger氏らによる大作。とても興味深い。 https://t.co/StKRaYFpZ2

But what does "understand the brain" mean?

The very existence of anything that can be called an AGI (though I personally also don't know what that is) will no doubt change what we mean by "understanding the brain". https://x.com/fchollet/status/1805480227319214445

記憶のデザインの可能性とリスクが増大する時代へ。 https://x.com/ikegai/status/1805443618381218074

行動原則：組織の論理で研究者をブルシットワーク（当人にとっての）に巻き込まないこと。その小さなサボタージュによる組織からのペナルティには甘んじること。その前に両者のinterestが重なる部分を最大限探すこと。

科学政策が科学哲学に問うべきクリティカルな問いとはなんだろうか。リストを作ってみたい。

Bratton氏が紹介していたFreudenheim et al. 2023 "The Ends of Science" https://endsofscience.org/the-ends-of-science…理論はあるが実証できない”epistemic overhang"と、実証はあるが理解できない"epistemic underhang"の距離がAIによって拡大。そこでモデル超生物としてのAIをmechanistic interpretabilityで研究。

本論とは関係ないが、背景に石黒先生や浅田先生などが出てきていた。

この動画も全編見てみた。これはやられる。しばらくはまりそう。AIはExistentialなテクノロジーだが、それは人間を殺す存亡（existential）リスクのためではなく、人間の自己像を塗り替える実存的（existential）なリスクと可能性を突き付けるためである、と。
https://antikythera.org/after-alignment

2024-6-20 Benjamin Bratton "The Five Stages Of AI Grief" https://www.noemamag.com/the-five-stages-of-ai-grief/?utm_source=noematwitter&utm_medium=noemasocial
AIに対する悲観的な態度を、Rossの受容モデル（否認、怒り、取引、抑うつ、受容）に沿って俯瞰。非常に面白い。Griefではない態度として著者が打ち出すもの（planetary computation等）にはまだついていけない。

@ryan_kidd44 @AIAlignNetwork Thanks again for the great talk and also for taking the effort of creating a transcript (including the Q&A)!

あらゆる知識が一つのLLMに格納された惑星Xの人々は、聞けば何でも教えてくれるこのLLMに特段不満はなかったが、あるとき発明された新メディアに衝撃を受ける。その名は「本」。いつ誰が読んでも一言一句同じ内容を、しかも自分の脳で直接読めるというのだ。

このRyan Kiddさんとの対話はとても勉強になった。前半のトークは「こういうふうに説明するのか」というお手本のような練度だったし、後半の質疑でも、AI ethics系の議論とAGIのtechical safetyコミュニティの間での"cultural war"という言葉が出るなど、面白く重要なやりとりがあったと思う。 https://x.com/AIAlignNetJP/status/1804821748652904605

おお、Kordingさんが日本にも。 https://x.com/KordingLab/status/1804767111652225244

ホワイトカラー労働者が自身の生産性エンハンスメントのためにcompute課金をする時代がくると見ているが、ここまでは数社の顧客獲得競争の中で「お試し価格」が続いているのだと思う。いつになったら真のコストが見えてくるだろうか。https://x.com/rmaruy/status/1681805122064752640?t=cdkAg0oeArq6ba7EHtABuA&s=19

「Artifacts機能の本質は「AIとのインタラクション」と「制作物」の分離にあると言えるだろう。」https://ascii.jp/elem/000/004/205/4205539/

AIと民主主義のセッション”AI Challenges to Global Democracy: Current ‘State of Play’”終了。添付は用意したスライド。自分が一番保守的だった。。。イギリスの「AIスティーブ」について教えていただいた。 https://t.co/JTtqYFOrFB

リスク学会のイベントを聞いている。阪大のカテライさんはかなりKate Crawford "Atlas of AI"を推していた。日本では話題になることが少ないが、私もいい本だと思う。 https://x.com/rmaruy/status/1394299780516311041

しかるべきメンバーでオープンエンドな議論ができれば思考がものすごく先に進むのに、組織や分野の壁、時空間的な制約によってそれができてない、という状況が意外なほど多く存在しているらしい。

お声がけをいただいて、ISSIPという学会のイベントで「AIとデモクラシー」について5分話題提供をさせてもらうことになりました。土曜日深夜0時ということで、日本からは誰も聞いていないと思いますが。https://issip.org/event/global-democracy-current-state-of-play/

生成AIで読み書きが10倍速になるのが嬉しいのは、本当は書きたくないものを書き、本当は読みたくないものを読む場面においてだろう。

高木さんのnoteで思ったこと。世の中には何らかの状況によって「書かされる文章」が多く、読み手も書かされた文章を読まされているうち、書き手も読み手も熱量が下がっていく。Academic Twitterやブログ、学術書（の一部）が良いのは、書きたくて書かれたものを読みたい人が読んでいること。

内容も興味深いですが、何より「自分にとって一番大事なことを書いている人の文章」だなあと思う。こういう文章を私も書きたい。 https://x.com/takagi_shiro/status/1803431141082538490

@r_shineha ありがとうございます！　オンラインでの開催になると思います。また予定が決まったらお知らせします！

科学哲学から入るメタサイエンスは、Theoretical MetascienceないしMetascience FoundationsないしPhilosophy of Metascienceといったテイストになるだろうか。すぐに何かを変えるものからは距離があるかもしれないが、個人的には大変興味がある。

@roy29fuku 非常に大事なことをたくさん書かかれていると思いました（生成AI疲れなども！）。そうですね、「研究におけるAI利用」についてもnear termから（ALIGNが主眼にしている）長期的な「科学の変化」まで、ステージを分けて考えていくことが重要だろうなと思います。

fuku 山田さんの資料、素晴らしい。かなりSafety寄りの内容も盛り込まれている。このテーマはこれからも山田さんについていけば安心だ。https://biosciencedbc.jp/event/ajacs/ajacs2024-06-20-generative-AI.html

素晴らしいセッションでした。藤田さんの言葉は非常に学びになりました。日本の研究エコシステムの最先端の議論だと思いました。ありがとうございます。 https://x.com/HiroTHamadaJP/status/1803265257584115752

「科学哲学」と「科学政策」と「研究倫理」を「メタサイエンス」でつなぐ有志勉強会を8月に行うことになりそう。

現代においては3歳のロジャーは9歳のロビンになるのか、というのは今の私には重大すぎて直視できない問題。 https://x.com/orionis23/status/1803213383686299924

Disturbing not because I really believe that is possible in the near future nor because I think they will result in the same level of catastrophe, but because of the realization that such fear that your "opponent" will acquire some "superpower" has always been our driving force.

Creating an AI system that can do AI research by itself would give a game-changing level of competitiveness. Such "chain-reaction" of iteratively self improving AI is disturbingly reminiscent to what Oppenheimer and Nishina were seeking after 80 yrs ago across the pacific.

@hiraiyasushi1 こちらこそ、ご挨拶せず申し訳ありません！　凝縮されたご講演ですごかったです。

「記憶の哲学の展開」ワークショップは、他のイベントとパラレル開催だったこともあり、中サイズの教室にざっと２０～４０名くらいの参加者が集まっていた。15年後、この研究領域は大ホールに観客を埋めるような大きなテーマになっているのではないかと夢想する。

@kanair_jp 釈迦に説法かもしれませんが、政府が直接補助金を出すか、R＆D税控除を行うパターン（研究開発税制）があると認識しています。
OECDデータを見ると、日本は研究開発税制の割合が大きいようです。https://www.oecd.org/innovation/tax-incentives-rd-innovation/　その他、政府が公共調達を通してR＆D促進を行う方法もあるかと思います。 https://t.co/jFocT6pSuz

ML研究の自動化は、AGI Safetyの文脈では一丁目の要注意シナリオであり、国の安全保障にも絡む。

高木さんの切迫度。確かにこれは国プロとしてやるべきテーマかもしれない。ただ、通常の施策化からするとおそらくタイムスパンが合わない。西海岸のautomated AI researchに関するタイムラインを国内で共有すべきなのだろう。 https://x.com/takagi_shiro/status/1802261472632082855

平井さんに勧められてMichaelian著を読んだのが5年前のこと。その後、平井著という一つのエポックも起こり、かつMichaelianらの哲学との接続も進む。日本の記憶の哲学は着実に進展している。
https://x.com/rmaruy/status/1122607272645910528?t=y5O96MyPRlGgZNUZJU64IA&s=19

平井靖史さんの講演は、記憶の分析哲学の最前線である「記憶のシミュレーション説」と、それとは一見全く異質なベルクソンの理論との間に対応・非対応関係を一本一本丁寧に引いていく研究に関する凝縮された発表。素人目に、ものすごく緻密な作業をされていることが伝わってきた。

Funding the Commons勉強会（＠渋谷）から科学基礎論学会WS「記憶の哲学の展開 」（＠早稲田）へ。
https://www.philmemjapan.com/home/events

戸谷先生、「バキバキのスマートな悪」であると。
https://x.com/toyahiroshi/status/1801993493273051602?s=19

@tanichu @takagi_shiro @RShibato 本日の科学基礎論学会シンポジウム「AIは科学をどう変えるのか？」の備忘録を書きました。（寝る時間なので、ここまで。未校正です🙇）https://rmaruy.hatenablog.com/entry/2024/06/15/221705

@tanichu この本、自分で読んでブログ（https://rmaruy.hatenablog.com/entry/2019/12/25/215209）を書いたあとに、半年かけて読書会で読みました。読みこなせたとは思いませんが、「理解」とは「関手を作ること」であり、それは別の「理解」に「自然変換」できるかもしれない、というイメージがずっと残っています。

選挙運動におけるAIアバター利用の潜在的論点：
・アバターの発言の責任をどこまで候補者がとるか
・表情や顔色や声をコントロールできることの影響
・コンテンツ大量生産と検証困難化
・偽アバターへの対策
・どこまでがAI生成なのかの透明性
・生身での発信の真正性の検証困難化
…

Reminds me of Scott Galloway’s warnings. https://x.com/rmaruy/status/1788809841257144620

This is an AI x democracy incident. https://x.com/ecoyuri/status/1801497237987725698

"governance"と"cybernetics"が同じ語源（kubernan＝操舵する）を持つのは味わい深い。サイバネティクスが観測者を系に含む「ネオ・サイバネティクス」に発展したように、たとえば「科学技術ガバナンス」も、介入主体自体を系に取り込んだ「科学技術ネオガバナンス」に更新すべきなのかもしれない。

@tanichu @takagi_shiro @RShibato 了解しました！　@takagi_shiroさんと乗り込んできます。後日、反省会もするかも？？

@takagi_shiro @RShibato #AI科学を哲学する に関する2024年上半期最大のイベントが明日。https://x.com/ktakahashi74/status/1801496252485615714

①知識や出来事の記録（例：議事録）ではなく、②人を動かすため（例：依頼書、宣伝文）でもなく、③リアルタイムに新しい「理解」を編み出すための執筆行為がある。③は定義上AIへの丸投げはできない（どこまで機械アシストが効くかは重要問題）。③の書きものに1日1時間取れる生活を作れたら成功。

6年前のブログで書いたこの部分は、ますますしっくりくる。人の知的作業をベンチマークで上回るAIの登場は、その人間の営みをそのまま「代替」するのではなく、その営み自体を「変質」させるのだと思う。ゲームが変わる。 https://t.co/ia8UKMZqHZ

「技術がいかなる未来をもたらすのかを予測するより前に、変化をもたらすとされる先端技術が浸透するなかで、過去と現在と未来を語る私たち自身の言葉、イメージ、観念が変化しつつあることに目を向けよう。」（久保明教『機械カニバリズム』p.125）　丸山読書メモ：https://rmaruy.hatenablog.com/entry/2018/12/09/064139

@hayataka88 @roy29fuku 申し込みました！　大変楽しみです。（JST、良い企画。。）

@r_shineha 私も全体を読んで、AI等に関してはルール形成の重要性の記述が多いものの、ニューロテックはUNESCOにしか言及がないのがやや物足りなく思いました。

Cholletさんは、基盤モデルのことを「内挿的データベース（interpolative databases）」と表現。 https://x.com/fchollet/status/1800550184168169814

@academist_cf 拝聴しました。@ikiikilab先生の「今のアカデミアの環境では、本物であるほど、表舞台に出てたまるかと思っている」というのは深く頷きました。。Xなどには見られない、本当にすごい研究者が多くいる実感があります。

これは目撃しないといけないので、もろもろ調整して後半聴講することに。今週末は祭。 https://x.com/hiraiyasushi1/status/1800691649242439778

薄々思っていたが、「選択と集中」という言い方自体がある種のconceptual hazardになっていると思う。どの資源の、どの範囲での選択を言っているのかがぼやけて議論の解像度が落ちてしまう。研究者の自発的テーマ選定とそこへのリソース配分という「選択」の重要性を言うほうがいいと思う。 https://x.com/yoshi_and_aki/status/1800684492740575316

それぞれの持ち場で、できることをやっていけたらと思います！！　私も精進します🙇 https://t.co/xdfYt3TCua

これまた山本さんの尽力で、令和6年版　科学技術・イノベーション白書に「メタサイエンス運動」のコラムが載りました。文科省はじめ政府として取り組んでいただければと思います！https://www.mext.go.jp/b_menu/hakusho/html/hpaa202401/1421221_00020.html https://t.co/49f38ABnwM

鳥取県の自治体デジタル倫理原則、これは英訳はされていないのでしょうか。（どなたかご存じであればぜひ教えていただければ幸いです。）https://www.pref.tottori.lg.jp/secure/1356676/12report-abstract.pdf https://t.co/uF8eNeFc3b

科学フィランソロピーの可能性については、金銭的、非金銭的の両面から割と掘り下げて考えたことがあります。ぜひこちらの小文をご覧ください。
https://x.com/rmaruy/status/1718394828470513790?s=19

加えて、この動画に限らずいつも気になるのは、スタートアップや産学連携（最近は学費値上げ！）など国内で資金を回す話ばかりで、海外の科学フィランソロピー（自分は濱田さんの指摘で気づいた）の資金循環に加わる発想が出てこないのはなぜか、ということ。大栗先生-Kavliのような事例はある。 https://x.com/HiroTHamadaJP/status/1800168251332432212

@verypluming 「自己本位」、私もいつも心のなかに置いている言葉です。難しいですが。

@GrowHair もちろん言いましたよー長女と次女だよって。笑
でも物で答えてほしかったそうです。ｗ

山本龍彦『〈超個人主義〉の逆説－AI社会への憲法的警句』（2023）、冒頭数ページですでに痺れるな。
「我々がいま目撃している情報技術の加速度的発展が引き起こしつつあるのは、200年ぶりの産業の革命ではない。500年ぶりの精神の革命である。」（p.iii-iv）

@tanichu 真っ先にそういうことをいってみたのですが、7歳児には不可解な顔をされました（笑）
いかに自分が無形な価値の世界に生きているかを思いました。

娘に「お父さんの宝物はなに？」と問われて、今の自分には「物」に対するこだわりや愛着が皆無であることに気づいた。「もったいない」以外の理由で手放したくないと思える物が思いつかない。このことは自分のセンスの欠如と関係していると思う。

"AI Alignment/AI Safety" can mean vastly different things. We easily talk past each other because of this.

Below is the four categories I've come up to disentangle the confusion.

Explained in a blog post in Japanese:
https://note.com/rmaruy/n/n80ebb81c6036 https://t.co/Fljj3ZMwTx

自分としては、この整理によってAI alignmentの話とAI x democracyの話をつなげやすくしたつもり（来月オードリー・タンさんが日本に来たりすることもあり）だが、どうか。これからいろいろな人と議論しながら更新していきたい。

AIアライメント／AIセーフティの4つの問題領域｜R. Maruyama @rmaruy #note https://note.com/rmaruy/n/n80ebb81c6036?sub_rt=share_pb
AIアライメント／AIセーフティについて議論するときに必ずずれるイメージをそろえる一つの提案として、4つの領域に分けることを考えてみました。 https://t.co/PO9vQqxNPd

時枝先生の帯にそそられる…。 https://x.com/FumiharuKato/status/1799450202677670333

私は、ノーラン映画に惹かれながらも、その「嘘」にインセプションされすぎないことが大事だと思ってきた（cf. https://rmaruy.hatenablog.com/entry/2020/10/13/231733）。が、『オッペンハイマー』で彼は（大きな）嘘をついていない。むしろ現実にもノーラン的不条理があることを示したのだと、平野評を読んで思った。

ノーランは映画が現実に影響する（”インセプション”が起こる）可能性にも意識的だと評者は言う。これは実際にそのとおりで、過去1年の国際的なAIガバナンスの議論は映画『オッペンハイマー』に少なくない影響を受けているように見える。

メメント、TENET、インターステラー、インセプションという一連の作品での、「映画時間の基本的なメカニズム〔の〕キュビズム的再構成」（p.209）。そこから現れる「因果関係のおかしさ」。その矛盾を現実に背負った人物としてのオッペンハイマー。

映画の原作となった伝記をリスペクトしつつも、ノーランが不十分だと感じた点がどこにあるのか。そして評者である平野氏がノーランをリスペクトしつつ、それでもなおどこに盲点があるのか。考え抜かれている。

平野啓一郎「『オッペンハイマー』論」（『新潮』2024.7所収）https://www.shinchosha.co.jp/shincho/tachiyomi/20240607_2.html
ノーラン過去作に見られる「因果関係のおかしさ」というモチーフを手掛かりに、オッペンハイマーと原爆の物語にノーランが見たものを読み解く、会心の論考。これはすごい。
（リンクは冒頭のみ）

1) AI is governed either democratically or undemocratically.
+
2) Democracy is either threatened or helped by AI.
->
- virtuous cycle: Democratically governed AI helps democracy.
- vicious cycle: Undemocratically governed AI undermines democracy.

ベンダー任せにしない、というスタンスも滲み出ている。優秀な県職員の方がいるのだと推察。

鳥取県が2024年4月に出した「先端技術と民主主義のあり方を考える研究会　報告書」、読みごたえがある。地方自治にAIやデジタル技術を入れるのは必須だが、どう民主主義などを損ねずにやっていくかという課題に、具体的に向き合っている。
https://www.pref.tottori.lg.jp/317494.htm

@homme_pensant お疲れさまでした。research integrityの学会はいかがでしたか？　AIの話はどれくらいありましたでしょうか。メタサイエンスや、AIアライメントと接点もいろいろありそうだと思いまして。またこんどお聞かせいただければ！

なりゆきで自分が「店番」のようなことをするようになった100名ほどのオンラインフォーラムは、多方面から情報が集まり常時議論が続く場になりつつある。週5で店番をやればこういうものが維持できることがわかった。しかしまだ仕事にはできていない。そこをどうするかが次の課題。

「AIが○○し始めたら？」という思考実験は、科学や研究というゲームそのものが変容するという結論にだいたい行き着く。それにより理念としての「科学」が歴史的・空間的にローカルなものとして相対化される。しかも数年後に思考実験の域を出るかもしれないというリアリティのもとで議論が進む。

科学とAIに関する昨晩の突発議論、面白いポイントがたくさんあったが、たとえば、一部では今後数年で実現するともいわれる「AI研究を行うAI」はAIに必要なデータを人間から搾り取る方向に発展するだろうという、「自律駆動科学」とはだいぶ違うイメージ。

Ngさんのこのアーギュメントは、アナロジーのソースとなる技術を変えるだけである程度相対化できる。大規模AIモデルと比較すべきは「モーター」なのか、あるいは「効果と副作用の大きい薬物」や「原子力」のような技術か。 https://x.com/AndrewYNg/status/1798753608974139779

ちなみに、私が知る日本の科学史上最大の"field builder"は仁科芳雄。https://x.com/rmaruy/status/1704155481189879880?s=19

大塚淳『統計学を哲学する』の中国での読書会。素晴らしい。 https://x.com/kaji09121/status/1796200203428708551

再生リストはこちら。https://youtube.com/playlist?list=PLe-uzN5oHeCAtiObZpGvr0bSkB42PT_0-&feature=shared　100分通しの動画と、1分×100本がある。

小林先生かっこいい。。24時間ではなく今回は100分ということで心安らかにみられるかと思ったら、ものすごい情報圧縮量でハラハラする。斬新すぎる。https://youtu.be/7NIE3GMNdlU?feature=shared

About ten years ago people at the UN agreed to pursue an ambitious set of goals called SDGs, and we were told a few trillion dollars annually will help achieve it by 2030. Nobody could have imagined that humanity would be pouring the equivalent money into "compute" .

なんかすごそう。 https://x.com/MarioKrenn6240/status/1798261884338000182

「AIと社会」思考整理ノートVol.1：AI問題のタクソノミー - 重ね描き日記（rmaruy_blogあらため） https://rmaruy.hatenablog.com/entry/2024/06/05/111014
「「AIの何が問題なのか？」をそもそもどの角度から考えることができるのか？」を考えてみました。

実在論寄りに言えば、それは世界が「人間が認知できない高次元の実体」以上の何かであるというサプライズを用意しているということに相当するかもしれないし、ChirimuutaやChangらの科学哲学に寄せると、現実をフレームする科学者の認識ツールにまだ膨大な可能性あると信じることに相当するだろう。

以下私見。ありうる科学の営みのうち「人間の科学」をその部分集合として語るのが最近のトレンドに感じるが、個人的には、その捉え方自体がある種の予断であるような可能性に賭けている（ファン、オブザーバーとして）ところがある。科学を、池上先生がいう「ボトムレス」な営みとして見ていたい。

池上さんが、そうではない可能性もあると述べ、メイヤスーの「減算モデル」に言及。2021年の論考は要再読。https://x.com/rmaruy/status/1410760535071608832?s=19

先週金曜のJSAIでの、高橋恒一さん、池上高志さんらの対話をアーカイブで視聴。AI科学の哲学的問題の核心に迫る議論をされていた。高橋さんの、「真」をもっぱら追求する科学像を歴史的に相対化するコメントに首肯。また、人間の科学とは複雑な現実のデータ圧縮だという話になりかけたところで、

「AGIとは例えば科学ができるAIのこと」というのは実は例示になっていないかもしれない。「科学」が「知能」と変わらない多様さをもつかもしれないから。

文科省「情報科学技術分野における戦略的重要研究開発領域に関する検討会」への専門家の提案（資料7）が面白い。工藤郁子さんは「AIによる「知的負債（intellectual debt）」の特定・対応に関する研究」と「AIの環境性能に関する研究」を提案。
https://www.mext.go.jp/b_menu/shingi/gijyutu/gijyutu29/005/siryo/mext_240424.html https://t.co/gTS2HflqbI

@miyayou 三宅様、JSAIではありがとうございました！
私が上記で言及していたのは、小林茂先生がresearchmapにあげられている『テクノロジーの〈解釈学〉』草稿第3版のことでした。https://researchmap.jp/mayfair/published_works
（お尋ねは「どの文献？」ということでよかったでしょうか。）

まさに、千葉さんがいうこの状況。noteでは理念型としてひとまず1〜3に分けたけど、現実では技術（の開発・利用）と思想・価値観は絡み合い互いを変えていく。人間の集団としても、一人の個人の中であってさえも。この不安定さのなかでいかに意味のあることが言えるかゲーム。https://x.com/masayachiba/status/1797632452443439264?s=19

下記noteで挙げた「1」のスタンスの人たち、そしてその裏返しとしてのAI脅威論を唱える人たちは、有限性については考えていないか、核融合などのソリューションにより大問題にはならないとして整合性を保つ人が多い印象。https://x.com/rmaruy/status/1796911057057009918

21世紀は人類が有限性に直面し、リスクへの対処という構えが破綻するなかどう新しい思想をつくっていくか、という加藤典洋さんの3.11後の時代感を私も共感する。しかし、その後の「AI」という新たなファクターを加藤さんならどう扱っただろうか。

「私たちが生きているのはオーバーシュートの時代、限界超過生存の時代である。そのような条件下、人が生きることは終末医療のホスピスに生きることに一部重なる。だとすれば、そこでは、欲望とリスクは、その意味を変えるのではないか。」加藤典洋『人類が永遠に続くのではないとしたら』p.465

山本さんよりハードコピーをいただきました。お疲れさまでした、ありがとうございました！ https://t.co/rLZtv8qcTC

今の自分の1日を構成するのは、1)「労働としての事務」、2)やりたい／やるべき「仕事」、そして3)「生きのびるための事務」。いままでは、1を片付けてから2 をやろうとしていて、3は意識に登っていなかった。今日からは朝起きたら3→2→1の順番でやってみる。

先週金曜日の #JSAI2024 「信頼されない？AI」での反省は4年前の「機械学習と公平性に関するシンポジウム」に言及しなかったこと。https://x.com/rmaruy/status/1215281146491101184?s=19
「AIのせいにする」ことが社会に何をもたらすかについて考える重要な機会だったし、JSAIの良い取り組みとして、ぜひ持ち出すべき話題だった。

へええ、「マルハラ」みたいなことが英語でもあるとは。これはついていくのは無理だな。 https://x.com/albertwebson/status/1797390787426263538

坂口恭平、道草晴子 『生きのびるための事務』読了。せっかく個人事業主になったのだから、「生きのびるための事務」に振り切っていこう。

@rinatie_ceo @ShigeruTaguchi @hayashiyus 西郷先生のtwitter、去り方も含めて、最高でしたね！

ありがとうございます！　最近三宅さん論考に触発されて思っていることに、AIというのは「Guard against」するものでも「Align with」するものでもなく、「live in」するものではないかということがあり、そうした捉え直しを先生がまとめられた技術哲学が裏付けてくれそうな予感を持ちました。 https://x.com/kotobuki/status/1797062294863814669

@tanichu 一方で誰しも社会に埋め込まれた存在である以上、そのダイナミクスを「記述」することが、思想や技術に影響を及ぼすパフォーマティブな効果も持つと思われ、集合的予測符号化の視点が出口哲学とつながったり、AIガバナンスに「使われる」とどうなるのか、ここは目を凝らしていきたいところです。

@tanichu たしかに、そうだなと思います！　1～3は敢えて思想かAI技術のどちらかを所与のものとみなすスタンスとして立ててみましたが、どちらも可変項としてそのダイナミクスをとらえる視座、これはALIGN代表理事も常々大事だと言っている点ですが、そこをモデル化されようとしている理解です。

noteには書かなかったことで加えて思うのは、本当に価値観・思想のアップデートを必要としているのはおそらく気候変動（そこにAIも絡んではくるであろうにせよ）だと思っていて、そこに頭を回せていない気持ち悪さが常にある。

「AI」と「価値観・思想」に関する態度には大まかに三つあるのではないかという話をしてみました。
1. 自分の価値観・思想に沿ってAIをつくる。
2. AIによる挑戦から、既存の価値観を守る。
3. AIを受け入れつつ、価値観の刷新の好機ととらえ、思想を新たに作る。

「AIと価値観・思想」をめぐる3つのスタンス｜R. Maruyama @rmaruy #note https://note.com/rmaruy/n/n65561fc3ebea?sub_rt=share_pb

思ってのは→思っているのは

AIアライメントに関わり始めて、個人的に面白く思ってのはこの「Field building」という言葉遣い。重要な問題に取り組む土壌がないなら「フィールド」ごと作ってしまえと、研究会的なものだけでなく、教材・キャリアパスまで包括的に整備していく。このRyanさんから学ぶことは多いと思います。 https://x.com/AIAlignNetJP/status/1796786343605088738

これは意味のある忙しさか、意味のない忙しさか、それを考えるのに忙しいのだが、これは意味のある忙しさか。

@Masashi_T_nlp @rafal_rzepka 感激しました！　ぜひまたいろいろ教えてください。よろしくお願いします！

加えて改めて思い知ったのは、前職CRDS（というか福島俊一さん）の日本のAI研究コミュニティへの貢献の大きさ。

今回の学会でよかったことの一つが2016年の『心を交わす人工知能』が読者に出会ったこと。荒木先生とのものすごい努力で刊行に漕ぎ着けたこの本。言語モデル前夜の刊行当時から技術は恐ろしく変わった。だからこそあのとき出す意義が大きかったと、今になってわかる。
https://www.morikita.co.jp/books/mid/081801

学会が終わり、積み上がる領収書。

@nkim09 @takagi_shiro ぜひお願いします！！

幅のない一瞬ではなく、たとえば2秒くらいの、厚みのある時間を生きてみる。この時間窓の先頭を呼吸と内受容感覚に任せ、意識は最後尾に下がって隊列を追いかけることに徹する。

とくに、昨日のCRDSセッションで三宅陽一郎さんから聞いた「メタAI」「環境AI」「植物的知能」の話を、小林著第２章のポスト現象学の「テクノロジーと人間の関係性」の分類に当てはめるといろいろと深く考えていくことができそうだ。

小林茂先生の『テクノロジーの〈解釈学〉』を掬読。深いが分かりやすく、理論的だが具体的。日本でつくる「AIアライメントの学理」のヒントがつまっているかもしれない。何度か読まないといけない。 https://x.com/kotobuki/status/1791320146470113686

Tyler Cowen x Michael Nielsenのセッション。物理学者としてよりよく年を取るには？との質問には「20代などの若いメンターを多く見つけることだ」。 https://x.com/tylercowen/status/1795798101740998933

AIへの期待よりも、（１）ゲームチェンジに乗り遅れる恐れと、（２）科学のインテグリティが損なわれる恐れという二つの側面で、危機感のトーンが前面に出ているように見える。
…「科学版AIアライメント問題」の喫緊化といってよいと思う。
https://x.com/rmaruy/status/1783807838101570034

英国のアカデミー、Royal Societyも「AI for Science」ではなくEUと同じ「AI in Science」。レポートはかなり充実している。https://royalsociety.org/-/media/policy/projects/science-in-the-age-of-ai/science-in-the-age-of-ai-report.pdf https://x.com/AIAlignNetJP/status/1795966211500761353

なお個人的には、仮にAIが全要素生産性へ大きく寄与したとしてもそれが「労働者の限界生産性」につながらなければ人々は豊かにならない、とするジョンソン&アセモグル著の論も大事だと思う。https://x.com/rmaruy/status/1751607787694776331?s=19

論文はこちら。Daron Acemoglu. (2024) "The Simple Macroeconomics of AI." https://www.nber.org/papers/w32487

ダロン・アセモグル氏の分析では、AIによって影響をうける人間のタスクは4.6％で、向こう十年のAIによる全要素生産性の向上は0.66%にとどまる。AIによる科学発見は直近では経済にさほど影響しない。かつての自動化技術に比べると格差拡大効果は小さいが規制は必要。 https://prosyn.org/YxSIjSQ

明日から浜松へ。金曜日の企画セッション「信頼されない？AI」では急遽露払いのような5分の話題提供をすることになったため、慌ててスライドを作りました。楽しみに参加します。

@kmoooooog 研究機関マネジメントの人件費とかが念頭にありました。おっしゃるように、研究支援サービスやプラットフォームについては、世界市場を取りに行けばいいというのも尤もかと思います。

今日の世界経済では、市場での価値交換でもなく、公的セクターによる再配分でもなく、外れ値的な成功によってお金が吸い込まれる「シンク」のような場所があり、そこは行き場を失ったお金が湧き出す「ソース」にもなっている。善し悪しは別として、このソースの周りに繁茂する生態系がある。

そして、国内の政府資金のように大きさが決まったパイのなかでのリソース獲得を競争的にして、その「競争力」のための施策・人材のオーバーヘッドがどんどん大きくなり、優秀な人たちがこのリソース獲得競争で「活躍」するのは悪循環。大きなお金の流れを見なくては。

グサッと刺さる記事。「ビジネスパーソン」の立場で、「負のスパイラル」に思いあたりすぎでした。。 https://x.com/ikiikilab/status/1795650819641266531

日々お金のことを考える。たとえば自分がこの研究支援分野でどんなに頑張ってもアメリカの大学院生TAの時給に届かない。国内でお金を回しているとそうなる。世界でいちばん稼いでいる人たちから、public goods fundingとしてお金の還流の支流をどうにか作らないといけない。

それにしてもEvanさんのトークはいつも素晴らしい。非自明なアイディアに持たせるカラフルなメタファーを短い時間にいくつも盛り込んだマシンガントーク。1時間のトークを咀嚼するのに3日かかる。これをリアルタイムで普段交わしているのだから、知的カルチャーとして現状到底かなわないと思う。

Evan Miyazonoさんの講演録を作るなかで、Safeguarded AIの印象が大きく変わってきた。「AIの影響をあらかじめ想定して抑え込む」という無謀に見えていたが、よく聞くと「AIによる生成プロセスの”この部分は問題ない”と証明可能な”仕様”を書く方法を、分野ごとに模索していく」という堅実な工学。 https://x.com/AIAlignNetJP/status/1795095104161534097

昨年、私たちは「拡張する研究開発エコシステム」と表現してみました。https://www.jst.go.jp/crds/report/CRDS-FY2022-RR-03.html　もっとよいラベルがあるかもしれません。 https://x.com/kanair_jp/status/1794862262756470954

@takagi_shiro @RShibato 本日の日経新聞2面。「理研の松岡聡・計算科学研究 センター長は「いずれはAIが仮説を立て、実験もし…科学のサイクルが自動化される」と話す。 …AGI科学者が誕生するとみる。」
「…理研の高橋恒一チームリーダーは…AI時代の研究者の役割は 「面白がること」だという。」

しかしこの専門性・クオリティの本が700円で読めるというのは、ちょっとしたゲームチェンジのような気がする。著者の先生方と慶應義塾大学出版会に感謝！

自分の読解の課題：
・第1章の「神経生物学的自然主義」と、3，4章の「自律的な目的論」をどうつなげるか。
・本書で扱われる「目的」と、計算論的神経科学における「計算論」の関係、また予測誤差などの「目的関数」の文脈における「目的」との異同をどう考えるか。

本書の個人的なハイライトは、3章末尾で「目的の自然化」の方向性とは異なるものとして提示される「自律的な目的論」。とくに註27で言及されるオープンクエスチョンが核心ではないかと思った。

田中・鈴木・太田『意識と目的の科学哲学』一読了。内容面でも分量面でもとても読みやすかった。と同時に、カッティングエッジな主張が展開される手ごわい一冊。何度か読み直して、かつ、じっくり考えないと、読みこなせそうだ。以下、自分用メモ。

ちなみに、インタビューのなかでJames WilsdonさんはMetascience Conferenceをいずれ日本でもやっては？と言ってくださっていて、そういう未来もあるのかと思いました。それもばっちり付録に記録されていました。 https://t.co/rPNcQASI1P

谷川嘉浩「マッカスキルの長期主義は、サンプルメニューにすぎない。だが、そのサンプルメニューは鮮烈な印象を残すがゆえに、読者に「自分の長期主義」（あるいはその欠如）を自覚させる力があるのだろう。」https://x.com/houkago_kitsune/status/1794181478940918184?s=19

@hamajit おっしゃるとおりだと思いました。自分の考えていたことと投稿の文面が少しずれていたような気がしたので一度削除しました。申し訳ありません。

@sakura_osamu 素晴らしい。三中先生の言葉を思い出します。https://x.com/rmaruy/status/1406616029157990402?s=19

@xuanalogue Recently I think AI as something we'll all "live in," not something we "guard against" or "align with."

(cf. https://x.com/rmaruy/status/1780974465956106463 Sorry this is a Japanese post and not sure worth taking a look.)

谷口先生の投稿を見ていると、研究者が本を書く意義をものすごく感じる。その人の世界観、問題意識、アプローチ、こだわりが、会う前に深いところまでわかってしまうという、極めて高効率なコミュニケーションツール。この機能において論文よりも適していると思う。 https://x.com/tanichu/status/1793785607900295420

「家としてのAI」に時間軸をいれると、それは「記憶のscaffolding」となり、「記憶のデザイン」問題に繋がる。 https://t.co/AAtoNVjWWE

彼の話で最も驚いたのが、Danさんはもともと社会科学や安全性の問題に興味があり、あとから「手段」として機械学習研究者になる道を選んだということ。10年前には存在しないキャリア選択だと思う。「科学と社会」の越境はここまで進んでいる。
…こういう時代の先駆者たちと、更に触れていきたい。了

Center for AI Safetyは安全性のための技術的研究だけでなく、カリフォルニア州のAI規制など、法制度化に向けても、批判を恐れず精力的な提言・ロビー活動を行う。立場やアプローチに異論をあり得ても、尊敬すべき一貫性と行動力だと思う。（続）

レターの仕掛け人と直接話し、しかもYoutube動画を作るとは想像だにしなかった。Dan Hendrycksさん、AI Safetyの分野で台風の目の一人として急速に頭角を出した方。彼の語る「AIのCatastrophic risk」には不確実性の高いものから低いものまで含まれ、説得力がある。（続）https://www.aialign.net/blog/20240517

昨年5月、Center for AI Safetyなる団体から「AIによる絶滅リスクを軽減を世界的な優先事項に」とするオープンレターが出たとき、私はこのメッセージにかなりの違和感を抱いた。これに多くの著名な研究者が署名したという事態をうまく解釈することができなかった。しかし、それから1年後（続） https://x.com/rmaruy/status/1663504643257942016

松尾先生のAI戦略会議への提出資料、いろいろと通り一遍でない面白いことが書かれている。 東南アジアLLM、生成AIの訓練を利用した電力需給調整など。いつどこでこうした政策論議をされているのだろう。https://www8.cao.go.jp/cstp/ai/ai_senryaku/9kai/shiryo1-4.pdf https://t.co/UnfXEEttTa

@ifuiaa ありがとうございます。AI研究の本丸の問題意識だと思うので、何か勉強会などイベント化してもいいのかもしれませんね。できる範囲で。

昨年の論文では、Lakeさんはニューラルネットで「メタ学習」ができたとする発表をしていて、SuttonのBitter Lesson側に寄っているようにも思われる。ただ、Mitchellさんとかがさらに「それはメタ学習ができたとはいえないでしょう」といったコメントもしていて面白い。
https://x.com/rmaruy/status/1717397361436352613

2019年のSutton氏の「Bitter Lesson」が出たときに、たしかBrenden Lakeさん（藤澤さんがnote記事の参考文献にも上げている）は反論するようなことをTwitterに書いていた気がする（今となってはソースを掘り出せないが）。しかし面白いことに、（続く） https://x.com/rmaruy/status/1106696980338610176 https://x.com/hymkw/status/1793410568210235799

こちらのBengio氏の講演録作成を担当しました。https://x.com/AIAlignNetJP/status/1793417186603848049
3月7日はもはや遠い過去のようにも思えます。その後のBengioさんの動きを見ていると、あらためてこの講演の構想が大きなものであり、世界中のAI研究者を巻き込んでいく流れだったのだなと感じます。

@tanichu 少人数で密に進めたほうが早そうな気もしますので、@takagi_shiroさんらとコアで議論いただければと思います。私はロジスティクス等で応援します！

@tanichu 頭の中でくっつけてみただけなのですが、その後の展開はまさかでした。。
「theoretical metascience」元年！？

@michael_nielsen おまけ、あと、7月のFunding the Commons Tokyoのこともばっちり出ていますね。府省の皆様、ぜひ7/24-25のFunding the Commons/DeSci Tokyoに足をお運びください😆
https://fundingthecommons.io/ https://t.co/gNqukVupMS

@michael_nielsen 「日本の研究力をどうするか」といった議論が堂々巡り感もあるなか、このレポートの付録を読んでいただくと新鮮な風景が開けると思います。そしてこれを（委託とはいえ）文科省が企画・発行していることが重要。第7期基本計画に向けて、多くの政策立案者に読まれることを願います。（了）

@michael_nielsen そして特筆すべきは、「Fast Grants」立役者の経済学者Tyler Cowen氏、英国のメタサイエンスを牽引するJames Wilsdon氏、またDeSciのキープレイヤーからの聞き取りが（日本にとって耳が痛いこと含め）そのまま載せてあること。私もいくつか同席しましたが、重要なインタビューでした。（続）

研究におけるフィランソロピーの役割、メタサイエンスの興隆、「メタサイエンス・アントレプレナー」（by @michael_nielsen & Qiu）といった前報告書の着眼を引き継ぎつつ、さらにDecentralized Scienceの動向まで踏み込んだ、文科省のレポートとは思えない内容になっています。（続）

これは、昨年3月に前職にて私たちがまとめたレポート「拡張する研究開発エコシステム」を受け、文科省が委託調査として行ったものです。https://x.com/rmaruy/status/1636554156789092356
我々がやるべきだった追加調査や海外ヒアリングを、本省自ら引き取っていただいた格好になります。（続）

本日公開された文科省のレポート「近年の研究開発エコシステムの拡張、変革の動きに係る国内外の動向調査」 、これはいくつかの意味で関係者に刮目いただきたいものです。
尽力された@gnymmtさんに大感謝！
https://www.mext.go.jp/content/20240521-mxt_chousei01-100000404_01.pdf（pdfへのリンク）

韓国AIサミットのタイミングで、英米のAI Safety Instituteは様々な発表や、国際協力を打ち出しているなか、日本AISIの姿が見えず。Webサイトも過去3か月間、工事中のまま更新がないようだが、大丈夫か。

OpenAIのスカーレット・ヨハンソン問題の背景にあるジェンダーバイアスをKate Crawfordさんは指摘。 https://x.com/katecrawford/status/1793021689296494813

一冊の中ですぐに慣れて、違和感なく読めてしまった。

韓国出身で英米で活躍してきた科学哲学者Hasok Chang氏は、e/er/em/ers という中性の三人称単数代名詞を独自提案して、一冊丸ごとそれで書いていてすごいと思った。たぶん発音は、イー／アー／エム／アーズみたいな感じ。
https://x.com/khberglund/status/1761414660023017643 https://x.com/kanair_jp/status/1792960390906912899

AIについて考え続けるのに疲れてきたこのごろ、ちょっと冷静に考えると自分が一番感謝している「AI」はソーティングアルゴリズムかもしれないと思う。あんなスピードで並べ替えてくれるなんて。人間には絶対できない。

事務の量が自分の許容量を超え始めている。

藤澤さんの投稿に多くの人が呼応している。こちらは技術と経済性から捉えたAGI開発の展望。興味深い。https://x.com/shields_pikes/status/1792717623362457883?s=19

面白そう…。 https://x.com/hir_kurashige/status/1792119319004135587

【本日の執筆者心得】書けそうな気がするが書く気力が起こらない文章は必ず書ける。自分という怠惰な著者を騙しながらなんとか書かせる。粗いメモが出てきたらそれをゴーストライターモードで直す。

藤澤さんの投稿。一部の専門家が、あと数年でAIが不可逆な危害をもたらすと警告し、計算能力に基づく規制が世界的に議論されるなか、AI研究者としての実直な見立てが綴られている。直感に合わない意見をふわっとdismissするのではなく、言葉にして俎上に載せるのは大事。その先陣を切る発信に感謝。 https://x.com/ifuiaa/status/1792489337474736340

高槻さんによる力作！ https://x.com/AIAlignNetJP/status/1792465949318410309

AIアシスタントへの信頼には、その能力に関するcompetence trustと、意図が自分と整合していることに関するalignment trustがある。それらのtrustが妥当なものになるよう、AI設計段階、提供企業の組織レベル、第三者機関を入れたガバナンスレベルで必要な対応を整理。よく考えている…。

少し調べると、GoogleDeepMindは「高度なAIアシスタントの倫理」と題する５０人の共著者による274ページの論文を出している…。恐るべしだ。AIアシスタントへのトラストについても１章が割かれている。https://x.com/IasonGabriel/status/1781262674711466483

GoogleのAIアシスタント「AI Teammate」の発表を見て「秘書は全てAIに置き換わる！」と言っている人を見かけるが、ここでまさに問題になるのが信頼（trust）。
AI Teammateとの信頼関係は、大屋先生のいう「代理/権威/信託」モデルのうちどれだろうか。そしてトラストのアンカーはどこに見いだせるか。 https://x.com/rmaruy/status/1789193304808296841

Do I live to understand, or do I understand to live? To realise that this is a false dichotomy, that the most fundamental scientific/philosophical theories can't be disentangled from human interests, seems to be necessary if one really pursues an epistemic objective of life.

AIハザードとは、AIシステムの開発・使用・誤動作が次の危害につながりうる状況を指す。
(a) 個人または集団の健康への危害。
(b) 重要インフラの管理・運用の中断。
(c) 人権侵害、基本的権利、労働権、知的財産権に基づく義務の違反。
(d)財産、コミュニティ、環境への危害。

OECD (2024), "Defining AI incidents and related terms", https://doi.org/10.1787/d1a8d965-en.
OECDのWGが作っているAIリスクを分類するための用語整備のレポート。起こりうる被害をハザード、起こった被害をインシデントと呼び、その重大さを考慮。ハザードに起こる確率を加味した全体がAIリスクとなる。 https://t.co/3c8kRiSAx7

@TNanasawa @HiroTHamadaJP @kensuzuki @kmiyahara2013 どうもありがとうございます！ぜひお願いいたします。後ほどメッセージお送りします！

@TNanasawa @HiroTHamadaJP @kensuzuki 間もなく動画出せると思います！
また本件に限らず、七沢先生にはぜひ「技術哲学から見たAI Alignment」について意見交換等させていただければありがたく思っておりました。機会がありましたら是非お願いいたします。🙇‍♀️

@xuanalogue Apparently the trancriber AI seems not to have been aligned enough to our conversation. . .😅
But thank you for such thoughtful talk!!

OpenAIから人が辞めたりといった何かがあるたびに「人類が10年以内に絶滅する主観確率」を調整するベイジアンな人たちの現実への向き合い方が自分とは違いすぎて逆に面白い。

@takagi_shiro 今朝の話につながりますね。。。怒られるアナロジーですが。

そう、Kordingさんもいうとおり「Marrとdisagreeすることは不可能」。https://x.com/KordingLab/status/1790872562584445071
ただし、計算機として脳をとらえる限り。

ニューラルネットワークは3レベルに当てはまらないという気も一瞬するのだが、その学習の「アルゴリズム」や「計算」を議論できるため、メタには3レベルのフレームに収まる。

Marrの、計算論（トップ）からのアプローチや、階層が独立であるという想定が批判する人も、「下からアプローチする」「階層がつながっている」と言っている時点である意味Marrの土俵にいる。Computationalな視点を取る限り逃れられないのだと思う。その外を論じたのがChirimuuta著。

こちらのディベートの「Marrの3レベル批判」のPillowさんの論考を読んだ。なんというか、この批判ができる時点でMarrのフレームワークの勝利のようなところもある。これは5年くらい前に@Mujinaclassさんとかなり議論したが、Poggio氏のようにレベルを増やす議論も筋がよくないという結論だった。 https://x.com/jpillowtime/status/1790650608640241852

A purely epistemic objective of life｜R. Maruyama @rmaruy #note https://note.com/rmaruy/n/n056b67712667?sub_rt=share_pb

君にとって一番重要な社会問題について解決策のアイディアがないとしたら、それは解を考えさせまいとする社会規範からの抑圧に屈してきたんだろう。だから、「それについてはお答えできません」というLLMみたいな回答になってしまうのだろう。

意見が言えないってことは社会にRLHFされてるってことだぞ、と諭された。たしかに。。。

【事務担当のつぶやき】返事をくれなくてやきもきさせられるあの人も、きっと別の誰かの返事をやきもきしながら待っている。この世は応答求むビジネスパーソンの片思い有向ネットワーク。

Ilya Sutskeverさんが、OpenAI退職報告のtweetにつけている、Sam Altmanらと肩を組んでいる写真。もはやこれが本当に撮られた写真なのかわからない世界を作った人たち。

単語冒頭の「r」と「l」はまず間違えないが、単語の途中だとかなりの頻度で間違える。

これは、理事長がゴーを出した広報なのだろうか。 https://x.com/JST_info/status/1788763389155537141

メモ：今回のChatGPTのアップグレードは「反応時間」に照準を合わせたものだったようだ。どれくらいのカーボンフットプリントが代償になるのかが気になるところ。cf. https://x.com/rmaruy/status/1681660491356155904

昨年参加した第3回（@ワシントンDC）の参加記録はこちらに書きました。テーマの広さに比してまだ小さな会議ですが、科学エコシステムの向かう先を考える最先端の議論を俯瞰する他にはない機会だと思います。日本からも誰か参加してほしいなと思います。https://www.jst.go.jp/crds/column/kaisetsu/column75.html

メタサイエンス運動の起点であり中心となってきたMetascience Conferenceの第4回は来年6月、イギリスのUCLにて。 https://x.com/OSFramework/status/1789989758036283785

Stirling (2010) は「不定性マトリックス」を示しつつ、手段や危険の不確実性の大きさ次第で「リスク」に基づく科学的助言がうまくいかないことを述べている。…まさにAIに関してはこの4象限すべての要素があると思う。いわゆるexistential riskは右下に該当しそう。https://www.nature.com/articles/4681029a https://t.co/HJFU70lrlA

前職ではいわゆる「ロジ作業」と調査・分析・執筆系の作業時間の割合はおそらく1:9程度、この一月半は逆転して9:1。徐々に戻して6:4くらいにできるとよい。

2）一方、AIが（一部の論者が期待・懸念するよう）人間の制御を逃れる自律性を獲得したとしたら、それを人間の価値観・目的に「アライン」させることはほとんど定義上の困難が予期され、そこで望みうるのは他種としてのAIとの利害のコーディネーションなのではないか。

それに対しては二つの応答が思いつく。
1）AIが人間の道具であるうちは、焦眉のコーディネーション問題は人・企業等の組織・国家間のものであり、AIはそのコーディネーションのツールであり、媒体であり、障害といった、「条件」として扱うべきものと捉えることができる。

このアイディアをもう少し展開してみる。AIの「アライメント問題」を「コーディネーション問題」にリフレームする提案をしたとする。すぐ出そうな反論として、「相手が人ならともかく、人工物であるAIに”協調”する必要などなく、AIが人間に”アライン”するのが筋ではないか」が想定される。 https://x.com/rmaruy/status/1789597179067445749

@kanair_jp これがAIと人間の関係にうまく適用できるかはわかりませんが…。

@kanair_jp 私もゲーム理論等の文脈での「協調問題？」の話を踏まえてたわけではなく、集団間や集団と個人の軋轢を何とかしながら社会を維持していっているあり方が、ずれをなくしていく「アライメント」よりは、ずれを維持したまま妥協点を探る「コーディネーション」に近いのでは、と思った次第です。

@kanair_jp 一連のツイートを拝読して、たしかにAI以前の問題だと思ったとともに、人間社会における問題は「アライメント問題」というよりは「コーディネーション問題」として扱われているし解かれているなと気づきました。

RTの問題意識、興味深い。トリビアルにはどんな力学系も1次元高い空間での最適化問題になるのは伊庭先生の指摘の通りと思うが、そうしたトリビアルな「目的関数」のうち、日常用語に近い意味での「目的」と一致しているものを見つける問題なのだと理解している。https://x.com/rmaruy/status/1098859017550483456

気候変動や原子力（放射線）や感染症については、専門家、市民、メディア、政策担当者等々の間のコミュニケーションについて多く分析がされている一方、AIのcatastrophic riskに関してそれがないとしたら、まだ規模の面で小さい言説だということか。でも世間にも各国政策にも入り込んではいると思う。

リスクコミュニケーション、科学コミュニケーション、科学的助言、等々の分野から見て、「AIで人類が滅亡する確率が○○％」といった言説を一部のAI専門家がしている状況はどう記述、分析、説明、批判できるのだろう。誰かがいろいろ言っていておかしくないと思うが、すぐに見つけられない。

私自身は「アライメント」という言葉でどこまでいけるのかをここ数か月考えてきた。
https://x.com/rmaruy/status/1781077156900278650
…が、現在進行形の膨大な言論の積み重ねがあるなかで、軽量級の言説化ではどうにもならないところもある。

（現状、人工知能学会員のみのアクセスです。）

このテーマについて今まで読んだ解説の中で一番よかった。5/31の「信頼されない？AI」に参加する前に読めてよかった。
https://x.com/koh_t/status/1759950043795132705

大屋雄裕「信用・信頼・信託 —責任と説明に関する概念整理―」（『人工知能』39-3所収）https://www.jstage.jst.go.jp/article/jjsai/39/3/39_409/_article/-char/ja/ …AIの説明可能性／責任について、ウィトゲンシュタインの原因／理由の区別から紐解き、プロセスの透明性だけでなく答責性が問題になる場面がどんなときかを議論。この上なく明晰。

感想2：メタな感想としては、”問題をフレーミングする言葉”をめぐるディベートは空中戦のようであってとても重要。特に日本だと「いい感じの言葉をつくればOK」のようになりがちだと感じるが、本当はその先の「文脈づくり」こそ本質で、まさに「名づけゲーム」がおこなれている認識が必要。

感想１：この分野で皆になんか「しっくりこないな」と思われながら使われてきた「Alignment」概念の問題点を的確に言語化していると感じる。しかしではどんなラベルがいいのかという問題は残る。より包含的なラベルの中のサブ問題としてAlignmentを残すのは一つの道かもしれない。

価値観の推定とそれへの整合というアライメント問題としての定式化に対して、記事では、①技術的なAI safety engineeringと②AIの開発・実装・規制を行う組織の改革を両面で追求する「社会技術モデルsociotechnical model」を提唱。後者をアライメントの拡張と見る人もいるだろうがそれには反対だと。

AI「アライメント」という言葉の問題について、AI Objectives Instituteの記事。
https://ai.objectives.institute/blog/the-problem-with-alignment
AIのリスク対策を人間の効用関数へのアラインの問題とみなすパラダイムを「Berkeley Model」と呼び、その問題点を理路整然と述べている。

鈴木健「社会制度や統治機構もある種の技術であるということを忘れてはなりません。つまり、技術の中で進化の速い部分（インターネットやAIなど）と遅い部分（社会技術）があって、そこにずれやコンフリクトが起きていると考えた方が自然なのです。」https://theghostintheshell.jp/mma/column/column16?fbclid=IwZXh0bgNhZW0CMTEAAR3EUEDbQ-KirEjPQ5AB-WSe1DsU0OtEA7Y_yXBeKbAMkh6Hp0R7Sv-IcIc_aem_ASucDQDNIY69ChmGQfktZ-KUmIWI9pIs-PFQYpHiKx_2KIQILq_UvBddRG8db886SKtkq1SfZN8stVpD2pPg2SKp

『the four GAFA』の著者Scott Galloway氏へのインタビュー。さすが、AI産業の状況認識の説明はわかりやすい。AIがもたらす問題として、真に危険なのは「大統領の年齢を3歳高く見せる」ような微妙な偽情報"shallow-fake"、孤独な若者を狙った恋人AIとそれによる操作。
https://share.transistor.fm/s/67e3b505

DissenterのChirimuutaさんインタビュー。https://x.com/TheDissenterYT/status/1786719061331550385

@hiraiyasushi1 それは人類にとっての進捗ですね…。

@RShibato @takagi_shiro たのしみです！　先日のAcademistイベント含め、このシンポジウムにむけて同時多発的にボルテージが上がっている気がします。

@takagi_shiro @RShibato 科学基礎論学会、6/15（土）シンポジウム「AIは科学をどう変えるのか？」に聴講参加します。これは今一番楽しみ。
https://x.com/kagakukisoron/status/1788374838115283030
…日曜日のワークショップ「記憶の哲学の展開」（提題者：平井靖史、櫻木新、佐藤邦政）も必聴だった…。が参加かなわず（泣）

興味深い。原論文のタイトルは「Designing Multispecies Worlds for Robots, Cats, and Humans」で、環境を設計したアーティストや、ロボットを操作する人間の役割を強調しているので、この記事のタイトルと内容、それ対するX上の反応はかなり元論文の趣旨とずれていると感じる。 https://x.com/shiropen2/status/1788409479362728287

昔日の「編集者心得」｜R. Maruyama @rmaruy #note https://note.com/rmaruy/n/nab4be4ae7268?sub_rt=share_pb

【事務担当のつぶやき】心安らかに進捗伺いメールが送れるのは8年間の編集者生活の成果。cf. https://x.com/rmaruy/status/1050163098844246016

なお、私は本書よりもう少しクリスプにAI技術の「アイディア」をgeneに見立てる比喩がよいように思っていた。昨今のAIの技術発展は、何十万人ものAI/ML研究者をリソースとして湧き出すアイディアのバリエーションと、その中から良いものを選ぶ強い社会経済的な「進化圧」で実現しているのだと思う。

とりわけ7.5節”Evolutionary Pressures”はAIの発展をある種の（文化）進化のプロセスとみなすユニークな視点から、その進化でunsafeなAIが選ばれて行ってしまう可能性を論じていて面白い。https://www.aisafetybook.com/textbook/7-5
AIの発展を、「進化圧」からとらえる見方は本質をつくものだと思う。

Dan HendrycksさんによるAI Safetyの教科書https://www.aisafetybook.com/table-of-contentsの第7章「Collective Action Problems」、AIや人と相互作用するアクターとしてのAIと見たときにその集合的なふるまいの望ましさをどう記述できるかについて、ゲーム理論などの初歩を押さえながら平易に解説している。

The World in 20xxのような未来シナリオがどれもしっくりこないのは、未来を作る無数の要素のうち各人がcareするものが異なり、相手が捨象したものこそ大事に見えるからだろう。私にとってそれは戦争と気候危機で、AIの進歩を軸にした未来語りには常に違和感があるがそれも一つの限定的視点。

(But of course, the next question would be how then do we define a "fact of the world" when we only have access to it through hallucinations? And if we can't define a "fact", definition of a "hallucination" comes into question. Such is the ungroundedness of words.)

Maybe all we sentient beings can do is hallucinate; it may be that when our hallucination is by some chance aligned with some fact of the world, we call it perception or memory or understanding. https://x.com/kanair_jp/status/1787834495468761282

@hiroaki_skm さすが、ご覧くださっていたとのこと、ありがとうございます。（まさに、こういう学際性の高い抽象概念が、技術ガバナンスの実務にどう落とし込まれていくのか、私も関心があります。）

@Masashi_T_nlp @ifuiaa あとは下記の瀧川先生の論考も少し関係あるかも？
https://repository.kulib.kyoto-u.ac.jp/dspace/bitstream/2433/286548/1/AN00036810_93%2812%29_1004.pdf
（近いところにいらっしゃると思うのですでに読まれていたら恐縮です。）

@Masashi_T_nlp @ifuiaa この件、JAISTの日高先生が、AIによる規則の「理解」についてクリプキのクワス算などを参照しながら考えてこられていると思うので、昨今のLLMに関してもご見識があるのではと思います。https://www.jaist.ac.jp/laboratory/cci/hidaka.html

メタサイエンス領域への投資で髄一の実績をもつStuart Bucks氏は、フィランソロピー資金における需要と供給のミスマッチ問題を解ける人々だとして、期待を表明。https://x.com/stuartbuck1/status/1787550087956041840

2024.5.6 オバマ政権にてOSTP副長官としてBRAIN Initiativeの設立の立役者となり、今はSchmidt Futuresを率いるTom Kalil氏が、新しいフィランソロピー団体を設立。まだ何をするのか見えてこないが、大きな期待感が聞こえており、動向に注目したい。https://renaissancephilanthropy.org/former-clinton-and-obama-science-staffer-launches-new-philanthropic-organization/

@sato51643335 まったくおっしゃるとおりと思います。私もよくわからないところではありますが、シンプルな解を選べない、政治的、組織構造的な要因もありそうです。。ありがとうございました。

@sato51643335 オペレーションの部分で「大型予算が目的追求に沿ったものになっているのか？」という疑問もおっしゃる通りと思います。それはリソース配分とは違う側面での問題が大きいと感じております。

@sato51643335 ありがとうございます。研究時間を増やさなければいけないというのは関係者一同の合意事項で、そこは行政関係者含め異論のある人はいないと思います。問題はその先の「ではどうするか」のところで、豊田先生の提案が暖簾に腕押しになる場面が見られてきました。

@bioshok3 訳本のp.144あたりになります！

@sato51643335 豊田先生の資料を受け取る行政官の人たちは、「そうはいっても、論文指標でみる研究力がではないものを高める政策目標で施策を打っているので、それをやめて交付金を増やす判断にはならない」という応答になってしまう。このことが少なくとも過去5-6年は繰り返されていたように見えています。

@sato51643335 おっしゃること理解いたします。問題は「研究力」が科技政策が追求すべき広義の「研究力」を名指せておらず、どこまでも代替指標で議論するしかない点にあると思っています。豊田先生もこのことは十分に踏まえたうえで議論されているわけですが、

@tanichu 多エージェントの目的創発系としての科学政策の学理構築、お願いいたします…！

2019年の本書でのAIの危険性に関するrationalistたちの理路は、先日のBengio講演の前半と酷似しており、ML研究の第一人者への影響を感じる。一方、本書ではRodney Brooks氏による、こうした論へのflat earth論者と同列視した辛辣な批判も書かれていて、議論の構図が変わらないことを知る。

トム・チヴァース『AIは人間を憎まない』読了。タイトルはYudokosky記事の引用で特に意味はなく、超知能AIの危険をオンラインで議論してきた「Rationalist movement」の、コミュニティに入り込んだ取材に基づくポピュラーサイエンス。Rationalistたちへの共感と懐疑のバランスが絶妙だと感じた。

@hiroaki_skm ご覧になっているかもしれませんが、前職で同僚が実施していたセミナー・WSレポートをご紹介させていただきます。https://www.jst.go.jp/crds/report/CRDS-FY2021-WR-05.html

Melanie Mitchell氏のマントラ：「AIが、ある汎用能力の名がつけられたベンチマークで人間を超えたことは、実際にその汎用能力に関して人間を超えたことを意味しない。」
https://aiguide.substack.com/p/ai-now-beats-humans-at-basic-tasks?triedRedirect=true

ただしこれは自分を含む関係者の努力不足というだけではなく政策決定というものの本来的なプロパティだと理解することも大事だと思う。価値の対立であり、政治の領分。エビデンスだけでやるべきことが一意に決まる世界ではないということ。だからこそ何をどう決めているのかの透明性が必要。

これがいかなる目的関数と制約条件のもとで解かれるべき問題なのか、言語化されていないように見えることが前職では歯がゆかった。結局、各チームが「研究力」「スタートアップエコシステム」「安全保障」「SDGs」「総合知」など所与のキーワードに紐づく部分解を模索している印象が否めなかった。

豊田先生の資料は素晴らしいが、これが暖簾に腕押しになってしまう構図をたびたび目にしてきた。原因は、日本の科学技術政策が「研究力」（の代替指標）の最適化問題ではないこと。「研究力」にfixateした議論はもっと大きい連立方程式のなかで相対化されてしまう。 https://x.com/enodon/status/1782917271410897162

@tomabetchy ぜひ同書を読んでみていただければと思いますが、ベルクソンが主題になっているのはベルクソン哲学者が担当した2章程度で、必ずしもそれが本のメインテーマということではありませんでした。記事に誤解を招く点があったかもしれず、補足させていただきました。

@mari_izumikawa Tan Zhi Xuanさんの記事を一読。
https://www.alignmentforum.org/posts/Cty2rSMut483QgBQ2/what-should-ai-owe-to-us-accountable-and-aligned-ai-systems#Contractualist_AI_Alignment
AI alignmentを「人間の選好の推定とそれへの整合」とみなすのではなく、各文脈における社会契約の問題として捉える「Contractualist AI Alignment」へのリフレーミングを提案。理解が及ばない点も多いが、非常に本質的な議論だと思う。

@hir_kurashige 記憶の哲学者のRobinsさんなどが、この辺りを深めていってくれるのではないかと外野から期待しています。https://x.com/rmaruy/status/1664853256907157504

@hir_kurashige …興味があります。。そもそも想起を生成的現象としてみなすことと、記憶エングラムという概念を使った記憶研究がどう両立しうるのかということが気になります。

下記のMichaelian著は完全に生成的記憶観でしたが、神経科学への接続は少なかったのを思い出しました。
https://rmaruy.hatenablog.com/entry/2019/04/29/060319

そこでよりどころになる「記憶」についてはニューロテクノロジーがfinal blowとなる可能性がある。
一方でベルクソンのように過去が実在するという立場をとれば、全く話は変わってくる。生成AIやニューロテックがつくる「過去っぽいもの」はあくまで張りぼて。

動画からは離れますが、最近思うのは生成AI全盛時代に時間と記憶の形而上学は思想的重要性を増すのではないかということ。たとえば現在主義（presentism）のもとでは、「記録」を生成できる技術はある種の「過去のデザイン可能性」を意味する。（続）

@yuru_philosophy ありがとうございました！ご解説、大変勉強になりました。
…谷村ノート（多分初めてそう呼んだのは自分だと思う）については、自分の意図に反して不要な煽りをしてしまったため忸怩たる思いがあったので、よい取り上げ方をしていただいていて良かったです…！🙇

概要欄でCanales著についてのブログも紹介いただいていて感謝。https://rmaruy.hatenablog.com/entry/2019/12/15/145555

ゆる哲学ラジオの『〈現在〉という謎』を扱った回、やばい古傷が…、と思いましたが、非常に穏やかにまとめられてよかったです。 https://youtube.com/watch?v=mCl8yLoVSCk

@HiroTHamadaJP @0xtkgshn @hayashiyus @AIAlignNetJP @alignmentalkjp ありがとうございます。林さんと相談して、ALIGNからは林さん一名での参加希望にさせていただきます。よろしくお願いいたします。

@HiroTHamadaJP @0xtkgshn @hayashiyus @AIAlignNetJP @alignmentalkjp 濱田さんありがとうございます。高木様、お世話になっております。https://www.aialign.net/ ←こういう団体の事務局をやっており、今回のお話と文脈がつながるかわかりませんが、参加可能、興味あります。もし末席にいてもよければお願いします。

こういう共同研究の呼びかけ方があるのか…。 https://x.com/TMoldwin/status/1786404122788331669

『入門 科学技術と社会』一通り読了。とくに印象深かったのが長門裕介さんの第16章「量子技術」。”総称としての量子技術”と、量子技術を構成する個別領域がもたらす影響に分ける議論が明瞭で、いわゆる「量子技術のELSI」の考え方が初めて腑に落ちた気がした。

しかも指数的増大が続く期待の維持に強く動機づけられた人々が、リソース（資金、エンジニア、電力、FLOP数）を指数的なかき集めることで保たれているトレンドでもある。一見、我々には「新規感染者数」と同じく災害的に迫るトレンドにも見えるが、暗黙に期待という燃料をくべている可能性もある。

『テクノ・リバタリアン』で何度も出てきた”exponential”という観念。これが楽観/悲観双方のSF的近未来ビジョンにつながるわけだが、害虫やウイルスなど自然界のケースと、ムーアの法則やLLMのサイズで見られる指数的増大の機序の違いが気になる。後者は、誰かが望んで実現する、人為的exponential。

AI Alignmentの思想的・文化的な偏りがとても気になるというnoteを書いてからひと月。@mari_izumikawaさんのリサーチと行動力で、本質に迫れそうなイベントが実現。期待しています。
https://x.com/AIAlignNetJP/status/1786293007467388999

4月はいろいろと準備が間に合わなくて無収入だったが、5月から月割りの業務受託の開始と、スポットの仕事を一ついただける見込みになり、その他長期プロジェクトのキックオフも。破綻しないように頑張ります。

この対談は面白かった。谷口先生が、AIに関するよくあるナラティブを少しずつずらしていく感じ。数年おきくらいに、こういう対話がアーカイブされていくと面白そう。 https://x.com/daimarikooo/status/1785672067343642658

あるいはブルーノ・ラトゥール『地球に降り立つ』が指弾するもの。https://rmaruy.hatenablog.com/entry/2020/01/06/225830
それは「思想」の名に値するのかという気もする。もう少し、気分とかinclinationといったレベルの、世界をとらえる価値観・行動様式（＝上げ底）。「頭が良いこと」とは直交するはずのもの。

「テクノ・リバタリアン」が「世界を変える唯一の思想」であるかどうかは、まさに我々読者次第。それに気づかせてくれる意味で良書なのだろう。たとえば、本書に出てこないオードリー・タン氏の「Plurality is here」が何と対峙しているのか、この本を読むとよくわかる。

橘玲『テクノ・リバタリアン：世界を変える唯一の思想』読了。いろいろな話が面白くナラティブでつないであり勉強になる。が、これがwhole storyではないだろうという気も。たとえば「物事を数学的に捉える人」であることとリバタリアンであることは直交するはず。
https://books.bunshun.jp/ud/book/num/9784166614462

5月中旬くらいから、M. Chirimuuta"The Brain Abstracted"を1章/1～2週間くらいのペースで再読していこうと思います。一緒に読んでくれる方がいれば僥倖、ちらっとテキストに目を通したうえで私のレジュメを聞いてくれる奇特な方がいましたらお声がけください。ちゃんと読むと難しい本だとは思います。

UCLなんですね！　UKRIグラントも始まっているし、気合い入っていそう。 https://t.co/JsHIhYAxej

思考を、言葉の水路に流し込むようなイメージかもしれない。言葉がなければ思考は水たまりのようなものでどこにも行けない。水路を選ぶとき「願い」が混ざるのかもしれない。 https://x.com/kazeto/status/1785689373566267498

I’m very happy to be having @emiyazono with whom I met at the Metascience Conference in DC almost an year ago. He's done great things in metascience and now taking a bold and interesting step into AI safety. https://x.com/AIAlignNetwork/status/1785614959612944692

"The Brain Abstracted"、ようやく読み終えた。これは二十歳のころからの自分の思索に、一つの上界を与えてくれる本だと感じた。脳をわかるということについて考え続けると、たぶんここにたどり着く。必ずしも絶景ではない、科学と哲学の限界、見通しの悪さも含めて。大事に再読したい。

「バンド幅」を開けておくうえでネックになりやすいのは（ICTの比喩を続ければ）処理速度のずれだと思う。私もいつもそこで躓く。https://x.com/rmaruy/status/1615351315898720262
自分より速い人とのチャンネルが開いたときには、マラソンの給水者のようにそこだけスプリントするようにしている。ただし持続はしない。

OpenAIのCOO、Lightcap氏と共演したインタビューでAltman氏は二人が「コミュニケーションのバンド幅」を広く保っていると話していて、ビジネスに限らずこれは何かが生まれるときの条件なのだろうと思った。特定のバンド幅を広く保てば他が狭くなる。だから一種の賭けだが、はまれば遠くまで行ける。

日経サイエンス2024年6月号の意識特集、面白かった。Scientific AmericanのMusser氏による元記事のなかでアラヤ金井さんらの研究がしっかり紹介されているのですね。すごい。https://www.scientificamerican.com/article/what-the-quest-to-build-a-truly-intelligent-machine-is-teaching-us/

@hiraiyasushi1 You touch my nerveとかありますね。

Funding the Commons Tokyo 2024のアナウンスが始まっている。 https://x.com/hal_sk/status/1783744240943784173

@HiroTHamadaJP OPが入るというのはそういうことでしょうね。（こういうお金の動きは他人ごとではないというのもあり）注目していきたいです。

@HiroTHamadaJP そこすごい気になりました。アメリカのNSFとMetascienceをやり始めているInstitute for Progressも資金源がOpen Philanthropyだと思います。英米の政府機関との共同ファンドに乗り出しているんですね。

…それにしても、こうした「科学と社会」を語る概念装置を総動員して考えるに値するのが「AI」をめぐる昨今の状況だと思う。この一点だけでもAIは面白い。たとえば「無知学」。年末のブログに書いたように、今のAIは多層的な無知の塊として捉えられる。https://rmaruy.hatenablog.com/entry/2023/12/31/005332

標葉・見上 編『入門 科学技術と社会』第1部「理論編」読了。"人工物の政治性" "Situated knowledge" "期待の社会学" "無知学"など、STSが整備してきた概念の豊かさを感じる。第3章の著者がANTについて言うように、安易な答えを求めない実務者ならきっと役立つメタサイエンス的視座を与えてくれる。

芸術的鑑賞とは、内発的な「脳のリズム」を対象にあてがうことなのかもしれない。すると究極的には自分の内臓感覚ですら芸術的鑑賞の対象になりえる。瞑想とはそういうことなのだろう。

英国UKRIによるメタサイエンス研究の公募が始まった。1件最大30万ポンド（2年間）で総額500万ポンド。https://x.com/jameswilsdon/status/1785268444503368025?t=Kjte_NkdF4QNMINZvl8DEg&s=19

おもしろいな。馬田先生のアドバイスは、自分の手持ちにものから出発せよという千葉雅也さんの『センスの哲学』と一見逆。
ビジネスにおいては「未来から過去をつくる」のがよく、芸術においては「過去に染みついたものを生かして表現する」のがよいだろうか。outside-inとinside-outの相補性。 https://x.com/tumada/status/1785147246599954653

@HiroTHamadaJP さすがに名前も違うので別人ですね…笑

自分のhttp://lit.linkのurlをGemini 1.5に投げてどんな人物か聞いたら「丸山 隆一郎氏は、リフォーム事業を主軸に、不動産事業や投資活動など、幅広い分野で活躍する若手実業家です。」とのこと。そうだったのか。

これでは何ができる人かわからないので、これから自己分析します…。（そんなで開業したのという話ですが、ALIGNのことをやるチャンスは今しかなかった。）ALIGNで最大限手を広げつつ、仕事をいただくための自己紹介ができるよう準備しますので、今後ともよろしくお願い致します。【お知らせここまで】

【個人事業主としてのお知らせ】半年～1年後には、少しずつ、現業に加え仕事をいただくか再就職を考える必要があるため、準備の準備として自分に関するリンクをまとめてみました。https://lit.link/ryuichimaruyama

AIによるリスクへのアプローチに関する思想的・文化的な多様性について考える場を作ってくださる方が出てきて大変ありがたい。連休明けに一度議論をする予定。（輪に加わっていただける方がいれば、AI Alignment NetworkのSlackに入っていただければ幸いです。https://www.aialign.net/contact）

Salman Rushdie氏へのインタビュー、興味深かった。ニュースで目にする固有名詞のイメージと実際のずれがどこまで広がりうるのかのレッスンとして。 https://x.com/nytimes/status/1783942894585270575

Buzsakiの「脳のリズム」と、千葉著における「センス」によって感受される生活と芸術の中のリズム。両者には当然ものすごいギャップがあり、すぐにつながるものではないにせよ、最終的にはどこかつながるはずだ（加えて、脳と（現今の）AIのdisanalogyの本丸はそこにある）。というイメージを得た。了

また、Buzsakiが指摘するように、2）今のAIには脳が備えているような自発的なダイナミクスがないから。
1）と2）は、大まかには千葉著における「身体性」に対応しているかもしれない。

なぜなら、1）ニューラルネットは入力（静止画のみならず時系列データであっても）を時間的には受け取っていないから。たとえばTransformerはコンテクストウィンドウに入れられたトークンを「一挙に」処理する。（続）

ここで少し方向転換して、AIとの対比について考えてみたい。千葉著では人間の作家と同じくリズム的なもの（「凸凹」）をChatGPTも生成している話があったが、AI（たとえばニューラルネット）に、リズムの「感受」はできるのだろうか。できなそうに思う。（続）

脳は自らのリズムを外に投影することで、“inside-out”に世界を意味づける。静的な「ものの並び」にもリズムがあり、それを感受できることが「センス」である。「自分から出てくる偶然性」（千葉著p.183）という言い方も、inside-outとよく対応しているように聞こえる。（続）

しかも外界から受け取った信号を順次処理するというより、脳はあらかじめ備えた神経活動の軌道（neural trajectory）を外界の事象に当てはめることで、世界の意味付けをしている。神経科学者のG.Buzsakiは、この見方を”Inside-out”と呼んでいる。https://www.nikkei-science.com/202310_078.html　（続）

静止画やインテリアの並びも、人はそれを時間的なものとして受け取る。これは、クオリアが時間でできている（平井著第1書）というそもそも論に加えて、人間の脳のなかで起こる認知が「時間をかけて」なされるプロセスだからだろう。不用意な自然主義的類推かもしれないがそちらに行きたくなる。（続）

『センスの哲学』では、何かがどう並べてあってもそこに人間はリズムを見出し（p.158）、物事をリズムとして捉えることが最小限の「センスの良さ」である（p.61）という。なぜこうなるのか、いろいろとピンとくることがある。（続）

パラサイエンス・スタッフとして、これまで主に年長の研究者の胸を借りて仕事をしてきたが、最近は自分より一回り下の研究者（の卵）のプロモーターのような役回りにもなりかけており、彼らが10年後、自分と関わった時間を無駄だったと振り返らぬような活動を、少なくとも心掛けねばと思う。

Domingos氏、AIの能力が人間レベルで飽和しているように見えていることを指摘しているが、むしろこれらのタスクで120%や200%を有意味に議論できるのかという方が気になる。という意味で、Domingos氏の意図と異なる意味で超知能到来ビジョンへの疑義になっている。https://x.com/pmddomingos/status/1783956607552176422?t=hpuVZjOllxGAlNVNVGRGIw&s=19

Academistイベントの担当部分終了。一杉太郎先生の、AIロボットがもたらす科学の非常にポジティブな未来像が印象的でした。全部盛りはやっぱり無理で（笑）用意した資料の上部1/4しか表示できなかったのでここに貼ります。みんなで議論したい。#AI科学を哲学する https://t.co/g0dlGQJPwW

千葉雅也『センスの哲学』。本書を自分なりにぎゅっと要約すると「センスは時間でできている」。
平井著はもちろん、自然科学側ではFristonだけでなくBuzsakiの「脳のリズム」にもきっとつながるし、衣食住のすべてにおけるセンス欠如を引け目に感じてきた自分にとって自己啓発的な意味でも開眼の書。

アラインしている必要はないかもしれない。コンタクトしていればいいのかも。

パラサイエンス・スタッフが、どこにいても向き合うことになるのは、「研究」という長時定数の営みと、社会に今生きる人々の今ここのinterest（興味・利害）のアライメント問題。

もちろん、著者はそれを感覚的に言っているのではなく、機械を生物に近づけるかなり途中の段階、computationという限定された機能を通してのみアナロジーで結びついた機械に意識が宿ると考えることの不自然さに訴える議論になっている。

Chirimuuta著、第9章で「意識」を正面から扱い、意識は生物にのみ宿るという「biological naturalism」の立場を明言。この議論のなかでAIの自動化の話にもつなげていて、「AIが理解する」の可能性にも否定的。アナロジーの行き過ぎ（misplaced concreteness）に訴えている。自分の感覚には一番合う。

@Keita_Saiki_ おお、目を通してくださりありがとうございます！

Safeguarded AI programmeの勉強会、面白かった。。やっぱり理解できない点は多いが、近くで見ている方のお話で全体像の霧が少しだけ晴れた。実現性はともかく、かなり高度に詰めた絵で人々にインスピレーションも与え、世界中のタレントを引き寄せ、何かが起こるという期待感を生んでいる。要注目。

こちらがいよいよ2日後に。私からは、科学を遠くから、近くから、またいくつかの角度より見てきた立場から、AI科学について気になってきたことを全部盛りでババっと話してみて、あとは一杉先生のお話を伺おうという方針です。楽しみです。 https://x.com/academist_cf/status/1783083615716528162

NTT Research社の最大$1.7mを寄付を得て、Harvard大Center for Brain Scienceに「知性の物理学」プログラムができたとのこと。
嶋田さんがまとめられた「情報と計算の物理と数理」とも関係するだろうか。https://www.jst.go.jp/crds/report/CRDS-FY2022-WR-11.html https://x.com/Hidenori8Tanaka/status/1782358453660598524

この行動選択に至れたのは、JST-CRDSにて引いた視点からメタサイエンス運動を見られたことが大きく（その最初の一歩が昨日話したように柴藤さんへのインタビューでした）、前職で残したものとしてこの鳥瞰的視点も皆さんと共有できたら嬉しいです。
https://x.com/rmaruy/status/1770641323705651688

そういう意味では、大学URAやJST本体業務が次のキャリアとして自然な選択だったのですが、歳をとっているディスアドバンテージもあるし、どうせなら誰もやったことのないことをと思い、今の仕事のオファーを受けました。しばらくは修行です。。

昨日の続きを少し。私自身は柴藤さんのような開拓者ではなくフォロワータイプで、かつ今は科学を俯瞰するよりは日々のロジに張り付いているので、「メタサイエンス・アントレプレナー」ならぬ「パラサイエンス・スタッフ」を自認したい。研究者や起業家にも増して供給不足なロールとの見立てがある。 https://x.com/rmaruy/status/1782394905454924130

@RShibato 柴藤さんありがとうございました！　こんなに自分の話をさせてもらえるとは思わず…でもよい振り返りの機会になりました。分散型研究所と、そこにお金や人の流れを作るURA的な個人というビジョン、とても触発的で、今の活動で走りながら言語化を進めていければと思いました。

Jack Stilgoe氏の出演するBBC Radioの30分番組。Jeff Hinton, Kate Crawford, ConjectureのConnor Leahy など、Existential threatの提唱者と批判者の両方へのインタビューがあり、大変充実している。https://www.bbc.co.uk/programmes/m001xdg5

@ikiikilab 納得です！　探究の先にある、ある程度固くて、公共的で、暫定的にでも信じられる確かなもの、といった意味合いでしたら、みんな真理的なものを目指しているのかなと思います。

@ikiikilab たまに、（おもに人文系の研究者から）自分は「真理探究をしているかというと少し違う」というコメントをいただき、自分のなかに理系バイアスがあるかもと思う時があります。

「選択と集中」の問題だけでないと思うが、funderにもっとgood scienceを重んじる姿勢が必要なのは確実（現状は「不正は絶対ダメ」的なメッセージを出しているだけの印象）。ただ、本当に大事なのはBrian Nosekのメタサイエンス運動のような研究界の中からの動きで、それをfunderが支えるべきと思う。

杉山ほか 2024「霊長類研究所解体の経緯を考える」https://doi.org/10.51094/jxiv.405

国の資金配分が科学の健全性を損なう方向に作用しているという指摘はあたっているのだと思う。イノベーションの前に、真っ当な科学をしていて大丈夫な状況が失われつつある、という強い危機感を現場の科学者から聞く。

@unnonouno ありがとうございます！！

@ikehara_y ぜひお願いします。博論テーマについてもまた教えてください🙇

@junotk_jp @tanichu ありがとうございます！（迷惑と紙一重だと思っております…。）今後のお二人の展開が楽しみです！！

@tanichu （いえいえ私は表面的なアナロジーだけです。）おお、全員京大！

当時、大塚著と谷口著をつなげて考えようとしていた形跡も。https://x.com/rmaruy/status/1325547918472830976

おお…。３年半前に「全員読むべき」と言って触れ回って同僚や身内からやや迷惑がられた『統計学を哲学する』、ここにきて強力な読者を得た。発行後、何年たっても新鮮な「凄み」を体験できるのが本のいいところだなと思います。 https://x.com/tanichu/status/1781834868651069856

@ikehara_y 英米ではある種の「勢力図」が出来上がっているepistemic culturesが、日本に入ろうとしてるのが今だとすると、まだ色分けがない日本のような地でどのような受容と展開をするのか。この辺りご関心になりうるのではないかと思った次第です。日本にも独自のepistemic cultureがあるのもしれません。

@ikehara_y 2. コミュニティ論…まさにそこが話したかったところでして、「epistemic culture」という考え方は有用だと思いました。ある種の危機感、解決の方法論、概念を共有するepistemic cultureがAI safety周りにはできていて、それが従来のAI倫理等の研究と切断していることを著者らは問題にしています。

@ikehara_y ありがとうございます。急に話かけてしまいましたが、リプライ大変ありがたいです！！

1.「異なる環世界を持つASIが人間に敵意を向けるか」については、いろいろな論理の蓄積があるように感じています。先日来日したBengioさんもその話をしていて、近日講演録が出るのでまた議論できればと思います。

↑このあたり、@ikehara_y さんはご知見・関心・感想などお持ちではないでしょうか。（突然すみません、AI Safety系のコミュニティ形成の社会学についてになります。今の仕事でこの辺のことをしっかり考える必要に迫られていまして…。ピンとこなければ大丈夫です！）

1年半ぶりに見たが面白かった。1年に一回くらい見返したい。https://www.youtube.com/watch?v=F_RKgS10vPs&t=2s https://x.com/rmaruy/status/1781590199413465388

懇談の中でアクターネットワーク理論の話に少しなった。
ラトゥールの科学論について、まず観ていただきたいのは下記の動画。
https://youtu.be/9EW95O1Vbio?si=wzu1Ue98tTe-5a4c
自分としてはあえてAI科学の話をここにはつなげて考えてこなかったのだけど、どうつながるだろう。

bento-kai第3回、高木さんと石原先生も周到な準備をされていて、互いにイベントを思考を進めるきっかけにされているのが伝わってきてよかった。bento-kaiもいろんな動きの結節点になり始めていて、いい感じ。主催者の皆様ありがとうございました。

Dennett-GPTの論文、出てからまだ1年たっていないんだな。https://arxiv.org/abs/2302.01339
https://x.com/rmaruy/status/1680003780371443712

Dennettさん、最期までthinkingしていたんだろうな。一冊くらいしかまともに読んだことはないけれど、存在の大きさを感じていました。ご冥福を。 https://x.com/ryoueharaS2/status/1781508331720651102

Ahmed+2024 ”Field-building and the epistemic culture of AI safety” 科学人類学の「認識的文化(Epistemic Culture)」概念を頼りに、AI Safetyコミュニティのカルチャーが大型のfunderの存在のみならず種々の活動の相乗効果で台頭、影響力を増してきたことを報告。https://doi.org/10.5210/fm.v29i4.13626

@tanichu 財務状態の部分観測性の解消は、経済的意思決定の俊敏さを心理面において助けるようです。

いろいろ思うところもあり、話したくなったので9時半から話すことに。３０分くらい（盛り上がったらもう少し）、基本ふたりで議論していると思いますが、先日の参加者含め加わってくれる人がいるかもと思いspaceにて。
https://x.com/rmaruy/status/1781268400922403327?t=j1mHwNjhNB1BJcyhbpyUAg&s=19

先日の #AI科学を哲学する 勉強会の振り返りとその後の思考を、高木さんが長文noteでまとめてくださった。
https://note.com/shiro_takagi/n/n9f1850bd84bf

Stilgoe氏があげているこの論文は読まなければいけない。胃が痛くなるかもしれないけれど。
https://x.com/klaudiajaz/status/1779971026111037839

2024.4.18　Jack Stilgoe氏のScienceオピニオン記事”Technological risks are not the end of the world”。x-riskに関する論点づくりが、奪う人と奪われる人の差を隠し、より現実的で重要な議論からリソースを奪う。昨年の米国大統領令がx-riskに触れなかったのは健全だと。https://www.science.org/doi/10.1126/science.adp1175

過去の自分が同じようなことを言っていないかをすぐにチェックできるのもTwitter。
https://x.com/rmaruy/status/1456671481077764105

過去の任意の事象に対して、そのとき自分の心がどう動いたか、キーワードさえ思いつけば1秒でアクセスできるのがTwitter。

最近のAI企業の日本への大型投資のニュースをみていると、日本社会は丸ごと「家としてのAI」の実験場になるのかもしれない。 https://t.co/w6PYt8nIo8

「家としてのAI」とアライメント問題｜R. Maruyama @rmaruy #note https://note.com/rmaruy/n/nb3612543aa16?sub_rt=share_h
…またまた寝る前のAIアライメント考。

【事務担当のつぶやき】帳簿が現状に追いついたときの安心感。

@RShibato ↑こういうタイトルにしていただいていますが、メインは4/26（金）のための打ち合わせだと思います💦
ぜひAcademist Prizeイベントのほうにもご参加ください。
https://x.com/academist_cf/status/1780178078528094658

Stanford AI Index Report 2024、コラムも含めて読むべきところが多い（「創発」という考え方に対する挑戦」など）。スタンスが出ているのは「long-term existential threats」についてで、下記のように「何が科学に基づいており、政策形成に情報提供すべきかは難しい」と述べるにとどめている。 https://x.com/AIAlignNetJP/status/1780384243979546638 https://t.co/hg0SGpwvIR

「意識とは何か」について、一人の中でも”ism”が揺らぐのは、これがいろいろな足場のもとに考えうる問題だからだと思う。永井均の言葉で言えば、「〈子ども〉の哲学」の裏に「青年の哲学」が潜り込む。このことをインタビューをもとに雄弁に語ったのがJohn Horgan氏。https://x.com/rmaruy/status/1050993708605132800

コロラド州に続きカリフォルニア州でもNeurorights法案の立法プロセスが進んでいるらしい。 https://x.com/yusterafa/status/1780357521766834306

@takagi_shiro 先日の勉強会をご覧になった@RShibatoさんからお声がけいただき、4/24のオンラインイベントに出させていただくことに。パネリストなどおこがましいのですが、AIロボット駆動科学を牽引されている一杉先生にいろいろお聞きできるのが楽しみです。
https://x.com/academist_cf/status/1780178078528094658

@tanichu ここ数日気にしている英国のビッグプロジェクトとなった「Safeguarded AI」は、なんだかその全階層を外側から記述し尽くして制御しようという発想に思えて、そんな無茶な、本当にやるの？と、興味を持ってみています。
https://x.com/rmaruy/status/1780115045369991473?t=ow4hvZd2b6nXPaC8ElgfDg&s=19

@tanichu たぶん、この谷口先生の世界観・問題意識を福島さんづてで私に入ってきていたなと今になって思います（笑）

@tanichu たいへん興味深いです。AIが入り込むシステムの階層性を、外側の付随的なものとしてでなく本質的なものとして捉えることが、AI Alignmentの議論にもっとあってもよいのだろうと思いました。そうすると「制御」の問題がもっとずっと難しくなるけど、本当はその難しさに人間は直面しているのだろうと。

先日の #AI科学を哲学する に関してもこの「メタAI」の視座は超重要だ。つまり「研究者としてのAI」の階層だけ考えているだけでは不十分で、「研究所としてのAI」とか「ジャーナル共同体としてのAI」まで広げた「メタ科学AI」を考えることが必要になる。

奇しくも今日思い出していたアイザック・アシモフの『ファウンデーション・シリーズ』も言及されている。「メタAI」や「人工知能の中で生きる」は、これからAIを語る重要な認識フレームワークだと思う。AIは他者ではなく、家であり都市であり環境であり場所なんだ。

「知能は都市に宿る」って集合的予測符号化の話につながりそうだし、森田さんの先日の「場所」の話にもつながる。さすが、三宅さんはいつも一歩先の視点を持っている。https://wired.jp/article/youichiro-miyake-sf-future-1/

funding callがなされているTechnical Area1.1は、AIが社会にもたらす影響を一定の範囲に収めるための「世界モデル」、仕様、検証のための統語論と意味論をつくると。この世界観、アシモフ『ファウンデーションシリーズ』を想起する。これを政府プロジェクトでやろうとしていることにやや戦慄する。 https://t.co/jvCEaOgRY4

@fpocket 様、ご無沙汰しております。このスレッドの話、圏論等の数学的言語を使ってAIの安全性の保障を作っていこうという試みのようなのですが、ご知見・ご関心ありますでしょうか。（近々、詳しい方を招いて勉強会をやる予定でして、もしよければ。）

LLMだけでもこれだけの課題＝研究テーマがある。どれか一つで研究成果を出したとして、最新のLLMを持つ企業でやるならpiecewiseに組み込めるのだろうが、そうではない立場で研究するならこの全体像を意識した戦略が必須といえそう。 画像出所：https://x.com/DavidSKrueger/status/1779900517411328124 https://t.co/dF49ITBbA4

「4.1.1 Justifying Value Choices for Alignment」「4.1.5 Is ‘Value Alignment’ the Right Framework?」などは先日ちょっと考えだしたところにつながる。勉強しよう。https://x.com/rmaruy/status/1779162933542756400

バイアスとか、Jailbreakとか、今のLLMで顕在化している問題のリストの中に「Agentic LLMのもたらしうる懸念」のようなexistential risk系の話も位置付けられていて、非常に見通しがよくなる。そして、3本柱の一つにsociotechnical challengesがしっかり入り、人社系分野の研究課題も列挙されている。 https://t.co/KYVmpIYGiw

このAnwar+2024論文はすごい。「LLMの何が技術的・社会的な問題になるのか？」を包括的に洗い出し、かつリサーチクエンションのリストに落とし込んでいる。 https://x.com/AIAlignNetJP/status/1780034012217774208

興味のある方はお知らせください。 https://x.com/rmaruy/status/1779783575845675292

あとは人を説得してまで巻き込む意欲がほとんどない。関わってくれたらうれしいが、それぞれが本当にやりたいことを最大限やってほしい。それで人がいなくなったら解散でいい、と思ってしまう。

今の活動を始めてみて、自分は起業家にはなれないと改めて思う。自分がdeliverできそうなところに責任のラインを引いて、そこまで頑張るやりかたしかできない。それはそれでvirtueでもありうると思うので、それでいく。

米国NIH BRAIN Initiativeの今年度予算が40%減ったと。2025年でBRAINも終わるのだと思う。欧州Human Brain Projectも終わったし、今後脳科学のビッグプロジェクトはどこに向かうのだろう。 https://x.com/BIONIC_Lab/status/1779497706819318074

@hiraiyasushi1 19冊中12冊読んでました！

@yoshi_and_aki ”Safeguarded AI”について、詳しい人に話してもらえる機会を作れるかも。

【事務担当のつぶやき】「呼吸」をtodoリストに入れる人はいない。おなじく生理現象に近いところまで事務作業を身体化できれば、忙しさの体感値は激減するだろう。At least in theory.

自分は、何が各人にとって最も切実な「問い」を生むのかを気にしてきたけれど、問いを生み、問いを宿すのは個人の心ではなく「場所」なのかもしれない。

多様なものが混じり合いそのことによって時間的遅延を生み出すことのできる「場所」に参画する。これなら自分のfirst hand experienceにできるのかもしれない。今自分は「どこ」にいるのか。この「場所」で、いかなる時間生成プロセスに巻き込まれているのか。

だから、自分にないものを書名から手放しで称揚しているように聞こえる『センス・オブ・ワンダー』は、森田訳でなければ手に取らなかっただろうし、今日の話で新訳自体のイメージもまた大きく変わった。

私はいつもどこか、自分と現実とのタッチポイント、自分の中から湧いてくる内発的な問いの源泉になるはずの「生の経験」が何かがわからず彷徨っている感覚がある。自分のsense of wonderの出自を見失っているコンプレックスがある。https://x.com/rmaruy/status/1658383882998407168?t=6Pk4R8Q8rJCV8lJ_vW6pWw&s=19

手つかずの自然への予断のない好奇心を賛美しているように見えるカーソン自身は、科学がもたらす壮大な「物語」に自身の文学的創作意欲を見出した作家だった。自然からと同じくらい、書物から彼女は世界との接点を得ていた。

トークライブを振り返って。今で言う「科学コミュニケーター」としてのレイチェル・カーソン像に驚く。科学的な正確さと文学的な完成度にこだわり抜く遅筆なカーソン。家族を支えるため自著の商業的成功にこだわったカーソン。時代の中で特定のイメージに「翻訳」されてきた著者像を塗り替える新訳者。

森田さん、『世界は時間でできている』を絶賛。

まあ、それ（安全性にとどまらない技術の諸影響）こそが30年来議論されてきた「ELSI」か…。ただし、AIの場合は「Issues」とか「Implications」という捉え方では生易しい気もする。「技術と人類が絡み合う複雑系がたどるダイナミクスの合理的分析と、民主的かつ効果的な介入」みたいな概念が欲しい。

上記は本当に荒削りだが、次に考えたいのは「AI Safety」との関係。Safetyというからには、harmやリスクを定義・推論できる必要があり、Bengio氏もDavidad氏もその想定だと思う。これはBioweaponなどに当てはまりがよさそうだが、AIとの共生で重要なのは「安全」の議論フレームで尽きない気がする。

「科学×AI」から考えるAIアライメントの難しさ｜R. Maruyama @rmaruy #note https://note.com/rmaruy/n/n4d906a44a2d1?sub_rt=share_pw

@mari_izumikawa ありがとうございます。Xuanさんの記事、とてもいいですね。ここまで考えていた人がいたとは。AI Alignmentをより開かれた分野にするために、とても重要だと思いました。Xuanさん、ALIGNのWebinarとかたのめないかな…。

@mari_izumikawa ここで言われている、AIにまつわる「Worldview Diversification」を一番熟知し、しかもそれを「楽しむ」身のこなしをされているのが江間有沙先生だと思う。『AI社会の歩き方』は今こそ読まれてほしい。江間先生のような”boundary spanner"がもっと必要。https://rmaruy.hatenablog.com/entry/2019/03/09/221238

先日のnoteに書いた問題意識につながるところを、@mari_izumikawaさんが掘り下げてくれている。https://x.com/rmaruy/status/1775173683830759712

泉川茉莉さん「研究者同士、AIが整合すべき価値観をどのように考えているのか、…関連する人文社会学系の学術分野の研究者は何を考えているのかを知り、AI Alignmentの学際性を高めていく上でもPluralityという考え方は有用であるように感じます。」Can't agree more!!
https://aialignmenttalkfromjapan.substack.com/p/ai-alignment-talk-from-japan-no6?utm_source=profile&utm_medium=reader2

@homme_pensant ぜひお願いします！！よかった！　DMをお送りします！

【1名様緩募】明日、表参道で開催される「『センス・オブ・ワンダー』刊行記念　森田真生トークライブ」のチケットを誤って2枚買ってしまいました。どなたかにお譲りしたいと思うのですが、今から参加可能な方いらっしゃいますでしょうか。（1名同伴可能の件、書店に確認済。）https://passmarket.yahoo.co.jp/event/show/detail/02t7t2xjmdm31.html#accept

4/20のこちら、現地参加枠はあと数名とのことです。https://x.com/kazumasa_nagata/status/1775824266011017222

「私は何がしたいのか」というのは実は不良設定問題で、「世界についての〇〇の前提知識（A）と、ある価値観のセット（B）を私が持つとしたとき、私は何がしたいのか」が本当の問いで、AとBはある程度まで着脱可能である（「上げ底」の入れ替え可能性）。このことに気づくのに36年かかった。

久しぶりに石原尚先生のnoteを拝見したけど、やっぱすごいな。この言語化と図解への衝動はどこから来るのだろう。https://note.com/hisashi_is/n/n47a6af1e11f1

4/20（土）のイベント「Bento-kai #03 AIと科学 - 自律的研究を行うエージェントと～」は楽しみ。私も現地で参加します。先日の #AI科学を哲学する 勉強会とはまた違った角度から、AIを通して研究を見つめ直す機会になりそうです。まだ現地参加も残席あるそうです。ぜひ！
https://bento-kai-metasci-3.peatix.com/

@suz_dg 買います！！

@yoshi_and_aki そしてペトリネットなど形式的モデル化の手法がかなり使われる模様。これが
深層学習全盛の時代にフィーチャーされてくるというのが興味深い。平石先生の『形式的モデル化』を再び開くときだ…（企画の担当をしたが第２章以降何一つ分からなかった思い出）。
https://morikita.tameshiyo.me/9784627854215

https://x.com/davidad/status/1778439840360481127?t=-Op9xO2MEjFV1u1PkGswIQ&s=19
Davidad氏の動画解説、テクニカルなところはわからないがモチベーションの解説は明瞭。数学への信頼の高さを感じる。
今回の公募では土台となるセマンティクス、「言語」づくりを目指すとのことで、その方法論として圏論が名指しされています。cc: @yoshi_and_aki https://t.co/c0Tnt5BmXv

小2の娘はよく屁理屈をこねるようになってきたけれど、これは生きる力だなと思う。会話のコモングラウンドを敢えて傾けたり、広げたり、ループホールを見つけたりすることは、コミュニケーションの膠着状態を抜け出す知恵。

…しかし5900万ポンド（～110億円）というのは、日本で言えばERATO10個分。それを30歳代のDavidad氏に任せるという、英国ARIAの本気度。。気になってDavidad氏のCVを見たら「Youngest-ever recipient of an MIT graduate degree (age 16)」らしい。

【緩募】Davidadのprogram thesisを読み解いてわかりやすく解説してくれる方。https://aria.org.uk/wp-content/uploads/2024/01/ARIA-Safeguarded-AI-Programme-Thesis-V1.pdf https://t.co/0JHQPjGONy

ARIAのDavidad氏の安全保証付きAIの研究プログラムの全貌が見えてきた。彼が何をしようとしているのか、それにどれほどのfeasiblityがあるのか、誰かに解説してほしい。形式証明とか、ソフトウェア工学、計算機理論のバックグランドが必要そう。
https://www.aria.org.uk/wp-content/uploads/2024/04/ARIA-Safeguarded-AI-TA1.1-Theory-Call-for-proposals.pdf https://x.com/AIAlignNetJP/status/1778360869476549101 https://t.co/3NkbHrXCV5

【事務担当のつぶやき】いま何をメモに残すか、Slackポストの文言選択、取引先にメールを打つタイミング。そうした小さな行動選択と、それがもたらす帰結のcounterfactualなシミュレーションを高速かつ並列でまわすこと。事務労働の要諦はそのあたりにありそうだ。

"AI for Science" for "reconceptualisation of science."

開催記録：オンライン勉強会「#AI科学を哲学する？」（w/@takagi_shiro - 重ね描き日記（rmaruy_blogあらため） https://rmaruy.hatenablog.com/entry/2024/04/10/230634
手元の録画を見返しながら、先日の勉強会の簡単なレポートを書きました。とてもとても勉強になりました。ご参加いただいた皆様ありがとうございました。

すごく粒度を落として考えれば「R＆D」の機能を果たす探索的活動は、適応的な行動の一つとしてヒト以外の動物も行っているのかもしれませんね。現代の職業的科学のイメージに引っ張られずに「研究」を広くとらえてみるという視点は先日の勉強会でも出てきていて、面白かったです。 https://x.com/hamajit/status/1777711934747426949

https://www.yomiuri.co.jp/economy/20240409-OYT1T50164/　マイクロソフトから日本への、2年で4400億円の投資。…なんというか、時空がゆがむ額。
日本政府の令和6年度のAI関連予算（概算要求時点）は1640億円。https://www8.cao.go.jp/cstp/ai/ai_senryaku/5kai/shisaku.pdf

世の中には2種類の人がいるのかもしれない。
1）研究をそれ自体が内在的価値を持つ「目的」として捉える志向性を持つ人と、
2）研究をあくまで他の目的の「手段」とみる人。
この垣根を下げ、二つのメンタリティを使い分けられる人を増やすこと。自分の目指すべき方向性の一つはそれかもしれない。

研究に資金を呼び込む活動をする発想に立つと、無条件にお金を出してくれる人はおらず、常にだれかの価値観・アジェンダとの整合性の下で資金は動くのであり、研究が社会のexpectationの上に開かれた活動だと気づく。このことを忘れがちな自分にむしろ驚くけれど、一般に「研究」は目的ではないのだ。

@nimotougou あ、この前会ったときにこの話してもよかったけどしませんでしたね。お互いいろんなことをやりすぎていて、忘れてしまう（汗）　@mari_izumikawa

計算機メモリの比喩ではとらえきれない記憶の多面性を学際的に見渡しながら、しかし経験科学とつなげることが求められると思ってきたけれど、Momennejadさんはこれからそれをやってくれようとしているのかもしれない。トラウマやプロパガンダに焦点の一つがありそう。https://x.com/rmaruy/status/1404437889346244613

記憶の論理は線形ではない。2＋2は4ではなく、2-2は0ではない。記憶の論理によれば過去は定まっておらず、無限にある。…等々。
とてもいい。 https://t.co/Gq1eBMYqun

神経科学者、人工知能研究者のIda Momennejadさんが公開した文章「The logic of memory」。「記憶とは○○」という36のパラグラフで、記憶の科学的探究に欠けている記憶の哲学的・心理学的・社会的・文学的側面を詩的に素描している。ここからBigger projectが始まるそうだが、楽しみでしかない。 https://x.com/criticalneuro/status/1777343956377866343

森田さんと対峙するときには、それまでせっせと着重ねてきた「自分が何をしたいのか」についてのかりそめのナラティブをいったん脱ぎ捨てることを余儀なくされる。「上げ底」から降りて考える貴重なタイミングになる。

4/14の森田さんのトークライブ、まだ申し込めた。楽しみ。 https://x.com/orionis23/status/1776048117844263386

【事務担当のつぶやき】ここ最近思うのは、事務すなわちブルシットワークではまったくないということ。Bullshitな頭脳労働もあるのと同じくらい、purposefulな事務仕事もある。

Konrad Kordingさんはずっと考えてきたはずだが、「mechanistic interpretability」と言っているのは聞いたことがないかも。Konradさんが話題にしていたRoss＆Bassettでも、もろメカニズムの話なのにこの言葉は出てこないようだ。NeuroとAIの近くて遠い関係が垣間見える。
https://x.com/rmaruy/status/1755021581355815353

2019年のブログを書いたときにはmechanistic interpretabilityという言葉はなかった（知らなかっただけ？）と思うが、今から見るともろにその話だ。 https://x.com/rmaruy/status/1090350068324917249

@tanichu @hayashiyus （ちなみに同書に少し関連付けて自分なりに少し考えてみたのが下記。ここでは、私たちがAIに求めている自律性に二枚舌的な多義性があるのではないかということと、結局人間-AIの混成系になっていくでしょう、ということをラフに書いてみました。https://rmaruy.hatenablog.com/entry/2021/04/05/081901）

@hayashiyus 東大西垣先生まわりの基礎情報学のメンバーと、@tanichu先生らが書かれた『AI時代の「自律性」 』（2019年）はかなり深いところまで行ってるのではないかと、個人的には思っているのですが、なかなか文脈をつなげるのは一苦労かもしれません。https://www.keisoshobo.co.jp/book/b574908.html

@hiraiyasushi1 傘ですか？　クマムシですか？　みたいな会話が懐かしいです。過去に遡って一気にアイコンが変わるの、過去の自分に申し訳ないような、変な気持ちになりますね。でも、心機一転します。👍

小林晋平先生の一般相対性理論の講義を聞きながら描き、何となくそのままTwitterのアイコンにして、はや10数年。何となく、今日でさようならにします。ありがとう。 https://t.co/3cPAApPiL1

アンドロイドという学際分野の研究室を主宰する中でメンバー向けに「研究とは何か」の言語化を続け、『卒論・修論研究の攻略本』を著した石原尚先生@hisashi_isと、「AIに研究をさせる」ために研究プロセスのリバースエンジニアリングに挑む高木史郎さん@takagi_shiroのセッション。非常に楽しみ。 https://x.com/kazumasa_nagata/status/1775824266011017222

高木さんの資料はこちらです。
https://x.com/takagi_shiro/status/1776780621366563140

#AI科学を哲学する 勉強会の丸山資料を公開します。「AIが科学をどう変えるか？」について、いろいろな立場の人が考え、話すきっかけになるような文献をいくつか紹介していますので、ご覧いただければと思います。 https://speakerdeck.com/rmaruy/aike-xue-nohe-ga-zhe-xue-nowen-ti-ninarunoka-wen-imatupingunoshi-mi
勉強会の簡単な振り返りは後日まとめる予定です。

遅ればせながら日経サイエンスの青木慎一記者によるオッペンハイマー特集を読んだ。生前の日本の研究者とのつながりについて、関係した日本人の弟子筋への丹念な取材をもとに書かれていて、とても充実している。https://www.nikkei-science.com/202405_078.html

#TAIS2024 ended. Among many amazing things I saw, perhaps the most impressing was the skillful organizers (Blaine Rogers and Kaitlan Melone). How Blaine talked and walked elegantly on stage was awesome. Their role in initiating AI safety community in Japan is to be remembered.

この研究はやりたいことが明快で、素人でもわかりやすくて面白かった。でも、結局のところLLMにfaithfulnessを求めること自体が不毛なのではないか、という気もする（もちろん、そうならないようにfaithfulnessの操作的な定義をしているのだと思うが）。LLMにfaithはあるか。 https://x.com/AIAlignNetJP/status/1776507731039723993

@nimotougou @mari_izumikawa 今度、EsbenさんにALIGNのウェビナーに出ていただくことになりそうです。もしよかったらお二人もどうぞ。企画がこれからですが。

眠くならないストーリーテリング。（日本語でいえば起承転結。） https://t.co/syg8yrK8yh

Impact=research×communication
Rob Milesさん
#TAIS2024 https://t.co/ejCkIk5wts

@mnagai_ まったく同意です。日本、東京の有形無形のアセットに助けられてるなととても感じます。だから頑張らないとですね！

@takagi_shiro @muler314 おお―ほんとですか。お忙しいのかなと思っていました！　今度3人でやりましょう。笑

@HaroldGodsoe Immensely learning from the event. Thanks!

冒頭のnoteでは「なぜ海外（北米と英国）では、AIによるexistential riskに取り組む研究者がいるのだろう」と問うてみたけど、実際の人に接すると、どのようなリスク認知で、どんな経緯で、どの問題に関わっているかは実に様々だとわかる。そして個人の思いだけでなく、環境面の要素が大きい。

@hayashiyus @hiraiyasushi1 いいですね。。。
でも、きっと平井先生らが今やっていることって「あり得たかもしれない科学と哲学」を21世紀に再演、発展させることなのかと。Canalesさんがこの本を書いたのも、未来志向の意図があったように思いますし。
https://rmaruy.hatenablog.com/entry/2019/12/15/145555

スピーカーのお一方が、米国でもここまでバランスよく演題が並んだイベントは見たことがない、と言っていました。オーガナイザーの力量ですね。 https://x.com/kanair_jp/status/1776223717728932330

@hiraiyasushi1 @hayashiyus 20～21世紀の科学と哲学がよって立つ形而上学が丸ごと入れ替えられますね。「計算機科学」や「認知科学」はどうなっていたのだろう。壮大なSFが書けそうです＞＜

TAISにて海外から来ている方々になぜAI Safetyの研究をすることになったのかいろいろ聞いてみた。面白い。

@ifuiaa 記憶の脳科学については、だいぶ前に調べました。https://rmaruy.hatenablog.com/entry/2017/02/07/090414

@ifuiaa 記憶！　ぜひ議論お願いします。記憶×AI興味あります。

Ben Reinhardtさん「Reseach Leaders Playbook」公開。また凄いのが出た。ARPAのような公共性のある研究プログラムの実施方法やtipsをプレイブックとしてまとめている。（リクルートのメールの書き方まで！）　じっくり読みたい。前職の皆様にも読んでほしい。
https://spec.tech/library/research-leaders-playbook?utm_source=substack&utm_medium=email

冒頭不備がありましたが、おかげさまで盛り上がりました。疲れた。。。ここからどうするか。

#AI科学を哲学する 始まります。猛者の皆様が集まるはずなので、チャットとかが盛り上げるといいなと思います。

@Inventor_Ricky 失礼しました、こちらからDMをお送りしました。よろしくおねがいします。

ひとまず明日からのTAISは非常に楽しみだ。
https://x.com/tais_2024/status/1772916994242728336
This will be my first serious exposure to technical A(G)I safety community. There must be so much to learn...

@Neuro_Skeptic That's my favorite topic...
https://docs.google.com/presentation/d/1LvvX5CG4O4psV6uf1OFWFixiG6zf3gc3w7miNxSvKfk/edit?usp=drivesdk

この見方はかなり本質を突いている気がする…。これまで技術革新を「仕掛ける」側だった人たちが初めて何かに「呑み込まれる」実感を持っているのが今般のAIなのかも。誰かの仕掛けに呑み込まれることに慣れた人たち（私たち）は、むしろ冷静に身を任せられる。https://x.com/hir_kurashige/status/1775442204171067513

@hir_kurashige おお、その分析はすごいですね。そうなのかもしれない。天災が多く敗戦もした日本の人にとってはとくに「おなじみ」感が強いのかも。。

@hir_kurashige なるほど、たしかに重大なポイントがありそうです。加速的に技術を高める人も、そのユーザーも、危険を煽る人も特定のジェンダー（そして文化圏？）に偏っているのかも。ただし、他の人たちもその余波を受けるので、では外からどうするか、何ができるか、ということになりそう。

#AI科学を哲学する 勉強会、参加登録を締め切りました。ありがとうございました。
参加者の方全員に接続urlを送りました。届いていない方がいらっしゃいましたらお知らせください。

今立ち上げ中のAIアライメントネットワークでは、AI existential riskに関するこうした議論に、とりわけ学術的に、正面から向き合っていただける方を切に求めています。もしご関心がある方がいたらご連絡ください。

上記に書かなかったこととして、このテーマに関心を持つのがほぼ男性という点もとても気になっている（とくに日本では顕著な印象）。関心層に激しいジェンダーバイアスがあるからと言って自動的にその論点が無効になるわけではないだろうが、何かアジェンダセッティングに改善の余地がある気もする。

@tanichu @takagi_shiro もちろんです！　６０人くらい参加者がいるので、発言いただける方は少数になりそうです。あとで資料とurlを送ります。

思考メモ：なぜ日本ではAIのexistential riskに挑もうと思う研究者が現れにくいのか（逆に海外ではなぜ現れるのか）｜R. Maruyama @rmaruy #note https://note.com/rmaruy/n/n5c8c81a42578?sub_rt=share_pb

（高木さんの資料面白いな…。楽しみ。）
#AI科学を哲学する

最強のメタサイエンティストが日本の科学技術行政の中心に入っていく。5年後、10年後にとって、これはとてもてとても大きなこと。（おひとりに重荷を負わせる意図はなく、どんどん続いてほしい。）

おおお。私のなかでは科学技術政策における10年に一度の朗報。Mext, don't let him down... https://x.com/cfu_miura/status/1774798644342043015

@homme_pensant お願いします！楽しみにしています！！

I am evolved in kickstarting a nonprofit concerned with AI alignment research. What excites me is the opportunity to learn hands-on how to build a new org and make it work in the space between science and society. I really want to find someone who will take this chance with me.

@homme_pensant ぜひお願いします！　今AIアライメントネットワークというものに関わっていることもあり、鶴田さんがAIについてELSIや無知学の観点からどう見ているか（普段考えていらっしゃらないとしても改めて考えるとどうなるか）、お聞かせいただきたいです。落ち着いた頃にお知らせいただけないでしょうか？

稼働時間に給料が生じていないというのは成人してから初めての経験で、一秒も無駄にできないという謎のやる気が湧いてくる。

@homme_pensant おお～！！　おめでとうございます。阪大でのご活躍楽しみにしています！！

だからこそ、浮ついた私などが軽々しく問うてしまう「AIが科学をどう変えるか？」といった問いについて、彼らの重い口から洩れてくる言葉に耳を澄ませたいと思っている。

私がHasok ChangやM. Chirimuutaのような一流の科学哲学者に惹かれるのは、彼らの科学で迫れるのはこのあたりだよ、科学哲学で科学的方法について言えるのはこの辺までだよという、極めて「大人」な態度の故。同時に、彼らをそこに導いたのは、誰よりも真摯な科学への期待・情熱ではないかとも思える。

こちら拝聴。谷口先生の行動様式というか思考回路が垣間見えてよかった。恐ろしい活動量をこなす一方、常にその活動が成り立っている仕組みやシステムに目を配ってきた方なのだと思った。トップ選手としてプレイしながら、ゲーム自体を作り変える準備を着々と進めるというような。 https://x.com/tanichu/status/1774439812000604170

@tanichu 楽しく拝聴しました。ヒットポイント、研究者以外でも必要な考え方だなと思いました。16年、本当にお疲れさまでした。

#AI科学を哲学する 勉強会には、現在50名ほどの様々な専門や職業の歴々の方々が登録いただいており、消化不良は避けられないと思いますが、少しでも何かを持ち帰ってもらえるように@takagi_shiroさんと鋭意準備中…。ただ、主催者の実力を超えて何かその後につながる場になれば、と思います。

激励のお言葉ありがとうございます！　精進しなければ…と思いました。（少年野球のときは二塁手でしたが、その頃から変わらず細かい連携プレーが持ち味だったのかも。）平井さんのような研究者が次の世代に出てくる環境づくりに、何らか貢献したいです。引き続きよろしくお願いいたします！ https://x.com/hiraiyasushi1/status/1773926117826843118

cf.『励起』の読書メモ。 https://x.com/rmaruy/status/1704155481189879880?t=Gr-3PwzDBn3LH7VU0qjScw&s=19

映画を見た人は「日本」が顔の見えない敵国という扱いだったような印象受けるかもしれないが、実際にはロスアラモスの物理学者たちはオッペンハイマー本人を含め、戦中の一時期を除いて日本の物理学者とかなり交流している。そのことも考え合わせて、この映画について反芻していきたい。

『オッペンハイマー』を昨晩のレイトショーで視聴。まずは観られてよかった。科学史・科技政策・STSの文脈で反芻するなら『励起』を併読すると「その頃日本では」が分かる。たとえば理研の仁科研は1940年くらいまでバークレーのローレンスのサイクロトロンの仕事に触れている。

@ymorita613 こちらこそ、いつもありがとうございます！今後ともよろしくお願いします！

@nimotougou こちらこそよろしくお願いします！！

@gnymmt 山本さん、ありがとうございます！　こちらこそ、山本さんの行動力に助けられていました。今後も何かでご一緒できればと思います！

@hisashi_is 石原先生、ありがとうございます！　いつも快く巻き込まれていただいて感謝です…！これからもどうぞよろしくお願いします。

@yoshi_and_aki ありがとうございます！　今後もいろいろと絡ませていただくと思いますので、適宜お付き合いいただければ幸いです！

@Sakaguchi920 ありがとうございます！！お互い頑張りましょう！！

@inflorescencia ありがとうございます！ぜひまた！
面白い話ができるようネタを仕入れたいと思います😁

進退報告メモ：JSTを退職して個人事業主になります - 重ね描き日記（rmaruy_blogあらため） https://rmaruy.hatenablog.com/entry/2024/03/29/171838
…最終営業日の最後の仕事が終わったのでご報告。

本日、4/4の勉強会「AI科学を哲学する？」に参加登録いただいている方に、当日url等のお知らせのメールを送りました。届いていない方がいましたらお知らせください。
#AI科学を哲学する

「科学研究とは、道具を含む複数のアクター間の相互作用によって遂行される「社会的分散認知活動」なのだ。」（呉羽・久木田（2020）「AIと科学研究」『人工知能と人間・社会』p.153）
…この見方、先日の谷口先生の集団的予測符号化のビジョンに通じる。

2024.3.38 「米ホワイトハウス、連邦政府機関のＡＩ使用で国民保護策を指示」https://jp.reuters.com/business/technology/CIA7Y7OPBJNZRA4L7XHBNTGIZM-2024-03-28/
・政府でAI Safetyの専門家100名を採用計画。
・政府機関に最高AI責任者（CAIO）の60日以内の指名を要求。https://www.whitehouse.gov/briefing-room/statements-releases/2024/03/28/fact-sheet-vice-president-harris-announces-omb-policy-to-advance-governance-innovation-and-risk-management-in-federal-agencies-use-of-artificial-intelligence/
…11月の大統領令のメニューが着々と。本気度がすごい。

ChirimuutaさんのBrain Inspired再出演。科学におけるsimplification、abstractionは現実のある面を取り逃すけど、それでいいのだ、というのが全般的なトーン。神経科学が計算論のフレームワークを取る限り、意識は哲学者の領域にとどまるだろう、と。
https://braininspired.co/podcast/186/

今日は「文部科学省 研究支援サービス・パートナーシップ A-PRAS 令和5年度認定イベント」にオンライン参加します。

今日から3日間休暇です。

@junotk_jp @takagi_shiro XのDMでご連絡差し上げました。どうぞよろしくお願いいたします。

@nimotougou 承知しました！　3月中も部分的になら何かできるかもしれないので、必要に応じてお知らせください。

【事務担当のつぶやき】書類、書類、書類。しかし、コネや賄賂や恫喝に頼らずとも書類を揃えるだけで事が進む社会システムは素晴らしい。

田中先生はあらゆることに「上げ底なし」の好奇心を発揮できるから、自身の肌感覚とつながった「世界経済史」を展開できるんだな。こんなに世界とのfirst-handのタッチポイントが多い人物を他に知らない。元来世界への興味のバンド幅が狭い自分に田中ゼミの門を叩かせたのは、この衝撃だったのだろう。

@nimotougou この文書をさんざん推してきた行きがかり上、何かできることがありましたら！
（ただ手を動かせるのは4月1週目以降になるかも、もし手遅れでしたらご放念ください！）

面白かった。「商売道具としての思想」というのは、なるほどそういう時代だなと思う。 https://x.com/meta_scientia/status/1771133705551253602

15年ぶりに聞く田中先生の経済史の講義。衣と住を例に取り、工業化、グローバル化がどのように産業構造と暮らしを変えてきたのか、そして現在どこにたどり着いているのか。デジタル化の一方で分断が顕著な2020年代は世界経済史上、前列のない時代。それをどう捉え、どう生きますかと先生は問う。

今日は、田中洋子先生の「筑波大学最終講演」を聴きに筑波へ。長女とともにいきます。

先生の編著書の記憶も新しいなか。
https://x.com/rmaruy/status/1752690726096564554

この動画でその活動も一段落。自分の交通整理が広まったとは全く思いませんが、インターネットの隅っこにいくつか日本語での文脈づくりの努力の跡を残せたことで良しとしたいと思います。

過去1年、自分が「メタサイエンス」という言葉の文脈の表現にこだわってきたのは、この言葉は1)聞く人それぞれ別のものをイメージしがちで、2)運動を起こしている本人たちも敢えて意味を広げており、3)それでいて（よくある政策用語と違い）上手に使えば突破口になりうる概念だと思えるから、でした。

2024.3.22 内閣府のAI時代の知的財産権検討会、文化庁の議論も踏まえた中間とりまとめ骨子発表。
https://www.kantei.go.jp/jp/singi/titeki2/ai_kentoukai/gijisidai/dai6/index.html
記事例https://www.nikkei.com/article/DGXZQOUA197170Z10C24A3000000/
法・技術・契約の相補関係のもとで対応していくとの見取り図、これは知財の件に限らずあらゆるAIイシューで大事なのだろうと思う。 https://t.co/ZqTR4jTIKF

鈴木大地さんとClubhouseで「神経科学の何が哲学の問題になるのか？」という話をしたのが3年前。当時はChirimuutaさんのブックチャプターを読んで「神経科学の哲学」が今後重要だと思ったのだが、今回彼女の単著が出て、いよいよ機が熟した感がある。
https://x.com/rmaruy/status/1360805343471669248

StanfordのFei-Fei Li教授らのチームから、ロボットのシミュレーションのためのベンチマーク「BEHAVIOR-1K」がリリース。家庭内で人間がやってほしいタスクを1000種類用意しているらしい。シミュレーション内での性能は、どれくらい実世界での性能にtranslateするだろうか。 https://x.com/drfeifei/status/1771013291508379894

Twitterが終わると言われ続けるなか、私の観測するTwitterはますます充実し面白い。これもまた一つのフィルターバブル。

白楽ロックビル氏「大多数の国民が、日本は研究不正大国であることを認識し、研究不正を許さない文化を徐々に醸成することが重要だ。」 https://www.yomiuri.co.jp/science/20240321-OYT1T50094/

ありがとうございます！！

メタサイエンティストになりたい方は、ぜひ@cfu_miuraさんのフォローを強くお勧めします！笑 https://x.com/kazumasa_nagata/status/1770781112723214542

この見方にたどり着いたのは、David Leslie先生とのやり取りが大きかった。https://x.com/rmaruy/status/1766037385215951318
AGIに関する議論はその「有意味さ」や「是非」ではなく、すでに巻き起こっている「社会的現象」として捉え、その帰結を考える視点が有効ではないかということ。

Mitchell氏、知能が直感を超える複雑さを持つことは認知科学が証明しており、「AGI」をめぐる思弁的な議論の意義に疑念を表明。
https://www.science.org/doi/10.1126/science.ado7069

…正しいと思う。が、共同幻想としての「AGI」に向かって開発が進む以上「擬AGI」的なものは出てくるし懸念がある、というのが今の私の見立て。

同僚の加納さんの「ELSI/RRI」も同時公開。ニューロテクノロジーのガバナンスの事例を多く紹介されています。
https://www.youtube.com/watch?v=IeFonrYt7S4

職場のYouTubeチャンネルで「メタサイエンス運動」について話しました。話すのが下手すぎ、聞き苦しすぎて申し訳ないですが、知ってほしいこと、言いたいことをいろいろ盛り込んだのでスライドだけでも眺めていただければと思います。
https://www.youtube.com/watch?v=guEdsqi-FP4

（有料記事）遠山敦子氏「（運営費交付金）減額はボディーブローのように大学を疲弊させ、自主的自律的に運営する制 度をつくったのに…大学の自主性や改革 が制約された。財政当局の判断は誤りだったし、それを止める文科省や大学人の 主張も弱かった…大きな禍根を残した」 https://www.nikkei.com/article/DGXZQOUE29DFS0Z20C24A2000000/

少しずつ準備を進めています。
#AI科学を哲学する https://t.co/i0q7dwkU2C

2024.3.11 北京で開催されたInternational Dialogues on AI Safetyより声明発出。「冷戦のさなか、科学および政府の国際的な連携が、惨事を回避するのに寄与した。人類は再び、…［AI］による大惨事を回避するために連携する必要がある。」Bengio, Hinton, Russellらが参加。https://idais.ai/#

Lex FridmanのSam Altmanインタビューはちょうど1年ぶり。今後も年一でやってもらえると、彼の語りがどう変わっていくか知れて面白いと思う。
https://www.youtube.com/watch?v=jvqFAi7vkBc

「科学って何？」を小学生を含む一般市民向けに伝える教材として考えられているようだが、研究者自身にも役立ちそう。学会に行ったり、政府の審議会に出たり、他分野の本を読んだり、一見「科学していない」時間も、ほぼこの図に位置付けることができるはずで、それは結構うれしいのではないかと想像。 https://t.co/EZwmxjPTey

科学は直線的なプロセスでは決してなく、社会的な要素も含め、あっち行ったり戻ったりするピンボールのようなプロセスだと。https://www.calacademy.org/explore-science/how-science-works

UC Berkeleyの教材「Understanding Science 101」が秀逸。2009年くらいに作られ、科学哲学者Michael Weisbergがアドバイザーに入っているようだ。通常は直線かせいぜい「ループ」で描かれる科学研究のプロセスを、実態の複雑さに即してフローチャートで表現。
https://undsci.berkeley.edu/for-educators/find-lessons-and-tools/how-science-works-interactive/ https://t.co/StPDNSQoLs

@kanair_jp @ifuiaa かつて、戦前の理研に、仁科芳夫が持ち込んだ（そして日本式に醸成した）たとされる「コペンハーゲン精神」と呼ばれるようなものはそれに近いかもしれません。
cf. https://rmaruy.hatenablog.com/entry/2023/09/20/001709
そういう「場」をつくることに寄与したいというのが自分の一番のモチベーションかも。

下記レポートの公開がちょうど昨年の今日だった。それから1年間、メタサイエンスの界隈では想像を遥かに超えるいろんな動きがあった。これを出していたお蔭でその動きを間近で見ることができて嬉しかった。ここからますます盛り上がるだろう。https://x.com/rmaruy/status/1636554156789092356?t=VQwiNVzw-T2NtHH4p_uxUw&s=19

@ifuiaa おお、こんどゆっくり議論したいですね！

科学者が科学哲学者に期待を持って話を聞くと「肩透かし」の印象を持つことがあるところ、伊勢田先生はなぜ肩透かしに見えるのかを学説史から解き起こせる科学哲学者。この本を読んだときにそのことを強く感じた。https://rmaruy.hatenablog.com/entry/2019/03/17/231919

三つの動画、大変面白かった。AI科学を推進したい物理学者たちが、伊勢田先生の科学哲学の概説に耳を傾けている構図から、やっぱり哲学の時代だなと思う。 https://x.com/hashimotostring/status/1769230700996378880

第1回Science of Science研究会は充実していた。最先端の成果紹介、ハンズオンのチュートリアル、自然言語処理などの最新手法の利用可能性、そして政策や他分野との接続に関する議論、この分野へ誘う多くの間口が短い日程のなかに詰め込まれていた。始まりの日を目撃できたことに感謝。

どんな条件のもとでどんな新しいアイディアが科学の中で定着していくのか。まさに「集合的予測符号化」の話では。Science of Scienceが捉えた構造を、メカニズムとして理解する理論になりうるのかも。

本日はScience of Science研究会に参加。DeSci Tokyoのブース設営の担当です。 https://x.com/DeSciTokyo/status/1769163983448424511

4/4の勉強会は現状30名弱の方に申し込んでいただきました。丸山の話題提供ではいくつかの文献に触れながら「AI科学の何が哲学的な問いになるのか？」というメタな投げかけをする予定です。特定の問題意識をお持ちの方には迂遠かもしれませんが、しばしお付き合いいただければと思っています。

@ta_makino さすがです！！！

一つのデモとして、「メトロポリス・ヘイスティングス名付けゲーム」という実験が紹介されている。ある「名づけ」が言語の中に登録されるかは、実際には確率的ではなく「どれほどリッチな文脈が用意されたか」に依存するかもしれない。まさに「集合的予測符号化」についてこの論文がしているように。

谷口展望論文、一読了。「人間社会が集団として，長い時間を通して人間の感覚運動器によって構成される環世界の情報を外的表象系」こそが言語であるとする「集合的予測符号化仮説」を提示。この外的表象系をニューラルネットワークに写し取ったのがLLM。ChatGPTの衝撃を新しい言語観に昇華している。 https://x.com/tanichu/status/1768431204196569470

一連の調査活動に末席で加わらせていただいて勉強になりましたが、やっぱり印象的だったのは@tanichu先生の底知れぬ知的体力の強靭さでした。。https://x.com/tanichu/status/1768545895853994126?t=trHHJz0FMtar0Rt-HK-GPw&s=19

こちらのワークショップ報告書も合わせて発行されました。とくにp.77あたりからの、哲学・社会システム論・アライメント等と絡めたパネルディスカッションは他では見られない議論になっていると思います。https://x.com/CRDS_Japan/status/1768540384500625779?t=U5oYeVlKwA2lZab-rS6EdA&s=19

【レポート発行】所属組織の戦略プロポーザル「次世代AIモデルの研究開発」が公開されました。https://www.jst.go.jp/crds/report/CRDS-FY2023-SP-03.html
私は主にp.56からの「B.2　AIガバナンスに資する研究体制に関する国内外動向」を担当しました。

Kureha (2023) "Implications of Automating Science: The Possibility of Artificial Creativity and the Future of Science"読了。https://www.philosophyoflife.org/jpl202303.pdf
内容は2018年の下記日本語スライドにまとまっているものだが、文章だと理解が深まる。めちゃくちゃ明晰。https://researchmap.jp/whiteelephant0901/presentations/4954414

今日は日帰りで神戸へ。

最近のMurray Shanahanさんの論考は、こうしたAI談義に関する分析哲学的なノリをかなりしっかり書いてくれていて、まさにこれ、と思った。ピンとこない人は多いだろう。
https://x.com/rmaruy/status/1761305421556719732

だからAIについての問いは大体、分析哲学になる。というのが私の見方だが、賛成しない人も多いはず。ただ「AIは○○を持てるか」をベタに問えると思っている人たちも何らかの問題設定にコミットしていて、しかも互いに分かり合えないほど多様に見える。なので一度言葉の問題にしてみるのは好手と思う。

AIは言語を理解しているか、意識を持つのか、人間の知能を超えるのかといった設問は、少し考えると「言葉」の問題であることがわかる。「AIは○○を持つか」は実は不良設定で、答えが出しうるのは「どんな意味でなら○○をAIは持つといえるか」「AIは○○概念の使用をどう変えるか」などの問い。

Chirimuuta "The Brain Abstracted"は、杉本舞『「人工知能」前夜』と合わせて読むべきかも。https://rmaruy.hatenablog.com/entry/2018/10/25/23543
杉本著が「脳＝コンピュータ」観がどのように形作られてきたかの科学史であるのに対し、Chirimuuta著は「脳＝コンピュータ」観（のあるバージョン）が孕む問題を科学哲学している。

【事務担当のつぶやき】「返事が来ない」は言い訳。現状のコミュニケーションのバンド幅が、自分の活動の境界条件。

Chirimuuta著、4章まで来た。自分が15年くらい断続的に考えてきたことを見事に体系的に解説してくれていて、感謝の念が湧いてくる。秋の某会で、この本の話をがっつりしてみたい。

三浦・浅谷・坂田「Research ExcellenceからResearch Intelligenceへ」
…これは、科学政策、メタサイエンスにかかわる全員必読だと思う。論文のreadershipを測れるというのは知らなかった。 https://x.com/cfu_miura/status/1767817236973326634 https://t.co/UtD1hHLvl8

【事務担当のつぶやき】事務とは社会というネットワークに自分の居場所を作ること。モノとコト、アクターと制度が織りなす複雑な網目に、一つのノードとして存在する権利を得るための、小さな世界改変。

疲れたら森川さんがいるTLのありがたさ。 https://x.com/mmww/status/1767541934531436616

2024.3.12 バイデン米政権が2024年度予算教書発表。https://www.jetro.go.jp/biznews/2023/03/a2f4bb77f9e239c8.html
AI関連の予算要求を、下記スレッドが丁寧にまとめてくれている。NISTのAI Safety Instituteなどへの$65m、NAIRR第2期への$30mなどが目を引く。
https://x.com/i/bookmarks?post_id=1767235837836537988

『新潮2024.4』の鈴木健さんと森田真生さんの対談記事は、互いの本質的な部分の言語化に挑んでいて面白かった。
鈴木さんは、江本伸悟さんの松葉舎などにスペース（私も一度お邪魔した）を貸すことで、そうした「私塾」同士が「時間的にすれ違う」場所をつくろうとしているとのこと。素敵だと思った。 https://x.com/Monthly_Shincho/status/1766226609177313659

Chirimuuta著、神経科学にとどまらない科学哲学の講義をしてくれていてありがたい。8章ではautomated scienceについて、エルンスト・マッハにさかのぼり議論しているようだ。
理解することと制御することを切り離さない「haptic realism」を提唱。視覚の専門家ならではの、視覚メタファーからの離脱。

一方で、学術研究に関して「本当に高めたい何か」を国のレベルで合意し、指標のセットを作るのは究極的には無理なのではとも思う。学術の価値には、間違いなくあるが測れない、アカウンタブルにしがたいタイプのものが残る。だから資源配分・意思決定・価値言説化の「分散性・分権性」が鍵だと思う。了

ここで、二つのことを思っている。一つは、「本当に高めたい何か」についての合意や相場観をつくる努力がもう少しあってもよいかもということ。英国のResearch Excellence Framework、（今日も少し言及のあった）米国NSFのBroader Impactsなど、日本より進んでいるところはありそうだ。

それによっては、研究力につながらないから減らすべき「雑務」とされるものが重要であるかもしれない。ここに認識の差があるまま議論が進むために、処方された施策の効能が薄れる。今日の議論に限らず、そういうことが繰り返されてきたのではないかと思う。

1）高被引用論文数が「本当に高めたい何か」の代理指標にすぎないこと、2）その代理指標を回復する処方箋（国際的なサークルに入ること、基礎研究に広くファンディングすること）の両者について皆相違がないものの、「本当に高めたい何か」が何であるかに言語化未満のイメージの違いがある。

JSTの「激論」シンポジウムを片耳で視聴。MCを務めた某機構の長の方のコメントはことごとくリアリストとして正論だと感じたし、幅のある立場への配慮も感じられた。一方、やはり「研究論文の注目度」という代理指標で議論しなければいけない構造自体の限界を改めて感じた。

発行と同時にOA化されたMIT Pressの新刊本のPDFをMicrosoft Edgeで開いて、Copilotで翻訳したり専門用語について質問をしながら読み進める。本を読むことの障壁があらゆる意味で下がっているのを感じる。こうなると、いよいよボトルネックは読み手の「記憶」。

@junotk_jp @takagi_shiro ありがとうございます！！！　先生に5～10分コメントをいただく枠を作るかどうかなど、もう少し準備が進んできたらご相談させてください！

@k_morita_hand4 @takagi_shiro 先日ご相談した勉強会の件、試行的に4月4日にやってみることにしました。もしご都合つきましたら聞いていただければ幸甚ですし、難しければ開催後、様子をお知らせしたいと思います！https://x.com/rmaruy/status/1766751409884868712

@junotk_jp @takagi_shiro 先日ご相談した勉強会の件、試行的に4月4日にやってみることにしました。もしご都合つきましたら聞いていただければ幸甚ですし、難しければ開催後、様子をお知らせしたいと思います！https://x.com/rmaruy/status/1766751409884868712

【勉強会のお知らせ】
・オンライン勉強会「AI科学を哲学する？」
・日時：2024年4月4日（木）19-21時
AI科学の哲学的含意を考える試行的な勉強会を@takagi_shiroさんと企画しています。下記要領で実施しますので、お付き合いいただける方がいましたら是非お願いします。 https://docs.google.com/document/d/18T0hzzCSu3yfoFMQ9yTGqWGpAFjFdYXceIMw7GEX6iw/edit?usp=sharing

2024.3.10　日経新聞、ジェフリー・ヒントン氏インタビュー（有料記事）https://www.nikkei.com/article/DGXZQOGN143CZ0U4A210C2000000/?n_cid=nk_chart_qr　「…大規模言語モデルは、我々と同じように言葉を理解していると思う。…AIが言葉を理解していないという人の大半は、人間がどう理解しているかという理論を持っていない」

三村著『「記憶」で読む『鬼滅の刃』』の1、2章が面白くて、『鬼滅の刃』を読み始めてしまった結果、三村著が読み進められなくなってしまった私ですが、数週間遅れて追いつこうと思います。記憶にまつわる他の作品の紹介も募集されているので、いろいろ集まると面白そう！ https://x.com/taka_mimura/status/1766655228710170695

@kanair_jp @ifuiaa 21世紀版ルソーは誰なのかというのは面白いですね！　ハラリやボストロムのような人文系なのか、アルトマンのような実業家なのか、サツケバーのような技術者なのか。

@kanair_jp @ifuiaa だから今回の思想的転回にはある種の自己成就性があって、AI開発者の思想は世に現れるAIを左右し、それが人類のアイデンティティを揺るがし新たな思想を生み、という再帰的な構造につながるのかなと。AIアライメントは、この思想と技術のループ構造に介入する活動であるとも言えるのかもしれません。

@kanair_jp @ifuiaa 人間の「考える」能力以上に相対化されうるものは個人的には考えにくい気もします。
またら人間の相対化・周縁化をもたらした過去の事例と比べると、AIによる人間知能の相対化は「人工物」によって起こっているところが特徴的なのかなと思いました。

はてなブログに投稿しました
【再掲】読書メモ：『うつ病 隠された真実』（ヨハン・ハリ著） - 重ね描き日記（rmaruy_blogあらため） https://rmaruy.hatenablog.com/entry/2024/03/09/150136
#はてなブログ

cf. 鈴木貴之「自律的な人工エージェントには、学習の手掛かりとなる報酬システムが不可欠で…自らの利害関心をもつことになる…。…自律的な人工エージェントを作るということは、人工的なゴキブリやカラスを作り出すことにしかならないかもしれないのである。」『人工知能の哲学入門』p.183

最後の点については「tragedy of commodification」というキーワードを軸に論じていただいた。非常に真摯かつ丁寧な返答をいただけて感動した。
LeslieさんのようなAI倫理系と、BengioさんのA(G)I alignmentの問題意識を排反ではない仕方で扱う道が初めて見えた気がして、非常によかった。

Leslie先生からの回答の趣旨は次の通り。
- 強化学習等でprotectionを逃れたシステムが問題を起こすことは考えられる。
- それはAGIではなく、単に失敗したシステムだが、リアルな懸念だ。
- 一方でAGIのディスコースが誰を利しているのか、リソース配分にどう影響しているかを自分は問題にしたい。

Bengio先生が退室された様子だったので私から以下の質問をした。
「AGIに関する議論が混乱したものであったとしても、企業がAGI構築を目指す以上、何らかの自律的なpseudo-AGI的なものが登場することは予想でき、従ってBengio先生の懸念は正当化されるのではないでしょうか。その点どう思いますか？」

やっぱりDavid Leslieさんのトークはすごい切れだ。笑
昨今のAIブームの特徴は、経済的な意味での「バブル」ではなく、AGIの議論に見られるconceptualなhyper-inflationであると。 https://x.com/rmaruy/status/1765697039122448750

同じタイトルの講演動画が上がっている。https://www.youtube.com/live/iIOZCFBJ0lw?si=etu2DJcykdTbFNjA&t=1207
この方は、昨年までMeta、今はAWSにいるらしい。

産総研イベントのAlon Halevyさんの講演が面白い。パーソナルデータから自身の過去についてのクエリーができるアプリを通じたWell-being向上の構想。Ted Chiangの「リメン」の方向性であり、『記憶のデザイン』（by山本貴光さん）の時代が近づいていることを感じる。

ちょっと面白いと思うのは、著者らの議論は「科学は人間集団による”理解”の営みであり、あってほしい」という認識と規範が前提されているように思う。下記で議論していたような「科学の主体としてのAI」といった話とは位相が異なる。
https://x.com/rmaruy/status/1748016666171387944
良く言えば地に足がついている。

AIの利用が、「理解の幻想」や「科学のモノカルチャー化」を助長する危険性を指摘。STSで蓄積されてきた概念を丁寧に解説しつつ、科学コミュニティに向けて積極的な提案してくれている。

無料版が、著者が貼ってくれているリンクから読める。
https://x.com/mollycrockett/status/1765453661462003950　AIのメタサイエンス的含意について、とりわけ社会的な知識生産の観点からまとめた論点整理としては、知る限り最も包括的。