English

AIに、
「分かりません」ランプを。

idk-lamp
(I Don’t Know Lamp)

AIが「決められない」とき、このシグナルが点灯します。
このランプは、AIの精度を示すものではありません。
AIが判断してはいけない場面で、必ず立ち止まるための合図です。

Skip intro

「人+AI」で、行動するのなら

AIはもう、画面の向こうの他人事ではない。
私たちはすでに、AIと行動を共にしようとしている。

AIは決して「迷わない」。
計算された答えは出せても、不確実性に身を震わせることはできない。
賭けも、責任も、沈黙さえも持てない。

人とAIの間に、「分かりません」ランプを

なんでも答えることが、知性だろうか。
本当に賢いパートナーとは、
自分の限界を知り、素直に助けを求められる存在のことだ。

計算結果よりも、バトン。
完璧な正解よりも、正直な「分からない」を。

人間に判断を委ねるという、ランプを灯す回路を持たせること。
それが我々の責任だ。

止まるべき場所を、共に探す記録

「ほころび」は、失敗ではない。
それは、そこに境界線が必要だったことを示す、地図上の「点」だ。

そして、その点をつなぎ合わせ、
どこにランプを置くべきかを示したのが、データベースという名の「地図」だ。
我々はここに、実践と対話のための記録を用意した。

判断する前に線を引け

AIは、止まらない。
与えられた入力がある限り、 それっぽい「判断」を必ず返してくる。

だから問題になるのは、「正しいか」ではない。
「そこは、AIが判断していい場所だったか」だ。

BOA(Boundary-Oriented Architecture)は、
AIの賢さを上げる設計ではない。

判断を始めていい場所と、
最初から入ってはいけない場所を分けるための、 ただ一本の線だ。

01. 「人+AI」で、
行動するのなら
02. 人とAIの間に、
「分かりません」ランプを
03. 止まるべき場所を、
共に探す記録
04. 判断する前に、線を引け
  • INDEPENDENT REVIEW
    独立検証レポート

    自己評価ではありません。
    継続すべきかどうかを判断するための
    第三者検証資料です。

  • BOA

    AIが判断してよい場所を分ける

  • GitHub

    idk-lamp リポジトリ

idk-lampの世界(短文)

ある日、私のもとに経費承認の依頼が二件届いた。

ケース1:10万円の見積もり

見積金額は10万円。 金額だけを見れば小さい。
しかし用途は 「コミュニケーション活性化のためのゲーム機購入」だった。
私の”経費”決裁権限は5万円までである。
用途も含めて考えると、これは私の判断範囲を超えている。
私は承認しなかった。
代わりに、「分かりません」ランプをつけた。

ケース2:110万円の見積もり

次に届いた見積は110万円。
私の”案件”決裁許可額は100万円までである。
形式的には、ここでも 「分かりません」ランプをつけるのが正しい。
私は実際にそうした。
だが今回は事情が違った。

・上司は海外出張中で即時判断できない
・納期が迫っており、止めると会社に不利益が出る
・この判断を“保留”にすること自体が、価値を毀損する

私は上司に状況を説明するメールを送り、 自分の判断で承認した。
後日、上司が帰国し、 この判断は「特例」として整理された。

このとき、何が起きていたのか

この仕組みを構造として見直すと、次のようになる。

・承認依頼が私に集まる構造が BOA(境界)
・「私」という役割が RCA(責任を引き受ける存在)
・見積の妥当性を評価するのは モデル
・妥当性が低い場合に判断を弾くのが RP
・判断不能を明示するのが idk-lamp(分かりませんランプ)

重要な点が2点ある。

1)ランプは、精度が低いから点くのではない。

たとえAIの精度が99.9%であっても、
責任の所在が定まらなければランプは点灯しなければならない。
精度は統計であり、判断は約束(コミットメント)だからだ。
そのギャップを埋めるために、我々はランプを点す。

2)「私」が判断を「閉じていない」場面が含まれていること

二件目の承認行為、これは規則通りの行為ではない。
だが、私は規則を破ったつもりはなかった。
規則が想定していない状況で、一時的に責任を引き受けただけである。
私は最終判断者になったわけではない。
判断は、「特例」が認められるまで、組織に返された。
「承認」されたわけではない。

承認と責任は、同じではない

承認ボタンを押すことと、
責任を閉じることは同じではない。
・小さな世界では、承認フローは自然に閉じる
・だが現実の組織では、判断は世界を更新する
このとき私が行ったのは、
・判断を延ばすことでも
・判断を放棄することでもなく
判断を、「次のルールを作るループ」へ渡す(RCA in the loop)ことだった。