AIが推奨すべきときと人が判断すべきとき
DBR77 Team7分で読めます
このページの内容
AIに単独で実行させるのは、誤った操作のコストが小さく、すぐに元に戻せて、文書化した制限の範囲内にある場合だけにします。判断が計画、製品、コスト、安全を変える場合は、AIに推奨させ、名前のある役割が承認します。それ以外はすべて「監視」から始めます。AIが見守って知らせ、人が対応します。レベルはAIシステムごとではなく判断の種類ごとに設定し、判断のレベルを上げるのは根拠がある場合だけにします。
工場が決めなければならないのは、どの判断を、どのルールの下でAIに任せ、その結果に誰が責任を持つかです。
「AIか人か」が誤った問いである理由
工場では1日に何百もの判断が行われます。ほとんどは小さなものです。どのタスクを先にするか、次にどの指図を流すか。少数は大きなものです。ロットの出荷判定、レシピの変更、ラインの停止。それらすべてを一つのルールで扱うのは理にかないません。AIの提案すべてにマネージャーの署名が必要なら、何も動きません。どれにも必要なければ、工場は重要な判断を管理できなくなります。
トヨタは、AIが登場するずっと前に、この問題の一つの形を解決していました。トヨタの自働化(ニンベンの付いた自動化)の考え方では、機械が異常を検知して自動的に停止します。機械が日常の作業と停止を担います。人は異常に対応し、トヨタの言葉によれば、改善を実行できるのは人だけです。トヨタは機械と人の役割分担を設計しており、オペレーションにおけるAIにも、同じように意図した設計が必要です。
AIは監視、助言、実行のいずれかを行い、新しいものはすべて監視が基本です。
三つのレベル:監視、助言、実行
| レベル | AIが行うこと | 人が行うこと | 典型的な判断 | 承認ルール |
|---|---|---|---|---|
| 監視 | データを見守り、ずれを知らせ、要約する | 対応するかどうか、何をするかを決める | 安全に関する観察、新しいライン、AIの新しい使い方 | 承認の手順なし。対応の責任は人にある |
| 助言 | 理由と信頼度を添えて対応を推奨する | 承認、変更、または却下する | 生産計画の変更、作業指示の優先順位、考えられる根本原因、ロットの処置 | 名前のある役割が制限時間内に承認。なければエスカレーション |
| 実行 | 文書化した制限の範囲内で対応を実行し、記録する | 事後に確認し、元に戻すことができる | タスクの下書き、閾値からの作業指示、設定額以下の定期的な再発注 | コストが小さく、元に戻せて、範囲が限られた操作にのみ許可 |
多くの工場は、最初はほとんどすべてを「助言」に置きますが、それは妥当な始め方です。「実行」は少なく、範囲を狭くすべきです。新しいものはすべて「監視」が基本です。
レベルを決める五つの質問
判断の種類ごとに、次の質問に答えます。
- 誤った操作のコストはどれくらいか。 不良、出荷の遅れ、安全上のリスクか、それとも10分の手直しか。
- 元に戻せるか。 タスクは担当を付け替えられます。出荷したロットを安く回収することはできません。
- どれだけ速く行う必要があるか。 秒単位で価値が決まるなら、人を介すると遅すぎるかもしれません。その場合は代わりに厳しい制限を設けます。
- 根拠はどれくらい確かか。 データは整っているか。この判断でAIは以前にも正しかったか。
- 規制や安全に関わるか。 関わるなら、他の答えにかかわらず人が判断します。
例(説明のための架空の例):プラスチック成形工場が三つの判断を見直します。同じプレス機でシフト内に二つの指図を入れ替えるのはコストが小さく元に戻せるので「助言」に置き、計画担当者がワンクリックで承認します。検査の不合格で品質保留になったロットの出荷判定はコストが大きく元に戻しにくいので、品質リーダーだけを承認者とする「助言」にとどめ、「実行」には決して移しません。冷却水の温度が設定した制限を10分間超えたときに作業指示を発行するのはコストが小さく範囲も限られているので「実行」に置きます。作業指示が作成され、技術者が担当し、シフトリーダーは引き継ぎの際にそれを確認します。
承認ルールの書き方
承認ルールは短く、次の六つに答えます。
- 誰が承認するか: 個人ではなく役割にします。そうすればどのシフトでもルールが機能します。
- 制限時間: 推奨をどれだけ待たせてよいか。
- 答えがないときに何が起きるか: 次の役割へのエスカレーション。初期設定では、ラインでは何も変わりません。
- 承認者に何が見えるか: 使われたデータ、理由、信頼度。
- 何が記録されるか: 推奨、判断、判断した人、そして却下や変更の場合はその理由。
- どう止めるか: 誰がその判断をすぐに「監視」へ戻せるか。
高リスクのAIについては、法律も同じ方向を示しています。EU AI法の第14条は、そうしたシステムを監督する人が高リスクAIシステムの出力を正しく解釈でき、それを無視、上書き、または取り消すことができ、「停止」ボタンや同様の手順でシステムを中断できることを求めています。ある工場での使い方が高リスクに当たるかどうかは法律上の問題ですが、この一覧はどんな承認ルールにとってもよいチェックリストになります。
NIST AI Risk Management Frameworkは、AIが人や組織にもたらすリスクをよりよく管理するための任意のガイドで、工場が独自のAIポリシーを書く際に役立つ参考資料です。
判断のレベルを上げるとき、下げるとき
レベルは、たとえばティア3会議で、毎月見直してください。判断の種類ごとに、推奨がどれくらいの頻度で受け入れられているか、どれくらいの頻度で変更され、その理由は何か、受け入れた推奨が誤りだとわかった頻度はどれくらいか、です。
判断のレベルを一つ上げるのは、受け入れ率が高く、却下や変更がまれでその理由が明確で、誤りのコストが小さい場合だけです。コストの大きな誤りの後、新製品の導入時、データに変化があったときは、すぐにレベルを下げます。シフトをまたいで担当者を明確に保つにはシフトをまたいで責任を明確に保つ方法を、各判断の裏付けとなる記録については工場の判断について監査に耐える記録を残す方法をご覧ください。
DBR77 IRISでの仕組み
DBR77 IRISでは、Data & AIの推奨は、人が適用、承認、却下、または保留するまで待機し、各推奨にはスコアの根拠として、ルール、計算式、入力値が示されます。スコアはルールの優先度なので、モデルの確信度と取り違えられることはありません。IRISのアシスタントはデータと文書を読むだけで、Compliance画面にはAIの利用と高リスクの判断の台帳があります。
承認された推奨は担当者付きのタスクになり、さらに作業指示、生産計画の変更、パラメーターの調整になります。IRIS APSでは、計画のバージョン管理と承認ワークフローにより、計画が現場に届く前に適切な人が承認することが確実になります。記録には各推奨、それに対する判断、そして結果が残り、その結果は次の提案を改善するために生かされます。工場のオペレーションでAIが今日実際にできることでは、どの使い方から始めるとよいかを紹介しています。
よくある質問
AIが承認なしに実行することはありますか?
はい。閾値から作業指示を発行するなど、コストが小さく、元に戻せて、文書化した制限の範囲内にある限られた操作であれば可能です。その操作は記録され、担当する人がいます。
承認した推奨が誤っていた場合、責任は誰にありますか?
他の判断と同じく、承認した役割にあります。記録には承認者が何を見ていたかが残るため、見直しでは、直すべきなのがルールなのかデータなのかを見極められます。
承認のせいでシフトの作業が遅くなりませんか?
ルールが短く、リスクに応じて設定されていれば遅くなりません。リスクの低い承認はワンクリックで済みます。上位の承認者が必要な判断の種類はごく一部です。
まとめ
計画担当者、技術者、品質チームが毎週行っている判断を一覧にし、それぞれを五つの質問にかけ、文書化した承認ルール、制限時間、記録、止める方法を備えたレベルを与えてください。ほとんどは「助言」から始め、安全と品質の出荷判定は人に任せます。レベルは毎月見直し、受け入れ率、変更率、誤りの率が安全だと示したときにだけ、判断のレベルを上げてください。
出典
- Toyota Motor Corporation, Toyota Production System
- European Union, Regulation (EU) 2024/1689 (Artificial Intelligence Act), Article 14: Human oversight, 2024
- NIST, AI Risk Management Framework, 2023