税理士事務所向けに作っているAI-OCRで、事務所側から指摘されていた数字があります。「要確認」欄です。AIが領収書やレシートを読み取って、自分の判断に自信が持てない行にフラグを立てて人に投げる欄。これが溜まって、確認作業が重い、という声が出ていました。
感覚で「減らします」と返すのは避けたかったので、実際に27,000行あまりを集計して、要確認に上がっている画像を何十件も自分で開いて中身を見ました。全体では7%ほど。ただ書類の種類でかなり偏っていて、領収書や報酬明細は3%前後で優秀な一方、決済アプリのスクリーンショットや通帳、ネットショッピングの明細、予約履歴は10〜18%。「要確認が多い」という体感の正体は、ここでした。
要確認の中身、開けてみた三つの内訳
画像を一件ずつ見ていくと、要確認は大きく三種類に分かれていました。
一つ目は、素材そのものが欠けているケース。決済アプリの履歴をスクロールしながら撮っていて一番上の金額が半分切れている、レシートの金額欄が枠の外にはみ出している、といったものです。人が見ても読めません。件数としてはこれが一番多い。
二つ目は、書類に年・日付が書かれていないケース。月日だけ、和暦のみ、記載自体がない。これは背景情報があっても読み取れない類で、当初から「要確認に上げて事務所側で確定してもらう」と決めていた領域です。
三つ目は、分類が文脈で変わるケース。AIが付けた勘定科目を事務所側で手直しした箇所が、実データで700件を超えていました。お客様の事情を知らないと判断が割れる部分です。さらに、経費の資料として送られてきたものの中に、書類ではなく経費区分についての連絡メッセージが紛れ込んでいるケースもありました。これは読み取る対象ではなく、前提として渡すべき情報でした。
三つとも原因が違うのに、要確認という同じ棚に積まれている。だから「多い」の一言では片づかない、というのがここまでの見立てでした。
「読めないなら対象外でいい」という判断
このうち一番件数の多い「素材が欠けている」パターンについて、自動化案を出しました。切れて読めない部分は、AI側で最初から読み取り対象外にして切り捨てる。要確認にも上げない。人間も読めない以上、拾えないこと自体は精度の差になりません。実装だけで要確認の一番大きな山を削れる、という提案です。
事務所側に投げた文面は、だいたいこういう内容でした。
切れて読めない部分は、AI側で最初から読み取り対象外として切り捨てる作りにできます。人が見ても読めない情報なので、拾えないことによる精度の差は出ません。唯一の判断ポイントは、要確認に残しておけば「元画像を送り直してもらうきっかけ」になり得る、という点だけです。そこまでは求めず、読めないものは自動で対象外にしてよいか、確認させてください。
過大な安請け合いにならないよう、トレードオフは一応明示したつもりでした。それでも、狙いは「要確認の件数を減らす」ことに寄っていました。
返ってきた却下
答えは、対象外にはしないでほしい、でした。理由はシンプルで、読めない素材こそ放置すると金額が静かに抜け落ちる、というものです。
対象外にはせず、これまでどおり要確認に残してください。読めない素材こそ、放置すると金額が静かに抜け落ちるので。
言われて気づいたのは、こちらが解こうとしていたゴールがそもそもずれていたことです。事務所側が求めていたのは「要確認の件数を減らす」ではなく「自動化を広げて、実際の誤りを減らす」でした。要確認は、消したいノイズではなく、残しておきたいシグナルだった。件数を減らせますと押した前回の提案は、そこを踏み外していました。
読めない領収書を人が見ても、結局読めません。その意味では精度は落ちません。でも、その行を要確認から静かに消すと、金額が計算から静かに消えます。読めるかどうかと、消していいかどうかは、別の話でした。
「対象外」という言葉の、もう一つの使い道
同じ案件で、結果的に「対象外」という値は実装されました。ただし、使い道はまったく別物です。
入出金区分という列に、「対象外」という選択肢を新しく追加しました。これは事務所側の担当者が、内容を見た上で「この行は集計に入れない」と手で選ぶための値です。AIが読み取れたかどうかとは関係なく、人が業務上の理由で判断して外す。選ぶと、経費・収入・控除の集計から自動的に除かれます。
同じ「対象外」という言葉でも、片方はAIが読み取れなかったことを理由に機械が自動でつける印、もう片方は人が内容を確認した上で手でつける印です。前者は却下され、後者は実装して実機テストまで通しました。言葉が同じだから、線引きの基準まで同じだとは限らない、ということです。
捨てていい基準の置き場所
今回はっきりしたのは、AI-OCRで「読み取り対象外」を作るかどうかは、精度の問題より、消えたときのリスクをどこに置くかで決まる、ということです。人が見ても読めないから安全に捨てられる、という発想は、お金が動くデータでは通用しません。読めない領収書は、読めないからこそ「誰かが送り直す」以外に金額を取り戻す手段がなく、要確認に残しておくこと自体が唯一の回収経路になります。
対象外にしていいのは、人が内容を見て「これは数字に入れない」と決めた行だけです。AIが読めなかった行はそこに含めない。この案件では、そこに線を引き直しました。件数を減らす自動化を提案する前に、その件数が消えたとき何が静かに失われるかを、先に確認しておくべきでした。今回はそれを、指摘を受ける形で学んでいます。