高精度で予測できる数理モデルが完成しました。

現場もマネジメント層もびっくりするようなモデルです。

しかし、その数理モデルは現場で活用し成果を出し続けることはありませんでした。

なぜでしょうか？

今回は、「現場のデータ活用を阻害する複雑で高精度なモデル」というお話しをします。

しばらくしたら使われなくなる

何が使われなくなったかと言うと、高精度で予測する数理モデルです。

モデル構築で失敗したわけではありませんし、その現場活用で失敗したわけではありません。

現場理解のため、入念な現場ヒアリングを実施し構築した数理モデルです。構築したモデルの精度検証を実施し問題ありませんでした。POC（実証実験）という形で現場で実際に使ってもらい、テスト運用ながらビジネス成果をだしました。

それでも、しばらくしたら使われなくなりました。

モデルの更新

その予測モデルは、時間の経過とともに精度は悪化し使い物にならなくなります。そのため、何かしらの更新処理が必要になります。

現場に対し、そのためのトレーニングなどは十二分に実施しました。しかし、トレーニングの甲斐なく更新処理は実施されず、予測モデルは悪化し、そのうち使用されなくなりました。

そのときの状況を反映し作り込んだ複雑な数理モデルほど、時間が経つとそのままでは使い物になりません。

現場の担当者にとって、複雑すぎるモデルや作業は、運用し続ける上で大きな壁になります。

担当者がいなくなる

仮に、複雑な数理モデルを理解し、更新処理を適切に実施できる担当者がいたとしても、問題は起こります。

一番多い問題は、その担当者がその現場からいなくなるという問題です。例えば、異動や退職などがよくあるケースです。

特別な人しかできない作業は、当然ですがその特別な人しかできません。引継ぎが上手くいっていない場合、新しい担当者に再度トレーニングする必要がでてきます。

運用し続けることを前提に考える

では、どうすればいいのか？

それは、運用し続けることを前提に考える、ということになります。

よりシンプルな数理モデルや作業になるよう、心掛ける必要があります。ただ、低精度な数理モデルでは役にたたないので、そのさじ加減が難しいところです。

モデル精度と現場運用性のバランスを考えながら、モデル構築などをするということです。

へぇ面白いですねぇ

現場担当者が、数理モデルを厳密に理解することは必要はありません。ある程度の数学の知識が必要になるでしょう。

なんとなくどういったものかを、感覚的に理解する必要はあると思います。訳の分からないものに操られるのは、恐らく嫌でしょうから……　さらに、感覚的に理解した上で、現場で活用したとき、どのようなオペレーションになるのか、具体的なイメージが頭の中で描けないと動こうとしてくれません。

では、どのようにして確かめればいいのか？　理解度テストでもすればいいのか？　一番簡単なのは反応を見ることです。

例えば、現場説明のとき、モデル構築したデータサイエンティストや機械学習エンジニアなどの説明に対し……

• 「へぇ面白いですねぇ」
• 「やってみたい」
• 「たのしみ」

……となったら御の字です。

一方、「ぽかぁーん」とされたら再考したほうがいいでしょう。

もしかしたら、説明の仕方の問題かもしれませんし、モデルを構築するときに利用したアルゴリズムかもしれませんし、他の何かかもしれません。

今回のまとめ

今回は、「現場のデータ活用を阻害する複雑で高精度なモデル」というお話しをしました。

高精度で予測できる数理モデルが完成しました。現場もマネジメント層もびっくりするようなモデルです。しかし、その数理モデルは現場で活用し成果を出し続けることはありませんでした。

なぜでしょうか？

モデル構築で失敗したわけではありませんし、その現場活用で失敗したわけではありません。

現場理解のため、入念な現場ヒアリングを実施し構築した数理モデルです。構築したモデルの精度検証を実施し問題ありませんでした。POC（実証実験）という形で現場で実際に使ってもらい、テスト運用ながらビジネス成果をだしました。

現場の担当者にとって、その数理モデルそのものとモデルの更新作業が複雑すぎると思われ、ある時期を境に活用することがなくなりました。元の担当者が異動などでいなくなった後に、よく起こります。

では、どうすればいいでしょうか？

運用し続けることを前提に考え、よりシンプルな数理モデルや作業になるよう心掛けつつ、低精度な数理モデルにならない程度のモノを作る、ということです。

モデル精度と現場運用性のバランスを考えながら、モデル構築などをするということです。

どうやってそのバランスを確認すればいいのか？

例えば、現場説明のとき、モデル構築したデータサイエンティストや機械学習エンジニアなどの説明に対し……

• 「へぇ面白いですねぇ」
• 「やってみたい」
• 「たのしみ」

……となったら御の字です。

一方、「ぽかぁーん」とされたら再考したほうがいいでしょう。

色々な意味で……（説明の仕方を変える、モデルのアルゴリズムを変える、などなど）