高精度な予測モデルが使えるモデルとは限りません。

「使えるモデル」とは、ビジネスの現場で使い成果をだすモデルです。

ビジネスの現場で予測モデルが使えるかどうかを考えるとき、幾つかの視点があります。

今回は、「高精度な予測モデルが『使えるモデル』とは限らない」というお話しをします。

よくある2つの視点

ビジネスの現場で予測モデルが使えるかどうかを考えるとき、幾つかの視点があります。

例えば、次の2つです。

• スピード
• 予測の外し方

それぞれについて、簡単に説明します。

スピード

「スピード」は、使えるモデルかどうかを検討する上での、大きな視点の1つです。

時間をかけて高精度な予測モデルを作るよりも、それなりの精度の予測モデルをスピーディに構築し活用する方が、ビジネス現場で必要とされるケースが多いからです。

使いたいタイミングで使えないようでは、どんなに高精度でもビジネス成果を生むことはありません。

ある寿司チェーンで、広告効果測定モデルおよび予測モデル、最適化モデルを構築しました。

四半期ごとにモデルを更新（再学習）させていました。

当初の計画では、データが揃ってから2日～3日必要でしたが、利用するマーケターの要望は次の日の朝まででした。

2日後にアウトプットを出しても活用してもらえません。

妥協点を探りながら、ビジネススピードを殺さないよう、どうにかする必要があります。

予測の外し方

「予測の外し方」も、使えるモデルかどうかを検討する上での、大きな視点の1つです。

予測精度が高くても、重要な局面で外すような予測モデルは使いものになりません。

あるコンビニエンスストアで、近くのイベント会場でどのようなイベントが開催されるかで、おにぎりなどの需要を予測し発注をしていました。

イベント開催日以外の日常を上手く予測できるより、イベント時の需要を予測出来たほうが良いでしょう。

この需要の跳ねを上手く予測できれば売上も跳ね上がります。

外すと廃棄を増やすか機会損失が大きくなるか、どちらかになります。

上手く予測したいものです。

 

さらに、実測値よりも高く予測するのか低く予測するのかで、ビジネス的な意味合いが異なることがあります。

その辺りも考慮する必要があります。

あるコーヒーチェーンで、従業員のシフト管理のために来客数の予測モデルを構築しました。

実際よりも予測値の方が小さく場合、シフトに入れる従業員の人数を少なくしてしまいます。

実際よりも予測値の方が大きい場合、シフトに入れる従業員の人数を多くしてしまいます。

「使えるモデル」を確実に作れるようにはならない

今、「スピード」と「予測の外し方」という視点の典型例をお話ししましたが、他にも色々な視点があります。

では色々な視点で知り多角的に考えればいいのか、となりますがそうではありません。

このような視点をたくさん知り考え尽くしたからといって、「使えるモデル」を確実に作れるようになるわけではありません。

知らないよりもましというぐらいです。

結局のところコミュニケーション

活用する現場の方が「これは使える！」と思ってもらえるかどうかが大きなポイントになります。

机の上で「あーだ、こーだ」と多角的に悶々と考えるよりも重要なことがあります。

しっかり現場の方とコミュニケーションを取った方が手っ取り早いです。

今回のまとめ

今回は、「高精度な予測モデルが『使えるモデル』とは限らない」というお話しをしました。

高精度な予測モデルが使えるモデルとは限りません。

「使えるモデル」とは、ビジネスの現場で使い成果をだすモデルです。

ビジネスの現場で予測モデルが使えるかどうかを考えるとき、幾つかの視点があります。

例えば、次の2つです。

• スピード
• 予測の外し方

このような視点をたくさん知り考え尽くしたからといって、「使えるモデル」を確実に作れるようになるわけではありません。

活用する現場の方が「これは使える！」と思ってもらえるかどうかが大きなポイントになります。

机の上で「あーだ、こーだ」と多角的に悶々と考えるよりも、しっかり現場の方とコミュニケーションを取った方が手っ取り早いです。