よくデータ分析などを実施する前、「データから今までにない気付きを得られるのではないか！」と期待されることがあります。
要は、データマイニング的なデータ分析です。
しかし、不思議なことに、データから今までにない気付きが発見されると、そのデータ分析が疑われます。
今回は、「データから今までない気付きを！ と言いながら、そのような発見があると現場感と違うと拒否られる件」というお話しをします。
Contents
データから今までにない気付きを得たい！ という期待
約20年前ぐらいに、データマイニングブームがありました。
従来の仮説検証型のデータ分析ではなく、仮説発見型のデータ分析として、一躍注目されました。
そのときに頻繁に使われたのが分析手法が、ニューラルネットワーク（NN）やサポートベクターマシン（SVM）、自己組織化マップ（SOM）、決定木（DT）、アソシエーション分析、協調フィルタリングなどです。
今でも使われているものだらけです。
ビールと紙おむつ
データから今までない気付きを得られた事例としてよく登場したのが、「ビールと紙おむつ」の事例です。
本当かどうかは知りませんが、「ビールと紙おむつが一緒に買われる」という発見です。
その発見をどのように活用するのかが重要ですが、今回はその部分のお話しは省きます。
誰にとっての発見なのか、というお話しをします。
現場感
もし、本当に「ビールと紙おむつが一緒に買われる」という現象がある程度の頻度であるのなら、現場のレジ業務の方は知っているはずです。
なぜならば、頻繁に「ビールと紙おむつが一緒に買われる」という現場を見ているからです。
要するに、「ビールと紙おむつが一緒に買われる」ということを、すごい発見だと言っている人は、現場感の無い人、もう少し言うと現場の知らない人でしょう。
ここで言いたいのは、データで現れてくるのは、実際に起こった事実です。
その事実がある程度の頻度で起こるなら、その現場にいる人にとっては、日常目にすることなのです。
そのため、現場を垣間見れないデータは、基本ないかと思います。
思い出させてくれる
そうなると、データ分析をする意味はないのではないか、と思われがちですが、そうでもありません。
「ビールと紙おむつが一緒に買われる」ということを、現場の人が記憶の奥にしまったままのケースがあるからです。
相当記憶力の高い人でない限り、毎日起こっていることを、自分の頭のデータベースから自由自在に引き出すことは、あまりできないことでしょう。
しかし、現場の人へ「ビールと紙おむつが一緒に買われているかどうか？」と質問すれば、「確かに、そう！ そう！！」と思い出してくれるかもしれません。
切り口が多いと混乱する
では、データ分析の結果は、現場の人へ聞いてみると、本当にそうかが確かめられるのでしょうか？
単純なものであれば、確かめられると思います。
例えば、「ビールと紙おむつが一緒に買われる」ぐらいであれば単純ですので、確かめられると思います。
切り口が、「同時購買」の1つだからです。
切り口が増えると、人の脳では捉えられなくなってきます。
例えば、「同時購買」に加え、「天候」「時間帯」「プロモーション」「カレンダー（例：平日・休日、連休、クリスマスなど）」「周辺で開催されているイベント（例：プロ野球の試合、小学校の運動会、市民祭り、など）」「来店客層」「立地」「過去の販売状況」など、です。
あらゆる情報を頭にインプットし仕事をしている人もいるかもしれませんが、私を含めた多くの凡人は、印象的な情報の切り口だけでモノゴトを処理してしまいます。
要は、切り口が多いと混乱するのです。
データ分析で、混乱を減らす
端的に言うと、データ分析で、多様な切り口を考慮しつつ、切り口が増えたことの混乱を減らしながら、ファクト（事実）を捉えることができます。
多くの場合、データ分析をするときに、コンピュータに頼るため、多様な切り口の分析を可能にしますし、時間的コストを減らしてくれます。
そのための分析手法も多々あります。
しかし、下手なデータ分析をすると、コンピュータを使った多様な切り口の分析により、混乱を招きます。
人によって処理できる切り口の多様性の量と質が異なる
下手と言いましたが、頭脳明晰は方がコンピュータを使いデータ分析をすると、このようなことはあまり起こりません。
下手なデータ分析と言っているのは、自分で処理できる切り口の多様性の限界を超えると、データ分析をすればするほど混乱してしまうということを言っています。
つまり、人によって処理できる切り口の多様性の量と質が異なるのです。
要するに、データ分析をすることで、自分で処理できる切り口の多様性の限界内であれば、自分の頭の中で処理できる切り口の多様性を広げ、データ分析で混乱を減らすことができます。
そのあたりは、データ分析者の力量に大きく依存します。
私の感覚では、その力量は数学力でも無ければ、ロジカルシンキング的なコンサルスキルでも無ければ、コンピュータサイエンス的なものでもありません。リベラルアーツ的なものが、データ分析者の力量に大きく影響を与えている気がします。
哲学っぽくなってきたので、この手の議論はここで強制終了させます。
現場感と違うと拒否られる
何はともあれ、切り口の量と質のレベルが低ければ、そのデータ分析をした結果を、現場に見せると「確かに、そう！ そう！！」となります。
ここで言う「切り口の量と質のレベルが低い」とは、切り口の数が少なく単純であるという意味です。
一方、「切り口の量と質のレベルが高い」とは、切り口の数が多く複雑であるという意味で使います。
では、コンピュータの力を借り、切り口の量と質のレベルが高いデータ分析の結果を、現場に持っていくとどうなるでしょうか？
データ分析への信頼があまりない、データ分析を活用した経験が不足している、このような状況の場合、多くの場合には「現場感と違うと拒否される」ということが起こります。
しかも、「データから今までない気づきを得たい！」というニーズからデータ分析が始まっていてもです。
- 「現場感と違う！」
- 「分析がおかしいのでは？」
- 「到底受け入れられるものではない」
しかし、例外もあります。
現場感と一致し、現場にとって都合がいいものの場合は、受け入れてもらえます。
現場感とほぼ一致したデータ分析・活用をチャレンジする
現場から拒否られたデータ分析は、当然ですが現場で活用してもらえません。
そのデータ分析が正しいかどうかに関係ありません。ただただ、使われないのです。
実際、データ分析への信頼があまりない、データ分析を活用した経験が不足している、このような状況の場合、多くの場合「現場感と違う」ということで、拒否されます。
では、どうすればいいのでしょうか？
答えは単純で、「現場感とほぼ一致」したデータ分析だけを実施すればいいのです。
しかも、現場の動きをあまり変化させない（要は、面倒ではない）データ分析・活用が望まれます。
そのようなことできるの？ という疑問がありますが、そのようなことはできます。
抽象的な言葉で説明しても限界があるので、別の機会に具体的な事例で説明します。
今回のまとめ
今回は、「データから今までない気付きを！ と言いながら、そのような発見があると現場感と違うと拒否られる件」というお話しをしました。
残念なことに、現場が知らない「今までない気づき」を「データから得たい！」というニーズからデータ分析が始まっても、「現場感と合わない」という理由で、そのデータ分析の結果を拒否されることがあります。
データ分析への信頼があまりない、データ分析を活用した経験が不足している、このような状況の部署や組織、機関などで多いようです。
そのようなときは、「現場感とほぼ一致」したデータ分析だけを実施し、データ分析・活用のメリットを甘受させることを最優先にしましょう。
データ分析・活用への信頼を獲得する、ということから始めるということです。
