「予測分析」(Predictive Analytics)を実務で活用するとき、今までをファクト(事実)ベースで振り返り次に活かす「振返り分析」と、「やり方」がちょっと異なります。 「やり方」はちょっと異なるだけですが、「...
Jupyter Notebook に ChatGPT を統合できないものだろうか、と考えた方もいることでしょう。 結論から言うと、Jupyter Notebook と ChatGPT を統合する機能がChromeやFir...
Jupyter NotebookやJupyter Labなどを使われている方も多いと思います。 Jupyter系のNotebookの中には、Webベースのノートブックがたくさんあります。 有名なところでは、Googleの...
「どうなっているの」に応える振り返りのための分析から、1歩先を見通した予測分析(Predictive Analytics)の活用が広がっています。 10年後や100年後を見通す予測ではなく、数時間後、数日後、数か月後と言...
Webブラウザー上ではなく、PCのデスクトップ上で動作する、JupyterLab Desktop というデスクトップアプリケーションがあります。 Pythonの実行環境やライブラリーなどが、デスクトップアプリJupyte...
Jupyter NotebookやJupyter Labといった、Notebookでデータ分析業務をする人が、ここ数年で増えてきました。 Notebook上でデータ分析をするとき、外部のCSVファイルやDBのデータテーブ...
データがSQL対応のDB(データベース)に格納されている場合、SQLを使いデータを取得し操作することが多いことでしょう。 Python上ではPandasやPolarを使うかもしれませんが、SQLを利用したほうが便利な場面...
数年前から拡張分析(Augmented Analytics)の来ると叫ばれていました。 拡張分析(Augmented Analytics)とは、AIによるデータ分析(Analytics)のことで、通常のアナリティクス業務...
StatsForecastは、色々な統計学的な時系列系の予測モデルを構築することのできる、Pythonの時系列予測パッケージです。 以前、StatsForecastのインストール方法から簡単な使い方(予測モデル構築とテス...
ビジネスの世界の多くのデータは、時間的概念の紐づいた時系列データです。売上データやセンサーデータなどが、その典型例です。 時系列データの1つの用途として、予測というものがあります。 時系列系の予測モデルを構築できるPyt...
データサイエンスのビジネス活用が広まる中、最も活用されているものの1つが異常検知です。 異常検知とは、膨大なデータの中から通常とは異なるものを特定すること、もしくはそのプロセスです。 例えば、ECサイトをハッキングし不正...
データを入手したとき、先ずすべきは探索的データ分析(EDA)です。 この探索的データ分析(EDA)で必ず実施するのが、データビジュアライゼーションです。 要は、グラフやチャートなどを作成し、データの特徴や関係性などを見え...
データ分析で遊ぶとき、何かサンプルとなるデータセットはないか、探すこともあることでしょう。 そのとき重宝するのが、OpenMLのサンプルデータです。 Pythonですと、Scikit-learnの関数「sklearn.d...
データを得たとき、最初にすべきことの1つが、データ理解です。 データ理解とは、「手元にあるデータがどのようなデータなのか理解する」ということです。 データ理解が不十分なまま、より高度な分析を実施したり、数理モデルを構築し...
特徴量選択(変数選択)は、機械学習系の予測モデルなどを構築するとき、最初に行う重要なステップの1つです。 予測に寄与しない特徴量(説明変数)を取り除くことで、よりシンプルな予測モデルを構築を目指します。 色々な考え方や手...
データ活用の浸透とともに、ダッシュボードを利用する人や組織、企業などが増えてきました。 ダッシュボードには、指標をの推移やそれを集計した結果、それらを見やすくしたグラフ、検視した異常のアラート、今後の予測など多くの情報が...