数理モデルを作る上で特徴量エンジニアリング(Feature Engineering)は地味に重要です。 例えば、より精度の高い予測モデルを構築したいのであれば、アルゴリズムのパラメータチューニングとともに特徴量エンジニア...
データ分析といっても色々なものがありますし、分類の仕方も様々です。 明確に区別すべき2つのデータ分析があります。 それは…… 課題発見型データ分析 課題解決型データ分析 今回は、「課題発見型データ分析と課題解決型データ分...
数理モデルを作る上で特徴量エンジニアリング(Feature Engineering)は地味に重要です。 例えば、より精度の高い予測モデルを構築したいのであれば、アルゴリズムのパラメータチューニングとともに特徴量エンジニア...
Excelのワークシートで、データセットを眺めたりインタラクティブに編集することに慣れている人は多いです。 そういう方にとって、RやPythonなどの無味乾燥なGUIに物足りなさというか、壁を感じる方もいるかもしれません...
データを集めたら、次にデータを分析しなければなりません。 集めたデータと分析の関係は、食材と料理の関係に似ています。良い食材であっても料理人の腕に問題があると台無しになることがあります。不十分な食材でも調理しだいで美味し...
前回、精度やメモリ使用量、実行速度に応じたTPOTが用意した構成(Config.)を使う方法を説明しました。 構成名 内容 適用できる問題 Default TPOT 初期設定の構成です。 分類・回帰 TPOT light...
特徴量エンジニアリング(feature engineering)は、私がデータ分析を始めた20数年前から非常に重要なものでした。 特徴量(feature)とは、数理モデルの説明変数Xを指します。 ドメイン(データ活用の現...
Rにはディープラーニング関連のパッケージは色々あります。R独自のものから、そうでないものもあります。 ディープライニングで有名なKeras(TensorFlow)はRStudio(R)上で使うことができます。 前回は分類...
Rにはディープラーニング関連のパッケージが色々あります。 例えば…… neuralnet nnet RSNNS deepnet darch rnn FCNN4R rcppDL deepr MXNetR h2o tenso...
データを集めたら、次にデータを分析しなければなりません。 集めたデータと分析の関係は、食材と料理の関係に似ています。良い食材であっても料理人の腕に問題があると台無しになることがあります。不十分な食材でも調理しだいで美味し...
データアナリティクス(データ分析)には、幾つか種類があります。 以下の5つです。 Descriptive Analytics:記述的分析(過去から現在、どうだった) Diagnostic Analytics:診断的分析(...
PythonでEDA(探索的データ分析)を実施するとき、PandasのQuery(クエリ―)を使う方も多いことでしょう。 ここで紹介するQuery(クエリ―)は、Pandasの関数の1つで、データフレームに対し条件抽出す...
TPOTでは、あらかじめパイプラインに使う変換器やアルゴリズム、探索するパラメータの範囲が決まっています。 しかし、あまり探索に時間をかけたくないときや単純な変換器・アルゴリズムを使いたいときがあると思います。 逆に時間...
データを集めたら、次にデータを分析しなければなりません。 集めたデータと分析の関係は、食材と料理の関係に似ています。良い食材であっても料理人の腕に問題があると台無しになることがあります。不十分な食材でも調理しだいで美味し...
データセットを手にしたら、最初に実施するのがEDA(探索的データ分析)です。 端的に言うと、データと仲良くなるための会話です。 EDA(探索的データ分析)はほぼ半分は似たような分析を実施します。EDA(探索的データ分析)...
ビジネスの現場で売上などの数値を予測することは多いでしょう。 例えば、予測モデルを構築し予測したり、例年踏襲型で数値を予測したりします。 例年踏襲型とは、昨年と同額もしくは昨対比10%UPみたいな感じの予測というものです...