Pythonでの
Labelエンコーディング・Ordinalエンコーディング・OneHotエンコーディング
の違いは？

2583
PythonでのLabelエンコーディング・Ordinalエンコーディング・OneHotエンコーディングの違いは？

機械学習やデータ分析において、カテゴリカルデータの取り扱いは非常に重要です。

カテゴリカルデータは数値データとは異なり、そのままでは多くの機械学習アルゴリズムに適用できません。

そのため、カテゴリカルデータを数値に変換するためのエンコーディングが必要となります。

今回は、PythonでのLabelエンコーディング、Ordinalエンコーディング、One-Hotエンコーディングの違いと使い方について簡単に解説します。

Contents

エンコーディングの重要性

カテゴリカルデータのエンコーディングは、データ前処理の重要なステップです。

適切なエンコーディングを行うことで、モデルのパフォーマンスを最大化し、予測精度を向上させることができます。

一方で、不適切なエンコーディングはモデルの性能を低下させ、誤った結論を導く原因となることがあります。

カテゴリカルデータを適切にエンコードすることは、成功する機械学習プロジェクトの基盤を築くために不可欠です。

 

3つのエンコーディングの概要

　Labelエンコーディング

Labelエンコーディングは、カテゴリカルデータの各カテゴリを一意の整数に変換するシンプルな手法です。

このエンコーディング手法では、カテゴリ間の順序や関係は考慮されず、単純に異なるカテゴリに異なる数値を割り当てます。

 

例えば、動物の種類をエンコードする場合を考えます。

以下のようなデータがあるとします。

["猫", "犬", "鳥", "犬", "猫", "鳥"]

Labelエンコーディングを適用すると、それぞれのカテゴリが以下のように一意の整数に変換されます。

"猫" -> 0
"犬" -> 1
"鳥" -> 2

したがって、エンコード後のデータは次のようになります。

[0, 1, 2, 1, 0, 2]

 

利点

  • 実装が簡単で迅速。
  • カテゴリカルデータを数値データに変換するため、多くの機械学習アルゴリズムで直接利用可能。

欠点

  • エンコーディング後の整数が実際の値として意味を持たないため、カテゴリ間に誤った関係を生む可能性がある。
  • 特に線形回帰モデルなどでは、整数値がカテゴリの重要度や順序を示すと誤解される可能性がある。

 

　Ordinalエンコーディング

Ordinalエンコーディングは、カテゴリカルデータに順序がある場合に使用されるエンコーディング手法です。

カテゴリをその順序に従って整数に変換します。

これにより、順序情報が保持され、モデルにとって有用な情報となります。

 

例えば、教育レベルをエンコードする場合を考えます。

以下のようなデータがあるとします。

["小学校", "中学校", "高校", "中学校", "小学校", "高校"]

Ordinalエンコーディングを適用すると、カテゴリの順序に従って以下のように整数に変換されます。

"小学校" -> 0
"中学校" -> 1
"高校" -> 2

したがって、エンコード後のデータは次のようになります。

[0, 1, 2, 1, 0, 2]

 

利点

  • カテゴリ間の順序情報を保持できる。
  • 順序が重要な場合に有効。

欠点

  • 順序が存在しないカテゴリカルデータには適用できない。
  • カテゴリ数が多い場合、整数の範囲が広がり、多くの整数値が稀にしか現れないスパース性が問題になることがある。

 

　One-Hotエンコーディング

One-Hotエンコーディングは、順序がないカテゴリカルデータを数値に変換するための手法です。

この方法では、各カテゴリを個別の二値変数に変換します。

 

例えば、色のカテゴリカルデータをエンコードする場合を考えます。

以下のようなデータがあるとします。

["赤", "青", "緑", "青", "赤", "緑"]

One-Hotエンコーディングを適用すると、各カテゴリが以下のように独立した二値変数に変換されます。

"赤" -> [1, 0, 0]
"青" -> [0, 1, 0]
"緑" -> [0, 0, 1]

したがって、エンコード後のデータは次のようになります。

  [1, 0, 0],  # 赤
  [0, 1, 0],  # 青
  [0, 0, 1],  # 緑
  [0, 1, 0],  # 青
  [1, 0, 0],  # 赤
  [0, 0, 1]   # 緑

 

利点

  • カテゴリ間の順序や関係を導入しないため、誤った順序情報がモデルに反映されることがない。
  • 特徴量の独立性が確保される。

欠点

  • カテゴリ数が多い場合、特徴量の次元が急激に増加し、計算コストが高くなる。
  • 次元の呪いに注意が必要。

 

　エンコーディングの選び方

エンコーディング手法の選択は、データの特性や問題の種類に依存します。

以下にそれぞれの手法の適用シナリオを示します。

Labelエンコーディング: 順序がなく、カテゴリの数が少ない場合に適用します。例えば、動物の種類や色など。

Ordinalエンコーディング: 順序が重要な場合に適用します。例えば、教育レベルや評価など。

One-Hotエンコーディング: 順序がなく、カテゴリの数が多い場合や特徴量の独立性が重要な場合に適用します。例えば、色や製品カテゴリなど。

 

以下に、具体的なデータセットでのエンコーディング手法の使い分け例を示します。

今、以下のようなカテゴリカル変数が手元にあるとします。

データセット: 顧客情報
- 性別: ["男性", "女性"]
- 年齢層: ["若年", "中年", "高齢"]
- 地域: ["北部", "中部", "南部"]

エンコーディングの選択例を示します。

先ず、性別です。

Labelエンコーディング（順序なし、カテゴリ数が少ない）を選びます。

オリジナルデータ: ["男性", "女性", "女性", "男性"]
エンコードされたデータ: [0, 1, 1, 0]
クラスラベル: ["男性" -> 0, "女性" -> 1]

次に、年齢層です。

Ordinalエンコーディング（順序あり）を選びます。

オリジナルデータ: ["若年", "中年", "高齢", "中年", "若年"]
エンコードされたデータ: [0, 1, 2, 1, 0]
クラスラベル: ["若年" -> 0, "中年" -> 1, "高齢" -> 2]

最後に、地域です。

One-Hotエンコーディング（順序なし、カテゴリ数が適度）を選びます。

オリジナルデータ: ["北部", "中部", "南部", "中部", "北部"]
エンコードされたデータ:
[
  [1, 0, 0],  # 北部
  [0, 1, 0],  # 中部
  [0, 0, 1],  # 南部
  [0, 1, 0],  # 中部
  [1, 0, 0]   # 北部
]
クラスラベル: ["北部" -> [1, 0, 0], "中部" -> [0, 1, 0], "南部" -> [0, 0, 1]]

 

実践 Pythonでのエンコーディング

Pythonでは、scikit-learnやpandasといったライブラリを使用して、Labelエンコーディング、Ordinalエンコーディング、One-Hotエンコーディングを簡単に実装することができます。

scikit-learn

  • Pythonの代表的な機械学習ライブラリです。データ前処理、モデル構築、評価など、機械学習の幅広いタスクをサポートします。
  • LabelエンコーディングにはLabelEncoderクラスを、OrdinalエンコーディングにはOrdinalEncoderクラスを、One-HotエンコーディングにはOneHotEncoderクラスを使用します。

pandas

  • データ操作や分析を簡単に行うためのライブラリです。
  • データフレームを使ったデータ処理が容易で、OrdinalエンコーディングやOne-Hotエンコーディングをサポートします。

 

　Labelエンコーディング

Labelエンコーディングを適用するカテゴリカルデータを準備します。ここでは、動物の種類を例にします。

以下、コードです。

from sklearn.preprocessing import LabelEncoder

# サンプルデータ
data = ["猫", "犬", "鳥", "犬", "猫", "鳥"]

 

scikit-learnのLabelEncoderを使用してデータをエンコードします。

以下、コードです。

# LabelEncoderのインスタンスを作成
label_encoder = LabelEncoder()

# データをエンコード
encoded_data = label_encoder.fit_transform(data)

# 結果を表示
print("オリジナルデータ:", data)
print("エンコードされたデータ:", encoded_data.tolist())
print("クラスラベル:", label_encoder.classes_.tolist())

 

以下、実行結果です。

オリジナルデータ: ['猫', '犬', '鳥', '犬', '猫', '鳥']
エンコードされたデータ: [0, 1, 2, 1, 0, 2]
クラスラベル: ['犬', '猫', '鳥']

 

　Ordinalエンコーディングの実装手順

Ordinalエンコーディングを適用するデータを準備します。ここでは、教育レベルを例にします。

以下、コードです。

import pandas as pd

# サンプルデータ
data = ["小学校", "中学校", "高校", "中学校", "小学校", "高校"]
df = pd.DataFrame(data, columns=["教育レベル"])

 

　　pandasのCategorical型を使用

pandasのCategorical型を使用して、データの順序を指定し、エンコードします。

以下、コードです。

# カテゴリとその順序を定義
category_order = ["小学校", "中学校", "高校"]

# カテゴリカルデータの型を設定し、順序を指定
df["教育レベル"] = pd.Categorical(df["教育レベル"], categories=category_order, ordered=True)

# Ordinalエンコーディングを適用
df["教育レベルエンコード"] = df["教育レベル"].cat.codes

# 結果を表示
print(df)

 

以下、実行結果です。

  教育レベル  教育レベルエンコード
0   小学校              0
1   中学校              1
2     高校              2
3   中学校              1
4   小学校              0
5     高校              2

 

　　scikit-learnのOrdinalEncoderを使用

scikit-learnのOrdinalEncoderクラスを使用してエンコードします。

以下、コードです。

from sklearn.preprocessing import OrdinalEncoder

# カテゴリとその順序を定義
category_order = ["小学校", "中学校", "高校"]

# OrdinalEncoderのインスタンスを作成
ordinal_encoder = OrdinalEncoder(categories=[category_order])

# データをエンコード
df["教育レベルエンコード"] = ordinal_encoder.fit_transform(df[["教育レベル"]])

# 結果を表示
print(df)

 

以下、実行結果です。

  教育レベル  教育レベルエンコード
0   小学校              0
1   中学校              1
2     高校              2
3   中学校              1
4   小学校              0
5     高校              2

 

　One-Hotエンコーディングの実装手順

One-Hotエンコーディングを適用するデータを準備します。ここでは、色のカテゴリカルデータを例にします。

以下、コードです。

import pandas as pd

# サンプルデータ
data = {
    "色": ["赤", "青", "緑", "青", "赤", "緑"]
}

df = pd.DataFrame(data)

 

　　pandasのget_dummiesメソッドを使用

pandasのget_dummiesメソッドを使用して、データをOne-Hotエンコーディングします。

以下、コードです。

# One-Hotエンコーディングの適用
df_one_hot = pd.get_dummies(df, columns=["色"])

# 結果を表示
print(df_one_hot)

 

以下、実行結果です。

     色_緑    色_赤    色_青
0  False   True  False
1  False  False   True
2   True  False  False
3  False  False   True
4  False   True  False
5   True  False  False

 

　　scikit-learnのOneHotEncoderを使用

scikit-learnのOneHotEncoderクラスを使用してOne-Hotエンコーディングします。

以下、コードです。

from sklearn.preprocessing import OneHotEncoder

# One-Hotエンコーダのインスタンス作成
one_hot_encoder = OneHotEncoder(sparse=False)

# データをエンコード
encoded_data = one_hot_encoder.fit_transform(df[["色"]])

# 結果をデータフレームに変換
encoded_df = pd.DataFrame(encoded_data, columns=one_hot_encoder.get_feature_names_out(["色"]))

# 結果を表示
print(encoded_df)

 

以下、実行結果です。

   色_赤  色_青  色_緑
0    1    0    0
1    0    1    0
2    0    0    1
3    0    1    0
4    1    0    0
5    0    0    1

 

機械学習モデルの特性とエンコーディングの関係性

エンコーディング手法は、データの特性と機械学習モデルの特性に大きく影響を与えます。

決定木ベースのモデル、線形モデル、ニューラルネットワークとエンコーディング手法の関係について簡単に説明します。

 

　決定木ベースのモデルとエンコーディング

　　決定木の基本概念

決定木は、特徴量の値に基づいてデータを分割し、分類や回帰を行うモデルです。

各分岐点でデータを二分し、最終的に予測値に到達します。

決定木は、カテゴリカルデータを直接扱うことができ、カテゴリの順序や関係を利用して効果的に分割を行います。

 

　　Labelエンコーディングの扱い

Labelエンコーディングを使用すると、カテゴリカルデータが一意の整数に変換されます。

決定木はこれを利用して分割を行いますが、カテゴリ間に誤った順序が導入される可能性があります。

例えば、動物の種類が「猫」-> 0、「犬」-> 1、「鳥」-> 2にエンコードされた場合、決定木はこれを連続値として扱います。

 

　　Ordinalエンコーディングの扱い

Ordinalエンコーディングは、カテゴリカルデータに順序がある場合に有効です。

決定木は、順序情報を利用して適切にデータを分割します。

例えば、教育レベルが「小学校」-> 0、「中学校」-> 1、「高校」-> 2にエンコードされた場合、決定木はこの順序情報を利用して分割を行います。

 

　　One-Hotエンコーディングの扱い

One-Hotエンコーディングは、順序がないカテゴリカルデータに最適です。

各カテゴリが独立した二値変数に変換されるため、決定木はこれを利用して各カテゴリを独立に扱います。

例えば、色が「赤」-> [1, 0, 0]、「青」-> [0, 1, 0]、「緑」-> [0, 0, 1]にエンコードされる場合、決定木は各色を独立した特徴量として扱います。

 

　　利点と欠点

利点

  • 決定木は、カテゴリカルデータの分割において柔軟性が高く、順序情報を効果的に利用できる。
  • One-Hotエンコーディングを使用することで、カテゴリ間の誤った順序情報を防ぐことができる。

欠点

  • Labelエンコーディングを使用すると、カテゴリ間に誤った順序情報が導入される可能性がある。

 

　線形モデルとエンコーディング

　　線形モデルの基本概念

線形モデルは、特徴量とターゲット変数の間の線形関係を仮定します。

線形回帰やロジスティック回帰が代表的な例です。

線形モデルは、数値データを前提とするため、カテゴリカルデータを適切にエンコードする必要があります。

 

　　Labelエンコーディングの扱い

Labelエンコーディングは、カテゴリカルデータを一意の整数に変換しますが、線形モデルはこれを連続値として扱います。

そのため、カテゴリ間に誤った関係性が導入される可能性があります。

例えば、「猫」-> 0、「犬」-> 1、「鳥」-> 2とエンコードされた場合、線形モデルは「犬」が「猫」と「鳥」の中間に位置すると解釈する可能性があります。

 

　　Ordinalエンコーディングの扱い

Ordinalエンコーディングは、順序情報を保持しながらカテゴリカルデータを数値に変換します。

線形モデルはこの順序情報を利用できますが、連続値として扱うため、必ずしも順序情報を正確に反映するわけではありません。

例えば、教育レベルが「小学校」-> 0、「中学校」-> 1、「高校」-> 2にエンコードされた場合、線形モデルはこれを連続値として扱います。

 

　　One-Hotエンコーディングの扱い

One-Hotエンコーディングは、順序がないカテゴリカルデータに最適です。

各カテゴリが独立した二値変数に変換されるため、線形モデルはこれを利用してカテゴリ間の独立性を保ちます。

例えば、色が「赤」-> [1, 0, 0]、「青」-> [0, 1, 0]、「緑」-> [0, 0, 1]にエンコードされる場合、線形モデルは各色を独立した特徴量として扱います。

 

　　利点と欠点

利点

  • One-Hotエンコーディングを使用することで、カテゴリ間の誤った順序情報を防ぐことができる。
  • Ordinalエンコーディングは順序情報を保持するため、順序が重要な場合に有効。

欠点

  • Labelエンコーディングは、カテゴリ間に誤った関係性を導入する可能性がある。
  • カテゴリ数が多い場合、One-Hotエンコーディングは次元の呪いを引き起こす可能性がある。

 

　ニューラルネットワークとエンコーディング

　　ニューラルネットワークの基本概念

ニューラルネットワークは、多層パーセプトロンを用いた非線形モデルであり、高次元のデータを扱うのに適しています。

ニューラルネットワークは、数値データを前提としており、適切なエンコーディングが必要です。

 

　　Labelエンコーディングの扱い

Labelエンコーディングを使用すると、カテゴリカルデータが一意の整数に変換されますが、ニューラルネットワークはこれを連続値として扱います。

これは、誤った順序情報を導入する可能性があります。

 

　　Ordinalエンコーディングの扱い

Ordinalエンコーディングは、順序情報を保持しながらカテゴリカルデータを数値に変換します。

ニューラルネットワークは、この順序情報を利用して学習を行うことができますが、連続値として扱うため、必ずしも順序情報を正確に反映するわけではありません。

 

　　One-Hotエンコーディングの扱い

One-Hotエンコーディングは、順序がないカテゴリカルデータに最適です。

各カテゴリが独立した二値変数に変換されるため、ニューラルネットワークはこれを利用して高次元のデータを学習します。

例えば、色が「赤」-> [1, 0, 0]、「青」-> [0, 1, 0]、「緑」-> [0, 0, 1]にエンコードされる場合、ニューラルネットワークは各色を独立した特徴量として扱います。

 

　　利点と欠点

利点

  • ニューラルネットワークは高次元のデータを扱う能力が高いため、One-Hotエンコーディングによる特徴量の増加に対応できる。
  • One-Hotエンコーディングを使用することで、カテゴリ間の誤った順序情報を防ぐことができる。

欠点

  • Labelエンコーディングは、カテゴリ間に誤った関係性を導入する可能性がある。
  • カテゴリ数が非常に多い場合、One-Hotエンコーディングは次元の呪いを引き起こす可能性がある。

 

　エンコーディング手法の選択ガイド

　　データの特性に基づく選択

エンコーディング手法は、データの特性に基づいて選択する必要があります。

順序が重要なカテゴリカルデータにはOrdinalエンコーディングを使用し、順序がないカテゴリカルデータにはOne-Hotエンコーディングを使用します。

カテゴリ数が少ない場合は、Labelエンコーディングも有効です。

 

　　モデルの特性に基づく選択

モデルの特性もエンコーディング手法の選択に影響を与えます。

決定木ベースのモデルやニューラルネットワークは、One-Hotエンコーディングによる特徴量の増加に対応できますが、線形モデルは次元の呪いに注意が必要です。

 

まとめ

今回は、PythonでのLabelエンコーディング、Ordinalエンコーディング、One-Hotエンコーディングの違いとその使い方について解説しました。

各エンコーディング手法の基本概念、利点と欠点、具体的な使用例を紹介しました。

また、機械学習モデルの特性とエンコーディングの関係性についても説明しました。

  • Labelエンコーディング: 各カテゴリを一意の整数に変換するシンプルな手法。実装が簡単で迅速だが、カテゴリ間に誤った関係が生じる可能性がある。
  • Ordinalエンコーディング: 順序があるカテゴリカルデータに使用される手法。順序情報を保持できるが、順序がないデータには適用できない。
  • One-Hotエンコーディング: 順序がないカテゴリカルデータを数値に変換する手法。各カテゴリが独立した二値変数に変換されるため、誤った順序情報が導入されることがない。

 

エンコーディング手法を選択する際には、データの特性と機械学習モデルの特性を考慮する必要があります。

  • 順序があるカテゴリカルデータには、Ordinalエンコーディング
  • 順序がない場合には、One-Hotエンコーディング
  • カテゴリ数が少ない場合や実装の簡便さを優先する場合には、Labelエンコーディング

 

エンコーディング手法の選択は、実務においても重要なステップです。

適切なエンコーディングを選ぶことで、モデルの予測精度を最大化し、ビジネス上の意思決定をサポートすることができます。

実際のビジネスシナリオにおいては、顧客の購買行動予測、従業員の退職予測、製品の売上予測など、様々なケースでエンコーディング手法を適用することが求められます。