金沢に住む理系大学院生が運営するブログです。読んだ本、行った場所、買ったものの記録。

決定木について

2019/01/28
 
この記事を書いている人 - WRITER -
金沢の地でWEB技術を勉強中。 世界をもっと面白くする。

ご覧いただきありがとうございます!
こんにちは!!金沢で学生をしています、あまね(@isaka122)です!

今日は、機械学習にも使われている「決定木」というものについて勉強したことをまとめてみました!

決定木とは

決定木とは「木構造を用いて分類や回帰を表現するもの」です。

「木構造」「分類」「回帰」の意味は、それぞれ

木構造・・・根から葉というノードへ向かって一方向にエッジが伸びている型のグラフのこと。

分類・・・入力されたデータセットがどの種類になるのか判別すること

回帰・・・入力データセットと出力データセットの関係性を数式で表すことです。

決定木の仕組み

では、どのように木構造を使って回帰や分析を行うのでしょうか?

まず行うのは、データに対して条件を定義し、その定義に沿って分類することです。

例えば、「ある生物」というデータが与えられたときに、

・哺乳類かどうか?
・四足で歩くか?
・日本にも生息しているか?
・我々に身近であるか?

このような条件にしたがって入力を分類していくことで、その生物が何であるか決定できます。

決定木の長所・短所

決定木の長所・短所をまとめてみます。

決定木の長所

決定木の長所は、以下のものがあります。

  • 可読性が高い(どうしてその決定がされたか見える)
  • たくさんのデータを扱える
  • 外れ値に対しても強い

可読性が高いとは、なぜその判断をしたのか、その過程が見えることです。
決定木は条件に応じて分類されるため、なぜその判断になったかわかります。

決定木の欠点

一方で欠点は、

  • 分類性能は低い
  • 過学習を起こしやすい
  • 線形性のデータには適さない
  • 多変数は考慮できない

このようなものが考えれられます。

決定木の学習アルゴリズム

さて、次に問題になるのは、どうやって条件を決定するかということです。

例えば、先程の例を見てみます。

・哺乳類かどうか?
・四足で歩くか?
・日本にも生息しているか?
・我々に身近であるか?

これだと、どれでもYESにしたところで、「犬」でも「猫」でもOKですよね。
正確な決定ができたとは言えません。

では、どういう方針で学習させるかというと、

ノードに入る要素の不純度を減らすような素性と閾値を決める

という方針を使います。

ここで、

不純度・・・ノード内のサンプルがどれだけ同じクラスに属するか

つまり、「猫」のなかに「犬」や「ハムスター」が入らないかということです。

この不純度計算するためにはエントロピーとジニ係数を使います。

エントロピーを用いるためには、アルゴリズムC4.5などがあります。

ジニー係数を用いるためには、アルゴリズムCARTがあります。

まとめ

以上、決定木についてまとめてみました。

 

この記事を書いている人 - WRITER -
金沢の地でWEB技術を勉強中。 世界をもっと面白くする。
スポンサーリンク




スポンサーリンク




Copyright© AMALOG , 2019 All Rights Reserved.