做資料科學應該知道的畫樹模型的三種方法

嗨，大家好，轉眼間又到了要撰寫下篇文章的時間了，也來到了11月，這個可怕的2020也即將進入尾聲，祝福每個人都能夠身體健康。

今天的文章是來自於在某天上班時同事所提的需求，這個需求是我之前已經有花過時間解決的問題，但是當下因為很久沒碰了，所以完全忘記了怎麼去解決，導致花了許多時間在重拾回憶，為了避免以後再次忘記，我決定要把它記錄下來，讓除了我，以後大家也都能用得到。

那這個需求是什麼呢?就是要怎麼把我們使用的樹模型裡面樹的決策流程畫出來，讓我們可以不僅僅檢視辨識重要性，也可以同時觀察決策樹的方向和篩選條件是符合或超出我們的預期，也可以根據這些決策條件去制定相關的方案。

今天的文章撰寫過程如下:

(1) 畫圖前準備

(2) 資料集

(3) Scikit-Learn畫圖

(4) LightGBM畫圖

(5) XGBoost畫圖

(6) 結論

(1) 畫圖前準備

為了能夠在不同套件下都能夠使用Python來畫出樹，當需要報告或知道其決策條件時，就可以使用該些方法來成功得到樹圖。你必須利用Graphviz這個套件來幫助你完成。

What is Graphviz?

Graphviz is open source graph visualization software. Graph visualization is a way of representing structural information as diagrams of abstract graphs and networks. It has important applications in networking, bioinformatics, software engineering, database and web design, machine learning, and in visual interfaces for other technical domains.

為了能使用這個套件，你必須要先下載它

pip install graphviz # 在本機端上開啟cmd並輸入此語句

conda install graphviz # 可以使用anaconda來run graphviz

都key完之後，可以檢測其是否被成功下載

dot -v

Windows

Windows用戶可能需要注意一下，因為使用Graphviz會有必須要加入到系統環境變數上的問題，所以你可以在每次要畫圖時手動加入，你必須要找到Graphviz在絕對路徑上的位置在哪裏。

import os
os.environ["PATH"] += os.pathsep + 'C:/ProgramData/Anaconda3/Library/bin/graphviz' # 這是我Graphviz的位置

(2) 資料集

當然，要用畫出模型的圖的話，你必須要有模型，要有模型的前提也是，你需要有資料集可以給你訓練。

這整篇3種不同樹模型的演算法都是使用Iris當做資料集，基本上就是學機器學習的必備資料集，輕鬆好懂。

from sklearn.datasets import load_iris
iris = load_iris()

x = iris['data'][:, 2:]
y = iris['target']

(2) Scikit-Learn畫圖

首先會是以Scikit-Learn這個經典的套件來畫圖先，也是用樹模型畫決策樹功能最豐富的套件之一。

訓練模型

from sklearn.tree import DecisionTreeClassifier

model = DecisionTreeClassifier(max_depth=2, criterion='entropy')
model.fit(x, y)

接下來的code，會將你的樹模型的圖輸出成dot檔

from sklearn.tree import export_graphviz

export_graphviz(model, # 模型 
            out_file='圖/sklearn_tree.dot', # 輸出到dot檔
            feature_names=iris.feature_names[2:], # 顯示Feature Names
            class_names=iris.target_names, # 顯示target Name
            rounded=True, # 開啟round
            proportion=False, # 不顯示比例 顯示target的數量
            precision=2, # 小數點後第二位
            filled=True # 是否根據Target來填顏色)

在Jupyter notebook中使用cmd將dot檔轉成png檔

from subprocess import call
call(['dot', '-Tpng', '圖/sklearn_tree.dot', '-o', '圖/sklearn_tree.png'])

並在Jupyter notebook中打印出Image

from IPython.display import Image
Image(filename='圖/sklearn_tree.png')

(3) LightGBM畫圖

訓練模型

lgb_train = lgb.Dataset(x, y)

params={'objective':'multiclassova', 'num_class':3}

model = lgb.train(params, lgb_train)

LightGBM可以有plot_tree這個function可以給我們快速畫圖使用

import matplotlib.pyplot as plt

lgb.plot_tree(model, dpi=600,
              show_info=['split_gain', 'internal_value', 'internal_count', 'internal_weight',
              'leaf_count', 'leaf_weight', 'data_percentage'])
plt.savefig('圖/lightgbm_tree.png')
plt.show()

LightGBM是透過Gradient Boosting的方式去建構模型，所以會有好幾棵樹去優化模型，你可以在plot_tree裡面透過tree_index這個parameter指定你要畫第幾棵樹，通常是畫在第一棵樹或是在Best iteration的那棵樹。

(4) XGBoost畫圖

訓練模型

model = xgb.XGBClassifier()
model.fit(x, y)

XGBoost可以有plot_tree這個function可以給我們快速畫圖使用

import matplotlib.pyplot as plt

xgb.plot_tree(model, num_trees=2) # 畫出第二棵樹
plt.savefig('圖/xgboost_tree.png')
plt.show()

(5) 結論

That’s it! 這樣就輕鬆寫意的學完在機器學習中最重要的三個訓練樹模型的Library畫圖方法了，不用記得沒關係，只是如果在未來，當你我有畫決策樹的圖的需求時，可以想到這篇文章會快速幫你完成你的需求喔!

輕鬆又不喪失樂趣的一篇文章，謝謝你看到最後，不一定要每個禮拜都強求自己學習非常高深的技術，學點簡單的，提高自己的自信心也不錯喔!

一樣，如果有問題都可以寄信給我喔，我的信箱是[email protected]，Strive for greatness!