IBM社の SPSS Modeler を使って予測分析モデルを作成しました。
モデルを作成したあとは、必ず作成したモデルの評価をおこなう必要があります。複数のモデルを作成してその中から最適なモデルを選ぶのですが、SPSS Modelerのある方法を使うと、評価を簡単に比較することができます。
予測分析モデルを評価する
SPSS Modelerでは「評価」ノードと「精度分析」ノードを使って確認します。
評価ノード
評価ノードを使用すると、簡単に予測モデルを評価および比較して、視覚的にアプリケーションに最適なモデルを選択できます。
精度分析ノード
精度分析ノードを使用すると、正確な予測を生成するためにモデルの能力を数値で評価することができます。
※評価メトリック
AUC：Area Under the Curveのこと。ROC曲線の曲線より下の面積。
Gini：ジニ係数。ローレンツ曲線と45度線で囲まれる面積の2倍した値。
どちらも0から1の範囲の値です。値が大きいほど良いモデルといえます。
複数のモデルを比較する
SPSS Modelerでは、作成したモデルナゲットをつなげることで、複数のモデルの評価を一度に評価し比較することができます。
生成したモデルナゲット同士を接続します。
警告のポップアップが表示されますので「置換」を選択します。
すべてのモデルナゲットを繋げたら、最後のモデルナゲットに「評価」ノードと「精度分析」ノードを接続します。
評価ノード
評価グラフ（下図はゲインチャート）の結果を重ねて表示できるため、視覚的に比較することが可能になります。
精度分析ノード
予想に対する正解率の数値結果を並べて確認することができます。
正解率の一番高いモデルを選択することができます。
