Step.9 モデルを評価する
解説
前のステップで作成されたモデルは実際に使える水準のものでしょうか？このステップでは、妥当かつ信頼できる分析結果（予測モデル）であることの確証を得て、ビジネス上の目的を果たすかを検証します。具体的には、モデルそのものの精度の検証と、そのモデルがビジネス上の課題に対して役に立つかの2点を検証します。
9-1. モデル精度の検証
モデルでの予測値（検証用データをモデルに適用した結果）と検証用データの値を比較し、モデルの精度を評価します。これは、トレーニング用のデータに特化したモデルになっていないかをチェックするために実施します。
9-2. ビジネス上の検証
モデルがビジネス上の課題を解決できる水準にあるかを確認します。また、多くの項目をインプットとしたモデルの場合、それら項目のうち1つでも欠ければモデルが使えなくなってしまうことがありますので、そういった運用面での確認も必要になることがあります。
ケーススタディ
では、モデルを評価していきましょう。
モデルの評価
「repeats」は検証用データの実際の値（リピートしたか、していないか）、「predict」は検証用データの「リピートしたかどうか」以外の情報に対してモデルを適用した予測結果を表します。
正解率約75％とまずまずのようです。また、スタイリストごとの得意不得意が現場の感覚と分析結果とでマッチしていることもヒアリングで確認しました。ただし、分類ルールのうちサンプル数が少なく信頼性が低いものがあるので留意する必要がありそうです。
ビジネス上の検証
リピート率の高い得意メニューでは40〜70％のリピート率なので、アサインの都合を考慮しても、リピート率の高いメニュー、担当者に新規顧客を割り振ることで目標達成（リピート率45％）は可能と見込まれます。