- コラム
コラム｜予測精度の評価
～その予測結果、正しく評価できていますか？～［2022.4.21］
昨今、経済・社会環境は急激に変化し続けています。それによっておこる社会課題やトレンドに対し、需要予測・需給計画は柔軟に対応していく必要があります。
そこで本コラムでは、需要予測・需給業務の担当者や最新のトレンドを学びたい方向けに、今後必要とされる需要予測・需給計画の取り組みやポイントについて、弊社コンサルタント独自の視点で解説します。
予測精度の評価
皆さんは、年始に今年の目標・計画は立てているでしょうか？
子供のころは毎年、母に言われて立てていましたが、前の年の目標を忘れていることが多かったものです。
今から思えば計画を立てても評価しないのであれば意味がなかったと思います。私生活において、計画→実行→評価→改善というPDCAを実践していたら、私の人生も大きく変わっていたかも知れません（大リーグで活躍している大谷さんのように…）。
今回は計画の評価に関する話です。
どの予測を評価するのか？
お客様に「販売計画の精度が悪くて困っています。出荷実績を渡すので予測結果をください。評価はこちらでします」と言われることがあります。
しかし、お客様の予測精度の評価方法が適切でないケースがしばしば見られます。予測精度を評価する際に考えておくべきポイントを挙げていきましょう。
【ケース１】 前年までの実績を渡すので、今年の予測をして下さい
このケースは今年の１月時点で前年以前の実績で予測した１回限りの結果を評価しようとしていますが、その１回だけで評価してよいのでしょうか？
４月時点、７月時点など、時期によっても精度が異なる場合があります。少なくとも１年間の各月で予測した結果を評価する必要があります。
【ケース２】 月を進めながら毎月当月の予測をして下さい
毎月予測した当月の予測誤差を一定期間評価するということで、誤りではありません。しかし、当月のみを評価することは妥当なのでしょうか？
気象予報を考えるとわかりやすいですね。普段はたいてい翌日の天気予報を気にしますが、出張や旅行に行く場合は、週間予報を気にします。農家の方は６カ月先の予報を気にするかも知れません。
このように目的によって、当たって欲しい予報の期間が異なります。
販売計画も同様です。小売店の発注担当者は数日先、工場の週次生産計画を担当している方は２,３週間先、月次生産計画担当者は２,３カ月先、輸入品の発注担当者は６カ月先までの予測精度を求めます。
例えば、毎月翌月の生産計画を立案している場合、当月の予測精度ではなく、当月・翌月・翌々月の先３か月間の予測合計の精度を評価することが望ましいと言えます。なぜなら、翌月の生産によって翌々月までの需要をカバーする必要があるからです。その場合は、１月に実施した１月～３月の予測合計、２月に実施した２月～４月の予測合計、・・・を評価すればよいということになります。
誤差の評価指標
それでは予測精度の指標はどうすればいいのでしょうか？気象庁では気象予報の精度を評価していて、その情報がWEBに掲載されています（参考：気象庁ホームページ）。
例えば、降水有無の精度に関しては、あり、なしなので、当たった回数、外れた回数を指標としてます。これを参考にして、需要予測の前後α％以内に実績が入っていれば当たったとみなして、同様に指定期間での当たった回数、外れた回数を算出することができます。
また、気温の場合は下記2つの指標を気象庁では使っています。
- ①平均誤差（ME：Mean Error）（＝SUM（対象期間の予測誤差）/ 対象期間数）
予測誤差（＝予測ー実績）の平均値です。０より大きいと全体的に予測より上目に外れている、０より小さいと全体的に下目に外れているという予測の上振れ・下振れの偏り傾向がわかる指標です。 - ②二乗平方根誤差（RMSE：Root Mean Square Error）（=SQRT（SUM（対象期間の予測誤差の二乗値）/ 対象期間数））
（予測誤差×予測誤差）の平均値をルートした値です。値が０に近いと精度が高い、値が大きいと精度が低いと言えます。誤差が大きい月がひと月でもあると、二乗の影響で値が大きくなり評価が悪くなるため、大外しせず精度が安定しているものほど好評価となります。
二乗平方根誤差は優れた評価指標なのですが、名前も計算式も難しく、数字の持つ意味もイメージしにくいというデメリットもあります。そこでよく使われているのが平均絶対誤差です。
- ③平均絶対誤差（MAE：Mean Absolute Error）（=SUM（対象期間のABS（予測誤差））/ 対象期間）
予測誤差の絶対値（符号を除いた値）の平均値です。「①平均誤差」と違う点は絶対値にしていることです。プラス、マイナス関係なく実績との差の平均値となります。
二乗平方根誤差と同様に、０に近いと精度が高い、値が大きいと精度が低いということになります。
各評価指標の特徴
下図は同じ実績データに対して3パターンの予測データがあり、それぞれで3つの誤差指標を計算しました。
3つのパターンを比較すると次のことがわかります。
- 3パターンとも③平均絶対誤差は同じで、外れている程度は平均的には同じです。
- パターン1と2は②二乗平方根誤差も同じですが、①平均誤差はパターン2がプラスの大きな値となっています。これは予測が大きめに外れていることを表しています。
①平均誤差は外れの偏りを表す指標と言えます。 - パターン3はパターン1と比較して、②二乗平方根誤差が大きくなっています。平均的には同じ程度外しているのですが、3月に大きく外していることが影響しています。
③平均絶対誤差が同じでも②二乗平方根誤差が小さければ大きく外さないことを表しています。
上記のように、指標が同じ値であっても予測誤差の分布は異なっていることがわかります。これは複数のデータを1つの指標にすることで情報量が省略されるためで、目的に応じて各指標を使い分けたり、複数の指標を並べて評価するなどの工夫が必要です。場合によっては各月の予測誤差を上記のようなグラフでチェックすることも有効です。また、異なる商品の誤差の大小は、各指標値を同期間の実績平均値で割った誤差率を用いれば、比較しやすくなります。
おわりに
今回は予測精度の評価方法に関して、どこの期間の予測を、どのような指標で評価するのが良いかという話をしました。指標に関しては、他にも対象期間をどれくらいにするかという問題もあります。過去１年間の誤差指標と直近３カ月の誤差指標、というように期間の異なる複数の評価指標を使っているケースもあります。
何を知りたいのかをよく考えて、予測精度の評価指標について今一度検討することをお薦めします。
筆者紹介
岩崎 哲也（いわさき てつや）
キヤノンITソリューションズ株式会社 R&D本部 数理技術部 シニアコンサルティングスペシャリスト。
需要予測・需給計画ソリューション FOREMAST（フォーマスト）の開発およびシステム導入プロジェクトに従事。
FOREMASTのSIコアの機能設計・開発を担当。
関連書籍など
在庫管理のための需要予測入門
FOREMAST担当コンサルタントが執筆した需要予測入門書です。
どのような需要予測システムを導入すればよいかお悩みの方のために、実務に精通したコンサルタントが基本知識からシステム導入時に考慮すべきポイントまでをやさしく解説しています。
在庫管理のための需要予測入門
キヤノンシステムソリューションズ株式会社数理技術部[編]
淺田 克暢＋岩崎 哲也＋青山 行宏[著]
■出版社：東洋経済新報社
■発売日：2004年12月22日
■ISBN：4492531874
■価格（税込）：1,980円
関連するソリューション・製品
- FOREMAST 大量の在庫を抱えているのに欠品や納期遅れが発生していませんか？「キャッシュフロー経営」が叫ばれる中、多くの企業で在庫削減が重要な経営課題となってきています。しかし一方で、お客さまからの即納・短納期要求は益々強くなってきており、欠品の発生が企業経営に大きな影響を与えるケースも増えてきました。FOREMASTは、科学的な需要予測に基づく在庫補充計画と、需給計画・実績情報の共有支援、問題の見える化により、欠品なき在庫削減の実現を支援します。