performance*measuresfor*...

This  work  is  supported  by  the  US  Department  of  Energy,  the  Los  Angeles  Department  of  Water  and  Power,  and  the  NaAonal  Science  FoundaAon.  The  views  of  authors  expressed  herein  do  not  necessarily  reflect  those  of  the  sponsors.  

Performance  Measures  for  Electricity  Consumption  Prediction  

Saima Aman (Advisors: Yogesh Simmhan and Viktor K. Prasanna)

http://ganges.usc.edu  

•  risk-­‐adjusted  improvement  over  baseline  •  factor  in  vola6lity  of  model  with  respect  to  baseline  

PredicAon  Bias  

Scale  Independence  

Reliability  

Cost  

VolaAlity  

•  understand  the  frequency  of  over-­‐  or  under-­‐predic6on  •  under-­‐predic6on  might  miss  the  peak  

•  compare  across  different  scales  (unlike  MAE,  RMSE)  •  address  diversity  in  customers  

•  how  oEen  the  model  performs  beFer  than  a  baseline  or  within  an  error  threshold  

•  quan6fy  the  cost  of  collec6ng  data,  training  and  applying  a  model  for  predic6on  

Domain  Bias  Percentage  Error  (DBPE)  An  asymmetric  loss  funcAon  is  used  to  assign  different  costs  to  over  and  under  predicAons.  These  costs  are  applicaAon-­‐specific.  (Reduces  to  MAPE  when  costs  are  same)      

Problem:  EvaluaAon  of  KWh  predicAon  

Coefficient  of  Varia:on  of  RMSE  (CV-­‐RMSE)  The  root  mean  square  error  is  divided  by  the  mean  of  observed  values.  The  normalized  RMSE  can  then  be  used  to  compare  across  scales.      

Reliability,  REL    Measures  the  count  of  performances  less  than  the  error  threshold.  

Rela:ve  Improvement,  RIM    Measures  the  count  of  performances  beVer  than  the  baseline.  

Need  for  novel  Performance  Measures  

Data  Cost,  DC    The  number  of  unique  values  of  all  features  in  the  model.  Compute  Cost,  CC  The  Ame  in  seconds  required  to  train  a  model    Normalized  Model  cost,  C  =  f(DC,  CC)/m

Cost-­‐Benefit  Metric,  CBM  Measures  the  relaAve  benefit  of  using  a  model  with  respect  to  normalized  cost.  

Vola:lity  Adjusted  Benefit-­‐  BVM.  It  is  adapted  from  the  Sharpe  raAo  used  in  the  finance  domain  for  measuring  benefit  to    risk  raAo.  

0  

0.02  

0.04  

0.06  

0.08  

0.1  

0.12  

0.14  

Annual  Mean   DoW  Mean   DoY  Mean   TS  1  wk  ahead  TS  2  wk  ahead  Ts  3  wk  ahead  TS  4-­‐wk  ahead   RT  

CVRMSE   DBPE  (0.5,  1.5)  

Ini:al  Results  

0.0  0.1  0.2  0.3  0.4  0.5  0.6  0.7  0.8  0.9  1.0  

TS  1  wk  ahead  

TS  2  wk  ahead  

Ts  3  wk  ahead   TS  4-­‐wk  ahead  

RT  

RIM  

REL  

BVM  

Mo:va:on:  Dynamic  Demand  Response  (D2R)  

Dynamic  decision  making  for    •  start  Ame  •  duraAon  •  depth  (kWh)  •  customer  selecAon  •  curtailment  strategy  selecAon  

Error  Measures  (smaller  is  beVer)   Goodness  Measures  (larger  is  beVer)