Presentation about my PhD. thesis in Slovak. Prediction of electricity load in smart grids.

1. Predikcia spotreby elektrickej energie
v inteligentných sieťach
Mgr. Peter Laurinec
27.9.2016
FIIT STU

2. FUN fact
Byť single ↗
Singles domácnosti sú podľa štúdie University College London
environmentálnou časovou bombou. Ich spotreba elektrickej
energie na hlavu je o 55% vyššia ako v prípade štvorčlennej
rodiny1.
1
https://www.ucl.ac.uk/news/news-articles/
news-releases-archive/sololiving
1

3. Prečo budem hovoriť o energetike a predikciách?
Lebo:
• Som bol pridelený na projekt o “Big Data”, ktorý sa riešil
na fakulte.
• Presnejšia predikcia spotreby elektrickej energie je
dôležitá z viacerých dôvodov.
• Baví ma Data Mining.
• Romanovi ma bonzli moji kolegovia.
2

4. Model siete
Starý model siete:
• Zdroj energie - elektráreň.
• Pasívni koncoví užívatelia.
3

5. Model siete
Nový model siete:
• Zdroj energie - veterné a
solárne elektrárne. Sú
ťažšie predvídateľné.
• Aktívni koncoví užívatelia.
producer + consumer ⇒
prosumer.
• Regulačné zariadenia.
Prečerpávacie vodné
elektrárne.
4

6. Presnejšia predikcia
• Výroba elektrickej energie. Prepätie v sieti.
• Producenti.
• Distribučné spoločnosti. Deregulácia trhu. Nákup a predaj
elektriny.
5

7. Čo sa preto robí?
• Vytváranie inteligentných
sietí (smart grids).
• Zmena legislatívy.
• Finančná podpora od EÚ.
Znižovanie spotreby el.
energie.
• Kľúčové slová:
smart meter,
demand response,
empowering, smart cities.
6

8. Výskumný projekt na fakulte
Info:
• Financovanie - Agentúra Ministerstva školstva, vedy, výskumu a športu
SR pre štrukturálne fondy.
• Doba riešenia - február 2014 – november 2015.
• Partneri - ATOS, STU, Sféra s.r.o.
• FEI STU - Smart Grid a Kryptografia. FIIT STU - Big Data.
Big Data:
• Regulácia Európskej únie - vyhláška MH SR č.358/2013 účinnej od 15.
novembra 2013.
• v SR má byť inteligentnými meračmi vybavených 80% zo všetkých
odberných miest. 2 milióny.
• 15-minútové intervaly údajov o odbere elektrickej energie.
• 96 meraní denne, pre 2 milióny odberateľov je to asi 70, 08 miliárd
záznamov ročne.
7

9. Inteligentné siete a merače
• Inteligentná sieť je systém, ktorý dokáže ovládať dopyt po elektrine
v udržateľnej, spoľahlivej a ekonomickej forme tým, že využíva
pokročilé digitálne informácie a komunikačné technológie. Táto
platforma má za cieľ dosiahnuť stálu dostupnosť energií, udržateľnosť
energie, ochranu životného prostredia, prevenciu pred veľkými
zlyhaniami (výpadkami), ako aj optimalizovať prevádzkové náklady
spojené s produkciou a distribúciou energie.
• Výhody inteligentných meračov:
1. Automatické zbieranie dát. Už nie je potrebné manuálne
zapisovanie hodnôt z meračov.
2. Povoľuje vytváranie dynamických taríf (faktúr), ktoré sa
menia počas dňa. Tento prístup môže znížiť výrazne
spotrebu elektrickej energie počas špičiek.
8

10. Slovenské dáta
• Počet OOM je 21502. Z toho 11281 sú fajn. Podniky.
• Časový interval meraní: 01.07.2011 – 14.05.2015. No nie každé OOM má
dáta z celého intervalu. Prevažne až od 01.07.2013.
Írske dáta:
• Počet OOM je 6435. Z toho 3639 sú rezidencie. Dotazníky.
• Časový interval: 14.7.2009 – 31.12.2010. 30-min. merania (48 denne).
9

11. Smart meter dáta
OOM_ID DIAGRAM_ID CAS MNOZSTVO DRUH_MERANIA DATUM PSC
1: 11 202004 −45 4.598 O 01/01/2014 4013
2: 11 202004 195 4.087 O 01/01/2014 4013
3: 11 202004 −30 5.108 O 01/01/2014 4013
4: 11 202004 345 4.598 O 01/01/2014 4013
5: 11 202004 825 2.554 O 01/01/2014 4013
6: 11 202004 870 2.554 O 01/01/2014 4013
41312836: 20970 14922842 90 18.783 O 14/02/2015 4011
41312837: 20970 14922842 75 20.581 O 14/02/2015 4011
41312838: 20970 14922842 60 18.583 O 14/02/2015 4011
41312839: 20970 14922842 45 18.983 O 14/02/2015 4011
41312840: 20970 14922842 30 17.384 O 14/02/2015 4011
41312841: 20970 14922842 15 18.583 O 14/02/2015 4011 10

12. Slovenské OOM 1
11

13. Slovenské OOM 2
12

14. Suma rok Bratislava
13

15. Írske OOM
14

16. Suma rok Írsko
15

17. Krátkodobá predikcia
• Predikcia časového radu (predpoveď - forecast) na 1 deň
dopredu (96 resp. 48 meraní).
• Silná časová závislosť. Sezónnosti (denné, týždenné,
ročné). Sviatky. Počasie.
• Presnosť predikcie (v %) - MAPE (Mean Absolute
Percentage Error).
MAPE = 100 ×
1
n
n∑
t=1
|xt − ˆxt|
xt
16

18. Metódy predikcie časových radov
Analýza časových radov
ARIMA, Holt-Winters exponenciálne vyhladzovanie, dekompozície č.r.
Lineárna regresia
Viacnásobná lineárna regresia, robustná LR, GAM (Generalized
Additive Model).
Umelo inteligentné (machine learning)
• Neurónové siete.
• Support Vector Regression (podporné vektory, oporné body).
• Regresné stromy a lesy.
Ensemble learning
Lineárna kombinácia predikcií.
17

19. Analýza časových radov
• Nie sú veľmi vhodné pri viacnásobných sezónnostiach.
• Riešenie: Vytváranie separátnych modelov pre rôzne dni
v týždni.
• Riešenie: Double-seasonal Holt-Winters (DSHW).
18

20. Analýza časových radov
• Riešenie: Dekompozícia časového radu na tri zložky - sezónna,
trend, zostatok (šum).
• Rôzne metódy. STL dekompozícia (seasonal decomposition of
time series by loess).
19

21. Regresné metódy
• MLR (OLS), RLM (M-estimate), SVR.
• Dummy (binárne) premenné.
Tabuľka 1: Matica plánu
Load V1 V2 V3 V4 V5 V6 V7 V8 V9 … W1 W2 …
1: 0.402 1 0 0 0 0 0 0 0 0 1 0
2: 0.503 0 1 0 0 0 0 0 0 0 1 0
3: 0.338 0 0 1 0 0 0 0 0 0 1 0
4: 0.337 0 0 0 1 0 0 0 0 0 1 0
5: 0.340 0 0 0 0 1 0 0 0 0 1 0
6: 0.340 0 0 0 0 0 1 0 0 0 1 0
7: 0.340 0 0 0 0 0 0 1 0 0 1 0
8: 0.338 0 0 0 0 0 0 0 1 0 1 0
9: 0.339 0 0 0 0 0 0 0 0 1 1 0
...
...
...
...
20

22. Regresné stromy a lesy
• Dummy premenné nie sú vhodné.
• RPART, Extremely Randomized Trees, Bagging.
Denný a týždenný sezónny vektor:
Day = (1, 2, . . . , seas, 1, 2, . . . , seas, . . . )
Week = (1, 1, . . . , 1, 2, 2, . . . , 2, . . . , 7, 1, 1, . . . ),
kde seas je perióda (48 resp. 96).
21

23. Regresné lesy
• Extreme Gradient Boosting (xgboost), Random Forest.
Denný a týždenný sezónny vektor vo forme sínusu a kosínusu:
Day = (1, 2, . . . , seas, 1, 2, . . . , seas, . . . )
Week = (1, 1, . . . , 1, 2, 2, . . . , 2, . . . , 7, 1, 1, . . . )
sin(2π Day
seas ) + 1
2
resp.
cos(2π Day
seas ) + 1
2
sin(2πWeek
7 ) + 1
2
resp.
cos(2πWeek
7 ) + 1
2
,
kde seas je perióda (48 resp. 96).
• Odšumená spotreba oneskorená (lag) o jeden deň.
22

24. Neurónové siete
• Dopredné, rekurentné, viacvrstvový perceptrón (MLP),
hlboké.
• Spotreba oneskorená o jeden týždeň. Odšumená
spotreba.
• Model pre rôzne dni.
• Sínus a kosínus.
23

25. Ensemble learning
• Nevieme určiť, ktorý model je najlepší. Pretrénovanie
(overfitting).
• Učenie súboru metód. Váhovanie modelov ⇒ lineárna
kombinácia.
• Adaptácia váh predikčných metód na základe chyby predikcie -
mediánové váhovanie.
et
j = median(| xt
− ˆx
t
j |)
wt+1
j = wt
j
median(et
)
et
j
Trénovacia množina – pridávanie a zabúdanie dát. Posuvné okno.
24

26. Ensemble learning
• Inkrementálno-heterogénny ensemble model.
• Zlepšenie o 8 − 12%.
• Váhovanie metód – optimalizačná úloha.
Genetický algoritmus, PSO a iné.
• Zlepšenie o 5, 5%.
25

27. Vytváranie predikovateľnejších skupín odberateľov
Analýza zhlukov! Cluster Analysis!
• Bez učiteľa. Unsupervised learning.
• Úlohou analýzy zhlukov je zoskupiť sadu objektov v takom
zmysle, že objekty v rovnakej skupine (zhluk) sú si viac
podobné ako tie, ktoré sú v iných skupinách (zhlukoch).
26

28. Analýza zhlukov v inteligentných sieťach
• Pohotovostná analýza. Takáto analýza sa snaží produkovať
detekcie a reakcie k neočakávaným problémom.
Monitorovanie vývoja zhluku uzlov (inteligentných
meračov) môže pomôcť odhaľovať náhle zmeny v dopyte
a ponuke.
• Vytvorenie nevychýlených vzoriek (profilov) z populácie.
Typové diagramy.
• Identifikácia charakteristík, ktoré najviac korelujú
so správaním sa používania elektrickej energie.
• V neposlednom rade vylepšenie predikčných metód a tým
pádom zníženie chybovosti predikcie spotreby elektrickej
energie.
27

29. 1 PSČ

30. Analýza zhlukov
Veľa rôznych metód:
Ťažiskové
K-means, K-medoids, CLARA.
Pravdepodobnostné
EM.
Založené na hustote
DBSCAN, OPTICS.
Hierarchické
Single-linkage, CURE.
Vysoká dimenzionalita dát - č.r.
29

31. Zhlukovanie OOM
Riešenia:
1. Prispôsobiť dáta na niektorý známy algoritmus.
2. Vytvoriť nový algoritmus.
3. Nerobiť nič a dúfať, že to aj tak pomôže.
Môj výber:
K-means + návrh vhodných reprezentácií časových radov.
30

32. K-means
Euklidova vzdialenosť. Centroidy (Ťažiská).
K-means++ - careful seeding of centroids.
31

33. Nájdenie optimálneho K
Manuálne nastavenie počtu zhlukov. Pomocou internej
validácie. Davies-Bouldin index.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
123 90 139 477 11 468 263 184 94 136 765 224 195 55 81 82 160 90 2
32

35. Reprezentácie časových radov
34

36. Reprezentácie časových radov
Prečo reprezentácie?
1. Znižujú pamäťové zaťaženie.
2. Zrýchľujú následné algoritmy strojového učenia.
3. Implicitne odstraňujú šum z dát.
4. Zvýrazňujú základné charakteristiky dát.
35

37. Predspracovanie
Normalizácia časových radov - odberateľov.
Najlepšia možnosť je použiť z-skóre:
x − µ
σ
Alternatíva:
x
max(x)
Normalizovanie spotreby ⇒ zhlukovanie podobných priebehov
(kriviek) ⇒ presnejšia predikcia.
36

38. Metódy reprezentácie časových radov
PAA - Piecewise Aggregate Approximation. Non data adaptive.
n -> d. ˆX = (ˆx1, . . . ,ˆxd).
ˆxi =
d
n
(n/d)i
∑
j=(n/d)(i−1)+1
xj.
Nie len priemer. Medián, smerodajná odchýlka, maximum.
37

39. Metódy reprezentácie časových radov
PLA - Piecewise Linear Approximation.
Dátovo adaptívna (data adaptive) metóda.
38

40. Späť k modelom a hlavne k regresiám
• Reprezentácie založené na štatistickom modeli (model
based).
• Extrakcia regresných koeficientov ⇒ vytváranie denných
profilov.
• Vytvorenie reprezentácie dlhej, ako je perióda sezónneho
č.r.
xi = β1ui1 + β2ui2 + · · · + βseasuiseas + εi
Nová reprezentácia: β = (β1, . . . , βseas).
39

41. Čo sa dá všetko použiť
Metódy:
• Viacnásobná lineárna regresia. Robustná regresia,
L1-regresia.
• Odhad reg. koeficientov pomocou stochastic gradient
descent (SGD).
• Generalized additive model (GAM). Nemýliť s GLM. Splajny
- vyhladzovacie funkcie. Cyclic cubic regression spline.
• Trojité Holt-Winters exponenciálne vyhladzovanie.
• Priemerné alebo mediánové denné profily.
40

42. Porovnanie
41

43. Porovnanie
42

44. Clipping - bit level reprezentácia
Data dictated.
ˆxt =
{
1 if xt > µ
0 otherwise
43

45. Clipping - RLE
RLE - Run Length Encoding. Sliding window - jeden deň.
0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 0 1 0 1 0 1 0 1 0 1 0 1 0 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0
6 1 12 7 2 1 1 10 2 6 20 7 2 2 1 1 5 1 7 1 1 4 1 15 3 13 1 2 1 3 1 2 1 1 3 1 5 1 6 1 6 4 5 1 3 3 3 1 2 1 2
1 7 1 10 6 7 2 1 1 1 1 3 1 1 1 1 1 1 1 4 1 3 1 1
44

46. Clipping - finálna reprezentácia
1 7 1 10 6 7 2 1 1 1 1 3 1 1 1 1 1 1 1 4 1 3 1 1
Extrahovanie vlastností - priemer, maximum …
45

47. Postup
1. Časové rady
2. Normalizácia (z-skóre)
3. Výpočet reprezentácií č.r. (PLA, RLM, …)
4. Nájdenie optimálneho počtu zhlukov K (DB-index)
5. Zhlukovanie reprezentácií
6. Sumácia K časových radov podľa nájdených zhlukov
7. Natrénovanie K predikčných modelov a následná predikcia
8. Sumácia predikcií
46

48. Výsledky
Statická dátová množina
Jedno zhlukovanie → predikcia s posuvným oknom.
Írske. PLA, RLM, HW - 4.55% → okolo 3.917% MAPE.
Slovenské. Median, HW, HW-auto - 2.87% → okolo 2.716% MAPE.
STL + EXP, STL + ARIMA, SVR. Porovnanie 13 reprezentácií.
Po dávkach
Dávkové zhlukovanie → predikcia s posuvným oknom (14 dní).
Írske. RLM, Median, GAM. Porovnanie 10 predikčných metód.
Signifikantné zlepšenie u DSHW, STL + ARIMA, STL + ETS, SVR,
RandomForest, Bagging a MLP.
Najlepší výsledok: Bagging s GAM 3.68% oproti 3.82% MAPE.
47

49. Inteligentné siete ⇒ Prúdy údajov ⇒
Dolovanie údajov ⇒ Analýza zhlukov prúdov
údajov
47
0 100 200 300 400
0
200
400
600
800
1000
Cas
Spotreba(kW)

50. Zhrnutie
• Presnejšia predikcia spotreby elektrickej energie je
dôležitá.
• Riešenie: Vytváranie inteligentných sietí, inštalácia
inteligentných meračov.
• Predikčné metódy - rôzne metódy chcú rôzny prístup.
• Zhlukovanie OOM → spresňovanie predikcie.
• Budúce smerovanie práce: zhlukovanie prúdov údajov
(clustering data stream).
48