基於強化學習的含電動汽車虛擬電廠優化調度與應用

hth下载地址 陳聰

摘要:大量電動汽車(EV)用戶的無序充電可能造成電網負荷劇烈波動,危及電網的安全穩定。隨著EV入網(V2C)技術的應用,將EV充電站及其周邊的分布式新能源發電聚合為(wei) 虛擬電廠(VPP)後進行優(you) 化調度,有助於(yu) 改善EV用戶充放電的經濟性及滿意度,同時提高分布式新能源的利用率,平抑電網負荷波動,但EV充電站的整體(ti) 充放電負荷是大量個(ge) 體(ti) EV用戶隨機行為(wei) 的聚合,難以用數學模型精確描述。針對包含EV的VPP,提出一種基於(yu) 深度強化學習(xi) 的交互式調度框架,以*大化VPP內(nei) EV用戶的總效益。VPP控製中心作為(wei) 智能體(ti) 決(jue) 策EV個(ge) 體(ti) 的充放電動作,無需掌握個(ge) 體(ti) 詳細模型,而是通過與(yu) 區域電網環境的交互,不斷學習(xi) 和更新動作策略,從(cong) 而克服集中式優(you) 化方法的局限性。該優(you) 化調度框架采用深度確定性策略梯度(DDPG)算法進行求解。仿真結果表明,與(yu) 集中式優(you) 化方法相比,該優(you) 化算法提高了各EV用戶的效益,並使EV充放電負荷與(yu) 分布式新能源發電協調配合實現削峰填穀，改善了VPP的整體(ti) 運行性能。

關(guan) 鍵詞:虛擬電廠;電動汽車;V2G;分布式新能源;深度確定性策略梯度算法;優(you) 化調度;強化學習(xi)

一、引言

大量電動汽車(Electric Vehicle,EV)的無序充電不僅(jin) 會(hui) 影響電網的安全穩定運行,而且會(hui) 給用戶造成經濟損失。事實上,EV充電負荷不僅(jin) 具有較大的調節彈性,而且可以基於(yu) E人網(Vehicle toGrid,V2G)技術實現發電和用電側(ce) 的角色轉換,具備很大的優(you) 化調度潛力。通過搭建虛擬電廠(Virtual Power Plant,VPP)整合區域配電網中的EV充放電負荷及分布式新能源發電資源,合理引導EV用戶的充放電行為(wei) ,不但可以降低EV車主的充電費用,提高充電需求滿足程度,同時可使EV充放電負荷與(yu) 分布式新能源發電協調配合,提高新能源利用率,平抑 VPP整體(ti) 負荷的波動。VPP是電力係統中智能配電網運行的重要技術,通過創建一個(ge) VPP控製中心,可以將配電網中的EV充放電負荷與(yu) 分布式新能源聚合為(wei) 一個(ge) 整體(ti) 參與(yu) 電網運行,更好地發掘EV充放電負荷與(yu) 分布式新能源的價(jia) 值和效益。

然而,在上述包含EV充放電負荷及分布式新能源的VPP中,EV充電站的總負荷特性是大量個(ge) 體(ti) EV用戶隨機充放電行為(wei) 的聚合,難以對其進行精確的數學建模和準確預測,這給傳(chuan) 統的基於(yu) 負荷預測進行優(you) 化計算的集中式調度模式帶來了挑戰。解決(jue) 這一難點的一種有效途徑是采用基於(yu) 強化學習(xi) (Reinforcement Leaming,RL)方法的交互式優(you) 化調度模式。該模式中,VPP控製中心作為(wei) 智能體(ti) ,包含EV個(ge) 體(ti) 用戶及分布式新能源的區域電網為(wei) 智能體(ti) 所在的環境。VPP控製中心在不掌握EV個(ge) 體(ti) 用戶詳細模型的情況下給出EV個(ge) 體(ti) 的充放電動作決(jue) 策,並通過與(yu) 區域電網的交互評估當前決(jue) 策的性能,不斷學習(xi) 和更新動作策略,直至得到令人滿意的優(you) 化決(jue) 策。基於(yu) 智能體(ti) 與(yu) 環境之間信息交互的RL方法可以在缺乏精確數學模型的情況下模擬順序決(jue) 策問題並獲得對環境的精準響應。這種基於(yu) R的交互式調度模式克服了傳(chuan) 統集中式調度的局限性,有望在 VPP 優(you) 化調度中得到應用。

二、含 EV的 VPP 優(you) 化調度模型

考慮一個(ge) VPP,其中包含EV充電站及分布式新能源發電2類對象。對該VPP在T=24h範圍內(nei) 進行優(you) 化調度,時間段表示為(wei) t=,決(jue) 策間隔Δt=1 h。

假設 VPP中充電站內(nei) 有足夠多的充電樁,在T時間範圍內(nei) 共有I輛EV隨機進入充電站,每輛EV進站後即連接到充電樁變為(wei) 上線狀態;當EV的電池荷電狀態(State of Charge,S0C)達到充電上限後即自動斷開充電樁連接,變為(wei) 離線狀態。第i輛E在充電站內(nei) 的在線時段表示為(wei) 集合T_i^on={t_i^on,…,t_i^out},其中t_i^on和t_i^out分別為(wei) 上線和離線時間。VPP控製中心作為(wei) 智能體(ti) ,在T_i^on時段內(nei) 可以通過對充電樁的智能控製,決(jue) 策第i輛EV的充放電功率，而在其他時段該EV不進行任何充放電行為(wei) 。

VPP中的分布式新能源發電資源由若幹分布式風機單元和分布式光伏板單元組成,VPP控製中心在分布式發電資源的可發電功率範圍內(nei) 決(jue) 策其實際出力。

三、基於(yu) RL的VPP優(you) 化調度方法

傳(chuan) 統的集中調度模式難以對EV個(ge) 體(ti) 用戶充放電負荷做出精確預測,因此,本節基於(yu) 方法,提出一種交互式的 VPP優(you) 化調度框架。VPP控製中心作為(wei) 一個(ge) 智能體(ti) ,不需要事先掌握EV個(ge) 體(ti) 用戶及分布式新能源的精確模型及負荷預測,而是通過充電樁與(yu) EV個(ge) 體(ti) 用戶交互,即下發充放電動作和獲取用戶獎勵值,經R逐步得到令人滿意的調度策略。

RL是一個(ge) 包含(S,A,P,R,γ)5個(ge) 元素的馬爾可夫決(jue) 策過程,其中:S為(wei) 智能體(ti) 的狀態空間;A為(wei) 智能體(ti) 的動作空間;P為(wei) 狀態轉移概率;R為(wei) 獎勵函數;γ為(wei) 折扣因子。本文建立的 VPP優(you) 化調度模型可描述為(wei) 圖1所示的 RL框架,其中VPP控製中心為(wei) 智能體(ti) (Agent),VPP區域電網為(wei) 環境(Environment),包括狀態(State)、動作(Action)和獎勵(Reward)三大要素。

圖1 用於(yu) VPP優(you) 化調度的RL框架

四、解決(jue) 方案

圖2 平台結構圖

充電運營管理平台是基於(yu) 物聯網和大數據技術的充電設施管理係統，可以實現對充電樁的監控、調度和管理，提高充電樁的利用率和充電效率，提升用戶的充電體(ti) 驗和服務質量。用戶可以通過APP或小程序提前預約充電，避免在充電站排隊等待的情況，同時也能為(wei) 充電站提供更準確的充電需求數據，方便後續的調度和管理。通過平台可對充電樁的功率、電壓、電流等參數進行實時監控，及時發現和處理充電樁故障和異常情況對充電樁的功率進行控製和管理，確保充電樁在合理的功率範圍內(nei) 充電，避免對電網造成過大的負荷。

五、hth下载地址充電樁雲(yun) 平台具體(ti) 的功能

平台除了對充電樁的監控外，還對充電站的光伏發電係統、儲(chu) 能係統以及供電係統進行集中監控和統一協調管理，提高充電站的運行可靠性，降低運營成本，平台係統架構如圖3所示。

圖3 充電樁運營管理平台係統架構

大屏顯示：展示充電站設備統計、使用率排行、運營統計圖表、節碳量統計等數據。

圖4 大屏展示界麵

站點監控：顯示設備實時狀態、設備列表、設備日誌、設備狀態統計等功能。

圖5 站點監控界麵

設備監控：顯示設備實時信息、配套設備狀態、設備實時曲線、關(guan) 聯訂單信息、充電功率曲線等。

圖6 設備監控界麵

運營趨勢統計：顯示運營信息查詢、站點對比曲線、日月年報表、站點對比列表等功能。

圖7 運營趨勢界麵

收益查詢：提供收益匯總、實際收益報表、收益變化曲線、支付方式占比等功能。

圖8 收益查詢界麵

故障分析：提供故障匯總、故障狀態餅圖、故障趨勢分析、故障類型餅圖等功能。

圖9 故障分析界麵

訂單記錄：提供實時/曆史訂單查詢、訂單終止、訂單詳情、訂單導出、運營商應收信息、充電明細、交易流水查詢、充值餘(yu) 額明細等功能。

圖10 訂單查詢界麵

六、產(chan) 品選型

hth下载地址為(wei) 廣大用戶提供慢充和快充兩(liang) 種充電方式，便攜式、壁掛式、落地式等多種類型的充電樁，包含智能7kw/21kw交流充電樁，30kw直流充電樁，60kw/80kw/120kw/180kw直流一體(ti) 式充電樁來滿足新能源汽車行業(ye) 快速、經濟、智能運營管理的市場需求。實現對動力電池快速、高效、安全、合理的電量補給，同時為(wei) 提高公共充電樁的效率和實用性，具有有智能監測：充電樁智能控製器對充電樁具備測量、控製與(yu) 保護的功能；智能計量：輸出配置智能電能表，進行充電計量，具備完善的通信功能；雲(yun) 平台：具備連接雲(yun) 平台的功能，可以實現實時監控，財務報表分析等等；遠程升級：具備完善的通訊功能，可遠程對設備軟件進行升級；保護功能：具備防雷保護、過載保護、短路保護，漏電保護和接地保護等功能；適配車型：滿足國標充電接口，適配所有符合國標的電動汽車，適應不同車型的不同功率。下麵是具體(ti) 產(chan) 品的型號和技術參數。

七、現場圖片

八、結論

本文基於(yu) R框架,研究了含EV充放電負荷與(yu) 分布式新能源發電的 VPP優(you) 化調度問題,以*大化VPP 運行總效益為(wei) 目標。針對上述VPP,提出了基於(yu) R的交互式調度框架。交互式調度幫助EV用戶實現了較低的充電費用和較高的充電滿意度。後續會(hui) 對電價(jia) 動態變化機製下含EV充放電負荷的 VPP優(you) 化調度問題進行研究,將在 VPP 中加入儲(chu) 能單元,與(yu) EV充放電負荷和分布式新能源發電配合,進一步改善 VPP運行性能。