Hướng tới hệ thống năng lượng lai AC / DC không phát xạ với các nguồn và lưu trữ

năng lượng tái tạo: Nghiên cứu thực tế từ khu vực hồ Baikal
Tóm lược
Phát triển du lịch ở các khu vực dễ bị tổn thương về mặt sinh thái như khu vực hồ
Baikal ở Đông Siberia là một vấn đề đầy thách thức. Để giải quyết vấn đề đó, các mô
hình động của hệ thống điện cách ly lai AC / DC bao gồm bốn lưới điện với các đơn vị
phát điện tái tạo và hệ thống lưu trữ năng lượng được đề xuất sử dụng các phương pháp
tiên tiến như học tăng cường sâu và phương trình tích phân. Đầu tiên, tiềm năng bức xạ
gió và mặt trời của một số địa điểm trên bờ hồ Baikal được phân tích về mặt truyền tải
điện như là tác động của điều kiện khí hậu. Các thành phần hệ thống lưu trữ năng lượng
được hỗ trợ tối ưu trong chế độ trực tuyến. Cách tiếp cận được chứng minh bằng cách sử
dụng các bộ dữ liệu khí tượng hồi cứu. Các công thức sẽ cho phép chúng tôi phát triển
một số gợi ý có giá trị liên quan đến việc kiểm soát tối ưu một số hệ thống điện hỗn hợp
AC / DC tự động với các cấu trúc, thành phần thiết bị khác nhau và loại dòng điện AC
hoặc DC. Phương pháp phát triển cung cấp thông tin có giá trị ở các giai đoạn khác nhau
trong quá trình phát triển các dự án hệ thống điện hỗn hợp AC / DC với các hệ thống phát
điện gió mặt trời lai độc lập.
Từ khóa: hệ thống điện hybrid AC / DC ; tối ưu hóa ngẫu nhiên ; nguồn năng lượng
tái tạo ; dự báo ; học máy ; Mô hình Volterra
1. Giới thiệu
Trong một phần tư thế kỷ qua, một số lượng lớn các nghiên cứu liên ngành đã tập
trung vào các nguồn tái tạo (renewable sources -RES) và tích hợp hệ thống lưu trữ năng
lượng (energy storage systems -ESS) trong cả hệ thống điện hybrid AC / DC tập trung và
tự điều khiển/ tự động. Công suất lắp đặt của các nguồn năng lượng tái tạo, bao gồm ánh
sáng mặt trời, gió, mưa, thủy triều, sóng và nhiệt địa nhiệt, đạt 2011,33 GW theo thống
kê của Cơ quan Năng lượng tái tạo quốc tế. Hơn nữa, trong mười năm qua, tăng trưởng
đã lên tới hơn 50% (1015 GW) công suất lắp đặt [ 1 ]. Tỷ lệ các nguồn năng lượng tái tạo
trong cân bằng năng lượng toàn cầu sẽ tăng từ 30% đến 40% vào năm 2030 [ 2]. Một
trong những yếu tố chính phát triển hệ thống năng lượng thế giới là bảo vệ môi trường và
lo ngại về sự gia tăng dài hạn của nhiệt độ trung bình của sinh quyển Trái đất [ 3 ]. Hoạt
động của con người, đặc biệt là trong lĩnh vực năng lượng, gây ra sự gia tăng nồng độ
CO2 trong khí quyển. Những thách thức này đang thúc đẩy cộng đồng toàn cầu vạch ra lộ
trình giảm CO 2 bao gồm các thỏa thuận môi trường quốc tế, các chương trình đầu tư và
các quy định kích thích sự phát triển năng lượng sạch toàn cầu. Nghị định thư Kyoto và
20 năm sau Thỏa thuận Paris là chất xúc tác chính cho sự phát triển năng lượng tái tạo
trên thế giới [ 4 , 5]. Hơn nữa, nhiều quốc gia đang phát triển các chương trình riêng hỗ
trợ phát triển bền vững và tích hợp RES: chứng chỉ xanh, kết nối miễn phí với hệ thống
năng lượng, bồi thường cho kết nối công nghệ, giá được đảm bảo và mua năng lượng sản
xuất, lợi ích về thuế và các ưu đãi khác [ 6 , 7 , 8 ].
 Việc triển khai các hệ thống hybrid với dòng điện xoay chiều và dòng điện xoay chiều
cô lập, bao gồm cả microgrids (MG), có thể tạo ra lợi thế đáng kể trong ngành điện, vì nó
tránh được các chi phí cung cấp điện khác nhau khi sử dụng các công nghệ năng lượng
sạch. Các lưới này giải quyết các vấn đề cụ thể như giảm chi phí, giảm phát thải CO 2 ,
độ tin cậy và đa dạng hóa nguồn năng lượng. Khi điện trở nên được tạo ra nhiều hơn
thông qua các nguồn năng lượng phân tán (distributed energy resources -DER), các cấu
trúc mạng như vậy cung cấp một cách để cải thiện độ tin cậy, khả năng phục hồi và bảo
mật của lưới điện địa phương. Bằng cách tổng hợp các nguồn phân tán khác nhau, các hệ
thống hybrid AC / DC bị cô lập và MG được coi là sự bổ sung mạnh mẽ cho các hệ thống
điện phân phối và truyền tải điện tập trung [ 9 ].
Hơn nữa, các mạng hybrid tách biệt là một công cụ năng lượng lý tưởng để tích hợp
nguồn tái tạo vào lưới phân phối địa phương và cho phép người tiêu dùng tham gia vào
một doanh nghiệp năng lượng. Làng, thị trấn và thành phố có thể đáp ứng nhu cầu năng
lượng của họ tại địa phương dựa trên khái niệm về lưới phân phối MG hoặc đa MG. Càng
ngày, lưới phân phối của MG và các hệ thống hybrid AC / DC cô lập phát triển mạnh
mẽ , đang được coi là một lựa chọn ngay cả ở những khu vực có lưới điện lớn hơn, chủ
yếu như một cách để tăng tính độc lập, khả năng phục hồi và linh hoạt cho nguồn năng
lượng địa phương. Các hệ thống như vậy làm cho điện của lưới phân phối đáng tin cậy
hơn và thân thiện với môi trường. Các hệ thống khác phục vụ các cơ sở quan trọng như
phòng cháy chữa cháy, cảnh sát và xử lý nước. Những cái thứ ba được xây dựng cho khu
vực hẻo lánh (tiền đồn, làng bị cô lập, trại hè) mà nếu không có thể phải đối mặt với việc
thiếu khả năng tiếp cận nguồn cung cấp điện đáng tin cậy.
Nga, là quốc gia lớn nhất thế giới nằm ở vĩ độ trung bình và cao, phải đối mặt với
nhiều bất thường về thời tiết và khí hậu liên quan đến biến đổi khí hậu toàn cầu. Cần lưu
ý rằng sự nóng lên của môi trường ở Siberia đã vượt qua các ước tính về sự ấm lên ở nơi
khác [ 10]. Đông Siberia có khí hậu lục địa sắc nét: nhiệt độ trung bình của những tháng
lạnh nhất và ấm nhất thay đổi tới 65 ° C, khiến thiên nhiên độc đáo của nó đặc biệt nhạy
cảm với những thay đổi khí hậu gần đây. Nhiều hệ thống điện từ xa và biệt lập ở Đông
Siberia từ 100 kW (microgrids) đến 20 meg30 megawatt (lưới điện AC / DC), hiện đang
được cung cấp bởi thế hệ diesel và một số được cung cấp bởi gió và mặt trời. Mặc dù
nhiên liệu diesel tốn nhiều năng lượng và cung cấp điện theo yêu cầu, nhưng nó tạo ra
các vấn đề về vận hành và hậu cần. Vận chuyển diesel rất phức tạp, tốn kém và thường
đòi hỏi khối lượng lưu trữ lớn [ 11]. Ví dụ, nhiều cộng đồng xa xôi ở Yakutia phụ thuộc
vào một số nguồn cung cấp nhiên liệu bán buôn mỗi năm, có thể bị gián đoạn trong chuỗi
cung ứng và biến động giá nhiên liệu. Các khu nghỉ mát từ xa trong khu vực Baikal, có
phạm vi bao phủ phổ từ vài kilowatt đến megawatt, có nhu cầu năng lượng điện tương
đương với các ngôi làng xa xôi.
Hồ Baikal là hồ nước ngọt lớn nhất thế giới. Hồ và môi trường của nó đã được
UNESCO công nhận là Di sản Thế giới do hệ sinh thái độc đáo của chúng. Vùng Baikal
đang phát triển một khu nghỉ dưỡng sinh thái và một số trong số đó là từ xa. Cần lưu ý
rằng các khu nghỉ dưỡng sinh thái quan tâm đến việc cung cấp các tiện nghi mà khách du
lịch mong đợi và, giống như các cộng đồng biệt lập, hỗ trợ càng nhiều khu vực xanh càng
tốt để giảm hoặc thay thế sản xuất điện diesel.
Bảo tồn thiên nhiên phát triển du lịch sinh thái là một thách thức lớn cần sự phối hợp
thông minh của các doanh nghiệp du lịch, kiểm soát của chính phủ và các công ty tiện
ích. Năng lượng mặt trời, gió và địa nhiệt đều sạch, RES, với công suất lắp đặt chắc chắn
và tiềm năng lớn về sản xuất điện. Ba nhà máy điện mặt trời với tổng công suất 50 MW
đã được ra mắt gần đây tại khu vực Buryatia của hồ. Cuối cùng, nhiệm vụ quan trọng đối
với khu vực hồ Baikal là lập kế hoạch kết nối cộng đồng của các MG hoặc hệ thống điện
AC / DC bị cô lập với RES và ESS. Các hệ thống lưới như vậy hợp nhất với một cộng
đồng duy nhất phục vụ các khu vực giải trí có thể nằm ở khoảng cách rất xa nhau.
1.1. Thực tế liên quan
Hệ thống điện hybrid AC / DC có thể đáp ứng tối ưu các thành phần và tài nguyên của
lưới điện thông minh trong tương lai, bao gồm nguồn phân tán tái tạo, xe điện và ESS.
Nhiều nghiên cứu đã xem xét các lợi thế kinh tế và kỹ thuật của việc kết hợp nguồn DC
và AC trong các hệ thống phân phối. Trong [ 12 , 13 , 14 , 15 ], việc sử dụng nguồn DC
trong mạng phân phối đã cải thiện cấu hình thông lượng và điện áp của các bộ cấp nguồn
của hệ thống phân phối. Để có được lợi ích từ cả AC và DC, một hệ thống nguồn hybrid
AC / DC thông minh đã được đề xuất trong [ 13 ]. Hệ thống hybrid này đã giảm chi phí
cho các thiết bị pin được sử dụng với các nguồn năng lượng phân tán tái tạo. Trong
[ 15], sử dụng nguồn DC trong hệ thống phân phối dẫn đến thông lượng cao hơn và tổn
thất điện năng thấp hơn so với AC thuần.
Một số công trình gần đây [ 16 , 17 ] đã xem xét việc lập kế hoạch tối ưu cho các hệ
thống điện hybrid AC / DC nói chung. Ví dụ, một thuật toán được đề xuất trong [ 16 ] để
lập kế hoạch mở rộng các hệ thống truyền tải AC / DC lai có thể chọn kết hợp tối ưu các
đường truyền AC / DC từ một tập hợp các đối thủ được xác định trước. Trong trường hợp
này, mô hình có hai nhược điểm chính: (1) số lượng kịch bản cho giải pháp được xác
định trước; (2) tổn thất điện năng liên quan đến bộ chuyển đổi AC / DC và dòng DC
không được tính đến trong các tính toán. Những vấn đề này cố gắng khắc phục trong
[ 18], trong đó các tác giả đã đề xuất một mô hình lập kế hoạch ngẫu nhiên cho các hệ
thống phân phối hybrid AC / DC, có thể tìm thấy cấu hình hybrid AC / DC tối ưu của xe
buýt và đường trong hệ thống phân phối. Mục tiêu của mô hình lập kế hoạch là giảm
thiểu chi phí lắp đặt và vận hành hệ thống phân phối.
Hoạt động của nhiều loại hệ thống điện nhỏ gọn bị cô lập với công suất nhỏ được xem
xét trong các nghiên cứu gần đây (từ 10 kW đến 5 MW): AC, DC và microgrids hybrid
AC / DC . Đối với hoạt động kết nối lưới, một microgrid hybrid AC / DC bị cô lập có thể
được kết nối với mạng điện phân phối và các MG khác để tạo thành một cộng đồng MG [
19 ]. Công việc trước đây trên mạng lưới các MG chủ yếu tập trung vào hợp tác năng
lượng. Theo cách này, mỗi MG phối hợp các tài nguyên cục bộ của nó [ 20 , 21 , 22 , 23 ,
24 ] hoặc mạng điện phân phối [ 25 , 26 ], cũng như các MG khác [ 27 , 28 , 29 ,30 , 31 ].
 Gần đây, để quản lý tài nguyên địa phương của một MG, đã có các mô hình tối ưu hóa
ngẫu nhiên được đề xuất dựa trên việc học tăng cường sâu [ 21 - 24 ]. Các mô hình học
máy như vậy đã chứng minh tính hiệu quả và một số lợi thế nhất định như giảm độ phức
tạp tính toán của một vấn đề đa mục tiêu, giải quyết các vấn đề tối ưu hóa không lồi.
Trong [ 21 , 22] đã giới thiệu một kiến trúc mạng Q (DQN) sâu để giải quyết vấn đề vận
hành một MG bị cô lập trong môi trường DER ngẫu nhiên, bao gồm các hệ thống PV,
pin, kho hydro, máy phát điện diesel. Những cách tiếp cận này được minh họa bằng thực
nghiệm trong trường hợp các MG / DC MG bị cô lập ở Bỉ và Đông Siberia (Nga). Trong
[ 23 ], một phương pháp điều khiển trơn tru tối ưu trực tuyến dựa trên học tập được củng
cố được đề xuất cho ESS trong các MG AC / DC lai liên quan đến hệ thống PV và máy
phát điện diesel. Các tác giả đã sử dụng các mạng thần kinh để ước tính động lực học phi
tuyến của các hệ thống lưu trữ và để tìm hiểu đầu vào điều khiển tối ưu để dẫn đến một
điều khiển sạc và xả trơn tru cho ESS trong MG với các tham số hệ thống chưa biết.
Trong [ 24], các tác giả đã sử dụng thuật toán DQN để quản lý năng lượng MG có tính
đến tính chất ngẫu nhiên của dữ liệu đầu vào. Nó đã chỉ ra rằng thuật toán DQN được sử
dụng có thể chọn lịch biểu hiệu quả bằng cách sử dụng điều khiển sạc và xả ESS. Hiệu
suất của phương pháp DQN đã được đánh giá bằng cách sử dụng dữ liệu lưới điện thực tế
từ Nhà điều hành hệ thống độc lập California.
Để phối hợp giữa MG và mạng phân phối bên ngoài, [ 25 ] đã đề xuất một phương
pháp tối ưu hóa phân cấp để giải quyết các vấn đề tương tác giữa mạng điện phân phối và
MG. Trong [ 26 ], một mô hình hai cấp của MG được trình bày cho vấn đề tối ưu hóa. Sử
dụng tối ưu hóa dựa trên giao dịch giữa MG và mạng phân phối, mô hình này có thể giảm
tổn thất và cải thiện chất lượng điện áp. Về mặt hoạt động phối hợp của cộng đồng MG, [
27 ] đã đưa ra ý tưởng chia sẻ tài nguyên giữa cộng đồng MG để giảm hiệu quả lượng
điện mua từ mạng lưới tiện ích. Trong [ 28], tài liệu tham khảo đã trình bày một cách tiếp
cận mới cho hoạt động phối hợp của cộng đồng, được mô hình cấp hai ngẫu nhiên thu
được. Trong [ 29 ] các tác giả đã xem xét các thông tin và chiến lược phối hợp giữa cộng
đồng để giảm chi phí vận hành MG. Tuy nhiên, công việc này cho các MG cộng đồng
chủ yếu tập trung vào hợp tác năng lượng, trong khi hợp tác ở chế độ chờ hoặc khẩn cấp
không được xem xét để khắc phục công suất đầu ra DER không chắc chắn. Để giải quyết
những vấn đề này, mô hình lập kế hoạch dự trữ năng lượng và dự trữ dựa trên lý thuyết
trò chơi đã được đề xuất trong [ 30 ], điều này có thể đóng góp cho hoạt động tối ưu của
cộng đồng MG. Một cộng đồng về khái niệm toán tử MG đã được đề xuất trong [ 31].
Trong trường hợp này, hành động của người lập kế hoạch nhân từ trong quá trình phân
phối lại thu nhập và chi phí giữa các thành viên không cho phép quyết định của mỗi
thành viên trong cộng đồng trở nên tồi tệ hơn quyết định mà anh ta đạt được.
Mặc dù có nhiều công trình, vấn đề xác định các đặc tính kỹ thuật tối ưu cho mạng AC
/ DC trong cộng đồng MG hoặc lưới điện hybrid mạnh hơn, đặc biệt là nằm cách xa nhau,
vẫn là một vấn đề mở. Đây là chủ đề chính thúc đẩy sự đóng góp của bài viết này.
1.2. Đóng góp của bài viết
 Để giải quyết các vấn đề này, bài viết đề xuất một thuật toán mới để kiểm soát vận
hành và khẩn cấp hệ thống hybrid AC / DC kết hợp các lưới điện bị cô lập trong cộng
đồng, Hình 1 .

Hình 1. Hệ thống hybrid AC / DC

Đặc điểm chính của các hệ thống năng lượng được nghiên cứu là các lưới kết hợp
được đặt ở khoảng cách xa nhau và mạng kết nối chúng được tạo ra trên cơ sở đầu tư tối
thiểu. Về vấn đề này, để trao đổi năng lượng tối ưu giữa các hệ thống con, cần phải tính
đến các phương trình mạng.
Mạng đang được hình thành theo cá sau:
1. Công việc độc lập. Ở giai đoạn này các lưới được phân lập. Mỗi hệ thống con bao
gồm các yếu tố sau: tải; RES + lưu trữ và sản xuất diesel. Mục tiêu điều khiển cho mọi hệ
thống con là giảm thiểu chi phí cung cấp điện bằng phương pháp quản lý lưu trữ tối ưu,
tương ứng với việc giảm thiểu thời gian vận hành của máy phát điện diesel. Chi phí cung
cấp điện, cũng như lượng khí thải CO 2 là cao nhất cho công việc độc lập.
2. Hình thành lưới phân phối. Việc tích hợp các hệ thống con vào một mạng lưới
duy nhất chỉ có thể nếu có tính khả thi về kinh tế và kỹ thuật. Ví dụ, sự gần gũi của mạng
truyền dẫn, giảm chi phí điện so với sản xuất diesel, v.v ... Trong trường hợp này, sau khi
kết nối thông minh MG, chi phí cung cấp điện, cũng như lượng khí thải CO 2 sẽ giảm.
Trước đây , các mạng phân phối AC với cấu trúc xuyên tâm kết hợp lại tạo ra lưới điện
cách ly. Vì thế nên chúng không có khả năng tạo ra các vòng lặp dẫn đến tính linh hoạt
kiểm soát thấp. Ví dụ, không có khả năng trao đổi năng lượng giữa các hệ thống con
trong khoảng cách ngắn nhất với chi phí truyền tối thiểu.
Kết hợp các hệ thống con sử dụng cả dòng AC và DC mang lại những lợi thế đáng kể
sau. Các vòng mạch DC, kết hợp với sử dụng bộ biến tần, mở rộng đáng kể ranh giới điều
khiển. Do đó, trong tương lai, với sự phát triển của các công nghệ chuyển đổi và kiểm
soát, việc kết hợp AC / DC có thể mang lại nhiều lợi nhuận hơn.
Có thể phân biệt các nhiệm vụ sau đây của việc quản lý hệ thống nguồn AC / DC lai:
 1. Quy hoạch hệ thống AC / DC. Nhiệm vụ này tương đối mới và được nghiên cứu
ít. Do sự không chắc chắn về độ phức tạp của cấu trúc, sự hiện diện của RES và lưu trữ,
cũng như một số lượng lớn chủ sở hữu, việc lựa chọn các tiêu chí cụ thể để lập kế hoạch
tối ưu là khá phức tạp. Theo chúng tôi, thử nghiệm thành công nhất đã được thực hiện
như ở bài viết [ 18 ].
2. Điều khiển tối ưu hoạt động và kiểm soát khẩn cấp AC / DC đối với các điều kiện
bình thường và khẩn cấp đối với cấu trúc mạng nhất định.
Hơn nữa trong bài viết này, chúng tôi chỉ tập trung xem xét nhiệm vụ kiểm soát khẩn
cấp và vận hành tối ưu.
Bài viết được tổ chức như sau. Phần 2 mô tả các thuật toán điều khiển khẩn cấp và
vận hành hai cấp được đề xuất. Phần này cũng cung cấp một số mô tả ngắn gọn về mô
hình trạng thái ổn định cho mạng hybrid AC / DC . Phần 3 tập trung vào nghiên cứu
trường hợp. Phần này cũng cung cấp kết quả kiểm soát hoạt động của các cài đặt bộ
chuyển đổi trong một ngày mùa đông. Phần 4 là để kết luận và bổ sung thêm.
2. Phương pháp luận
Phần này cung cấp một mô tả cách thức của các phương pháp quản lý mạng hybrid
được đề xuất. Các thuật toán điều khiển khẩn cấp và vận hành hai cấp được mô tả tương
ứng trong Phần 2.1 và Mục 2.2 . Phần 2.3 mô tả ngắn gọn về mô hình trạng thái ổn định
cho mạng hybrid AC / DC .
2.1. Thuật toán điều khiển hoạt động của mạng lai
Dựa trên kinh nghiệm thực tế, quản lý vận hành phải đạt được sự cân bằng giữa hiệu
quả và dễ thực hiện kỹ thuật. Việc đưa vào một lượng thông tin dư thừa trong chu trình
kiểm soát có thể dẫn đến sự phức tạp đáng kể của thuật toán và / hoặc việc thực hiện kỹ
thuật của nó trái ngược với mục đích ban đầu là tăng tính hiệu quả. Trong khi đó cần phải
tối thiểu hóa các hoạt động điều khiển để việc thực hiện chúng trở nên dễ dàng và loại bỏ
các tín hiệu nhiễu. Dựa trên cơ sở đó, trong bài báo này, chúng tôi đề xuất một thuật toán
hai cấp để kiểm soát hoạt động tối ưu của mạng hybrid, bao gồm các cấp cục bộ và cấp
tập trung, xem Hình 2 .
 Hình 2. Hệ thống quản lý vận hành hai cấp.
Giả định rằng lưới điện địa phương tương lai được kết nối với lưới điện tập trung bên
ngoài và các hệ thống điện AC / DC độc lập có chứa hệ thống quản lý năng lượng thông
minh (EMS) riêng để quản lý năng lượng tối ưu. Trạng thái của cả nhu cầu tải và năng
lượng tái tạo ở từng nơi được xem xét trong mô hình EMS tập trung . Đầu vào của mô
hình này trình bày các chính sách quản lý tối ưu cho từng hệ thống điện lai AC / DC, góp
phần xây dựng hệ thống điện tiềm năng trong tương lai , với ý tưởng ban đầu dựa trên
việc sử dụng thuật toán DQN – nền tảng của EMS. Do đó, mỗi thành phần của hệ thống
điện có thể được hưởng lợi theo các hướng sau đây:
 phân bổ nguồn lực hiệu quả hơn, cho phép giao dịch năng lượng ở mức giá thuận
lợi hơn;
 dự phòng tổng hợp,
 giảm chi phí điện năng cao điểm.
2.1.1. Câp địa phương
Ở cấp độ địa phương, vấn đề tối ưu hóa ngẫu nhiên của điều khiển hệ thống lưu trữ
đang được giải quyết để giảm thiểu chi phí vận hành của mạng hybrid AC / DC độc
lập. Vấn đề tối ưu hóa được xây dựng như một quy trình quyết định Markov (MDP) để
xác định hiêu quả hoạt động (tối đa) tối ưu cho từng kịch bản riêng lẻ của cấu hình
mạng. Vận hành tối ưu lưới AC / DC hybrid được coi là một tác nhân tương tác với
chính môi trường của nó [ 30 ]. Ở mỗi bước thời gian, tác nhân quan sát một biến trạng
thái St, có một hành động at∈ A và chuyển sang trạng thái St+1,P~(St, at). Một tín hiệu
phần thưởng rt= ρ (St, at, St + 1) có liên quan đến quá trình chuyển đổi (St, at, St + 1), nơi
mà tập ρ : S× A × S→ R là hàm phần thưởng . Sau đó, chúng tôi xác định hàm giá trị
Qt(St, at) liên quan đến học hàm quy tắc π* được sử dụng để mô tả chất lượng của hành
động at trạng thái St và sau đó hành động tối ưu được xác định như sau:
Qt(St, at) = r (St, at) + ϒmin. Qt+1(St+1, at+1)  (1)
Trong đó r (St, at) ∈ R Hàm -revenues (nghĩa là hàm phần thưởng), xác định mỗi
chuyển đổi tạo ra kết quả hoạt động rt cho từng kịch bản riêng của cấu hình mạng.
Theo [ 21 ], mạng neural nhân tạo được sử dụng để ước tính Qt(St, at). Đối với mạng Q
ta sử dụng ký hiệu Q (St,a't;Θt) . Mạng lưới này cung cấp các đặc tính tổng quát hóa thích
nghi với các đầu vào cảm biến như chuỗi thời gian. Thuật toán này kết hợp thuật toán Q-
learning sử dụng các mạng nơ ron sâu để biểu diễn hàm Q tối ưu được gọi là DQN
[ 31 ]. Các tham số mạng nơ ron Θt có thể được cập nhật bằng cách sử dụng độ dốc ngẫu
nhiên bằng cách lấy mẫu các đợt chuyển đổi gấp bốn lần (St,at,ct,St + 1) và các tham
số Θt được cập nhật theo:
Θt+1 =Θt + α (YQ - Q (St,a't; Θ ) )∇Θt. .Q (st,a't; Θ )  (2)
α là một kích thước bước vô hướng được gọi là tỷ lệ học tập.
 Nhìn chung, lưới điện AC / DC lai không nối lưới và mục tiêu là tối đa hóa doanh thu
hoạt động. Chúng tôi đề xuất sử dụng khái niệm mô hình nhà máy điện ảo (VPP), dựa
trên đề xuất ý tưởng để tổng hợp nguồn phát phân tán DER của nhiều mạng AC / DC lai
để tạo một cấu hình hoạt động duy nhất và quản lý . VPP có thể điều phối tất cả các DER,
như một tác nhân duy nhất, để tích hợp chúng vào mạng mà không làm suy giảm tính ổn
định và độ tin cậy của mạng, thêm nhiều lợi thế và cơ hội sử dụng các nguồn điện khác
nhau cho người tiêu dùng, nhà đầu tư và các nhân viên điều hành lưới [ 32 ]. Điều này
làm cho VPP EMS trở thành một ý tưởng tốt để triển khai phương pháp tiếp cận dựa trên
thuật toán DQN ( Hình 3 ).

Hình 3. Sơ đồ tổng quát của lưới điện hybrid AC / DC có các nguồn năng lượng phân
tán (DER) liên quan đến các tùy chọn có thể bao gồm pin, kho hydro và các thiết bị đơn
vị diesel.
Mô hình VPP EMS dựa trên DQN chỉ có thể điều khiển dòng và nguồn phát không ổn
định (như là nguồn năng lượng tái tạo, PV …), cũng như nguồn tái tạo 24 giờ, 48 giờ
trước, dự báo cho lưới điện AC/DC lai. Nó cũng có thể truy cập vào trạng thái nạp xả của
các kho lưu trữ và công suất của máy phát điện điều khiển (đơn vị diesel). Kết quả là, nó
phải đưa ra quyết định cách sử dụng tối ưu các hệ thống lưu trữ và máy phát điện ổn
định. Như trong Hình 3 , VPP EMS chỉ có thể tạo ra các hành động điều khiển cho bộ
lưu trữ ảo và máy phát có thể điều khiển được trong khi các công suất của nguồn phát
không ổn định và tải chỉ là dữ liệu đầu vào của VPP EMS.
Chúng tôi xem xét các loại thiết bị lưu trữ khác nhau để có thể đáp ứng với các biến
động ngắn hạn và dài hạn trong sản xuất điện sử dụng năng lượng tái tạo. Các máy phát
điện, tức là thế hệ động cơ diesel, bù lại để thiết lập trạng thái cân bằng. Tùy thuộc vào
cấu hình của lưới điện hỗn hợp, quá tải số lượng nguồn phát không ổn định và dung
lượng trong bộ lưu trữ, thì có thể giảm số nguồn phát hoặc phải lưu trữ năng lượng trong
pin hydro / nhiên liệu.
 Hàm phần thưởng của hệ thống tương ứng với doanh thu hoạt động tức thời rt tại thời
điểm t ∈ T. Chúng tôi đã sử dụng 3 chỉ tiêu để định nghĩa về  hàm phần thưởng: công
suất phát điện Φt[ Wh ] ∈  R+, nhu cầu điện năng tiêu thụ dt[ Wh ] ∈R   và chỉ số cân
bằng năng lượng, δt[ Wh ] ∈ R trong lưới điện AC / DC cô lập: δt= -atB - atH2- atDG-
dt( Hình 3 ).
Từ chuỗi phần thưởng τt, chúng tôi nhận được doanh thu hoạt động qua năm y, được
xác định như sau: My =Σ(t ∈τy) rt với τy là tập hợp các khoảng thời gian thuộc về
năm y. Do đó, phương án tối ưu hóa lưới điện AC / DC lai được xác định bằng giá trị lớn
nhất của hàm My[ 33 ].
2.1.2. Cấp độ tập trung
Thuật toán cấp độ trung tâm nhằm các thiết kế các bộ biến tần Pinv  1, Pinv  2, … PinvN  để
giảm thiểu công suất tiêu thụ P ra thất thoát ra bên ngoài (tối thiểu P ). Do hạn chế, trong
bài viết này, chúng tôi đã tính đến các giá trị tối đa của công suất bộ biến tần, cũng như
sự sự tồn tại của công suất tiêu thụ AC / DC:
|Pi n v i | <Pi n v MAXi
0 = [ FAC, FDC] ,
Vơi Pi n v MAXi là công suất tối đa của biến tần thứ i ;|P i n v i | là giá trị tuyệt đối của công
suất biến tần thứ i ; Bất phương trình FAC -AC; Bất phương trình  FDC -DC. Xem Phần
2.3 để biết chi tiết. Như dữ liệu đầu vào, thuật toán tối ưu hóa nhận thông tin về cấu trúc
liên kết mạng, cũng như mức độ điện năng phát / tiêu thụ ở các nút AC và DC. Dữ liệu
đầu vào là cần thiết để ước tính trạng thái và giải quyết các vấn đề về công suất tiêu thụ
AC / DC. Thuật toán đề xuất đã phân phối lại công suất tiêu thụ giữa các hệ thống con để
giảm thiểu tổn thất. Ở mỗi chu kỳ điều khiển, các hệ thống con có thừa điện sẽ đáp ứng
nhu cầu của các hệ thống con bị thiếu. Trong trường hợp có sẵn, tổng công suất dư thừa
được chuyển sang mạng bên ngoài với tổn thất tối thiểu. Tổng công suất tác dụng bị thiếu
được bù bởi công suất lấy từ mạng bên ngoài với tổn thất tối thiểu.
Ưu điểm của thuật toán đề xuất là dễ thực hiện, có cấu trúc hai cấp. Cũng cần lưu ý
khả năng tính đến các phương trình mạng. Theo quy định, khi phân tích tổng hợp MG,
mạng điện hoàn toàn không được tính đến hoặc được tính đến ở dạng đơn giản. Tuy
nhiên, do giảm thiểu đầu tư vốn, cơ sở hạ tầng mạng có thể trở thành liên kết yếu nhất
hạn chế trao đổi năng lượng giữa các hệ thống con. Trong trường hợp này, việc bỏ qua
các phương trình mạng có thể dẫn đến các chế độ hoạt động không chấp nhận.
2.1.3. Mối quan hệ giữa các cấp địa phương và cấp tập trung
Quá trình xả điện của hệ thống lưu trữ có thể được mô tả bằng các mô hình tích phân
Volterra [ 34 ]. Tối ưu hóa hệ thống lưu trữ cần được phân biệt rõ ràng với mô hình hệ
thống lưu trữ. Mô hình mới nhất có thể thay thế bằng cách sử dụng tổng quát hóa mô
hình cân bằng Volterra được đề xuất gần đây [ 35 ].
Hãy để chúng tôi giới thiệu ngắn gọn về mô hình Volterra của hệ thống lưu trữ và xác
thực mô hình MDP bằng cách sử dụng phương pháp dựa trên các phương trình
Volterra. Các mô hình Volterra mô tả sự tiến hóa trạng thái hệ thống.Phương trình tích
phân ampere-giờ (vấn đề trực tiếp)
t

SOC( t ) = SOC( 0 ) +∫ i ( τ ) .η( ⋅ )  dτ
0

Bài viết [ 34 ] được coi là một vấn đề nghịch đảo liên quan đến việc dòng điện lưu trữ
tức thời i( τ ) với giả định mang giá trị dương khi dòng nạp và mang giá trị âm khi dòng
xả. Dưới đây η (·) là hiệu suất lưu trữ mà có thể là hàm của SOC. SOC có thể được biểu
thị bằng% và tính theo ampere -giờ (hoặc kWh). Phương trình tích phân Volterra là một
công cụ hữu ích để mô hình hóa lưu trữ
t

∫ K ( T , τ ) .x ( τ) dτ= f( t ) ,
0

nơi chức năng nguồn f( t ) và hạch K   ( T , τ) và x ( t ) là hàm mong muốn

Đối với mạng lưới MG có hệ thống lưu trữ, việc sử dụng hệ phương trình tích phân
Volterra sau đây với các hạch không liên tục (với các ràng buộc) kết hợp toán học ở một
nơi theo cấp độ địa phương và tập trung.

Với  ml à số lưới; hàm αj( t ) hiển thị tỷ lệ các đơn vị ở hệ thống lưu trữ được sử dụng
trong mỗi lưới. Ví dụ: nếu lưới có ba pin được sử dụng theo tỷ lệ bằng nhau, thì
α0( t ) = 0 ,α1( t ) = t / 3 , α2( t ) = 2 t / 3 ,α3( t ) = t; n là số lượng đơn vị trong hệ thống lưu
trữ của lưới thứ i ; các phần tử đường chéo của ma trận K[ m × m ] cho thấy hiệu suất của
hệ thống lưu trữ của mỗi lưới, các yếu tố còn lại của ma trận hiển thị ở Cấp độ địa
phương các hệ số của công suất tác dụng từ hệ thống lưu trữ của các lưới
khác; fi R E S ( t ) là công suất phát của RES; fi L O A D ( t ) là điện năng tiêu thụ dự tính của
các tải, fi A C \ D C là công suất tiêu thụ lưới AC / DC ở cấp độ tập trung; v i max  là tốc độ xả
tối đa của pin lưu trữ thứ i; E i m i n ( t ), E i ma x ( t )là những hạn chế về mức độ lưu
trữ. Hàm năng lượng thay thế (APF) dựa trên x( τ) có thể tìm ra bộ lưu trữ phù hợp sử
dụng mô hình đề xuất.
Các mô hình như vậy có thể được sử dụng để mô phỏng các quá trình trong các hệ
thống lưu trữ của MG bằng cách sử dụng chuỗi thời gian hồi quy của quá trình phát và
chạy tải cho vị trí cụ thể. Kết quả số của mô hình tích phân được đề xuất đã được tính
toán bằng phương pháp số sắp xếp thứ tự được viết cụ thể trong [ 36 , 37 ] để xác định
APF và SoC sẽ được hiển thị trên các bộ dữ liệu thực bên dưới.
2.2. Thuật toán điều khiển khẩn cấp mạng hybrid
Phương pháp tiếp cận thông thường cho các chiến lược kiểm soát khẩn cấp có thể
được chia thành cấp địa phương và cấp tập trung. Điều khiển cục bộ được thực hiện bởi
các thiết bị đơn giản với thuật toán tốc độ cao. Cách tiếp cận phi tập trung cung cấp một
mức độ tin cậy cao. Ví dụ, trong trường hợp bộ biến đổi nghịch lưu không làm việc được
thì có thể chuyển sang bộ điều khiển nghịch lưu khác. Nhưng trong một số trường hợp,
điều khiển cục bộ có thể không hiệu quả, vì thiếu thông tin của hệ thống. Điều khiển tập
trung là cần thiết để quản lý hiệu quả các hệ thống phức tạp. Trong trường hợp này, để
tăng độ phức tạp của thuật toán điều khiển, việc thu thập các dữ liệu tiền khẩn cấp từ
EMS là bắt buộc.
Trong bài báo này, chúng tôi đề xuất sử dụng thuật toán điều khiển hoạt động được mô
tả ở trên làm yếu tố chính để thực hiện kiểm soát khẩn cấp trong hệ thống hybrid AC /
DC . Sử dụng cùng một quy trình tối ưu hóa, lớp điều khiển khẩn cấp tập trung được đề
xuất chuyển đổi tối ưu sang trạng thái sau khẩn cấp. Các hành động điều khiển phải
được tính toán trước. Hình 4 cho thấy chu trình tính toán của điều khiển khẩn cấp tập
trung được đề xuất cho các mạng hybrid.
 Hình 4. Chu trình tính toán điều khiển khẩn cấp mạng hybrid.
Cơ sở dữ liệu hành động điều khiển phải được thu thập sau mỗi chu kỳ. Một số thành
phần trong mạng lưới gây ra một lượng nhiễu tương đối nhỏ,nhưng vẫn cần phải được
xem xét. Trong trường hợp khẩn cấp, các hành động điều khiển sẽ được truy xuất ngay
lập tức từ cơ sở dữ liệu.
2.3. Phương trình phân phối công suất tác dụng của các hệ thống hybrid
Các thuật toán đề xuất cần một mô hình trạng thái ổn định để tính toán công suất tác
dụng cho cấp tập trung. Thông thường, ta xem xét hai loại bộ giải AC / DC: thống nhất
[ 38 ] khi phương trình AC và DC được giải quyết đồng thời và tuần tự [ 39 ] và khi
phương trình AC và DC được giải quyết riêng rẽ. Trong một số trường hợp, cách tiếp cận
tuần tự có thể dẫn đến sự phân kỳ [ 40 ] hoặc hội tụ tồi tệ hơn [ 41 ]. Về vấn đề này,
chúng tôi chỉ đề cập đến phương pháp thống nhất giải đồng thời hai phương trình AC và
DC.
Phần còn lại của phần này cung cấp một mô tả ngắn gọn về phương trình trạng thái ổn
định của các hệ thống lai. Mô hình VSC được xem xét, như trong Hình 5 , bao gồm máy
biến áp ghép, lò phản ứng và bộ lọc sóng hài cao.

Hình 5. Mô hình trạm VSC trạng thái ổn định

 2.3.1. Phương trình phía mạng AC
Phía AC được biểu diễn bằng bộ phương trình sau:
0 =PG L A C, i- P INJAC, i- P CONV, i,
0 =Q G L A C, i- Q INJAC,I - Q CONV,i,
Ở đây P GLA C, i và Q GLAC,i là điện năng tiêu thụ / phát cua công suất tác dụng và phản
kháng ở lưới AC;
P CONV, i được định nghĩa như sau:
P CONV,i= 0 cho đường bus không có hoặc không sử dụng được bộ chỉnh lưu ;
P CONV, i  = f(VDC i) cho các bộ chỉnh lưu chùng hoặc mạch chỉnh lưu với điều khiển rơi;
P CONV, i  = c o n s t cho các bộ chỉnh lưu với công suất tiêu thụ điện năng là hằng số
Q CONV,i được định nghĩa như sau:
Q CONV,i= c o n s t cho các nút chỉnh lưu PQ;
Q CONV,i= f(Vg) cho các nút chỉnh lưu PV.
Công suất tác dụng vào P INJAC, i và công suát phản kháng  Q INJAC,I của mạng AC được
tính bằng các phương trình cổ điển sau:
M
P INJAC,i= Vi .∑ Vm (Gim. coscosθim+ Bim . sinsinθim)
1
M
Q INJAC,i=Vi∑ Vm ¿¿ θim -Bim.sinsinθim)
1

2.3.2. Phương trình phía mạng DC

Phía DC được biểu diễn bằng bộ phương trình sau:
0 = P INJDC,i- P DC,i- P GLD,i (4)
Với P GLDC,I là mức tiêu thụ / phát công suất tác dụng trong mạng DC;  P DC,I được xác
định theo công thức:
P DC,i=P CONV,i+ ΔP L,i
Ở đây ΔP L,I ;P L I c ông suất tổn thất của bộ chỉnh lưu thứ i , được xác định theo
phương trình sau:
ΔPL , i
= ai+bi×|Iconv,i| +(C rec,i+Cinc,i) ×|Iconv,i|2+R TRANS,i×|I TRANS,i|2+R REACTOR , i×|I CONV, i|2.
Dòng biến áp I TR ANS, i được lấy bởi:
I TRAS, i= (P CONV, I + Q CONV,i) / (Vi×ej θi) .
Lò phản ứng (bộ chỉnh lưu) hiện tại ICONV, tôi được lấy bởi:
 I CONV, i==I TRANS, I - jB F, I × V f,i,
Ở đâu Vf,i được lấy bởi:
V f, i= -Z TRANS,I × k TRANS,I × I TRANS,I + U g,i.
Trong phương trình (4) PINJD C, tôi là công suất DC được đưa vào của các bus DC
không bị chùng vào mạng DC, nó được tính như sau:
N
P INJD C,I =V DC,I ∑ V DC , I G DCin
n =1

Ở đâu G DCin là các yếu tố của ma trận tiếp nhận hệ thống DC.
3. Nghiên cứu thực tế và đánh giá hiệu suất
3.1. Tập dữ liệu
Ngôi làng Goryachinsk nằm trên bờ hồ Baikal đã được chọn để nghiên cứu thực
tế. Chuỗi thời gian hồi cứu được lấy từ các nguồn mở. Cụ thể, có 11 năm quan sát khí
tượng cho vị trí được chọn. Hình 6 cho thấy sự thay đổi của bức xạ mặt trời trong 12 năm
qua. Bức xạ mặt trời có giá trị cao vào mùa hè và đạt 180-195 kW / m 2 mỗi tháng. Tốc
độ gió ở độ cao 10 m ở vị trí xem xét có giá trị thấp không dưới 4 m / s. Hình 7 cho thấy
tốc độ gió trung bình trong 11 năm qua.

Hình 6. Bức xạ mặt trời trong 12 năm qua.

 Hình 7. Các bản ghi tốc độ gió cho vị trí đã chọn trong 11 năm
Các bộ dữ liệu hồi cứu của bức xạ mặt trời và tốc độ gió có thể được sử dụng để mô
hình hóa các thông số hoạt động của các tấm pin mặt trời và máy phát điện gió. Ngoài ra,
các mảng thông tin này có thể được sử dụng để dự báo ngắn hạn và xây dựng chiến lược
quản lý hệ thống năng lượng tối ưu. Phương pháp đề xuất đã được xác thực trên các bộ
dữ liệu khí hậu và tải trọng thực tế hàng năm từ làng nghỉ dưỡng Goryachinsk, khu vực
hồ Baikal. Các bộ dữ liệu lịch sử bao gồm tốc độ gió trung bình hàng giờ và chuỗi thời
gian chiếu xạ mặt trời trực tiếp bình thường cũng như các hồ sơ điển hình về tải điện
trong làng Goryachinsk với tổng tải tối đa 50 MW.
Dựa trên bộ dữ liệu thực tế này, chúng tôi đã kiểm tra các tùy chọn lưới AC / DC riêng
biệt cho bốn làng nghỉ mát có nguồn phân tán có sự kết hợp giữa các tấm pin mặt trời ,
sản xuất gió, pin, kho hydro và các thiết bị diesel. Các tham số chính được liệt kê
trong Bảng 1 .
3.2. Cấp độ quản lý lưới năng lượng địa phương
Ban đầu, chúng tôi đã xem xét trường hợp lưới điện AC / DC hybrid không nối lưới và
mục tiêu là để giảm thiểu chi phí khai thác. Chúng tôi sử dụng thuật toán DQN với vectơ
trạng thái làm đầu vào và hàm Q cho mỗi hành động rời rạc như một đầu ra riêng
biệt. Thông tin có sẵn ở mỗi khoảng thời gian bao gồm mức tiêu thụ, trạng thái nạp xả,
sản xuất năng lượng tái tạo, dự đoán sản lượng điện mặt trời hay sản xuất gió trong 24
giờ và 48 giờ tiếp theo. Dự đoán sản lượng gió và bức xạ mặt trời bằng cách lấy trung
bình các giá trị ở thời điểm trước. Chúng tôi giả định rằng tác nhân điều khiển có quyền
kiểm soát các thiết bị lưu trữ và nó phải quyết định cách sử dụng các hệ thống lưu
trữ. Các hành động có thể thực hiện ở mỗi quyết định gồm sạc, xả và chạy không tải cho
từng thiết bị lưu trữ trong microgrid. Khi năng lượng từ kho lưu trữ và từ sản xuất không
đủ để đảm bảo tải hoạt động bình , các máy phát có thể hoạt động , ví dụ như các máy
phát diesel chạy thay thế.
Như đã nói, chúng tôi đã kiểm tra bốn hệ thống nguồn AC / DC cô lập khác nhau có
chứa các DER với các thông số ban đầu khác nhau ( Bảng 1 ). Hai hệ thống có nguồn
phát diesel. Từ đó xây dựng mạng lưới AC / DC lai với mô hình VPP EMS dựa trên thuật
toán DQN để quản lý năng lượng tối ưu.
Sau khi bắt đầu với DQN ngẫu nhiên, chúng tôi thực hiện tính toán số liệu theo
phương trình (2) cho mỗi bước thời gian, đồng thời, chúng tôi hoàn thiện bộ dữ liệu tại
các điểm quan sát, khởi chạy và để tác nhân đạt phần thưởng theo policy ε-greedy với
hàm phân bố xác suất π( s ) =max⊤( a ∈ A ) ⟦ Q ( s , a ; Θk) ⟧được thực hiện với xác suất
1- ε và một hoạt động ngẫu nhiên (với xác suất thống nhất trên tất các hoạt động) được
chọn với xác suất ε. Ở đây ε giảm dần theo thời gian. Ở giai đoạn xác minh và kiểm tra,
policy π( s ) được áp dụng với ε = 0. Các chính sách mùa đông điển hình được tính toán
với thông tin tối thiểu có sẵn với tác nhân DQN cho lưới AC / DC bị cô lập được hiển thị
trong Hình 8 .
 Hình 8. Các chính sách mùa đông điển hình được tính toán với thông tin tối thiểu có
sẵn với tác nhân DQN cho các lưới AC / DC cô lập *.
Chính sách điển hình được tính toán với việc sử dụng VPP EMS dựa trên DQN mang
lại doanh thu hoạt động (My) khác nhau qua từng năm , phụ thuộc vào thành phần lưu trữ
năng lượng và sự hiện diện của máy phát điện ổn định. Các lưới cách ly có kho hydro
lưu trữ là hiệu quả nhất (Lưới 1:M yG 1= 20,31 euro / năm và Lưới 3: M yG 3= 1,53euro /
năm). Những kho này cho phép tích lũy năng lượng từ các nguồn RES trong một thời
gian dài. Các lưới cách ly khác có chi phí dự kiến trong năm lần lượt là (Grid2:M
yG 2= - 1003,68  euro / năm và Grid4: M yG 4= - 1875,53 euro / năm) khi hầu hết các chi phí
có liên quan đến việc không thể đáp ứng toàn bộ nhu cầu tải thông qua các nguồn phát
địa phương của họ, từ đó dẫn đến việc phải mua năng lượng từ mạng bên ngoài hoặc
ngắt kết nối điện của người tiêu dùng. Sự hiện diện của máy phát điện diesel cho phép có
thêm nguồn cấp năng lượng (ví dụ, đối với Lưới 1) hoặc giảm tổn thất (ví dụ, đối với
Lưới 4 so với Lưới 2). Tuy nhiên, bản thân các máy phát điện như vậy là tiêu tốn chi phí
bổ sung liên quan đến chi phí nhiên liệu, cũng như gây ô nhiễm đến khu vực xung quanh
do phát ra khí thải CO 2. Rõ ràng, một trong những giải pháp hiệu quả nhất là hợp nhất
các lưới điện AC / DC cô lập thành lưới đơn trong một hệ thống điện lớn, sẽ khắc phục
điểm yếu phụ thuộc vào thời tiết của các nguồn tái tạo RES, giảm (hoặc loại bớt) các
máy phát điện diesel và quan trọng nhất là tăng hiệu quả của mỗi lưới điện thông qua trao
đổi năng lượng tối ưu.
3.3. Cân bằng tải trong MG sử dụng hệ phương trình Volterra
Mục tiêu của phần này là để chứng minh việc áp dụng mô hình phương trình Volterra
cho bộ pin lưu trữ. Trong trường hợp này, mô hình Volterra được giới thiệu trong (3) sẽ
như sau

0.9 0 0 0 x 1(τ )

( )( ) ) ( )
f 1(t)
t
0 0.9 0 0 x 2(τ ) f 2(t)
dτ ¿=
∫ 0 0 0.9 0 x 3(τ ) f 3 (t )
0
0 0 0 0.9 x 4 (τ ) f 4 (t)
¿
Kết quả của mô hình Volterra tính toán APF và SoC đi kèm thông số lưới 2
 Hình 9. Các hàm năng lượng xen kẽ (APF tính bằng MW) với thông tin trạng thái điện
tích (SoC tính bằng%) cho lưới thứ hai trong lưới phân phối các lưới được tính theo
phương trình tích phân của Hệ thống Volterra (VIE) cho thời điểm mùa đông và mùa hè.
3.4. Hệ thống kiểm tra lưới AC / DC hybrid
Hình 10 cho thấy bảng kiểm tra lưới AC / DC hybrid, bao gồm các loại nguồn phát, tải
và lưu trữ khác nhau. Dữ liệu hệ thống thử nghiệm tương ứng được hiển thị trong Bảng
2 .Mạng lưới phụ tải bao gồm bốn làng nghỉ mát với tổng tải tối đa 50 MW. Mỗi MG
được cho là có các nhà máy điện gió và mặt trời và ESS bao gồm hệ thống lưu trữ pin
hydro.

Hình 10. Hệ thống thử nghiệm AC / DC lai.

Nguồn phân tán RES và thiết bị lưu trữ được đặt ở phía mạng DC, tải của các hộ gia
đình được đặt ở phía AC.  Nếu nguồn cấp trong lưới thiếu năng lưng sẽ được bù bởi các
máy phát bên ngoài, Bus 1 là bus AC. Mạng AC bao gồm các đường mạch kép có độ dài
khác nhau với mức điện áp 35 kV, mạng DC là hệ thống lưỡng cực 35 kV. Biến tần 2 là
biến tần chùng; biến tần 3, 4 và 5 cung cấp điều khiển công suất không đổi.
3.5. Kiểm soát hoạt động cấp tập trung của hệ thống kiểm tra
Hình 11 cho thấy kết quả kiểm soát hoạt động của hệ thống thử nghiệm sử dụng thuật
toán hai cấp đã được đề xuất ở trên. Ở mỗi cấp độ địa phương, vấn đề kiểm soát lưu trữ
được giải quyết dựa trên việc sử dụng thuật toán xác suất tối ưu để tối đa hóa khả năng
vận hành của mọi hệ thống con.  Các cài đặt của bộ biến tần Pinv2-Pinv5 ở cấp tập trung
được tối ưu hóa để giảm thiểu công suất tác dụng P thất thoát ra bên ngoài.

Hình 11. Điều khiển hoạt động của hệ thống thử nghiệm bằng thuật toán hai cấp được
đề xuất.
4. Kết luận, thảo luận và làm việc thêm
Bài viết này đã giới thiệu một khung mô hình, dựa trên kỹ thuật tối ưu hóa hai cấp độ,
để kiểm soát hoạt động và khẩn cấp của mạng lưới AC / DC hybrid. Khung đề xuất có
hai chức năng chính. Đầu tiên, nó cung cấp các chính sách quản lý năng lượng tối ưu ở
cấp địa phương của mỗi lưới (hoặc microgrid) bằng phương pháp tối ưu hóa ngẫu nhiên
tiên tiến dựa trên học tăng cường(học sâu). Thứ hai, nó phân phối lại công suất tác dụng
giữa các hệ thống con và giảm thiểu tổn thất trên toàn bộ mạng. Kết quả bằng số liệu thu
được từ trường hợp thử nghiệm được triển khai ở vùng Baikal cho thấy khung đề xuất có
hiệu quả đối với việc quản lý lưới phân phối và có tiềm năng cao để giảm CO 2 . Mô hình
tích phân Volterra cho lưới phân phối được đánh giá trên tập dữ liệu thực và được xác
thực.
Nhược điểm của thuật toán đề xuất là không có khả năng thực hiện kiểm soát lưu trữ
năng lượng toàn cầu, vì điều khiển này được thực hiện ở cấp địa phương mà không tính
đến mạng bên ngoài. Tuy nhiên, cần lưu ý rằng việc bao gồm khả năng quản lý lưu trữ
toàn cầu sẽ dẫn đến một sự phức tạp đáng kể của thuật toán, vì trong trường hợp này, việc
kiểm soát biến tần hiện tại nên được thực hiện có tính đến khoảng thời gian giảm thiểu
tiêu thụ được thực hiện. Ngoài ra, việc quản lý kho lưu trữ toàn cầu sẽ yêu cầu chuyển
các hành động kiểm soát sang cấp chủ sở hữu địa phương, điều này có thể liên quan đến
những khó khăn kỹ thuật. Chủ đề kiểm soát lưu trữ toàn cầu được dành riêng cho công
việc trong tương lai.
Công việc tiếp theo sẽ tập trung vào việc quản lý năng lượng dư thừa, bao gồm cả việc
phát hành cả nội bộ (nguồn lưu trữ) và mạng bên ngoài.
Sự đóng góp của tác giả
Tất cả các tác giả đóng góp như nhau cho bài viết này. Các tác giả đã hợp tác soạn
thảo cho các phần của bài viết (bao gồm thiết kế, thu thập dữ liệu, phân tích toán học và
viết kết quả). Tất cả các tác giả đã đọc và phê duyệt bản thảo cuối cùng.
Kinh phí
Công trình này được Chương trình trao đổi NSFC-RFBR hỗ trợ một phần theo Tài trợ
61911530132 / 19-5853011 ( Mục 1 , Mục 2.1.3 và Mục 3.3 ), một phần của Quỹ khoa
học Nga, các dự án số 19-49-04108 ( Mục 2.1.1 , Mục 3.1 và Mục 3.2 ) và Số 19-19-
00673 ( Mục 2.3 và Mục 3.4 ).

THAM KHẢO
References
1. Renewable Capacity Statistics 2019; International Renewable Energy Agency
(IRENA): Abu Dhabi, UAE, 2019; p. 60.
2. International Renewable Energy Agency (IRENA). Remap 2030. A Renewable
Energy Roadmap. Available online: http://www.ourenergypolicy.org/wp-
content/uploads/2014/06/REmap.pdf (accessed on 31 January 2020).
3. Climate Change 2013. The Physical Science Basis. Working Group I Contribution
to the Fifth Assessment Report of the Intergovernmental Panel on Climate Change.
Available
online: http://www.climatechange2013.org/images/report/WG1AR5_ALL_FINAL.p
df (accessed on 31 January 2020).
4. Kyoto Protocol to the United Nations Framework Convention on Climate Change.
Available online: https://unfccc.int/resource/docs/convkp/kpeng.pdf (accessed on 31
January 2020).
 5. The Paris Agreement. A New Framework for Global Climate Action. Available
online: http://www.europarl.europa.eu/RegData/etudes/BRIE/2016/573910/EPRS_B
RI(2016)573910_EN.pdf (accessed on 31 January 2020).
6. Pineda, S.; Bock, A. Renewable-Based generation expansion under a green
certificate market. Renew. Energy 2016, 91, 53–63. [Google Scholar] [CrossRef]
7. Zamfir, A.; Colesca, S.E.; Corbos, R.-A. Public policies to support the
development of renewable energy in Romania: A review. Renew. Sustain. Energy
Rev. 2016, 58, 87–106. [Google Scholar] [CrossRef]
8. Govinda, R.; Timilsina, B.; Kalim, U.S. Filling the gaps: Policy supports and
interventions for scaling up renewable energy development in Small Island Developing
States. Energy Policy 2016, 98, 653–662. [Google Scholar]
9. Tremblay, O.; Dessaint, L.A.; Dekkiche, A.I. A Generic Battery Model for the
Dynamic Simulation of Hybrid Electric Vehicles. In Proceedings of the Vehicle Power
and Propulsion Conference, Arlington, TX, USA, 11–14 December 2007; pp. 284–289.
[Google Scholar]
10. Hampton, S.E.; Izmest’eva, L.R.; Moore, M.V.; Katz, S.L.; Dennis, B.; Silow,
E.A. Sixty years of environmental change in the world’s largest freshwater lake–Lake
Baikal, Siberia. Glob. Chang. Biol. 2008, 14, 1947–1958. [Google Scholar] [CrossRef]
11. Community-Scale Isolated Power Systems. Powering the Blue Economy:
Exploring Opportunities for Marine Renewable Energy in Maritime Markets. April 2019.
Available online: https://www.energy.gov/sites/prod/files/2019/09/f66/73355-
9.pdf (accessed on 31 January 2020).
12. Chaudhary, S.K.; Guerrero, J.M.; Teodorescu, R. Enhancing the capacity of the
AC distribution system using DC interlinks–A step toward future DC grid. IEEE Trans.
Smart Grid 2015, 6, 1722–1729. [Google Scholar] [CrossRef]
13. Kurohane, K.; Senjyu, T.; Yona, A.; Urasaki, N.; Goya, T.; Funabashi, T. A
hybrid smart AC/DC power system. IEEE Trans. Smart Grid 2010, 1, 199–204. [Google
Scholar] [CrossRef]
14. El Nozahy, M.S.; Salama, M.M.A. Uncertainty-Based design of a bilayer
distribution system for improved integration of PHEVs and PV arrays. IEEE Trans.
Sustain. Energy 2015, 6, 659–674. [Google Scholar] [CrossRef]
15. Kaipia, T.; Salonen, P.; Lassila, J.; Partanen, J. Application of low voltage DC
distribution system, a techno-Economical study. In Proceedings of the 19th International
Conference on Electricity Distribution, Vienna, Austria, 21–24 May 2007. [Google
Scholar]
16. Lotfjou, A.; Fu, Y.; Shahidehpour, M. Hybrid AC/DC transmission expansion
planning. IEEE Trans. Power Del. 2012, 27, 1620–1628. [Google Scholar] [CrossRef]
 17. Doagou-Mojarrad, H.; Rastegar, H.; Gharehpetian, G.B. Probabilistic multi-
Objective HVDC/AC transmission expansion planning considering distant wind/solar
farms. IET Sci. Meas. Technol. 2016, 10, 140–149. [Google Scholar] [CrossRef]
18. Ahmed, H.M.A.; Eltantawy, A.B.; Salama, M.M.A. A Planning Approach for the
Network Configuration of AC-DC Hybrid Distribution Systems. IEEE Trans. Smart
Grid 2018, 9, 2203–2213. [Google Scholar] [CrossRef]
19. Asimakopoulou, G.E.; Dimeas, A.L.; Hatziargyriou, N.D. Leader follower
strategies for energy management of multi-Microgrids. IEEE Trans. Smart Grid 2013, 4,
1909–1916. [Google Scholar] [CrossRef]
20. Nguyen, T.A.; Crow, M. Stochastic optimization of renewable based microgrid
operation incorporating battery operating cost. IEEE Trans. Power Syst. 2016, 31, 2289–
2296. [Google Scholar] [CrossRef]
21. Francois-Lavet, V.; Tarella, D.; Ernst, D.; Forteneau, R. Deep Reinforcement
Learning Solutions for Energy Microgrids Management. European Workshop on
Reinforcement Learning. 2016. Available
online: http://hdl.handle.net/2268/203831 (accessed on 31 January 2020).
22. Tomin, N.; Zhukov, A.; Domyshev, A. Deep Reinforcement Learning for Energy
Microgrids Management Considering Flexible Energy Sources. In Proceedings of the EPJ
Web Conference 217-2019 International Workshop on Flexibility and Resiliency
Problems of Electric Power Systems, Irkutsk, Russia, 26–31 August 2019; Available
online: https://doi.org/10.1051/epjconf/201921701016 (accessed on 31 January 2020).
23. Duan, J.; Yi, Z.; Shi, D.; Lin, C.; Lu, X.; Wang, Z. Reinforcement-Learning-Based
Optimal Control for Hybrid Energy Storage Systems in Hybrid AC/DC Microgrids. IEEE
Trans. Ind. Inform. 2019. [Google Scholar] [CrossRef]
24. Ji, Y.; Wang, J.; Xu, J.; Fang, X.; Zhang, H. Real-Time Energy Management of a
Microgrid Using Deep Reinforcement Learning. Energies 2019, 12, 2291. [Google
Scholar] [CrossRef]
25. Marvasti, A.K.; Fu, Y.; DorMohammadi, S.; Rais-Rohani, M. Optimal operation
of active distribution grids: A system of systems framework. IEEE Trans. Smart
Grid 2014, 5, 1228–1237. [Google Scholar] [CrossRef]
26. Lv, T.; Ai, Q.; Zhao, Y. A bi-Level multi-Objective optimal operation of grid-
Connected microgrids. Electr. Power Syst. Res. 2016, 131, 60–70. [Google Scholar]
[CrossRef]
27. Erol-Kantarci, M.; Kantarci, B.; Mouftah, H.T. Reliable overlay topology design
for the smart microgrid network. IEEE Netw. 2011, 25, 38–43. [Google Scholar]
[CrossRef]
 28. Wang, Z.; Chen, B.; Wang, J.; Begovic, M.M.; Chen, C. Coordinated energy
management of networked microgrids in distribution systems. IEEE Trans. Smart
Grid 2015, 6, 45–53. [Google Scholar] [CrossRef]
29. Wu, J.; Guan, X. Coordinated multi-Microgrids optimal control algorithm for
smart distribution management system. IEEE Trans. Smart Grid 2013, 4, 2174–2181.
[Google Scholar] [CrossRef]
30. Li, Y.; Zhao, T.; Wang, P.; Gooi, H.B.; Wu, L.; Liu, Y.; Ye, J. Optimal operation
of multi-Microgrids via cooperative energy and reserve scheduling. IEEE Trans. Ind.
Inform. 2018, 14, 3459–3468. [Google Scholar] [CrossRef]
31. Cornélusse, B.; Savelli, I.; Paoletti, S.; Giannitrapani, A.; Vicino, A. A community
microgrid architecture with an internal local market. Appl. Energy 2019, 242, 547–560.
[Google Scholar] [CrossRef]
32. lavic, M.; Fonteneau, R.; Ernst, D. Reinforcement Learning for Electric Power
System Decision and Control: Past Considerations and Perspectives. IFAC-
PapersOnLine 2017, 50, 6918–6927. [Google Scholar]
33. Mnih, V.; Kavukcuoglu, K.; Silver, D.; Rusu, A.A.; Veness, J.; Bellemare, G.M.;
Graves, A.; Riedmiller, M.; Fidjeland, A.K.; Ostrovski, G.; et al. Human-Level control
through deep reinforcement learning. Nature 2015, 518, 529–533. [Google Scholar]
[CrossRef] [PubMed]
34. Sidorov, D.; Muftahov, I.; Tomin, N.; Karamov, D.; Panasetsky, D.; Dreglea, A.;
Liu, F.; Foley, A. A Dynamic Analysis of Energy Storage with Renewable and Diesel
Generation using Volterra Equations. IEEE Trans. Ind. Inform. 2019, 16, 3451–3459.
[Google Scholar] [CrossRef]
35. Sidorov, D.; Tao, Q.; Muftahov, I.; Zhukov, A.; Karamov, D.; Dreglea, A.; Liu, F.
Energy balancing using charge/discharge storages control and load forecasts in a
renewable-Energy-Based grids. In Proceedings of the 2019 Chinese Control Conference
(CCC), Guangzhou, China, 27–30 July 2019; pp. 6865–6870. [Google Scholar]
[CrossRef]
36. Muftahov, I.R.; Sidorov, D.N. Solvability and numerical solutions of systems of
nonlinear volterra integral equations of the first kind with piecewise continuous
kernels. Bull. South Ural State Univ. Ser. Math. Model. Program. Comput.
Softw. 2016, 9, 130–136. [Google Scholar] [CrossRef]
37. Muftahov, I.; Tynda, A.; Sidorov, D. Numeric solution of Volterra integral
equations of the first kind with discontinuous kernels. J. Comput. Appl. Math. 2017, 313,
119–128. [Google Scholar] [CrossRef]
38. Baradar, M.; Ghandhari, M.A. Multi-Option Unified Power Flow Approach for
Hybrid AC/DC Grids Incorporating Multi-Terminal VSC-HVDC. IEEE Trans. Power
Syst. 2013, 28, 2376–2383. [Google Scholar] [CrossRef]
 39. Beerten, J.; Belmans, R. Development of an open source power flow software for
high voltage direct current grids and hybrid AC/DC systems: MATACDC. IET Gener.
Transm. Distrib. 2015, 9, 966–974. [Google Scholar] [CrossRef]
40. Liu, C.; Zhang, B.; Hou, Y.; Wu, F.F.; Liu, Y. An Improved Approach for AC-DC
Power Flow Calculation With Multi-Infeed DC Systems. IEEE Trans. Power
Syst. 2011, 26, 862–869. [Google Scholar] [CrossRef]
41. Tzeng, Y.S.; Chen, N.; Wu, R.N. A detailed R-L fed bridge converter model for
power flow studies in industrial AC/DC power systems. IEEE Trans. Ind.
Electron. 1995, 42, 531–538. [Google Scholar] [CrossRef]