まだ見たことのない未来に向けた革新: 分散システムアーキテクチャとグリッド

InfoQ ホームページプレゼンテーションこれまでに見たことのない未来に向けた革新: 分散システムアーキテクチャとグリッド

アストリッド・アトキンソンは、エネルギーシステムを変革し送電網を脱炭素化するために、インフラストラクチャにソフトウェア革新をもたらし、ビッグテクノロジーにおける信頼性革新の経験を活用することについて語ります。

アストリッドアトキンソンは、ソフトウェア中心のアプローチと分散システムにおける豊富な経験を使用してグリッドの脱炭素化に専念する会社である Camus Energy の CEO 兼共同創設者です。以前は Google でソフトウェアチームとシステムチームを率いており、サイト信頼性エンジニアリングチームの初期リーダーを務め、その後はクラウド、検索、プロダクトインフラストラクチャのインフラストラクチャチームを率いました。

QCon Plus は、上級ソフトウェアエンジニアとアーキテクトを対象とした仮想カンファレンスで、世界で最も革新的なソフトウェア組織が活用するトレンド、ベストプラクティス、ソリューションを取り上げます。

最新のトレンドと実践を適用する上級ソフトウェア開発者からの貴重な洞察を利用して、課題を解決します。今すぐ登録！

早期導入企業の上級ソフトウェア開発者が新たなトレンドをどのように採用しているかを明らかにすることで、正しい決定を下します。今すぐ登録！

アトキンソン: 私はアストリッド・アトキンソンです。私が考えるに、私たちの世代、そして現在の世界の最大の問題にテクノロジーを適用することについて話します。気候変動について聞いたことがある人もいるかもしれません。ニュースでも取り上げられるようになってきました。ここ 5 年か 10 年の間に、気候変動の一般的な概念が、今から 50 年か 100 年後に孫たちに影響を与える可能性がある問題から、祖父母に直接影響を与える問題へと実際に変化したと思います。、今日の出来事。日常生活にますます劇的な影響をもたらします。これは明らかに非常に大きな問題です。私は、自分のキャリアや仕事をそれに対処する方向に向ける方法を見つけようとしている人々とよく話します。私は、すでに諦めてしまった人たちともよく話します。これほど大きな問題、そして私たちが明らかにまだ適切な方向に進んでいない問題を見ると、首を振って「もしかしたらもう手遅れかもしれない」と言うのは簡単だと思います。おそらく変化はすでに固定化されているのでしょう。私の考えでは、私たちの前には基本的に 2 つの未来があります。そのうちの 1 つでは、私たちは正しく理解しています。私たちが仕事をします。私たちは何が必要かを理解します。それはテクノロジーです。それはポリシーです。それは政治です。それは人々です。私たちは、気候変動の曲線を効果的に曲げ、温暖化を住みやすい惑星として一般的に合意されている上限である約 2 度以内に抑えるために必要な、技術、政策、政治的、経済的投資を投入しています。

私たちの未来はおそらく過去と同じではありませんが、大幅に悪化しているわけではなく、認識可能な世界です。孫たちと出かけることもできますし、スキーに行くこともできるかもしれません。世界のほとんどの人は、今日の生活と同じようなことを続けています。将来の別のバージョンでは、そんなことはしません。私たちは行動を起こすことをやめます。私たちは現在行っている以上のことを行うことができません。私たちは、現在行われている政策変更で十分だと主張しています。私たちはいつもと同じように生活を続けていますが、現在の計画では 3 ～ 4 度以上の変化が予想されます。それは潜在的に壊滅的な事態を引き起こす可能性があります。このモデルでは、私たちが持っている文明を必ずしも維持できるわけではありません。おそらく私たちの中にはそう思う人もいるかもしれませんが、間違いなく全員ではありませんし、それは見栄えも良くありません。このことを考えると、個人的には、人生とキャリアのすべてを将来の最初のバージョンの開発に費やしたいと考えています。それを選択しなければ、2番目の出来事は避けられないからです。それが私が立っている場所です。だからこそ、私はここで皆さんの前で、テクノロジーアプリケーションの使用と、テクノロジーの才能を活用して、この実存的な問題に対処することについて話しています。

脱炭素化を考えるとき、問題の約 60%、約 3 分の 2 はエネルギーシステムです。残りの30％は土地利用、産業利用、そういったものです。それらも重要です。エネルギーは非常に大きな問題であるため、焦点を当てるのに非常に適しています。エネルギーシステムを脱炭素化する方法を非常に単純化しすぎた 2 ステップバージョンは、ステップ 1 です。クリーンで効率的なエネルギー源を使用できるように、すべてを電化します。ステップ 2 では、電力供給システムである送電網を脱炭素化します。ここで 2 つの問題があります。本当にすぐに必要となる変化について話しています。これは、米国のエネルギーシステムのみを流れるエネルギーに関する古い見方です。私たちのエネルギーは多くのクリーンな源から来ていることがわかります。一般的に言えば、現在化石源となっているものはすべて、そこにあるオレンジ色のボックスに移動する必要があります。それはかなり大きな変化です。

これがどのようなバージョンで進むにせよ、グリッドはさらに多くの作業を行う必要があります。もっと多くのエネルギーを周囲に分配する必要があります。これには、より多くの切断された生成などが含まれるバージョンもたくさんあります。この問題に枠を設けるだけです。このスライドでは 2 セットの数字を使用しています。 1 つは国際エネルギー機関の 2050 年までのネットゼロ計画によるもので、これは事実上国際記録計画です。 2050 年計画で注目すべき点の 1 つは、米国、英国、オーストラリア、西ヨーロッパの先進国は 2035 年までに完全に脱炭素化されるはずだという驚くべき記述が詳細の中に埋もれていることです。今日必要な程度。ここにあるもう 1 つの数値セットは、2035 年までに電力システム、したがってエネルギーシステムを脱炭素化するには何が必要かに関する NREL の研究からのものです。米国に注目してみると、もちろん、これは国家的な問題ですが、これらの数値はうまく含まれており、そういう意味で関係がある。

彼らは、高度な原子力から真新しいテクノロジーに至るまで、将来がどうなるかについての複数のシナリオを持っています。このソリューションセットのどのバージョンであっても、より多くの再生可能エネルギーが必要であることを意味します。潜在的に、新しいベースロードテクノロジーまたは拡張されたベースロードテクノロジーがいくつか必要になります。柔軟になるためには多くの負荷が必要です。発電が行われる場所とエネルギーが生産される場所の間には、多くの相互接続が必要です。実はこの最後の部分が非常に難しいのです。なぜなら、この計画のどのバージョンも、既存の伝送ネットワーク容量の 2 倍から 5 倍の増加に依存しているからです。送電網と配電網については後ほど少しお話します。事実上、伝送ネットワークはグリッドのインターネットバックボーンのようなものと考えることができます。非常に長い距離を接続する太い長距離電線です。一般に、それは主に、大型発電機からエネルギーが生成される場所から地域までエネルギーを運ぶ役割を担っています。ネットワークのさまざまな部分については後ほど少し説明します。これのどのバージョンでも、その容量において非常に大規模な拡張が必要です。これは非常に大きな問題です。新しいラインを 1 本建設するには通常 5 年、10 年、15 年、30 年かかります。これは、そのような移行計画においてかなり大きな隠れた障害となります。これにより、現在のネットワークの役割がますます重要になっています。

また、その計画のどのバージョンにも、さまざまな種類のテクノロジを統合することが含まれます。発電技術には複数の種類があります。太陽光発電もあるよ。風が吹いています。水力、原子力、地熱、バイオマスなどがあります。デマンドサイドテクノロジーも数多くあり、グリッドテクノロジーに少し触れただけで、大量のテクノロジーを知ることができます。一般に、これらの需要側テクノロジーはすべて、制御可能な社内ヒートポンプから電気自動車の充電器、バッテリーに至るまで、分散型エネルギーリソースという一般的な項目に分類されます。実際に意味するのは、家庭や会社にあるエネルギー資源だけです。彼らはグリッドの端にいます。これらは、グリッドの需要構造の一部に非常に近い位置にあります。今日のグリッドにおいて重要性が高まっており、将来のグリッドの基礎となるものがあります。なぜなら、グリッドは現在とは少し異なる仕事をする必要があるからです。今日の送電網は基本的に、エネルギーが生成される遠く離れた場所から使用される場所までエネルギーを届ける役割を担っており、需要と供給のバランスが常にリアルタイムで完全に保たれている必要があります。未来の送電網、それらはすべて真実ですが、時間の経過とともにエネルギーのバランスを取り、移動させるためにもそれを使用する必要があります。私たちは、エネルギーが生産された時間と場所から、必要な時間と場所までエネルギーを入手できる必要があります。それは、需要と供給を動かすことを意味します。つまり保管庫ということです。経営という意味もあります。その周りのテクノロジーの応用がどのようなものであるかについてお話します。

これらすべての最大の落とし穴は、グリッド環境のテクノロジーがかなり時代遅れになっていることです。これにはいくつかの理由があります。 1 つは、多くの人が経験していると思いますが、物事を稼働させ、電気を点け続ける責任を負っているとき、そこには生来の保守主義が存在するということです。台無しにしたくないですよね。もう 1 つは、これが多額の資金と多大なプレッシャーを抱えた、歩みの遅いレガシー業界であるということです。さまざまな理由から、その多くはサイバーセキュリティなどに関する保守主義的なものですが、今日のほとんどすべてのグリッドテクノロジーはオンプレミスです。これは、グリッドからのリアルタイムデータを処理するために必要なコンピューティングスケールにアクセスできないことを意味します。彼らは、スマートメーターの 15 分間の読み取りなど、グリッドから得られるデータは大量であると考えています。実際はそうではないことは誰でも知っています。せいぜい中程度のデータでしょう。分散システムの標準からすると、実際にはそれほど多くのデータ量ではありません。オンプレミスで 1 台のコンピューターだけを実行している場合は、膨大な量になります。

グリッド空間の現在の最先端技術は、基本的にデータがかなりまばらであり、大部分のデータソースで簡単にリアルタイムではありません。実際には、小規模なソースセットからグリッドをエミュレートする物理モデルにデータを入力し、それを解析してその特定の点で何が起こっているかを伝えるというアイデアに依存しています。これは素晴らしいことですが、リアルタイム監視とはまったく同じではありません。その中で知ることができるのはモデルだけであるため、これは大規模な変化を推進するための基盤ではありません。システムを知ることはできません。分散システムを使用したことがある人なら誰でも知っているように、リアルタイムシステムに関するデータは、私たちが行うすべての作業の基礎です。そうすることで、物事が機能しているかどうかを知ることができます。そうすることで、物事がどのように機能しているかを知ることができます。そうすることで、適応的な方法で将来の計画を立てることができます。

それが私にとって、グリッドを運用する人々（通常は公益事業会社）向けのグリッド管理ソフトウェアを構築する現在の会社を設立するきっかけとなりました。これだけ言えば、この分野には分散システムテクノロジの非常に重要かつ緊急の適用が必要だと思います。なぜなら、これらのシステムはクラウドネイティブである必要があり、それが昨日から必要になっているからです。クラウドが他人のコンピュータであるから必要なのではなく、クラウドが地球規模またはハイパースケールコンピューティングであるから必要なのです。大量のリアルタイムデータを処理できる必要があります。私たちは、複雑なリアルタイムのバランス最適化、機械学習 AI タイプの問題を解決できる必要があります。私たちはそれを非常に大規模かつ迅速な方法で実行できる必要があります。それが理由です。それがグリッド空間で起こる必要があるテクノロジーの変化です。

ここで用語の混乱について少し説明します。私は自分自身を分散システムエンジニア、または私の仕事は分散システムエンジニアリングであると考えています。これはグリッド空間では非常に混乱します。なぜなら、グリッドで働く人々は、家や会社などに接続するグリッドの一部である配電システムについて考えることに慣れているからです。 PG&E、ComEd、ConEd、SDG&E などの電力会社は、主に配電会社です。あなたが「配布」または「分散」という言葉を言うとき、彼らはあなたの家に接続されている大量の電線のことだけを考えています。そのため、混乱を招くというだけの理由で、ソフトウェア分野で私たちが行っていることをハイパースケールコンピューティングまたはクラウドコンピューティングと呼ぶようになりました。その根底にあるのはテクノロジーの変化であり、グリッドに必要な移行は実際、グリッドの運用と設計方法の集中モデルから、多くの小さなリソースが重要な役割を果たす分散モデルへと移行しています。本当に、ここで私たちが話しているのは、流通システムの分散システムを作ることです。繰り返しになりますが、混乱しますが、ここまでです。実際、用語や概念などの多くは驚くほど一般的です。それが私が本当に話そうとしていること、分散システムの設計、アーキテクチャ、エンジニアリングから学んだ教訓を応用し、それをグリッド空間に取り入れて変化のペースを加速する方法です。

私は 2004 年頃から Google に勤務していました。当時は Google にとってだけでなく業界にとっても非常に重要かつ重要な時期でした。私はもともと、クラウドプラットフォームが普及する 2 年ほど前に、Google のクラウドプラットフォームで働くために雇われました。 Wikipedia によると、クラウドという用語は、2006 年の公開カンファレンスでエリックシュミットによって初めて使用されました。2004 年、Google は社内クラウドを展開し、少数の大規模なリソースを使用した集中型コンピューティングモデルから、高度なリソースを備えた集中型コンピューティングモデルへの非常に重要な移行を行っていました。数百万台のコンピュータに作業を分散させる分散モデル。これは業界では非常に新しいことでした。以前にそれをやった人を雇うことはできませんでした。私たちは学びながら学びました。本当に刺激的な時間でした。このミームは私が Google にいた頃のものなので、いつも私を笑顔にさせてくれます。また、私は 2007 年頃に、同じくこの非常に大規模な分散システムへの移行に取り組んでいる他の人々と一緒に、恐竜にフラミンゴを重ねました。これは実際には分散システムのジョークを意図したものでした。それは実際、すべての小さなシステムが恐竜システムを食べに来るのと同じでした。それはエイプリルフールのジョークでした。結果的にかなり意味のある脚になった1台でした。数年後、誰かがフラミンゴを恐竜のところに連れてきて、まるで別のフラミンゴに飛び乗っているのを見ました。私はこれが大好きです。なぜなら、これは、非常に大きなパラダイムシフトを目の当たりにすると、システムがどのように自立し、時間の経過とともに進化するかを示す優れた比喩でもあると思うからです。

少数の大きなサーバーから多数の小さなサーバーに移行する方法のストーリーは、かなり詳しく語られています。どのモデルでも、少数の信頼できるサーバーから多数の分散サーバーに移行していると言えば十分です。このシステムの構造により、これらのマシン間で作業を分散し、障害に対処し、システム全体内でどのように機能しているかを認識した方法で作業を移動でき、簡単なオペレータ制御の下で作業を移動できます。このシステムのファブリックにより、システムの個々の部分よりも高い信頼性を得ることができます。 Google 分散システムのコンテキストでは、これはほとんどのクラウドコンピューティングに一般的に当てはまりますが、この一連のバックボーン機能があります。監視は常に信頼性の高いシステムを構築するための基礎となるため、監視はすべての基礎であると考えています。また、オーケストレーションに関するアイデアもあります。たとえば、負荷の割り当て、ライフサイクル管理、フリート管理の観点から、マシンに作業を移したり、作業を実行できる場所に作業を移したりするなどです。それは今日のコンテナオーケストレーションタイプのシステムです。 Google の場合、それは Borg でしたが、Kubernetes または同等のテクノロジーがそのバケツに収まると思います。負荷分散、つまり作業を実行できるキャパシティの場所に作業をルーティングする機能は、すべての分散システムの基本的な接着テクノロジです。大規模なシステムを通過するにつれて、作業の分散に柔軟性を導入する方法を見つけると、システム全体の信頼性が実際に向上します。

私たちが Google のためにこのプロセスを進めていたとき、Google の信頼性を実用グレード (ファイブナイン以上) に維持することが、私たちが行ったすべての変更の中核となる設計要件でした。マイクロサービスやインスタンスだけでなく、数万のマイクロサービスタイプと数百万から数十億のインスタンスが存在するシステムで、一度に 1 つずつ慎重に交換する方法を考えることは、需要の高いプロセスであり、適切なプロセスが必要なプロセスです。基礎が必要であり、非常に優れた視認性が必要です。これはテクノロジーに限った話ではありません。また、システム全体をオペレーターにとって理解しやすくシンプルに保ち、少数のオペレーターが有意義な方法でシステムに関与できるようにするツールについても重要です。

グリッドについて説明する前に、このタイプの環境で一般化可能な方法でインフラストラクチャを構築する方法のパターンについてお話したいと思います。電力会社なしでシステムを構築するのは実際には非常に難しいため、これはグリッドにとって重要です。ユーティリティを使用してシステムを構築することも非常に困難です。一般に、大規模なインフラストラクチャシステムを構築するときは常に、実際の顧客と協力することになります。 1 つ以上、5 つ未満で開始する必要があります。インフラストラクチャ開発プロジェクトのライフサイクルの非常に早い段階では、サービスを提供できる限り大きな規模に取り組みたいと考えます。かなり早い段階でやらないと、その規模には決して到達できないからです。これは、Google で数十から数百のインフラストラクチャサービスの開発を経験したときに私が見た、再現可能な成功パターンでした。これは、現在グリッド環境で使用しているものでもあります。

グリッドについて話しましょう。監視は、信頼性が高く進化する分散システムにとってかなり基本的な部分だと思います。これは実際、今日のグリッド環境において非常に困難な点の 1 つです。今日は実際にどのようなものになるかを簡単に説明します。分散グリッドの例を次に示します。基本的には、エッジまで続く放射状のネットワークがあります。グリッドトポロジにはいくつかの異なる種類がありますが、これは一般的なものであり、最もありきたりで複雑なものです。グリッドの各部分に注目すると、今日のグリッドのインターネットバックボーンである伝送ネットワークが見えてきます。伝送ネットワークは実際には非常に単純で、メッシュネットワークであり、多くのノードはありません。それは数十万ではなく、数千です。本当によく整備されています。リアルタイムの可視性を備えています。現在もリアルタイムで運用されています。 CAISO や MISO など、今日の独立したシステムオペレーターは、非常に大規模なネットワーク内の非常に大規模な変電所で何が起こっているかをかなりよく把握しています。ここエッジでは、今日そのエコシステムや市場に参加しているリソースがいくつかありますが、それらはほんの少数である傾向があります。彼らは非常に大規模な、通常は商業および産業の顧客です。また、参加するには、伝送ネットワークにフルスケールのリアルタイムの可視性を提供する必要もあります。

私たちが前進する中で、顧客の場所にある分散型エネルギーリソースをこのインフラストラクチャの一部にするという目標があります。まだテレメトリー要件がないため、何が起こっているのかを正確に把握するのは困難です。これを行うと何が起こるかを誰の観点からも言うのは困難です。これは、伝送ネットワークの観点から見た次のステップです。最近の連邦エネルギー規制委員会命令 2222 は、これを義務付けることを義務付けていますが、その方法については述べていません。テレメトリ、ネットワーク管理、統合については何も語られていません。結果を強制することで全員にメカニズムについて考えさせることができるため、これは非常に良いステップです。

流通面では、データの話はあまり良くありません。現在、ほとんどの配電事業者はスマートメーターを導入していますが、通常は 2 ～ 24 時間前に特定のメーターで何が起こっているかを確認できます。これはデータ収集の遅さが原因です。通常、変電所の下の線路のどの部分にも直接計装はありません。また、メーターと変圧器、フィーダー、相との接続の正確なモデルが必ずしもあるわけではありません。データかモデルのどちらかがない場合、先ほど述べたモデルを実行するのはかなり困難です。これは、グリッドの端に何かを追加する上で非常に大きな障害となります。何が起こっているかが見えないため、行う可能性のある変更について安心することが非常に困難になります。

たくさんの質問があります。大丈夫ですか？そこで何が起こっているのでしょうか？おそらくここ 5 年か 10 年ほどまで、配電ネットワークの計画と運用では、文字通り今後 10 年間の負荷の増加が予測されていました。次に、グリッドの物理設備を 10 倍に過剰構築します。そして、何かが発火したり停電したりした場合に、誰かがあなたに電話してくれるのを待ちます。それは文字通り配布業務でした。明らかに、エッジで多くのことが起こっている場合、それはそれほど素晴らしいことではありません。それだけでは必ずしも十分ではありません。これは、太陽光発電を大量に追加したり、バッテリーを大量に追加したり、EV を大量に追加したり、その他何でもできるようにしたい場合に必要なモデルではありませんが、それが私たちが持っているものです。重要な変更を加えるための最初のステップは、基本的に、私たちが持っているデータを取得し、それを使って何ができるかを考え始めることです。これは、クラウドスケール、ハイパースケール分散コンピューティングのアプローチが実際に意味を持つ最初の場所です。これは、私が機械学習について話す最初の場所でもあります。

世の中には大量のデータがありますが、それはあまりリアルタイムではありません。あまり包括的ではありません。今日のほとんどの公益事業では、相関性もありません。グリッドに目を向けると、そこにあるデータを取得してリアルタイムのようなものを取得できることは、実際には機械学習テクノロジーの非常に優れたアプリケーションです。私たちにできることはたくさんあります。需要と太陽光発電の両方について、個々のメーターで何が起こっているかを予測し、把握することができます。端部荷重の正確なモデルが得られたら、正中線荷重を計算できます。世の中にあるデバイスからサードパーティのテレメトリを取り込むことができます。 Tesla はデバイス上で非常に優れたテレメトリを備えており、大規模な方法でデバイスを管理する能力を備えています。

そうすれば、現在世の中にある生地から何か使えるものをつなぎ合わせるために、さまざまなことができるようになります。前進するにあたり、より良い取り組みを行う必要があります。ハードウェア機器を隅々まで届ける必要があります。メーターからのリアルタイムデータが必要です。たくさんのものが必要です。そこから始めなければならないとしたら、とても大変なことになります。なぜなら、公共事業のそのようなプロジェクトには 5 年から 10 年もかかるからです。他のものを準備しながら、手持ちのデータから始める必要があります。テクノロジーの応用について話していると、確かに、より良いデータがあれば、これらはすべてより良くなります。私たちは自分が持っているものから始めなければなりません。今日のグリッドに対応できるものから始めて、明日のグリッドに到達するための手順を実行する方法を見つけることが、作業のほぼ 100% です。繰り返しになりますが、この作業をグリッド技術に関する限り、それは明日のことです。

私たちは何を目指して構築しているのでしょうか? 今日の配電網には少しダイナミズムがあります。過去 5 ～ 10 年で変化を引き起こしている最大の要因は、太陽光発電の役割です。現在、ほとんどの送電網では必ずしも太陽光発電が大きな部分を占めているわけではありませんが、オーストラリアやハワイなどの一部の場所では太陽光発電が普及しています。実際、オーストラリアはこの分野で世界のリーダーであり、驚くべきことにドイツと並んで非常に多くの屋上太陽光発電を設置しています。地元の屋上太陽光発電によって提供されるエネルギー供給量は、日中の使用量の 50% 以上になる場合もあり、80% または 90% に達する場合もあります。その時点で、非常に重大な問題が発生します。簡単に言うと、10% 程度を超えるとすぐに、この曲線とピンク色の線が見え始めます。これはアヒル曲線と呼ばれます。この曲線の昼間の部分に太陽が食い込むほど、アヒルの背中は深くなります。エミューは首がとても長い鳥なので、オーストラリアではこれをエミューカーブと呼び、恐竜カーブとも呼ばれます。これが現在のグリッドです。朝と夕方の傾斜が急であればあるほど、そのギャップを埋めるために従来の発電量を増減させる際の問題は大きくなります。なぜなら、これらのプラントは信頼できるベースロードであると考えられており、理論的には管理可能などですが、立ち上げと立ち下げに 1 日かかることもあり、あまり柔軟性がありません。もう一つは、太陽からの贈り物をもっと受け取るにつれて、電圧や周波数などのことを中心に動き始めることです。今日のほとんどの電力会社の反応は、速度を下げろというものだった。相互接続キューがあるので、調査を行うか、またはバージョンを変更します。

明日のグリッドは全く違ったものになるはずです。需要の約3倍を供給する必要があります。柔軟性を保つには、多くの負荷が必要です。バッテリーには大きな役割が必要です。必要なすべての送電網を構築するのは困難になるため、地元で発電するには大量の発電が必要です。地元で何かが起こるほど、私たちの生活は良くなります。それを管理できるようにする必要があります。それが見えるようにする必要があります。それを制御可能にする必要があります。これは、私たちが今日いる状況よりもはるかに大きな前進です。私たちが話しているのであれば、現状のグリッドから必要とされるグリッドに到達するためにどのように手順を踏むかということです。「そこには何があるの？」といったいくつかの質問から始めることができます。どうしたの？今日はそれほど多くはありません。それは本当に大きな部分を占めています。なぜなら、この変化はまだ起こり始めているからです。なぜなら、多くの電力会社が、多くの屋上太陽光発電やバッテリー、あるいはエンドユーザー技術の追加を後押ししているからです。また、この変化を推進する大きな要因の 1 つが電気自動車になるためであり、それは実際に大規模なものになり始めたばかりだからです。現在のグリッドでは、実際にはネットワークの問題はそれほど多くありません。誰もが、ネットワークを過剰に構築し、非常に効果的に計画を立て、電力会社内の変更のペースに追いつくことができるほど十分に遅い変更を維持することに非常に成功しています。

もう少し取得し始めると、ネットワークの個々の部分にストレスがかかる場所が見え始めます。この写真では、この小さな赤い三角形は、スマートデバイス、たとえば EV サービスがあるいくつかの異なる場所を接続する変圧器ですが、場合によってはその変圧器が過負荷になることがあります。交換できます。大丈夫です。デバイスが増えれば増えるほど、より多くのことが起こり始めます。これは特にEVによって駆動される可能性が高いですが、バッテリーで十分です。現在、ほとんどの住宅では最大約 6 キロワットの負荷がかかっています。フォード F-150 ライトニング双方向充電器のキロワットのピーク負荷は 19 キロワットで、これは一度に約 3 ～ 4 軒分の負荷に相当します。これは変圧器から煙を吹き出し、発火させるのに十分です。

さて、電力会社が尋ね始めている疑問があります。それは、どうすればそのような事態が起こらないようにするかということです。それが彼らが最初に思いつく傾向です。それから、これについてどうやって知ることができますか? どうやって対処すればいいのでしょうか？そして、私のようなソフトウェア会社が現れて、「これはソフトウェアにとって簡単な問題なので、完全に対処できます。車両の充電のスケジュールを設定するだけです。大丈夫です。」と言いました。電力会社のオペレータまたはエンジニアはこれを見て、次のような質問をします。「ソフトウェアはソフトウェアとしては優れていますが、これらの変圧器は爆発する可能性があります。爆発すると、物に火がつきます。」これはグリッドの上から下までずっと当てはまります。ここで問題になっているのは必ずしもソフトウェアの問題だけではなく、システムの問題、文化の問題が生じています。これは大規模なシステム移行に取り組んだことのある人なら誰でもよく知っている問題です。これも信頼の問題です。

そこに何があるかを理解すると、それらのリソースを管理できるかなど、さらにいくつかの疑問が生じます。 EVの充電をスケジュールできますか? 彼らにサービスを提供してもらうことはできますか? 私が抱えている可能性のあるバランス、周波数、電圧の問題を解決してくれるでしょうか? それらのサービスにはどのような価値があるのでしょうか? というのは、私が考えてみれば分かるのですが、もし私がバッテリーを取り付けたとして、PG&E がノックしてきて、私があなたのバッテリーを管理したいと言うのです。出て行けって感じです。彼らが現れて、「バッテリーの使用料を自動的に支払うことができるプログラムがあります。場合によってはバッテリーの使用に影響を与えない方法で」と言ったら、私は PG&E について良い印象を持ちます。、これは別の質問です。それはそうだと言えるかも知れません。それは不合理なことではありません。バッテリーは高価なので、その費用を負担したいかもしれません。どのモデルであっても、コントロールについて話すときは、おそらくその非常に大きな部分が価格シグナルによっても左右されることを念頭に置いてください。あるいは、最終的には、リソースからサービスを受けるために、リソースの所有者またはリソースのアグリゲーターに金銭を提供することになります。これは、二次的または間接的な操作信号のようなものです。それにもかかわらず、これは将来のグリッドの構造の一部です。

私たちには信頼の問題があります。私は信頼をはしごとして考えるのが好きです。私は人間主導のプロセスの自動化を数多く行ってきました。これは、物事が 10 倍、100 倍、1,000 倍、100 万倍と成長していく中で、Google で行う機会が多かったものです。システムの複雑さは、人間の推論能力よりも先にスケールし続けているからです。オペレーターが依存でき、予測可能な方法で使用でき、結果を理解できる、いくつかのシンプルなコントロールを持つことには多くの価値があります。そこに追加したり、既に行っていることを自動化する場合は常に、「私があなたのためにそれを解決しました。その問題を完全に自動化しました。」というようなものではありません。もしここでそんなことをした人がいたら、運営チームからどんな反応が返ってくるかわかるでしょう、彼らは「出て行け」といったものです。一度に少しずつ入ってくる必要があります。シンプルにしておく必要があります。予測可能にしておく必要があります。各ステップは理解しやすく、信頼できるものである必要があります。

グリッドの小さなモデルに戻ると、何が起こっているかを少しでも理解できれば、作業を開始できるものを手に入れることができます。変圧器で何が起こっているか知っていますか? 問題の原因となっている負荷点で何が起こっているか知っていますか? どこまで制御可能ですか？レバーはありますか？これは私たちが取り組み始められるものです。ここで注意していただきたいのは、自動化の目標は、必ずしも物事を自動化することや、ソフトウェアを作成することなどだけではないということです。その目標は、人間がシステムを理解し、変化するシステムを理解し続けることができるようにすることです。階層化され原則に基づいた方法で自動化を追加すると、実際には抽象化のレイヤーにマッピングされる傾向があります。また、理解可能なシステムの構築に役立つ抽象化のレイヤーにマッピングされることもあります。それを行う場合には、自動化が常に最適です。

この自動化のはしご、または個々のデバイスの信頼のはしごを上っていくことができます。「わかりました、バッテリー、あなたが地元の仕事をして、ここで送電網をバックアップすることを信頼しています」と言うことができます。それを実現する最も簡単で信頼できる方法は、このバッテリーの相互接続の研究を行ったところ、変圧器が管理できる以上のエネルギーを一度に送り出すことができないことがわかったことです。これは、ほとんどの電力会社が今日、それを把握するために行っていることです。それはデフォルトの安全設定です。ただし、それらが増え始め、アップグレードが非常に高価になると、それよりももう少し賢いことを始める必要があります。グリッド上の特定のポイントで利用可能な容量の割り当てがどのくらいかを知る必要があります。これは非常に簡単です。これは、すべてのバッテリーのサイズを合計して、これだけ残っていることがわかったようなものです。より洗練されたものにすることもでき、この場合、リアルタイムデータを処理できることが重要になります。なぜなら、変圧器に関するリアルタイムのデータを取得したり、変圧器を合成したりできれば、ピーク時を除いて、一般に安全な容量割り当てのアイデアを得ることができ、それを使用する必要がある人々の間で分配し始めることができるからです。それ。これで、デバイスが行う日常業務に加えて、オペレータがこれらのデバイスを呼び出す機能を安全に提供できるようになりました。これの最も単純なモデルは、特定の時点でエネルギーを取り出したり、エネルギーを入れたりできるだけです。太陽光発電のピーク時に充電して、夕方の負荷ピーク時に放電してください、という感じです。デバイスに電話をかけても何も爆発しないというデフォルトの安全な仮定を設定すると、デバイスに他のことを実行させる機能が使えるようになります。今ではさらに信頼できるようになりました。

これにより、デバイスレベルだけでなくシステムレベルでも検討できるようになります。これで、変圧器から導体、つまり線路、アップライン変圧器、フィーダーヘッド、変電所に至るまでのアップライン全体の容量がどれくらいであるかが分かりました。基本的にネットワーク容量の仮想化を開始できる動的割り当てを提供できます。これは私たちが今日グリッドで行っていることではありませんが、近い将来に私たちが望んでいることです。これは次のステップであり、ライン全体の制限を尊重した方法でこれらのデバイスを管理し、それらを呼び出すことができるようになります。次に、サービスを呼び出しながら、グリッドの集合的な容量を管理する方法でそれを実行できるようにする必要があります。この時点で、オーケストレーションなどの作業を開始できるようになります。私はオーケストレーションとは、目標を達成するための集団的な管理であると考えています。それだけではありません。デバイスのオン/オフを切り替えたり、変圧器が爆発するのを止めたりできるでしょうか? 実際、この一連の資産をまとめて調べて、信頼性を維持しながら、コストや炭素など、特定のケースで最適化したいシステムに関する何かを最適化する方法でそれを呼び出すことができるでしょうか。これは、将来のグリッドに必要な自動化の基本単位です。

質問に戻りますが、はい、もちろんソフトウェアは信頼できます。私たちはこれを毎日行っています。これはこの部屋にいるほとんどの人たちの仕事です。それには注意事項が伴う可能性があることを私たちは知っています。それは単に仕事をするという意味です。ただし、単に技術的な作業を行うだけではなく、それがここで非常に重要な部分です。それはシステムの作業を行うことも意味します。重要な補足の 1 つは、障害に対する許容度が非常に低いシステムでシステムレベルの作業を行う場合は常に、これは自動運転車、航空宇宙アプリケーション、自動着陸ロケットなど、あらゆる種類のものに当てはまります。とりわけ、シミュレーション環境の役割は重要性を増しています。実環境で安全にテストできない場合は、SIM でテストする必要があります。これは、Google のような、一般的に実環境でテストできる環境から、ロケットやグリッドなどの環境に移行する際に、非常に大きな教訓となりました。私は実際、危険な物理システムにおけるシミュレーションと安全性の保証の適切な役割を理解するために、航空宇宙アプリケーションに取り組んでいる友人とかなりの時間を費やして話し合いました。

それが完了すると、グリッドのような大規模な物理システムに変更を展開するプロセスは、分散システムソフトウェア環境に変更を展開するプロセスと非常に似ています。あなたはそれをテストするつもりです。あなたはそれをカナリア化するつもりです。ゆっくりと展開していきます。あなたはそれを監視するつもりです。これで、ソフトウェア主導のグリッド管理環境で大規模な変更に取り組み始めるための反復可能なパターンが得られました。この点について興味があれば、このモデルの制御を使用して稼働しているグリッドがいくつかあります。これはグリッド環境において非常に役立つことが証明されており、これは分散システム空間から持ち込まれた非常に重要な学習であると私は考えています。

これにより、非常に大規模な自動化を実際に検討し始める機会が開かれます。結局のところ、これは大きなことになるでしょう。それは今日ではありませんが、目の前にある問題を解決するためにはそうする必要があります。何百万ものデバイスが必要です。大幅な負荷の増加が必要です。かなりの柔軟性が必要です。シンプルであることが必要です。分散システムのスケールを予測可能、信頼性、管理可能にし、最終的にはシンプルにするパターンの種類を考えながら、それを検討し始めると、クラスターデプロイメント、データセンター、またはリージョンの単位に注目することになります。または複数のリージョンにまたがるサービス。あなたは、これをジャンク部品の束としてではなく、論理的に理解できるシステムとして考え始めるための自己管理や回復力の単位とは何なのかを考え始めています。基本的に、その一部を設定すると、オペレーターの介入が時々必要になるだけで、一定期間にわたってほぼ自立的に実行されることが期待できます。グリッド内のリージョンは事実上、サービスのクラスターレベルのデプロイメントに似ていると考えられ始めています。ローカルのリソースセット内で一貫したポリシーに基づいて運用できるのは、グリッドスケールの考え方であり、分散システム環境から完全なグリッド環境まで非常によく対応していると思います。これは私だけではありません。これは、グリッド研究者や電力会社の間で非常に活発な調査となっています。これは私たちが機能すると考えているモデルであり、フラクタルグリッドまたは階層グリッドのアイデアです。

ただし、これらの異種サービスすべてから有用な出力を取得するために必要な柔軟性を確保するには、オペレーターが簡単に制御できる柔軟性リソースが不可欠です。ここで、キャッシュの概念に戻りたいと思います。 Web サービス、つまりインターネットサービスの分野で分散システムをスケールアップするために何が必要だったかを考えると、私たちは容量割り当て、つまり処理能力の非常に集中化されたモデルから始めました。大規模なデータセンターがあり、すべての負荷をそこに置きます。バックアップとして 2 つ目を用意することもできます。複数のデータセンターの場所について考え始めると、n プラス 1 の容量やフェイルオーバー容量などについても考えることになります。最初は、比較的単純なものから始めます。これが基本的に今日のグリッドの位置です。いくつかの大きなジェネレーター、n プラス 1。n プラス 1 および n プラス 2 の計画は、分散システムの場合と同様、グリッドでも非常に重要です。今日はグリッドの負荷を予測し、必要に応じて発電量を増減します。

分散システムの例に戻ると、需要が増えると、最初のステップとして、より多くのキャパシティロケーション、より多くのデータセンター、より多くのコンピュータを追加します。次のステップは、そのほぼ直後、またはそれと並行して、トラフィックの一部を処理できる軽量のコンピューティングコスト最適リソースを確保できるキャッシュのアイデアです。制約が CPU やサービス提供リソースではなく、ネットワーク自体である時点で、キャッシュの役割は変わります。これは、Google が初期の頃、スケーリングの問題を検討していたとき、制約のあるリソースが Web 検索用のコンピューティングであったため、実際には容量に制約のあるスケーリングに取り組んでいた点です。その帯域幅部分は非常に小さく、Web 検索のリクエストまたは応答はそれほど大きくありません。 YouTube が登場するとすぐに、突然、別の問題が発生しました。さて、問題はネットワークコストです。 Google にとって、これは 100% 猫の動画を確実に提供することによって推進されており、これは私たち全員にとって非常に重要です。犬の動画も好きです。

これが、分散エッジキャッシング層を検討する必要が生じた時点です。これにより Google に基本的に与えられたのは、キャッシュを使用してネットワークコストを賄うだけでなく、そのリクエストがネットワーク全体を通過するのを阻止できるということでした。また、ユーザーの観点からシステムの信頼性を高める柔軟性のポイントとしてキャッシュの使用を開始します。ユーザーの観点から考えると、ネットワークへの接続が時々ダウンすることがあっても、ブラウザのキャッシュから結果を取得できるようなものです。 ISP のネットワーク接続がダウンしているか、Google がダウンしていたり、一瞬ちらついたりすることがあります。それは時々発生する可能性がありますが、ローカルキャッシュに利用可能な応答がある場合は、ローカルキャッシュから応答を取得できます。これは中央リソースの信頼性に代わるものではありませんが、それを大幅に強化するものです。これらのエッジキャッシングレイヤーの導入を開始し、Google でネットワークを含むファイブナインの中央サービスシステムを基本的に維持していた時点から話を進めてみましょう。このシステムは最終的にシックスナインよりも信頼性が高く、ユーザーの観点から見て事実上 100% 優れていました。このままにしなければならない理由はありませんが、それはこのシステムの結果でした。

これをグリッドの観点から見てみると、キャッシュとは何でしょうか? バッテリーはキャッシュです。将来の送電網におけるバッテリーの役割を考えると、それは単にエネルギーを貯蔵し、太陽光を蓄えて後で再利用できるということだけではありません。また、ネットワークをより効率的に使用できるようにする柔軟性を提供すること、また、提供する制御に対してより多くの制御とより多くの誤差のマージンを提供することも目的としています。これは、驚くべきリソースにとって大きな変革をもたらすものだと私は考えています。これは今日の現場で見られ始めていることです。極限では、見慣れた未来のグリッドのモデルが得られ始めます。当社には、システムレベルで効果的な一括管理を提供するために、ポリシーやアップデートなどを取得する可能性のある独立したサービス提供場所が多数あります。おそらく彼らは、時には、またはほとんどの場合、自分自身を完全に孤立させることさえあります。できれば、料金を支払えばネットワークサービスも提供できるとよいでしょう。

私が「願わくば」と言うのは、これもすべて崩壊し、集団送電網の経済が、まるで亡命して地元に自分たちの発電所を建設したいという人々の欲望によって押しつぶされるというモデルがあるからです。コモンズの悲劇という観点からすれば、それはよくないことだ。なぜなら、いかなる形の経済的中心接続も提供していない送電網のモデルを見ると、もはや接続されておらず、サービスを効果的に受けられなくなります。私たちはグリッドのモデルが利用可能であることを気に入っています。それは、多くのことを最適化できるからです。ネットワークの使用を最適化します。リソースの使用が最適化されます。風が吹いている場所からそうでない場所へ、太陽が輝いている場所からそうでない場所へエネルギーを移動させることができます。リソースを移動して、生成とネットワークリソースの効率を大幅に向上させましょう。これはデフォルトの結果ではありません。それを実現したい場合は、これを構築する必要があります。

ちょっと話を戻しますが、そもそもなぜこのことについて話しているのでしょうか？これは学術的な演習ではありません。それは人々がバッテリーの使用に対して支払いを受けられるようにしたいという理由だけではありません。それは単に変圧器が爆発しないようにしたいからというだけではありません。それは、送電網の脱炭素化の最後の 20% とエネルギー供給の増加のために、顧客とエンドユーザーが提供する柔軟性が本当に必要だからです。それができれば、期限に間に合う可能性が非常に高くなります。 2035 年までに達成できるかもしれません。2040 年までに達成できるかもしれません。2040 年は悪くありません。 2030年がベストでしょう。私たちがこれを行う毎日は、これまでのように二酸化炭素を排出していない日であり、より良い未来への一歩です。

最後に、最終的には送電網を運用するための巨大な AI が登場するかどうかについて触れておきたいと思います。それに対する私の簡単な答えは、おそらくいくつかの理由から、単一の巨大な AI ではないということです。 1 つは、多くの参加者がいるこのようなシステムでは、予測可能性と透明性が非常に重要であるということです。それは理解しやすく、予測可能である必要があり、また、特に講じられた行動の経済的影響が非常に明確なものである必要もあります。そうは言っても、これは非常に複雑な問題です。 ML と AI によって改善される機会はたくさんあります。限界としては、このスライドに記載されているすべてのことを実行するために、最適化とスケジューリングにおいて AI が非常に大きな役割を果たし、エネルギー使用の変化するパターンを理解し、効果的に管理できるようになることが期待されます。私の嬉しいメッセージは、それは私たちが進むにつれて進化できるものであるということです。手持ちのツールから始められます。単純にシステムや運用の観点からでも、AI や ML 研究者でも、グリッドに関わることに興味がある分野で、本当に興味深い技術的な仕事を見つける機会は誰にでもあります。そして、これらのシステムの運用を本当に劇的に改善する方法が見えてきました。

気候分野に変化を加えようとしているエンジニアにとって非常に役立つリソースが他にもいくつかあります。この分野に取り組んでいるのは当社だけではなく、非常に優れた企業が数多くあります。将来のキャリアを考える際には、気候変動とクリーンテクノロジーの方向への移行を検討することを強くお勧めします。なぜなら、今日私たちができるこれ以上に重要な仕事はないからです。

トランスクリプト付きのプレゼンテーションをさらに見る

記録場所:

2023 年 5 月 12 日

による

アストリッド・アトキンソン

ドメインの専門家から新たなトレンドと実践を明らかにします。 QCon New York (2023 年 6 月 13 ～ 15 日) でスキルをレベルアップしましょう!

トランスクリプト付きのプレゼンテーションをさらに見る

まだ見たことのない未来に向けた革新: 分散システム アーキテクチャとグリッド

まだ見たことのない未来に向けた革新: 分散システムアーキテクチャとグリッド