最短路徑隨機動態規劃 (SP-SDP) 學習指南 — 認證測試量的是「全程油耗與排放」加上「結束時電量不得低於起始」，中途的 SOC 本來就可以自由漂移。那麼把 SOC 偏差罰在每一個瞬間就是在罰法規沒有量的東西。把罰則移到熄火那一刻，折扣因子隨之消失，調校參數從兩個減為一個。A study guide to shortest path stochastic dynamic programming (SP-SDP). A certification test measures total fuel and emissions over a drive cycle plus one charge-sustaining condition at the end; in between, SOC is free to roam. Penalizing SOC deviation at every instant therefore penalizes something the regulation never measures. Move the penalty to key-off and the discount factor disappears with it, leaving one tuning parameter instead of two.最短経路確率的動的計画法 (SP-SDP) の学習ガイド。認証試験が測るのは走行サイクル全体の燃料と排出、そして終了時に電池 SOC が開始時を下回らないという一点だけであり、その間 SOC は自由に動いてよい。したがって SOC 偏差を毎瞬間罰するのは、法規が測っていないものを罰していることになる。罰則をキーオフの瞬間だけに移せば割引率も不要となり、調整パラメータは二つから一つへ減る。
用內燃機的車輛要更省油、更低排放，論文開宗明義說只有兩條路。第一條是改善熱力循環本身：汽缸停缸 [1]、可變凸輪相位 [2] 與可變氣門正時 [3]、連續可變變速箱 (CVT) [4]、自動換檔變速箱 (AST) [5]、廢氣再循環 (EGR) [6]。這些技術改善的是瞬時效率。第二條是改善系統層次的表現：在一趟行駛循環中把能量儲存起來再放出去，讓引擎多待在有利的工作區，於是引擎的平均熱效率上升。實現這條路的技術就是油電混合車 (HEV) — 一套電動力系統耦合在傳統動力系統上。For a vehicle using an internal combustion engine, the paper opens by saying there are only two basic approaches. The first is to improve the thermodynamic cycle itself: cylinder deactivation [1], variable cam phasing [2] and variable valve timing [3], continuously variable transmissions [4], automated shift transmissions [5], exhaust gas recirculation [6]. These improve instantaneous efficiency. The second is to improve system performance: store and release energy over a drive cycle so the engine spends more of its time in favourable regions, which raises the engine's average thermal efficiency. The technology that does this is the hybrid electric vehicle (HEV) — an electric powertrain coupled to a conventional one.内燃機関を用いる車両の燃費向上と排出低減には、本質的に二つの道しかないと論文は冒頭で述べる。第一は熱力学サイクルそのものの改善である。気筒休止 [1]、可変カム位相 [2] と可変バルブタイミング [3]、無段変速機 (CVT) [4]、自動変速機 (AST) [5]、排気再循環 (EGR) [6]。これらが改善するのは瞬時効率である。第二はシステムとしての性能の改善である。走行サイクルを通じてエネルギーを蓄えては放出し、エンジンをより有利な運転領域に長く留めることで、エンジンの平均熱効率を高める。これを実現する技術がハイブリッド車 (HEV) — 従来型パワートレインに電動パワートレインを結合したものである。
傳統動力系統由引擎、變速箱、差速器與控制器組成，控制器把駕駛的扭矩請求翻譯成引擎與變速箱的輸入，同時要兼顧油耗、排放、扭矩偏差與元件保護等多重目標。HEV 完全保留了這些複雜度，然後再加上新的：更多元件、元件之間的耦合，於是更多狀態、更多輸入、更多可回授的輸出。還有全新的控制目標 — 因為聯邦與各州法規 [7][8][9][10]，控制系統必須把電池電量管理到能通過認證。此外還可能有電池壽命管理、系統熱管理、避免客戶感到「怪怪的」等目標。A conventional powertrain is an engine, a transmission, a differential and controls; the controls translate the driver's torque request into engine and transmission inputs while meeting several objectives at once — fuel economy, emissions, torque deviations, component protection. An HEV retains all of that and adds more. The extra components and the coupling among them increase the number of states to be controlled, the inputs for control, and the outputs available for feedback. There are also new control objectives: because of federal and state regulations [7][8][9][10], the controls must manage battery charge in a way that satisfies certification. Beyond certification a manufacturer may also want battery life management, thermal management, and minimization of the customer's perception of ‘odd’ behavior.従来型パワートレインはエンジン、変速機、デファレンシャル、そして制御系から成る。制御系は運転者のトルク要求をエンジンと変速機への入力に翻訳しつつ、燃費・排出・トルク偏差・部品保護といった複数の目標を同時に満たさねばならない。HEV はそれをすべて引き継いだ上にさらに複雑さを加える。部品が増え、部品同士が結合するため、制御すべき状態、制御入力、フィードバックに使える出力がいずれも増える。さらに新しい制御目標が加わる。連邦および州の規制 [7][8][9][10] により、制御系は認証を満たす形で電池の充電量を管理しなければならない。認証以外にも、電池寿命管理、熱管理、顧客が「妙だ」と感じる挙動の最小化といった目標がありうる。
一台 HEV 在認證測試中必須電量維持 (charge sustaining)：測試結束時的 SOC 必須不低於開始時。測試期間，SOC 可以自由變動，好讓油耗與排放的加權組合最小。所以：一個在每個瞬間都罰 SOC 偏差的成本函數，罰的是法規根本沒有量測的東西，而且它需要兩個調校旋鈕（折扣因子 γ 與 SOC 罰則增益）。SP-SDP 只在熄火那一刻罰 SOC 偏差，不需要折扣因子，只剩一個調校參數。論文其餘的一切都是從這一句推出來的。When an HEV is certified, its power management must be charge sustaining over the drive cycle: SOC at the end of the test must be at least as high as at the beginning. During the test, SOC is free to vary so as to minimize a weighted combination of fuel and emissions. Therefore: a cost that penalizes SOC deviation at every instant is penalizing something the regulation does not measure — and it needs two tuning knobs, the discount factor γ and the SOC penalty gain. SP-SDP penalizes SOC deviation only at key-off, needs no discount factor, and leaves one tuning parameter. Everything else in the paper follows from that sentence.HEV が認証を受けるとき、そのパワーマネジメントは走行サイクルにわたって電荷維持 (charge sustaining) でなければならない。試験終了時の SOC が開始時以上であることが条件である。試験の途中では、燃料と排出の加重和を最小にするよう SOC は自由に変動してよい。したがって毎瞬間に SOC 偏差を罰するコストは、法規が測っていないものを罰している。しかもそれには割引率 γ と SOC 罰則ゲインという二つのつまみが要る。SP-SDP は SOC 偏差をキーオフのときだけ罰し、割引率を必要とせず、調整パラメータは一つだけ残る。論文の他のすべてはこの一文から導かれる。
論文把文獻排成一條線，每一步都附上自己的判詞。這份清單值得細看，因為它正好說明了「為什麼還需要再寫一篇」。The paper lays the literature out as a line, each step carrying its own verdict. The list is worth reading closely, because it is exactly the argument for why another paper was needed.論文は文献を一本の線に並べ、各段階に自らの判定を添えている。このリストは丁寧に読む価値がある。「なぜもう一本書く必要があるのか」という論証そのものだからである。
| 方法Approach手法 | 內容What it does内容 | 本文的評語The paper's verdict本論文の評価 |
|---|---|---|
| 規則式 [11][12]Rule-based [11][12]ルールベース [11][12] | 文獻中的主流。依工程直覺與邏輯設計；[11] 以瞬時成本挑最佳動作，其中電池電能以等效燃油成本近似。The dominant approach in the literature. Built from engineering intuition and logic; [11] picks the best action by instantaneous cost, where that cost includes an approximation of the fuel cost of electrical energy.文献における主流。工学的直観と論理で構成する。[11] は瞬時コストで最良の行動を選び、そのコストには電池電力の燃料換算近似が含まれる。 | 可行，但只是直覺的形式化，沒有任何最佳性保證。Workable, but a formalization of intuition with no guarantee of optimality.実用的だが直観の形式化にすぎず、最適性の保証はない。 |
| DP 作為分析工具 [13][14]DP as analysis [13][14]解析としての DP [13][14] | 用動態規劃分析最佳控制的性質。Dynamic programming used to analyze the properties of an optimal control.動的計画法を用いて最適制御の性質を解析する。 | 「這些分析並未被用來產生因果的控制律。」“These analyses were not used to generate a causal control law.”「これらの解析は因果的な制御則の生成には使われていない。」 |
| 先解 DP、再萃取規則 [15]DP solution, then rules [15]DP を解いて規則を抽出 [15] | 先解 DP 找出全域最佳的控制序列，再從中萃取出可實作的控制律。Solve a DP for the globally optimal input sequence, then use the insight to design a realizable control law.DP を解いて大域最適な入力系列を求め、その知見から実装可能な制御則を設計する。 | 在 Eaton 原型車 [16] 上實測，比啟發式控制律有顯著改善。但規則仍是人手萃取的。Tested in an Eaton prototype HEV [16] with significant improvement over heuristic laws. But the rules are still extracted by hand.Eaton の試作 HEV [16] で検証され、経験則ベースの制御則に対し顕著な改善を示した。ただし規則の抽出は依然として人手である。 |
| MPC [17]MPC [17]MPC [17] | Back 在「完全已知未來軌跡」的假設下提出因果的模型預測控制律。Back proposes a causal model predictive control law assuming perfect future knowledge of the vehicle trajectory.Back は車両軌道の未来を完全に知るという仮定の下で因果的な MPC 則を提案した。 | 「完全的未來知識在現實中幾乎取不到。」“Perfect future knowledge is rarely available.”「完全な未来情報は現実にはほとんど得られない。」 |
| 隨機 MPC [18]Stochastic MPC [18]確率的 MPC [18] | Kummert 把隨機 MPC 用在被動式太陽能建築：用天氣預報加上對預報的信心度決定冷暖氣排程。Kummert applies stochastic MPC to a passive solar building: a weather forecast plus a confidence in the forecast sets the heating and cooling schedule.Kummert はパッシブソーラー建築に確率的 MPC を適用した。天気予報とその予報への信頼度から冷暖房スケジュールを決める。 | 暗示「路徑預測 + 預測信心」可以用在 HEV 上，但論文說找不到有人這樣做。Suggests that path prediction with a prediction confidence could be used the same way for an HEV — but the paper found no work proposing it.経路予測と予測信頼度を HEV に同様に使えることを示唆するが、そうした提案は見当たらないと論文は述べる。 |
| SDP [20]SDP [20]SDP [20] | Lin 等人用隨機動態規劃直接設計 HEV 控制律：從最佳化準則、系統動態模型與駕駛型態統計模型三者設計出控制律。Lin et al. use stochastic dynamic programming to design an HEV control law directly, from an optimization criterion, a model of the plant dynamics, and a model of the driving pattern statistics.Lin らは確率的動的計画法で HEV 制御則を直接設計した。最適化基準、プラント動特性モデル、運転パターン統計モデルの三つから制御則を得る。 | 「比先前任何啟發式規則控制器都好。」但弱點也說得很直白：它折扣未來成本，並且在每個瞬間都對 SOC 偏離設定值課罰則，於是帶著兩個調校參數。“Better performance than any heuristically derived rule-based controller previously employed.” But the weakness is stated plainly: it discounts future costs and assigns a penalty to SOC deviation from a set point at every instant, so it carries two tuning parameters.「従来のいかなる経験則ベース制御器よりも良い性能」。ただし弱点も明言される。将来コストを割り引き、SOC の設定値からの偏差を毎瞬間罰するため、調整パラメータを二つ抱えている。 |
SP-SDP 是無限時域隨機動態規劃的一個變形。它的狀態空間是刻意構造出來的，使得其中有一組狀態代表終端條件。在這組狀態裡：不產生任何成本，而且轉移出去的機率為零 — 也就是說終端集合是吸收態 (absorbing)。終端集合以外的每一個狀態都是暫態 (transient)：在控制之下，它在有限時間內進入終端集合的機率是正的。SP-SDP is a variation of infinite-horizon stochastic dynamic programming. Its state space is constructed so that a set of states represents a terminal condition. In that set, no costs are incurred and there is zero probability of transitioning out — the terminal set is absorbing. Every state outside the terminal set is transient: under control, there is a positive probability of entering the terminal set within a finite time.SP-SDP は無限時間領域の確率的動的計画法の一変種である。その状態空間は、ある状態の集合が終端条件を表すように構成される。その集合の中ではコストが一切発生せず、外へ遷移する確率はゼロである。すなわち終端集合は吸収的 (absorbing) である。終端集合の外のあらゆる状態は過渡的 (transient) であり、制御の下で有限時間内に終端集合へ入る確率が正である。
終端集合的存在，加上能把系統控制進去的能力，就保證了即使不折扣，期望成本也是有限的。換句話說 — 折扣因子當初出現的唯一理由，是要讓一個無窮級數收斂。給問題一個真正的結局，就不再需要它。對 HEV 來說，這個結局是現成的：鑰匙一轉，車就熄火了。這不是數學技巧，這是物理事實。The existence of that terminal set, together with the ability to control the system into it, is what guarantees the expected costs are finite even in the undiscounted case. Put another way: the discount factor was only ever there to make an infinite sum converge. Give the problem a real ending and you do not need it. For an HEV that ending is free — turn the key and the vehicle is off. It is not a mathematical device; it is a physical fact.この終端集合の存在と、システムをそこへ制御できることが合わさって、割引なしでも期待コストが有限であることを保証する。言い換えれば、割引率はそもそも無限和を収束させるためだけに存在していた。問題に本当の終わりを与えれば、それは要らなくなる。HEV にとってその終わりはただで手に入る — キーを回せば車は止まる。数学的な小細工ではなく、物理的事実である。
'turn off' 是唯一課 SOC 罰則 $c_\text{term}(q-q_\text{target})^2$ 的地方，進入 'off' 之後成本恆為零且永不離開。無折扣的無窮和之所以收斂，不是因為每一項愈來愈小，而是因為尾巴整串都是零。Fig. 1 — The SP-SDP state graph. On the left the transient set, where cost accrues; on the right the absorbing terminal set. 'turn off' is the only place the SOC penalty $c_\text{term}(q-q_\text{target})^2$ is charged, and once in 'off' the cost is identically zero and the state never leaves. The undiscounted infinite sum converges not because its terms shrink but because its tail is all zeros.図 1 — SP-SDP の状態図。左が過渡状態の集合でコストはここで累積し、右が吸収的な終端集合である。'turn off' が SOC 罰則 $c_\text{term}(q-q_\text{target})^2$ を課す唯一の場所であり、'off' に入れば以後コストは恒等的にゼロで、状態はそこを離れない。割引なしの無限和が収束するのは、各項が小さくなるからではなく、尾部がまるごとゼロだからである。本文沿用 [15] 與 [20] 的 HEV 模型：一台並聯式油電混合卡車，自動變速箱、柴油引擎，電機耦合在變速箱輸出軸上。這正是本站隨機控制策略學習指南所討論的那一台車 — 兩篇論文用同一台車，才使得兩種控制律的比較有意義。This study assumes the HEV model of [15] and [20]: a parallel hybrid electric truck with an automatic transmission and a diesel engine, the electric machine coupled to the output shaft of the transmission. This is the same vehicle discussed in the companion Stochastic Control Strategy study guide on this site — and it is because both papers use the same truck that the comparison between the two control laws means anything.本研究は [15] と [20] の HEV モデルを用いる。自動変速機とディーゼルエンジンを備えた並列式ハイブリッドトラックで、電動機は変速機の出力軸に結合されている。これは当サイトの姉妹ガイド 確率的制御戦略 — 学習ガイド が扱うのと同じ車両である。両論文が同一の車両を使っているからこそ、二つの制御則の比較に意味がある。
為了控制設計，動力系統被簡化成一個準穩態、離散時間的狀態模型，只有兩個狀態：電池電量 $q$（正規化到 0 與 1 之間）與車速 $v$（限制在 0 到 100 mph）。兩個狀態都假設可完美觀測。電池以歐姆內阻與充電效率建模，開路電壓是 SOC 的函數。變速箱檔位則事先依「使瞬時燃油與排放的線性組合最小」選定，而且這個線性組合的權重就是控制目標所用的權重；換檔假設耗時可忽略，由一個自主的低階控制器負責。For control design the powertrain is reduced to a quasi-steady, discrete-time state model with just two states: battery charge $q$, normalized to a value between 0 and 1, and vehicle speed $v$, limited to the range 0 to 100 mph. Both states are assumed perfectly observed. The battery is modelled with ohmic resistance and charge efficiency, with an open-circuit voltage curve that is a function of state of charge. The transmission gear is selected a priori to minimize the instantaneous linear combination of fuel consumption and emissions generation that matches the weighting in the control objectives; gear shifts are assumed to occur in negligible time and are handled by an autonomous low-level controller.制御設計のため、パワートレインは準定常・離散時間の状態モデルに簡約され、状態は二つだけである。0 から 1 に正規化した電池電荷 $q$ と、0 から 100 mph に制限した車速 $v$ である。どちらの状態も完全に観測できると仮定する。電池はオーム抵抗と充電効率でモデル化され、開放電圧は SOC の関数として与えられる。変速機の段はあらかじめ、制御目標の重み付けと一致する燃料と排出の瞬時線形結合を最小にするように選ばれる。変速は無視できる時間で行われると仮定し、自律的な下位制御器が担当する。
駕駛的車輛命令 $V_{cmd}$ 只有三種可能：一個輪端功率需求、一個「熄火」命令，或是「已熄火」的指示。功率需求被 $P_{\min} = -100$ kW 與 $P_{\max} = 150$ kW 限制住，都是在車輪處量測。一旦發出 'turn off'，下一個時步的命令就變成 'off'；一旦變成 'off'，就永遠停在 'off'。這條規則正是圖 1 中那個吸收態的來源。The driver's vehicle command $V_{cmd}$ has only three possibilities: a wheel power demand, a command to turn the vehicle off, or an indication that the vehicle is off. Power demands are limited by $P_{\min} = -100$ kW and $P_{\max} = 150$ kW, both measured at the wheels. Once 'turn off' is issued, at the next time step the command transitions to 'off'; once at 'off', it stays at 'off'. That rule is precisely where the absorbing state of Fig. 1 comes from.運転者の車両指令 $V_{cmd}$ の取りうる値は三種類だけである。車輪端の出力要求、車両を停止させる指令、あるいは車両が停止中であることを示す値である。出力要求は $P_{\min} = -100$ kW と $P_{\max} = 150$ kW で制限され、いずれも車輪端で測定される。'turn off' が出されると次の時刻ステップで指令は 'off' へ遷移し、'off' になれば以後ずっと 'off' のままである。この規則こそ図 1 の吸収状態の出どころである。
式 (2) 是時不變的確定性動態；式 (3) 是輸出 — 引擎燃油率 $\dot m_f$、懸浮微粒排放率 $\dot m_{PM}$ 與氮氧化物排放率 $\dot m_{NOx}$。當車輛命令是 'turn off' 或 'off' 時，這些輸出全為 0。注意這件事在後面扮演關鍵角色：熄火之後不再產生任何成本，這是吸收態「零成本」性質的物理來源。Equation (2) is the time-invariant deterministic dynamics; (3) is the output — engine fueling rate $\dot m_f$, particulate matter rate $\dot m_{PM}$, and NOx rate $\dot m_{NOx}$. When the vehicle command is 'turn off' or 'off', these outputs are 0. Note how much work that does later: after key-off no further cost is generated, which is the physical origin of the zero-cost property of the absorbing set.式 (2) は時不変の決定論的ダイナミクス、式 (3) は出力である。エンジンの燃料消費率 $\dot m_f$、粒子状物質の排出率 $\dot m_{PM}$、NOx の排出率 $\dot m_{NOx}$ の三つ。車両指令が 'turn off' または 'off' のとき、これらの出力はすべて 0 である。この点は後で決定的に効く。キーオフ以降はコストが発生しない — これが吸収集合の「ゼロコスト」性の物理的な出どころである。
功率分流比 (Power Split Ratio, PSR) 是監督控制器唯一的輸出，也是整個最佳化問題唯一的控制變數。有一個低階控制器負責解讀 PSR 命令，在可行的範圍內讓引擎在輪端輸出的功率等於 PSR 乘上車輛命令中的功率需求。計算這個比值時忽略慣性效應，但齒比與損耗都計入。任何功率的多餘或不足，都由電機補上。The power split ratio (PSR) is the supervisory controller's only output and the only control variable in the whole optimization. A low-level controller interprets the PSR command and, where feasible, delivers engine power measured at the wheels equal to PSR times the power demand in the vehicle command. Inertial effects are ignored in calculating this ratio, but gearing and losses are considered. Any power excess or deficit is balanced by the electric machine.パワースプリット比 (PSR) は上位制御器の唯一の出力であり、最適化問題全体で唯一の制御変数である。下位制御器が PSR 指令を解釈し、可能な範囲で、車輪端で測ったエンジン出力が PSR と車両指令中の出力要求の積に等しくなるようにする。この比の計算では慣性の影響は無視するが、歯車比と損失は考慮する。出力の過不足はすべて電動機が埋め合わせる。
要把「行駛循環」變成可以做隨機最佳化的東西，論文給了兩條既有路線。第一條是微行程 (microtrips) [19]：把駕駛資料做統計分析，切出幾秒鐘長度的操作單元 — 加速、準巡航、巡航、減速 — 再用一個機率轉移矩陣描述微行程之間的轉換。第二條是 [20] 的做法：條件機率搭配確定性模型，結果是一個緊湊的平穩受控馬可夫過程 [22]。本文走第二條。To turn “a drive cycle” into something you can optimize over stochastically, the paper offers two existing routes. The first is microtrips [19]: statistical analysis of representative driving data produces a collection of few-second manoeuvres — accelerations, quasi-cruising, cruising, decelerations — and a probability transition matrix describes transitions from one microtrip to another. The second, from [20], is conditional probabilities coupled with deterministic models, which yields a compact stationary controlled Markov process [22]. This paper takes the second route.「走行サイクル」を確率的最適化の対象に変えるために、論文は既存の二つの道を示す。第一はマイクロトリップ [19] である。代表的な走行データを統計解析して数秒単位の操作 — 加速、準巡航、巡航、減速 — の集合を作り、マイクロトリップ間の遷移を確率遷移行列で記述する。第二は [20] による条件付き確率と決定論的モデルの組合せで、コンパクトな定常受制御マルコフ過程 [22] が得られる。本論文は第二の道を採る。
因為「把車熄掉」這個概念被包進模型裡，車輛命令可以是功率位準、熄火命令，或維持熄火。於是：狀態空間是三元組（車輛命令、車速、電池電量），可控輸入是功率分流比。這一行是全文的樞紐 — 把 $V_{cmd}$ 塞進狀態裡，才讓「熄火」成為一個可以當作吸收態處理的狀態，而不只是一個外生事件。Because the concept of ‘turning the vehicle off’ is included in the model, the vehicle command can be a power level, a command to turn the vehicle off, or a command to keep it off. Hence: the state space is the 3-tuple (vehicle command, velocity, battery charge); the controllable input is the power split ratio. This line is the hinge of the whole paper — putting $V_{cmd}$ into the state is what makes key-off a state that can be treated as absorbing, rather than merely an exogenous event.「車両を停止させる」という概念がモデルに組み込まれているため、車両指令は出力レベル、停止指令、停止の維持のいずれかとなる。したがって状態空間は三つ組（車両指令、速度、電池電荷）であり、制御可能な入力はパワースプリット比である。この一行が論文全体の蝶番である。$V_{cmd}$ を状態の中に入れることで、キーオフは単なる外生事象ではなく、吸収的に扱える状態になる。
下一個車輛命令的分布，只取決於當前的車輛命令與當前車速。一旦當前命令是 'off'，之後所有的命令都是 'off'。The distribution of the next vehicle command depends only on the current vehicle command and the current vehicle speed. Once the current command is 'off', all subsequent commands are 'off'.次の車両指令の分布は現在の車両指令と現在の車速だけに依存する。現在の指令が 'off' になれば、以後のすべての指令は 'off' である。
為什麼要用輪端功率而不是輪端扭矩來代表駕駛需求？因為駕駛請求的範圍主要受引擎與電機的功率所限；在一個固定解析度的矩形格點上近似式 (5) 時，用功率會讓有非零機率的格點變多，而在簡單的取樣方案下，這代表取得的資訊量比用扭矩更多。代價是要處理速度為零的情形 — 若只考慮正速度，在接近零速時就假設車速是一個小的正數，這就是式 (6)。Why wheel power rather than wheel torque to represent the driver's demand? Because the range of driver requests is primarily limited by engine and machine power; and when approximating (5) on a rectangular grid of fixed resolution, using power results in more points with non-zero probabilities, which increases the amount of information available versus torque under simple sampling schemes. The price is having to handle zero velocity — considering only positive speeds, at approximately zero velocity the power is found by assuming the speed is a small positive number. That is equation (6).運転者の要求を表すのに、なぜ車輪端トルクではなく車輪端出力なのか。運転者の要求範囲を主に制限しているのがエンジンと電動機の出力だからであり、さらに固定分解能の矩形格子で式 (5) を近似するとき、出力を使うほうが非ゼロ確率を持つ格子点が増える。単純なサンプリング方式の下では、これはトルクを使うより多くの情報が得られることを意味する。その代償が速度ゼロの扱いである。正の速度のみを考えるとき、ほぼゼロ速度では車速を小さな正の数と仮定して出力を求める。それが式 (6) である。
論文先把「循環專用的最佳控制器」寫出來當作參照，好凸顯確定性規劃與隨機規劃的差別。它的目標是：在一條特定循環上、有限時域內使加權的油耗與排放最小，同時在熄火時把電池還回已知的電量。The paper first writes down the optimal cycle-specific controller for reference, to highlight the difference between the deterministic programming approach and the stochastic one. Its goal is to minimize weighted fuel and emissions over a finite horizon for a specific cycle, while returning the battery to a known state of charge when the vehicle is turned off.論文はまず参照用として、サイクル専用の最適制御器を書き下す。決定論的計画法と確率的計画法の違いを際立たせるためである。その目標は、特定のサイクルについて有限時間領域で燃料と排出の加重和を最小化しつつ、車両停止時に電池を既知の充電状態へ戻すことである。
這裡 $f_{HEV,k}$ 是把式 (2) 中的 $V_{cmd,k}$ 用單一條軌跡（樣本路徑）代入後所得的時變動態；$h_{HEV,k}$ 同理由式 (3) 而來。乘積 $c_{inst}^{T}\cdot h_{HEV,k}$ 決定 HEV 的瞬時運轉成本，而這個加權正是油耗與排放之間的取捨。集合 $\mathcal{U}_k$ 是時步 $k$ 所有可行的 PSR。Here $f_{HEV,k}$ is the time-varying dynamics formed by substituting a single trajectory (sample path) of $V_{cmd,k}$ into (2) and eliminating that term; $h_{HEV,k}$ is formed from (3) in the same way. The product $c_{inst}^{T}\cdot h_{HEV,k}$ determines the instantaneous cost of operating the HEV, and this weighting is what trades fuel economy against emissions. The set $\mathcal{U}_k$ contains all feasible choices of power split ratio at step $k$.ここで $f_{HEV,k}$ は、式 (2) の $V_{cmd,k}$ に単一の軌道（サンプルパス）を代入してその項を消去した時変ダイナミクスであり、$h_{HEV,k}$ も式 (3) から同様に作られる。積 $c_{inst}^{T}\cdot h_{HEV,k}$ が HEV の瞬時運転コストを定め、この重み付けが燃費と排出のトレードオフそのものである。集合 $\mathcal{U}_k$ は時刻ステップ $k$ で実行可能なすべての PSR を含む。
在完全已知軌跡的假設下可以找到最佳開迴路控制律，但這個表述有個麻煩：存在某些時步上的某些狀態，根本無法滿足 $q_K = q_1$。舉例來說，若電池在 $K-1$ 時已經充飽，而 $q_1$ 是 50%，那麼可能沒有任何動作能滿足這個等式。既然有這些不可行狀態，要嘛改變約束的寫法，要嘛另外定義輔助的控制目標來處理不可行區。Under perfect knowledge of the trajectory an optimal open-loop law can be found, but the formulation is problematic: there are states at specific time steps that cannot satisfy $q_K = q_1$. For example, if the battery is fully charged at $K-1$ and $q_1$ is 50% charge, there may be no action that satisfies the equality. Because of these infeasible states, either the constraint formulation must be changed or auxiliary control objectives must be defined to handle the infeasible regions.軌道が完全に既知であれば最適な開ループ則は求まるが、この定式化には難がある。特定の時刻ステップにおいて $q_K = q_1$ を満たせない状態が存在するのである。たとえば $K-1$ で電池が満充電であり $q_1$ が 50% なら、この等式を満たす行動が一つも存在しないかもしれない。このような実行不可能な状態があるため、拘束の書き方を変えるか、不可能領域を扱う補助的な制御目標を定義するかのどちらかが必要になる。
改成這個形式之後，就能建構出一個對任何初始條件都成立的時變回授控制律。常數 $c_{term}$ 是「循環結束時 SOC 偏離設定值」的二次罰則比例因子。解法是做一個 DP，往回遞推價值函數 [23][24][25]：In this form a time-varying feedback control law can be constructed that is valid for any initial condition. The constant $c_{term}$ scales a quadratic penalty for deviation from a battery SOC setpoint at termination of the drive cycle. The solution is a DP, recursing the value function backwards [23][24][25]:この形にすれば、任意の初期条件で有効な時変フィードバック制御則を構成できる。定数 $c_{term}$ は走行サイクル終了時における SOC 設定値からの偏差に対する二次罰則のスケール係数である。解法は DP であり、価値関数を後ろ向きに再帰する [23][24][25]。
這個做法在 [13][14][15] 中都出現過。但用有限時域 DP 設計時變回授律有三個明確的缺點，論文一條一條列出：Similar formulations appear in [13], [14] and [15]. But using a finite-horizon DP to design a time-varying feedback law has three distinct drawbacks, which the paper lists one by one:同様の定式化は [13][14][15] に現れる。しかし有限時間領域の DP で時変フィードバック則を設計することには三つの明確な欠点があり、論文はそれらを一つずつ挙げる。
「為什麼要堅持平穩（時不變）的控制律？」答案不在數學裡，在法規裡。[15] 與 [20] 之所以把自己限制在平穩控制律並假設狀態完全可知，首要原因就是要避開「循環作弊」這個標籤。論文也誠實承認這是一筆交易：限制在平穩律能擺脫 cycle-beater 的指控，但一般而言會降低所得控制律的最佳性。“Why insist on a stationary (time-invariant) control law?” The answer is not in the mathematics; it is in the regulations. [15] and [20] restricted themselves to stationary laws and assumed perfect state information for this reason among others: to avoid the cycle-beater designation. The paper is honest that this is a tradeoff — the restriction buys regulatory acceptability, but in general it reduces the optimality of the resulting control laws.「なぜ定常（時不変）の制御則にこだわるのか。」答えは数学ではなく法規にある。[15] と [20] が定常制御則に自らを限定し、完全な状態情報を仮定したのは、とりわけサイクルビーターという烙印を避けるためだった。論文はこれが取引であることを正直に認めている。定常則への制限は規制上の受容性を買うが、一般には得られる制御則の最適性を下げる。
SP-SDP 相對於既有表述提供兩個優點：它允許不折扣的未來成本，以及只在系統進入終端狀態時才指派成本。要保證 SP-SDP 的解存在，終端狀態必須是吸收態，其餘所有狀態必須是暫態。HEV 控制問題天生就適合這個框架 — 鑰匙關掉，行駛循環就保證結束了。SP-SDP offers two advantages over existing formulations: it allows undiscounted future costs, and the assignment of a cost that is incurred only when the system enters a terminal state. To guarantee that a solution exists, the terminal state must be absorbing and all other states transient. The SP-SDP formulation works well for vehicle control problems because there is a guaranteed termination of the drive cycle when the key is turned off.SP-SDP は既存の定式化に対して二つの利点をもつ。将来コストを割り引かないことができる点と、系が終端状態に入ったときにだけ発生するコストを割り当てられる点である。解の存在を保証するには、終端状態が吸収的で、他のすべての状態が過渡的でなければならない。車両制御問題はこの枠組みによく適合する。キーを切れば走行サイクルの終了が保証されているからである。
約束是式 (14) 與式 (5)。這裡必須講清楚一件常被誤讀的事：$\gamma$ 出現在式子裡，純粹是為了讓這個表述在形式上與無限時域折扣控制器可比。在 SP-SDP 的設計中，折扣因子就是 1。Subject to (14) and (5). One thing must be said plainly, because it is easy to misread: $\gamma$ appears in the equations only to keep their form similar to the infinite-horizon discounted controller. In the design of the SP-SDP controller, the discount factor is 1.拘束は式 (14) と式 (5) である。誤読されやすいので明言しておく。$\gamma$ が式に現れるのは、無限時間領域の割引制御器と形を揃えて比較しやすくするためだけである。SP-SDP の設計において割引率は 1 である。
下標 next 表示這是駕駛接下來將要選的車輛命令 — 它是系統的隨機擾動 $w$。可控輸入 $u$ 只有 PSR 一個。$\mathcal{U}(x)$ 是「在狀態 $x$ 下能夠滿足 $V_{cmd}$ 的所有功率分流比」；論文指出，因為這一類問題中引擎與馬達的尺寸選擇，這個集合永遠非空。狀態被擴增成包含當前車輛命令的三元組，傳播方程式也隨之擴增成式 (19)。The subscript next indicates the next vehicle command to be selected by the driver — it is the stochastic disturbance $w$. The controllable input $u$ is just the PSR. $\mathcal{U}(x)$ is the set of all power split ratios capable of meeting $V_{cmd}$ in state $x$; the paper notes that because of the sizing of the engine and motor, for this class of problems this set is always non-empty. The state is augmented to include the current vehicle command, and the propagation equation is augmented to match, giving (19).下付きの next は、運転者がこれから選ぶ次の車両指令を表す。これが系への確率的外乱 $w$ である。制御可能な入力 $u$ は PSR だけである。$\mathcal{U}(x)$ は状態 $x$ において $V_{cmd}$ を満たしうるすべてのパワースプリット比の集合であり、論文はエンジンとモータのサイジングゆえに、この種の問題ではこの集合が常に空でないと述べる。状態は現在の車両指令を含むよう拡張され、伝播方程式もそれに合わせて式 (19) となる。
瞬時運轉成本是油耗與排放的加權和。若只求最佳油耗，$c_{inst} = [\,1\ \ 0\ \ 0\,]^{T}$；若要在油耗與排放之間取得平衡，依照 [15] 的慣例 $c_{inst} = [\,1\ \ \mu\ \ \upsilon\,]^{T}$，其中 $\mu$ 是 NOx 的權重、$\upsilon$ 是 PM 的權重。常數 $c_{term}$ 名目上取很大，其值以嘗試錯誤法選定，目標是讓循環結束時的 SOC 落在可接受的範圍。本文用 $c_{term} = 1{,}000{,}000$。The instantaneous cost of operation is a weighted sum of fuel consumption and emissions. For best fuel economy $c_{inst} = [\,1\ \ 0\ \ 0\,]^{T}$; to balance fuel economy and emissions, following the convention in [15], $c_{inst} = [\,1\ \ \mu\ \ \upsilon\,]^{T}$, where $\mu$ is the weight on NOx and $\upsilon$ the weight on particulate matter. The constant $c_{term}$ is nominally large and its value is selected by trial and error to obtain an acceptable battery state of charge at the end of the cycle. In this paper $c_{term} = 1{,}000{,}000$ is used.瞬時運転コストは燃料消費と排出の加重和である。燃費を最良にするだけなら $c_{inst} = [\,1\ \ 0\ \ 0\,]^{T}$、燃費と排出を両立させるなら [15] の慣例に従い $c_{inst} = [\,1\ \ \mu\ \ \upsilon\,]^{T}$ とする。$\mu$ は NOx、$\upsilon$ は粒子状物質の重みである。定数 $c_{term}$ は名目上大きく取り、その値はサイクル終了時に許容できる SOC が得られるよう試行錯誤で選ぶ。本論文では $c_{term} = 1{,}000{,}000$ が使われている。
式 (22) 的解可能不只一個。因為對功率分流的序列並沒有連續性的要求，從這個集合裡怎麼挑都可以；論文說在有多個元素時取第一個（在後面離散版的式 (32) 處則說取值最低的那個元素）。另外值得記住的實作細節：真正上車執行時，狀態變數 $x$ 裡的車輛命令取自評估當下駕駛的車輛命令。Equation (22) may have more than one solution. Since there is no requirement for continuity in sequences of power splits, the choice from this set is arbitrary; the paper takes the first element when there are several (at the discrete version, eq (32), it says the lowest value element is chosen). One implementation detail worth remembering: when realized for vehicle control, the vehicle command in the state variable $x$ is based on the driver's vehicle command at the instant of evaluation.式 (22) の解は複数ありうる。パワースプリットの系列に連続性の要求はないので、この集合からの選択は任意でよい。論文は複数ある場合に最初の要素を取るとし、離散版の式 (32) のところでは値が最小の要素を選ぶと述べている。実装上の細部として覚えておく価値があるのは、車両制御として実現する際、状態変数 $x$ 中の車両指令は評価時点での運転者の車両指令に基づくという点である。
題目：Problem:問題： (a) 以式 (13) 解釋為什麼當 $\gamma = 1$ 時 $J$ 仍然有限。(b) 折扣情形 ($\gamma \lt 1$) 是靠什麼機制收斂的？兩者有何根本差異？(c) 若狀態空間中存在某個狀態，它進入終端集合的機率為零，會發生什麼事？(a) Using (13), explain why $J$ is finite even with $\gamma = 1$. (b) What mechanism makes the discounted case ($\gamma \lt 1$) converge, and how is it fundamentally different? (c) What goes wrong if some state in the state space has zero probability of reaching the terminal set?(a) 式 (13) を用いて、$\gamma = 1$ でも $J$ が有限である理由を説明せよ。(b) 割引あり ($\gamma \lt 1$) の場合は何によって収束するのか。両者の本質的な違いは何か。(c) 状態空間のある状態が終端集合へ到達する確率がゼロだとしたら、何が起こるか。
(a) 設 $T$ 是首次進入 'off' 的（隨機）時步。式 (20) 的第三支規定 $V_{cmd} = $ 'off' 時成本恆為 0，而吸收性保證一旦進入就不再離開。因此對每一條樣本路徑，級數其實只有有限多個非零項：Let $T$ be the (random) step at which the state first enters 'off'. The third branch of (20) makes the cost identically 0 for $V_{cmd} = $ 'off', and absorbingness guarantees the state never leaves. So along every sample path the series has only finitely many non-zero terms:状態が初めて 'off' に入る（確率的な）ステップを $T$ とする。式 (20) の第三分岐により $V_{cmd} = $ 'off' ではコストが恒等的に 0 であり、吸収性によって状態はそこを離れない。したがって各サンプルパスにおいて級数の非ゼロ項は有限個しかない。
暫態性保證 $\Pr\{T \lt \infty\} = 1$，而且在合理的條件下 $E[T]$ 有限；每一步的瞬時成本又有界（功率受 $P_{\min},P_{\max}$ 限制、排放率有界），所以 $E^{W}[\,\cdot\,]$ 有限。無窮和收斂不是因為項在縮小，而是因為尾巴整串是零。Transience guarantees $\Pr\{T \lt \infty\} = 1$ and, under reasonable conditions, a finite $E[T]$; the per-step cost is bounded (power is capped by $P_{\min},P_{\max}$ and the emission rates are bounded), so $E^{W}[\,\cdot\,]$ is finite. The sum converges not because the terms shrink but because the tail is identically zero.過渡性が $\Pr\{T \lt \infty\} = 1$ を保証し、妥当な条件下で $E[T]$ も有限である。各ステップのコストは有界（出力は $P_{\min},P_{\max}$ で制限され、排出率も有界）なので $E^{W}[\,\cdot\,]$ は有限である。和が収束するのは項が小さくなるからではなく、尾部が恒等的にゼロだからである。
(b) 折扣情形靠的是幾何級數：若 $|c_k| \le M$，則 $\sum \gamma^k M = M\gamma/(1-\gamma)$ 有限。這裡成本永遠不會停止產生，只是被 $\gamma^k$ 壓得愈來愈不重要。差異是根本的 — 折扣是在說「遠處的事情我在乎得比較少」，這是一個建模上的斷言，而 $\gamma = 0.95$ 的半衰期（約 13.5 個時步）並沒有任何物理或法規上的對應物。吸收態則是在說「遠處根本沒有事情」，這是一個事實。The discounted case leans on a geometric series: if $|c_k| \le M$ then $\sum \gamma^k M = M\gamma/(1-\gamma)$ is finite. There, cost never stops being generated; it is merely crushed into insignificance by $\gamma^k$. The difference is fundamental. Discounting asserts “I care less about what happens far away” — a modelling claim, and the half-life of $\gamma = 0.95$ (about 13.5 steps) corresponds to nothing physical or regulatory. An absorbing state asserts “nothing happens far away” — a fact.割引ありの場合は等比級数に頼る。$|c_k| \le M$ なら $\sum \gamma^k M = M\gamma/(1-\gamma)$ は有限である。そこではコストの発生が止まることはなく、ただ $\gamma^k$ によって無視できるほど潰されるだけだ。違いは本質的である。割引は「遠い先のことはあまり気にしない」というモデル上の主張であり、$\gamma = 0.95$ の半減期（約 13.5 ステップ）に物理的・法規的な対応物は何もない。吸収状態は「遠い先には何も起こらない」という事実を述べている。
(c) 若有一個狀態（或一組狀態）在任何控制下進入終端集合的機率都是零，那麼從它出發的軌跡會永遠在暫態集合裡繞，成本無限累積，$V^{*}$ 在那裡發散。更實際的後果是：用來求解的線性規劃（§5）會變成無界 — 那幾個分量可以被推到任意大而不違反任何約束。這就是為什麼「所有非終端狀態皆為暫態」不是裝飾性的假設，而是存在性定理的前提。If some state (or set of states) has zero probability of entering the terminal set under any control, trajectories starting there circulate forever in the transient set, cost accumulates without bound, and $V^{*}$ diverges there. The practical consequence is sharper: the linear program used to solve it (§5) becomes unbounded — those components can be pushed arbitrarily high without violating any constraint. That is why “all non-terminal states are transient” is not decorative; it is the hypothesis of the existence theorem.どの制御の下でも終端集合へ入る確率がゼロの状態（あるいは状態集合）があると、そこから出発する軌道は過渡集合の中を永遠に巡り、コストは際限なく積み上がり、$V^{*}$ はそこで発散する。実務的な帰結はもっと鋭い。解法に使う線形計画（§5）が非有界になるのだ。該当する成分はどの拘束にも違反せずいくらでも大きくできてしまう。「終端以外のすべての状態が過渡的である」が飾りではなく存在定理の仮定である理由がこれである。
理想的做法是在連續狀態與連續動作空間上直接解。但那需要在無限維空間裡找元素，而且產生連續狀態的馬可夫過程本身也很困難。所以問題是近似解的：把狀態、動作與雜訊空間都量化成有限集合，數值求出離散問題的近似價值函數，再用內插把控制律延伸到連續的狀態範圍。It would be desirable to solve the problem in the continuous state and action spaces in which it was posed. But that involves finding elements in infinite-dimensional spaces, and generating a continuous-state Markov process is itself difficult. So the problem is solved approximately: state, action and noise spaces are quantized into finite sets, the approximate value function for the discrete problem is found numerically, and that value function is then used to determine the control law over a continuous range of states by interpolation.本来は、問題が定式化された連続の状態空間と行動空間でそのまま解きたい。しかしそれは無限次元空間での要素探索を伴い、連続状態のマルコフ過程を生成すること自体も難しい。そこで問題は近似的に解かれる。状態・行動・雑音の各空間を有限集合に量子化し、離散問題の近似価値関数を数値的に求め、それを用いて補間により連続範囲の状態に対する制御則を定める。
量化後的變數上面加一個新月符號 (crescent) 以示區別。功率需求量化成 $N_P$ 個離散位準，車輛命令集合 $\tilde{\mathcal{C}}$ 是這些功率位準再加上 'off' 與 'turn off' 兩個狀態；車速量化成 $N_v$ 個離散位準。A quantized variable is marked with a crescent accent. Power demand is quantized into $N_P$ discrete levels; the vehicle command set $\tilde{\mathcal{C}}$ is the union of those power levels with the 'off' and 'turn off' states; velocity is quantized into $N_v$ discrete levels.量子化された変数には三日月記号を付けて区別する。出力要求は $N_P$ 個の離散レベルに量子化され、車両指令の集合 $\tilde{\mathcal{C}}$ はそれらの出力レベルに 'off' と 'turn off' の二状態を合わせたものである。車速は $N_v$ 個の離散レベルに量子化される。
這是一個與 [15] 類似的最大概似估計。做法是：先選一組行駛循環，用車輛模型求出跟隨該循環所需的輪端功率請求（車速對時間本來就是循環規格的一部分），然後把資料以 0.05 秒的間隔取樣，整理成三元組 $\bigl(P_{dem}(t_k+1),\,P_{dem}(t_k),\,V(t_k)\bigr)$，其中 $t_k \in \{0, 0.05, 0.10, \dots\}$，再用最近鄰法量化到式 (23) 與 (25) 的格點上。This is a maximum likelihood method similar to [15]. The recipe: select a set of drive cycles, use the vehicle model to obtain the wheel power requests needed to follow them (speed versus time is already part of the cycle specification), sample at a 0.05 second interval, form the list of 3-tuples $\bigl(P_{dem}(t_k+1),\,P_{dem}(t_k),\,V(t_k)\bigr)$ with $t_k \in \{0, 0.05, 0.10, \dots\}$, and quantize them onto the grids of (23) and (25) by nearest neighbour.これは [15] と同様の最尤法である。手順は次の通り。走行サイクルの集合を選び、車両モデルでそれらを追従するのに必要な車輪端出力要求を求める（車速の時間変化はサイクル仕様の一部として既に与えられている）。これを 0.05 秒間隔でサンプリングし、三つ組 $\bigl(P_{dem}(t_k+1),\,P_{dem}(t_k),\,V(t_k)\bigr)$（$t_k \in \{0, 0.05, 0.10, \dots\}$）のリストを作り、最近傍法で式 (23) と (25) の格子に量子化する。
注意式 (26) 的分子多了一個條件：「而且下一個樣本中車輛不是 'off'」。於是對某些速度與功率需求組合，下一個功率需求的機率總和會小於 1。這個差額不是誤差，不是數值雜訊 — 它恰恰就是下一個時步車輛命令變成 'turn off' 的機率。熄火的統計是從同一份駕駛資料中免費掉出來的，不必另外建模。Note the extra condition in the numerator of (26): “and the vehicle is not 'off' in the next sample.” As a result, for some speeds and power demands the sum of probabilities for the next power demand is less than 1. That difference is not an error and not numerical noise — it is exactly the probability that at the next time step the vehicle command will be 'turn off'. The statistics of key-off fall out of the same driving data for free; nothing extra has to be modelled.式 (26) の分子にある追加条件に注目せよ — 「かつ次のサンプルで車両が 'off' でない」。その結果、ある速度と出力要求の組合せでは次の出力要求に関する確率の総和が 1 未満になる。この差は誤差でも数値ノイズでもない。それはまさに、次の時刻ステップで車両指令が 'turn off' になる確率である。キーオフの統計は同じ走行データからただでこぼれ落ちてくる。追加のモデル化は要らない。
式 (29) 就是吸收性的代數敘述：一旦發出 'turn off'，下一刻必定是 'off'；一旦 'off'，就永遠 'off'。至於資料量不足導致式 (26) 分母為零的格點，論文給了一組手寫的補綴規則，確保機率分布在每一點都有定義：Equation (29) is the algebraic statement of absorbingness: once 'turn off' is issued the next command is certainly 'off', and once 'off' it is always 'off'. For grid points where there is not enough data and the denominator of (26) is zero, the paper gives a set of hand-written patch rules that guarantee the distribution is defined everywhere:式 (29) は吸収性の代数的表現である。'turn off' が出れば次の指令は必ず 'off'、'off' になれば常に 'off' である。データが足りず式 (26) の分母がゼロになる格子点については、確率分布がすべての点で定義されるよう、論文は手書きの補修規則を与えている。
| 當前功率需求Current power demand現在の出力要求 | 車速Velocity車速 | 指定的下一個功率需求Next power demand is set to次の出力要求の設定値 |
|---|---|---|
| 大於 0Greater than 00 より大きい | 任意Any任意 | 集合 $\tilde{P}$ 中次低的功率需求The next lowest power demand in the set $\tilde{P}$集合 $\tilde{P}$ の中で一つ下の出力要求 |
| 小於 0Less than 00 より小さい | 大於 0Greater than 00 より大きい | 「次高的功率需求」與「$\tilde{P}$ 中最大的負元素」兩者取較小者The minimum of the next greater power demand and the greatest negative element in $\tilde{P}$「一つ上の出力要求」と「$\tilde{P}$ 中の最大の負の要素」の小さいほう |
| 小於 0Less than 00 より小さい | 等於 0Zeroゼロ | 000 |
| 等於 0Zeroゼロ | 大於 0Greater than 00 より大きい | $\tilde{P}$ 中最接近 0 的負元素The negative element in $\tilde{P}$ closest to 0$\tilde{P}$ 中で 0 に最も近い負の要素 |
| 等於 0Zeroゼロ | 等於 0Zeroゼロ | 000 |
這張表背後的直覺很單純：沒有資料的地方，就假設駕駛在放鬆油門 — 正功率往下降一階，負功率（再生煞車）往零靠，停著的車就維持零需求。這是一個保守而物理上合理的外插。The intuition behind the table is simple: where there is no data, assume the driver is easing off — positive demand steps down one level, negative demand (regenerative braking) moves toward zero, and a stationary vehicle stays at zero demand. It is a conservative and physically sensible extrapolation.表の背後にある直観は単純である。データのない場所では運転者がアクセルを緩めていると仮定する — 正の要求は一段下げ、負の要求（回生制動）はゼロへ寄せ、停止している車両はゼロ要求のままとする。保守的で物理的に妥当な外挿である。
題目：Problem:問題： (a) 直接從式 (26) 的計數規則說明，為什麼 $\sum_{\breve{P}_{dem,next}} \Pr\{\cdot\}$ 會小於 1，而且缺口剛好是 $\Pr\{\text{'turn off'}\}$。(b) 假設某個 $(\breve{V}_{cmd},\breve{v})$ 格點的分母是 2000 個樣本，其中 1994 個樣本的下一刻車輛仍在跑。求 $\Pr\{\text{'turn off'}\}$，並估算在 0.05 秒取樣下，這對應到什麼樣的平均行程長度。(c) 如果有人為了「讓它成為合法的隨機矩陣」而把每一列重新正規化成 1，會壞掉什麼？(a) Working straight from the counting rule in (26), show why $\sum_{\breve{P}_{dem,next}} \Pr\{\cdot\}$ comes out below 1 and why the shortfall is exactly $\Pr\{\text{'turn off'}\}$. (b) Suppose at some $(\breve{V}_{cmd},\breve{v})$ grid point the denominator is 2000 samples, of which 1994 have the vehicle still running at the next sample. Find $\Pr\{\text{'turn off'}\}$ and, at a 0.05 s sampling interval, estimate what average trip length that corresponds to. (c) What breaks if someone renormalizes every row to 1 “to make it a proper stochastic matrix”?(a) 式 (26) の計数規則から直接、$\sum_{\breve{P}_{dem,next}} \Pr\{\cdot\}$ が 1 未満になる理由と、その不足分がちょうど $\Pr\{\text{'turn off'}\}$ になる理由を示せ。(b) ある $(\breve{V}_{cmd},\breve{v})$ 格子点で分母が 2000 サンプル、そのうち 1994 サンプルで次の時点にも車両が走行中だったとする。$\Pr\{\text{'turn off'}\}$ を求め、0.05 秒サンプリングの下でどの程度の平均走行長に相当するか見積もれ。(c) 「正しい確率行列にするため」と称して各行を 1 に再正規化したら何が壊れるか。
(a) 分母 $N$ 數的是所有符合 $(\breve{V}_{cmd},\breve{v})$ 的樣本。把這 $N$ 個樣本按「下一刻發生什麼」分類，恰好是一個互斥且窮盡的分割：下一刻車還在跑（落在某個 $\breve{P}_{dem,next}\in\tilde{P}$ 上），或下一刻車熄了。分子只數第一類。所以The denominator $N$ counts all samples matching $(\breve{V}_{cmd},\breve{v})$. Classify those $N$ samples by what happens next and you get a mutually exclusive, exhaustive partition: either the vehicle is still running (landing on some $\breve{P}_{dem,next}\in\tilde{P}$), or it has been switched off. The numerator counts only the first class. Hence分母 $N$ は $(\breve{V}_{cmd},\breve{v})$ に一致するすべてのサンプルを数える。その $N$ 個を「次に何が起きたか」で分類すると互いに排反かつ網羅的な分割になる。すなわち、車両がまだ走行中（ある $\breve{P}_{dem,next}\in\tilde{P}$ に落ちる）か、停止されたかのいずれかである。分子は前者だけを数える。したがって
$$\sum_{\breve{P}_{dem,next}\in\tilde{P}}\frac{n(\breve{P}_{dem,next})}{N} = \frac{N - n_\text{off}}{N} = 1 - \frac{n_\text{off}}{N}$$缺口 $n_\text{off}/N$ 就是在這個狀態下、下一個樣本觀測到熄火的經驗頻率 — 正是式 (28)。熄火的機率不是另外估計的參數，它是原本那張表的「找零」。The shortfall $n_\text{off}/N$ is the empirical frequency of observing key-off at the next sample from this state — precisely (28). The turn-off probability is not a separately estimated parameter; it is the change left over from the same table.不足分 $n_\text{off}/N$ は、この状態から次のサンプルでキーオフが観測される経験頻度そのものであり、まさに式 (28) である。キーオフ確率は別途推定したパラメータではなく、同じ表のお釣りである。
(b) $\Pr\{\text{'turn off'}\} = (2000-1994)/2000 = 6/2000 = 0.003$.
若每一步都以 0.003 的機率熄火，則首次熄火的時步數服從幾何分布，期望值 $1/0.003 \approx 333$ 步。每步 0.05 秒，約 16.7 秒。這顯然太短了 — 但那是因為真實的 $\Pr\{\text{'turn off'}\}$ 在高速時幾乎為零、在零速時才顯著，而本題只取了單一格點。這正是把機率條件在 $(\breve{V}_{cmd},\breve{v})$ 上的用意：人不會在 65 mph 時關掉鑰匙。若要得到合理的行程長度，必須對整個馬可夫鏈求首達時間，而不是把單一格點的機率當成全程不變。If every step carried probability 0.003 of key-off, the number of steps to the first key-off is geometric with mean $1/0.003 \approx 333$ steps. At 0.05 s per step, about 16.7 seconds. That is obviously far too short — but only because the real $\Pr\{\text{'turn off'}\}$ is essentially zero at high speed and significant only near zero speed, and this exercise took a single grid point. That is exactly why the probability is conditioned on $(\breve{V}_{cmd},\breve{v})$: nobody turns the key off at 65 mph. A sensible trip length requires a first-passage-time calculation over the whole Markov chain, not one cell's probability held fixed.毎ステップ 0.003 の確率でキーオフするなら、初回キーオフまでのステップ数は幾何分布に従い平均 $1/0.003 \approx 333$ ステップとなる。1 ステップ 0.05 秒なので約 16.7 秒である。明らかに短すぎるが、それは実際の $\Pr\{\text{'turn off'}\}$ が高速ではほぼゼロ、ゼロ速度付近でのみ顕著だからであり、この問題は単一の格子点を取っただけだからである。確率を $(\breve{V}_{cmd},\breve{v})$ で条件付ける理由がまさにそこにある。65 mph でキーを切る人はいない。妥当な走行長を得るには、一つのセルの確率を固定するのではなく、鎖全体で初到達時間を計算する必要がある。
(c) 重新正規化等於把 $\Pr\{\text{'turn off'}\} \equiv 0$ 強加給模型。後果是致命的：終端集合變成不可達，所有狀態都不再是暫態，§1.3 的存在性保證失效。接下來在 $\gamma = 1$ 時 $V^{*}$ 發散，$\sum$ 成為無窮，而§5 的 LP 變成無界問題。這是一個有趣的反諷：那個看起來像是建模瑕疵的「列和不為 1」，其實是整個方法賴以成立的東西。（附帶一提，基準 SDP 控制器正是這樣做的 — 它把 turning off 的機率強制設為 0，但它靠 $\gamma = 0.95$ 來收斂，所以不會爆炸。兩個設計的自洽性各自成立，不能混搭。）Renormalizing imposes $\Pr\{\text{'turn off'}\} \equiv 0$ on the model. The consequence is fatal: the terminal set becomes unreachable, no state is transient any more, and the existence guarantee of §1.3 evaporates. With $\gamma = 1$ the value function diverges, the sum is infinite, and the LP of §5 becomes unbounded. The irony is worth savouring: the apparent modelling defect — rows that do not sum to one — is the very thing the method stands on. (Incidentally, the baseline SDP controller does exactly this: it forces the probability of turning off to 0. But it converges on $\gamma = 0.95$ instead, so it does not blow up. Each design is self-consistent; the two cannot be mixed.)再正規化はモデルに $\Pr\{\text{'turn off'}\} \equiv 0$ を押し付けることになる。帰結は致命的である。終端集合は到達不能になり、どの状態も過渡的でなくなり、§1.3 の存在保証は消える。$\gamma = 1$ では価値関数が発散し、和は無限になり、§5 の LP は非有界になる。皮肉は味わう価値がある。モデルの欠陥に見えるもの — 行和が 1 にならないこと — こそが、この手法が立脚している当のものなのだ。（ちなみに基準の SDP 制御器はまさにこれを行い、turning off の確率を 0 に強制する。ただし代わりに $\gamma = 0.95$ で収束させるため破綻しない。各設計はそれぞれ自己整合的であり、混ぜてはならない。）
在連續表述裡，狀態從一個確定的點傳播到另一個確定的點。狀態一旦量化，就需要不同的做法：傳播被建模成對多個離散狀態的部分歸屬 (partial membership)。而論文點出一個很漂亮的等價關係 — 這等同於把傳播建模成隨機的，因為對多個狀態的部分歸屬度，就等於轉移到各個離散狀態的機率。In the continuous formulation the state propagates from one distinct point to another. Once the state is quantized a different approach is required: propagation is modelled via partial membership in multiple discrete states. And the paper points out a rather beautiful equivalence — this is equivalent to modelling the propagation stochastically, because the partial membership in the multiple states is equal to the probability of transition into each single discrete state.連続の定式化では、状態はある一点から別の一点へ伝播する。状態を量子化すると別の方法が要る。伝播は複数の離散状態への部分帰属 (partial membership) としてモデル化される。そして論文は美しい等価性を指摘する。これは伝播を確率的にモデル化することと等価である。複数状態への部分帰属度が、各離散状態へ遷移する確率に等しいからである。
這個函數把連續空間 $\mathcal{X}$ 中的每一個值映射成一個向量，向量的每個元素對應離散集合 $\tilde{\mathcal{X}}$ 中的一個點，值介於 0 與 1 之間。量化可以用規則或不規則格點；本研究用的是不規則間距的矩形格點。至於內插方案，各種方案在精度與複雜度之間有不同取捨 [26]–[31]。論文調查了兩種：雙線性內插 [26] 與重心內插 (barycentric) [30]，結論是重心內插在精度與複雜度之間的取捨比雙線性更好。The function maps every value in the continuous space $\mathcal{X}$ to a vector of values between 0 and 1, with one element for each element in the discrete set $\tilde{\mathcal{X}}$. The quantization can be performed on a regular or irregular grid; for this work an irregularly spaced rectangular grid was used. As for interpolation schemes, different ones trade accuracy against complexity differently [26]–[31]. Two were investigated: bilinear [26] and barycentric [30] interpolation, and barycentric interpolation was found to provide the better tradeoff between accuracy and complexity.この関数は連続空間 $\mathcal{X}$ の各値を、離散集合 $\tilde{\mathcal{X}}$ の各要素に対応する 0 以上 1 以下の値のベクトルへ写す。量子化は規則格子でも不規則格子でもよいが、本研究では不等間隔の矩形格子が用いられた。補間方式については、方式ごとに精度と複雑さのトレードオフが異なる [26]–[31]。調査されたのは双線形 [26] と重心 (barycentric) 補間 [30] の二つで、重心補間のほうが精度と複雑さのトレードオフに優れると判明した。
注意 $\bigl(V^{*}\bigr)^{T}\!\cdot M(\cdot)$ 這個結構：因為狀態被量化了，價值函數是一個向量，每個離散狀態對應一個值；而「下一個狀態的價值」就是用歸屬度向量去對它做加權平均。這就是內插與期望值在形式上合而為一的地方。若有多個功率分流滿足式 (32)，取值最低的那個元素。Note the structure $\bigl(V^{*}\bigr)^{T}\!\cdot M(\cdot)$: since the state is quantized, the value function is a vector, with a single value corresponding to each discrete state, and “the value of the next state” is a membership-weighted average of its entries. That is where interpolation and expectation become formally the same operation. In the case where more than one power split satisfies (32), the lowest value element is chosen.$\bigl(V^{*}\bigr)^{T}\!\cdot M(\cdot)$ という構造に注目せよ。状態が量子化されているため価値関数はベクトルであり、各離散状態に一つの値が対応する。そして「次状態の価値」はその成分を帰属度で重み付け平均したものになる。補間と期待値が形式的に同一の演算になる地点がここである。式 (32) を満たすパワースプリットが複数ある場合は値が最小の要素を選ぶ。
解 SP-SDP 得到的價值函數 $V^{*}(x)$ 是「從狀態 $x$ 開始操作這台 HEV 的期望成本」。而 — 這才是關鍵 — HEV 每一趟行駛循環都必然從「零速、零扭矩請求」那一點出發。因此價值函數在那一點的值，就衡量了由式 (26)–(29) 的條件機率模型所描述的「整個行駛循環族」上的期望成本。The value function $V^{*}(x)$ that results from solving the SP-SDP is the expected cost of operating the HEV from state $x$. And — here is the point — since the HEV always starts a drive cycle from the 0-speed, 0-torque-request point, the value function at that point provides a measure of the expected costs that will be incurred over the whole family of drive cycles described by the conditional probability model of (26) through (29).SP-SDP を解いて得られる価値関数 $V^{*}(x)$ は、状態 $x$ から HEV を運転する期待コストである。そして要点はここだ。HEV は走行サイクルを必ず「速度ゼロ・トルク要求ゼロ」の点から始めるので、その点における価値関数の値は、式 (26)–(29) の条件付き確率モデルが記述する走行サイクル族全体にわたる期待コストを測っていることになる。
換句話說，你不必模擬任何一條循環，就已經從解本身讀到了一個性能數字 — 而且那是對整個駕駛型態分布的平均，不是對某一條採樣路徑。這和 §7.2 那個「同循環訓練未必最好」的觀察恰成一體兩面。In other words, you get a performance number out of the solution itself without simulating a single cycle — and it is an average over the entire distribution of driving patterns, not over one sampled path. This is the other face of the observation in §7.2 that training and testing on the same cycle is not necessarily best.言い換えれば、一本のサイクルも模擬せずに、解そのものから性能の数値が得られる。しかもそれは一本のサンプル経路ではなく、運転パターンの分布全体にわたる平均である。これは §7.2 の「同一サイクルで訓練・評価するのが最良とは限らない」という観察の裏面にあたる。
這是本文另一項實務上的貢獻。求價值函數時，論文不用價值疊代 (VI) 或策略疊代 (PI)，而是依 [23] 的做法建構一個線性規劃。理由有二，而且都很實際：This is the paper's other practical contribution. To solve for the value function, an LP was formulated as discussed in [23], rather than using value iteration (VI) or policy iteration (PI). Two reasons, both thoroughly practical:これは本論文のもう一つの実務的貢献である。価値関数を求めるにあたり、価値反復 (VI) や方策反復 (PI) ではなく、[23] に従って線形計画 (LP) を定式化した。理由は二つ、いずれもきわめて実際的である。
之所以能形成 LP，是因為近似表述用的是離散的狀態與動作空間。核心想法：每個離散狀態的價值函數就是一個純量，而這個純量必須等於「考慮所有動作時所取得的最小值」。於是，在每個離散狀態對每個離散動作各寫一條不等式，就構成了價值函數的約束。The LP can be formed because of the discrete state and action spaces used in the approximate problem formulation. The general idea: a single scalar value represents the value function for each discrete state, and that single value must be equal to the minimum obtained when all actions are considered. So generating one inequality for each discrete action at each discrete state forms the constraints on the value function.LP を構成できるのは、近似定式化で離散的な状態空間と行動空間を用いているからである。基本的な考え方はこうだ。各離散状態の価値関数は一つのスカラーで表され、その値はすべての行動を考えたときに得られる最小値に等しくなければならない。したがって各離散状態の各離散行動について不等式を一本ずつ作れば、価値関数に対する拘束が得られる。
「至少有一條取等號」這句話非常關鍵。$\min$ 等價於「$\le$ 全部成立而且至少一條取等號」。前半是線性不等式，好處理；麻煩的是後半那個「至少一條取等號」的互補條件 — 它本身不是線性的。而這正是目標函數要解決的事。The clause “and will satisfy at least one of those equations as an equality” is doing crucial work. A $\min$ is equivalent to “all the $\le$ hold and at least one holds with equality”. The first half is a set of linear inequalities and is easy; the awkward half is the complementarity condition, which is not linear by itself. And that is exactly what the objective function is for.「少なくとも一つは等号で成立する」という一句が決定的な働きをしている。$\min$ は「すべての $\le$ が成立しかつ少なくとも一つが等号で成立する」ことと等価である。前半は線形不等式の集まりで扱いやすいが、厄介なのは相補性条件のほうで、それ自体は線形ではない。そしてそれこそが目的関数の役割である。
各種狀態與動作組合下的成本都是已知的，所以它們在問題敘述中就是常數，全部進到 $b$ 裡；價值函數則被表示成一個實數向量 $V$。剩下的就是目標函數 — 最大化 $V$ 各元素的總和，在式 (35) 的不等式之下。這樣形成的線性規劃就解出了動態規劃方程式。論文說，把式 (31) 的 SP-SDP 方程式轉成 LP 的約束矩陣與向量，用的是同一套程序。The cost at each combination of state and action is known, so those become constants in the problem statement and all land in $b$; the value function is represented as a real vector $V$. What remains is the objective — maximize the sum of the elements of $V$ subject to the inequalities in (35). The linear program so formed solves the dynamic programming equations. The paper notes that a similar procedure was used to convert the SP-SDP equations in (31) into the constraint matrix and vector of a linear program.状態と行動の各組合せにおけるコストは既知なので、問題記述では定数となりすべて $b$ に収まる。価値関数は実ベクトル $V$ として表される。残るは目的関数であり、式 (35) の不等式の下で $V$ の成分の総和を最大化する。こうして構成された線形計画が動的計画方程式を解く。式 (31) の SP-SDP 方程式を LP の拘束行列・ベクトルに変換するのにも同様の手順が用いられた、と論文は述べている。
這一點第一次看會覺得矛盾，其實很直接。式 (35) 的每一條不等式都把 $V$ 從上方箝住：對狀態 $x$ 而言，每一個動作 $u_i$ 都提供一個上界。可行域因此是「所有上界都滿足」的區域。現在把目標設為最大化總和，就等於盡力把每個分量往上頂，直到它貼上最緊的那個上界為止。而「最緊的上界」正是 $\min_i \bigl(c(x,u_i) + \gamma V(f(x,u_i))\bigr)$ — 那就是 Bellman 方程式的右邊。於是：最佳解自動滿足「至少一條取等號」的互補條件，而取到等號的那個動作，就是最佳動作。最大化只是把 $V$ 推到可行域的上邊界，而那個上邊界就是 Bellman 不動點。It looks contradictory the first time and is in fact straightforward. Every inequality in (35) clamps $V$ from above: for state $x$, each action $u_i$ supplies an upper bound. The feasible region is where all the bounds hold at once. Now set the objective to maximize the sum and you are pushing each component up until it touches its tightest upper bound. The tightest upper bound is $\min_i \bigl(c(x,u_i) + \gamma V(f(x,u_i))\bigr)$ — which is the right-hand side of the Bellman equation. Therefore: the optimum automatically satisfies the complementarity condition that at least one inequality holds with equality, and the action whose inequality is tight is the optimal action. Maximizing simply pushes $V$ to the upper boundary of the feasible set, and that boundary is the Bellman fixed point.初見では矛盾して見えるが、実は単純である。式 (35) の各不等式は $V$ を上から押さえる。状態 $x$ について、各行動 $u_i$ が一つの上界を与える。実行可能領域はすべての上界が同時に成り立つ領域である。ここで目的を総和の最大化にすれば、各成分を最も厳しい上界に触れるまで押し上げることになる。その最も厳しい上界が $\min_i \bigl(c(x,u_i) + \gamma V(f(x,u_i))\bigr)$、すなわちベルマン方程式の右辺である。したがって最適解は「少なくとも一つの不等式が等号で成立する」という相補性条件を自動的に満たし、等号が成立する行動こそ最適行動である。最大化は単に $V$ を実行可能集合の上境界へ押し上げているにすぎず、その境界がベルマン不動点なのである。
題目：Problem:問題： (a) 以 $|\tilde{\mathcal{X}}|$ 個離散狀態、$|\tilde{\mathcal{U}}|$ 個離散動作來說，式 (35) 的 LP 有幾個決策變數、幾條約束？(b) 本問題的狀態是三元組 $(\breve{V}_{cmd},\breve{v},\breve{q})$。取 $N_P = 25$ 個功率位準（故 $|\tilde{\mathcal{C}}| = 27$）、$N_v = 20$ 個速度位準、SOC 取 20 格，動作取 $|\tilde{\mathcal{U}}| = 21$ 個 PSR 值，算出變數數與約束數。(c) 為什麼即使約束這麼多，LP 仍然是實務上合理的選擇？(a) With $|\tilde{\mathcal{X}}|$ discrete states and $|\tilde{\mathcal{U}}|$ discrete actions, how many decision variables and how many constraints does the LP of (35) have? (b) The state here is the 3-tuple $(\breve{V}_{cmd},\breve{v},\breve{q})$. Take $N_P = 25$ power levels (so $|\tilde{\mathcal{C}}| = 27$), $N_v = 20$ velocity levels, 20 SOC cells, and $|\tilde{\mathcal{U}}| = 21$ PSR values. Work out the variable and constraint counts. (c) Why is an LP still the practical choice despite that many constraints?(a) 離散状態 $|\tilde{\mathcal{X}}|$ 個、離散行動 $|\tilde{\mathcal{U}}|$ 個のとき、式 (35) の LP の決定変数の数と拘束の数はいくつか。(b) ここでの状態は三つ組 $(\breve{V}_{cmd},\breve{v},\breve{q})$ である。出力レベル $N_P = 25$（よって $|\tilde{\mathcal{C}}| = 27$）、速度レベル $N_v = 20$、SOC 20 分割、行動 $|\tilde{\mathcal{U}}| = 21$ として変数数と拘束数を求めよ。(c) これだけ拘束が多くても LP が実務的な選択であるのはなぜか。
(a) 變數：$V \in \mathbb{R}^{|\tilde{\mathcal{X}}|}$，所以是 $|\tilde{\mathcal{X}}|$ 個，每個離散狀態一個純量。約束：每個狀態對每個動作各一條，所以是 $|\tilde{\mathcal{X}}|\cdot|\tilde{\mathcal{U}}|$ 條。這正是式 (35) 中 $A \in \mathbb{R}^{|\tilde{\mathcal{X}}||\tilde{\mathcal{U}}|\times|\tilde{\mathcal{X}}|}$ 與 $b \in \mathbb{R}^{|\tilde{\mathcal{X}}||\tilde{\mathcal{U}}|}$ 的由來 — $A$ 是一個「高而窄」的矩陣。Variables: $V \in \mathbb{R}^{|\tilde{\mathcal{X}}|}$, so $|\tilde{\mathcal{X}}|$ of them, one scalar per discrete state. Constraints: one per state per action, so $|\tilde{\mathcal{X}}|\cdot|\tilde{\mathcal{U}}|$. That is where $A \in \mathbb{R}^{|\tilde{\mathcal{X}}||\tilde{\mathcal{U}}|\times|\tilde{\mathcal{X}}|}$ and $b \in \mathbb{R}^{|\tilde{\mathcal{X}}||\tilde{\mathcal{U}}|}$ in (35) come from — $A$ is a tall, narrow matrix.変数は $V \in \mathbb{R}^{|\tilde{\mathcal{X}}|}$、すなわち各離散状態に一つのスカラーで $|\tilde{\mathcal{X}}|$ 個。拘束は状態ごと行動ごとに一本なので $|\tilde{\mathcal{X}}|\cdot|\tilde{\mathcal{U}}|$ 本である。式 (35) の $A \in \mathbb{R}^{|\tilde{\mathcal{X}}||\tilde{\mathcal{U}}|\times|\tilde{\mathcal{X}}|}$ と $b \in \mathbb{R}^{|\tilde{\mathcal{X}}||\tilde{\mathcal{U}}|}$ の出どころがこれである。$A$ は縦に長く横に細い行列になる。
$$|\tilde{\mathcal{X}}| = |\tilde{\mathcal{C}}|\times N_v \times N_q = 27 \times 20 \times 20 = 10{,}800$$ $$\text{constraints} = |\tilde{\mathcal{X}}|\cdot|\tilde{\mathcal{U}}| = 10{,}800 \times 21 = 226{,}800$$(b) 所以是 10,800 個變數、226,800 條不等式。（這些格點數是為了練習而設的合理量級，論文並未逐一列出；重點是量級，不是精確值。）$A$ 的形狀是 $226{,}800 \times 10{,}800$，若存成稠密矩陣是約 $2.4\times 10^{9}$ 個元素，光是倍精度就要 19 GB。So 10,800 variables and 226,800 inequalities. (These grid sizes are plausible magnitudes chosen for the exercise; the paper does not tabulate them. The order of magnitude is the point, not the exact value.) $A$ has shape $226{,}800 \times 10{,}800$; stored densely that is about $2.4\times 10^{9}$ entries, 19 GB in double precision alone.よって変数 10,800 個、不等式 226,800 本である。（この格子サイズは演習のために選んだ妥当な桁であり、論文に表はない。要点は桁であって厳密な値ではない。）$A$ の形は $226{,}800 \times 10{,}800$ で、密行列として格納すれば約 $2.4\times 10^{9}$ 要素、倍精度だけで 19 GB になる。
(c) 三個理由。第一，$A$ 極度稀疏：每一列只有「$V(x)$ 本身」與「$f(x,u)$ 所落入的那幾個格點（由歸屬函數決定，重心內插在 $d$ 維下只有 $d+1$ 個非零）」這麼幾個非零元素，所以每列的非零數是個位數而非 10,800。稀疏 LP 解算器處理這種規模是家常便飯。第二，凸性保證沒有局部極小，也不必像 VI 那樣擔心收斂速率隨 $\gamma \to 1$ 惡化 — 而 SP-SDP 的 $\gamma$ 正好是 1，這恰恰是 VI 最吃力的情形。第三，這是論文自己給的理由：不必自己寫 VI/PI 的程式碼，直接呼叫成熟的商用解算器，省下的是工程工時。Three reasons. First, $A$ is extremely sparse: each row has non-zeros only for $V(x)$ itself and for the few grid points that $f(x,u)$ lands on (fixed by the membership function — barycentric interpolation in $d$ dimensions gives only $d+1$ non-zeros). So the non-zeros per row number in the single digits, not 10,800. Sparse LP solvers eat this size for breakfast. Second, convexity guarantees no local minima, and there is no worry about the convergence rate degrading as $\gamma \to 1$ the way VI does — and SP-SDP's $\gamma$ is exactly 1, precisely the case VI struggles with most. Third, the paper's own reason: no VI/PI code has to be written; a mature commercial solver is called instead, and what is saved is engineering hours.理由は三つ。第一に $A$ は極端に疎である。各行の非ゼロ要素は $V(x)$ 自身と、$f(x,u)$ が落ちる数個の格子点（帰属関数が決める。$d$ 次元の重心補間なら非ゼロは $d+1$ 個だけ）に限られる。したがって行あたりの非ゼロ数は 10,800 ではなく一桁である。疎 LP ソルバーにとってこの規模は朝飯前だ。第二に凸性により局所最小は存在せず、VI のように $\gamma \to 1$ で収束率が悪化する心配もない。SP-SDP の $\gamma$ はちょうど 1 であり、VI が最も苦手とする場合そのものである。第三に、論文自身の理由としてVI/PI のコードを書かずに済む。成熟した商用ソルバーを呼ぶだけでよく、節約されるのは工学的工数である。
用隨機動態規劃得到的控制器，是一個把車速、電池 SOC 與車輛命令映射到功率分流比的函數。為了評估，論文把 SP-SDP 控制器與一個以 SDP 設計的無限時域折扣成本控制器並排比較。後者稱為「SDP 控制器」，根據 [20] 與 [32]（Lin 的博士論文）的控制器而來。The controller obtained using stochastic dynamic programming is a function mapping vehicle speed, battery SOC and the vehicle command to a power split ratio. For evaluation, the SP-SDP controller is compared with an infinite-horizon, discounted-cost controller designed via SDP. The latter is referred to as the SDP controller; it is based on the controllers presented in [20] and [32] (Lin's PhD thesis).確率的動的計画法で得られる制御器は、車速・電池 SOC・車両指令をパワースプリット比へ写す関数である。評価のため、SP-SDP 制御器を SDP で設計した無限時間領域・割引コスト型の制御器と比較する。後者を SDP 制御器と呼び、[20] と [32]（Lin の博士論文）の制御器に基づく。
同樣受式 (14) 與 (5) 約束。三個關鍵設定：折扣因子取 $\gamma = 0.95$（以配合 [32] 的工作）；機率模型 (5) 被修改成「turning off」的機率為 0；SOC 罰則增益 $K_q = 60{,}000$。Subject to (14) and (5) as before. Three settings matter: a discount factor of $\gamma = 0.95$ is used to match the work in [32]; the probability model (5) is modified so that the probability of ‘turning off’ is 0; and the SOC penalty gain is $K_q = 60{,}000$.拘束は前と同じく式 (14) と (5) である。重要な設定は三つ。割引率は [32] の研究に合わせて $\gamma = 0.95$、確率モデル (5) は ‘turning off’ の確率が 0 になるよう修正され、SOC 罰則ゲインは $K_q = 60{,}000$ である。
兩個控制器用相同的 $c_{inst}$：1 倍燃油率（g/s）+ 40 倍 NOx 排放率 + 800 倍 PM 排放率，兩者的 $q_\text{target}$ 都是 0.5。兩種類型各設計了四個控制器，分別以 UDDS Heavy Duty、FET Highway、WVU Suburban、WVU City 這四條循環作為駕駛型態條件機率模型的依據。兩者都用相同的量化與內插；找到價值函數後都再套用更高解析度的格點並以式 (32) 求 PSR。最關鍵的一句：設計這些控制器的程式碼完全相同，只差在三件事 — 計算瞬時成本的方程式、折扣因子、以及描述駕駛型態的條件機率模型。也就是說，性能差異不能歸給實作細節。Both controllers use the same $c_{inst}$: one times the fuel rate in g/s, plus forty times the NOx rate, plus eight hundred times the particulate matter rate; and in both cases $q_\text{target}$ is 0.5. Four controllers of each type were designed, using the UDDS Heavy Duty, FET Highway, WVU Suburban and WVU City cycles as the basis for the conditional probability model of the driving pattern. Both were designed using identical quantization and interpolation; once the value function was found, a higher resolution grid was applied and the PSR found with (32). The decisive sentence: the codes to design the controllers were identical except for the equations used to calculate the instantaneous costs, the discount factor, and the conditional probability models. Performance differences therefore cannot be charged to implementation detail.両制御器は同一の $c_{inst}$ を使う。燃料消費率 (g/s) の 1 倍、NOx 排出率の 40 倍、粒子状物質排出率の 800 倍の和であり、いずれも $q_\text{target}$ は 0.5 である。各タイプについて四つの制御器が設計され、UDDS Heavy Duty、FET Highway、WVU Suburban、WVU City の各サイクルを運転パターンの条件付き確率モデルの基礎とした。両者とも同一の量子化と補間で設計され、価値関数を求めた後により高解像度の格子を適用して式 (32) で PSR を求めた。決定的な一文はこうだ。制御器を設計するコードは、瞬時コストを計算する式、割引率、運転パターンを記述する条件付き確率モデルを除いて同一だった。したがって性能差を実装の細部に帰すことはできない。
論文把「引擎功率對車輛命令與車速」的圖畫出來（SP-SDP 是圖 3、SDP 是圖 4），都是以類似 FET Highway 駕駛型態訓練出來的控制器。從這兩張圖讀到兩個值得注意的差異：The paper plots engine power as a function of vehicle command and vehicle speed, for the SP-SDP controller (its Fig. 3) and for the SDP controller (its Fig. 4). Both maps are from controllers designed for driving patterns similar to the FET Highway cycle. Two notable differences come off those maps:論文はエンジン出力を車両指令と車速の関数としてプロットしている（SP-SDP が図 3、SDP が図 4）。いずれも FET Highway に類似した運転パターン向けに設計された制御器のマップである。この二枚から注目すべき差が二つ読み取れる。
題目：Problem:問題： SDP 需要設定 $\gamma = 0.95$ 與 $K_q = 60{,}000$ 兩個參數，SP-SDP 只需要 $c_{term}$。(a) 各自解釋這些旋鈕「買到」什麼。(b) 為什麼論文說 $c_{term}$「名目上取很大」就好，而不像 $\gamma$ 與 $K_q$ 那樣難調？(c) 若把 $c_{term}$ 從 $10^6$ 改成 $10^{12}$，結果會怎樣？改成 $10$ 呢？SDP needs two parameters, $\gamma = 0.95$ and $K_q = 60{,}000$; SP-SDP needs only $c_{term}$. (a) Explain what each knob buys. (b) Why can the paper get away with saying $c_{term}$ is just “nominally large”, when $\gamma$ and $K_q$ are delicate? (c) What happens if $c_{term}$ is changed from $10^6$ to $10^{12}$? And to $10$?SDP は $\gamma = 0.95$ と $K_q = 60{,}000$ の二つを要するが、SP-SDP は $c_{term}$ だけでよい。(a) 各つまみが何を買っているか説明せよ。(b) $\gamma$ と $K_q$ が繊細なのに対し、$c_{term}$ は「名目上大きければよい」で済むのはなぜか。(c) $c_{term}$ を $10^6$ から $10^{12}$ に変えたら、また $10$ にしたらどうなるか。
(a)
(b) 因為 $c_{term}$ 的罰則一輩子只付一次，而且只在軌跡的最後一步。把它放大，只是把終端 SOC 更緊地釘在 $q_\text{target}$ 上，對中途的 PSR 選擇幾乎沒有副作用 — 中途的成本仍然純粹是油耗與排放。相對地，$K_q$ 的罰則每一步都付，所以它的大小會同時改寫整條軌跡上每一個決策。一個只影響邊界條件的參數，當然比一個改寫整個成本地景的參數好調。Because the $c_{term}$ penalty is paid exactly once in a lifetime, on the last step of a trajectory. Turning it up merely pins the terminal SOC more tightly to $q_\text{target}$, with almost no side effect on the PSR choices in between — the in-between cost is still purely fuel and emissions. By contrast the $K_q$ penalty is paid at every step, so its magnitude rewrites every decision along the whole trajectory. A parameter that only affects a boundary condition is naturally easier to set than one that reshapes the entire cost landscape.$c_{term}$ の罰則は軌道の最後の一歩で生涯に一度だけ支払われるからである。これを大きくしても、終端 SOC を $q_\text{target}$ により強く固定するだけで、途中の PSR 選択にはほとんど副作用がない。途中のコストは依然として純粋に燃料と排出である。対して $K_q$ の罰則は毎ステップ支払われるので、その大きさが軌道全体のあらゆる決定を書き換える。境界条件にしか効かないパラメータが、コスト地形全体を作り変えるパラメータより調整しやすいのは当然である。
(c) $c_{term} = 10^{12}$：行為上幾乎與 $10^6$ 相同，終端 SOC 誤差再縮小一點，但數值上會讓 LP 的 $b$ 向量出現 $10^{12}$ 與 $10^0$ 量級並存的病態尺度 (poor scaling)，解算器的數值條件變差。這是實務上的上限，不是理論上的。$c_{term} = 10$：罰則與行程中累積的油耗排放成本同量級（表 5 的性能數字是幾百 g/mile 乘上行駛距離），於是控制器會樂意犧牲終端 SOC 去換一點燃油，電量維持失效，認證也就過不了。「名目上很大」的真正意思是：大到讓終端約束實質上成為硬約束，但小到不會毀掉 LP 的數值條件。$10^6$ 落在這個很寬的區間中央，所以用嘗試錯誤法找它並不費力。$c_{term} = 10^{12}$: behaviourally almost identical to $10^6$, with terminal SOC error shrinking a little further, but numerically the LP's $b$ vector now mixes magnitudes of $10^{12}$ and $10^0$ — poor scaling, and the solver's conditioning suffers. That is a practical ceiling, not a theoretical one. $c_{term} = 10$: the penalty is now the same order as the fuel-and-emissions cost accumulated over the trip (Table 5's figures are hundreds of g/mile times the distance), so the controller will happily trade terminal SOC for a little fuel, charge sustenance fails, and certification fails with it. “Nominally large” really means: large enough that the terminal condition is effectively a hard constraint, small enough not to wreck the LP's conditioning. $10^6$ sits in the middle of a very wide interval, which is why finding it by trial and error costs nothing.$c_{term} = 10^{12}$：挙動は $10^6$ とほぼ同じで、終端 SOC 誤差がもう少し縮むだけだが、数値的には LP の $b$ ベクトルに $10^{12}$ と $10^0$ の桁が同居し、スケーリングが悪化してソルバーの条件数が悪くなる。これは理論的ではなく実務的な上限である。$c_{term} = 10$：罰則が走行中に累積する燃料・排出コスト（表 5 の数値は数百 g/mile に走行距離を掛けたもの）と同程度になり、制御器はわずかな燃料のために終端 SOC を喜んで犠牲にする。電荷維持は破綻し、認証も通らない。「名目上大きい」の真意は、終端条件が実質的に厳密拘束になる程度には大きく、LP の条件数を壊さない程度には小さいということである。$10^6$ は非常に広い区間の真ん中に収まっており、試行錯誤で見つけるのが容易な理由がそれである。
所有控制器都以模擬評估，模擬之間唯一的差別是選用的行駛循環與（基於功率分流比的）控制律。每個控制器的性能是這樣量的：反覆執行模型，直到起始電池 SOC 與最終電池 SOC 相差在 0.0001 之內（論文稱此為「平衡 SOC」— 在某條循環上反覆行駛直到首尾 SOC 實質相同）。在這個條件下：All controllers were evaluated by simulation; the only difference between the simulations is the choice of drive cycle and the choice of control law based on power split ratios. Performance is measured by executing the model such that the starting battery SOC equals the final battery SOC to within 0.0001 (the paper calls this the equilibrium SOC — the cycle is repeated until starting and ending SOC are effectively the same). Under those conditions:すべての制御器はシミュレーションで評価された。シミュレーション間の唯一の違いは走行サイクルの選択と、パワースプリット比に基づく制御則の選択である。性能は、開始時の電池 SOC と最終 SOC が 0.0001 以内で一致するまでモデルを実行して測る（論文はこれを平衡 SOC と呼び、開始と終了の SOC が実質的に同じになるまでサイクルを繰り返す）。この条件の下で —
$$\text{performance} = \frac{\text{total fuel} + 40\times\text{total NOx} + 800\times\text{total PM}}{\text{total distance in miles}} \quad [\text{g/mile}]$$$$\text{performance} = \frac{\text{total fuel} + 40\times\text{total NOx} + 800\times\text{total PM}}{\text{total distance in miles}} \quad [\text{g/mile}]$$$$\text{performance} = \frac{\text{total fuel} + 40\times\text{total NOx} + 800\times\text{total PM}}{\text{total distance in miles}} \quad [\text{g/mile}]$$
單位是 g/mile，而且 — 這點要大聲說 — 數值愈小愈好。它不是油耗 (mpg)，不要看到數字大就以為好。這與功率分流學習指南中那張 mpg 圖的方向相反。The unit is g/mile and — say it loudly — smaller numbers are better. It is not fuel economy in mpg; do not read a big number as a good one. The direction is opposite to the mpg chart in the power-split study guide.単位は g/mile であり — 声を大にして言うが — 数値は小さいほど良い。mpg の燃費ではないので、大きい数字を良い数字と読んではならない。向きは動力分割の学習ガイドにある mpg の図とは逆である。
另外值得記住一個工程上的觀察：論文指出，SOC 的變化只用掉電池能量容量的一小部分。對這台車而言，電池是依耐久性而非依能量擺盪需求來選尺寸的，所以它的能量容量遠大於能量擺盪所需。這解釋了為什麼表 2 與表 4 的平衡 SOC 全都擠在 0.46–0.54 這個窄帶裡。One engineering observation worth carrying away: the paper notes that the changes in SOC only require a small fraction of the energy capacity of the battery. For this vehicle the battery is sized for durability rather than for energy swing, which results in significantly more energy capacity than energy swings alone need. That is why the equilibrium SOC values in the paper's Tables 2 and 4 all sit in the narrow band 0.46–0.54.持ち帰る価値のある工学的観察が一つある。論文は SOC の変化が電池のエネルギー容量のごく一部しか使わないと述べている。この車両の電池はエネルギー振幅ではなく耐久性でサイジングされているため、エネルギー振幅だけに必要な量よりはるかに大きい容量をもつ。論文の表 2 と表 4 の平衡 SOC がすべて 0.46–0.54 という狭い帯に収まっているのはそのためである。
| 循環Cycleサイクル | SP-SDP 性能SP-SDP perf.SP-SDP 性能 | SP-SDP 終端 SOCSP-SDP final SOCSP-SDP 最終 SOC | SDP 性能SDP perf.SDP 性能 | SDP 終端 SOCSDP final SOCSDP 最終 SOC | 性能改善Perf. improvement性能改善 | 終端 SOC 誤差減少Reduction in final SOC error最終 SOC 誤差の低減 |
|---|---|---|---|---|---|---|
| UDDS HDV | 833.58 | 0.4982 | 850.46 | 0.5128 | 2.03% | 85.94% |
| WVU Suburban | 627.05 | 0.5058 | 654.44 | 0.5103 | 4.37% | 43.7% |
| WVU City | 509.46 | 0.4997 | 536.82 | 0.5095 | 5.37% | 96.84% |
| FET Highway | 944.14 | 0.5004 | 972.93 | 0.5214 | 3.05% | 98.13% |
比較的定義寫在論文裡，值得一字不漏地記下來：相對性能改善 = 兩個控制器的差 ÷ 較佳的那個性能值；終端 SOC 誤差減少 = 1 − (較小的 SOC 誤差 ÷ 較大的 SOC 誤差)。結論一句話：在所考慮的所有情形中，SP-SDP 控制器既改善了性能，也改善了平衡 SOC 誤差。The definitions of the comparison are stated in the paper and are worth recording verbatim: the relative performance improvement is measured as the difference between the two controllers divided by the best performance; the reduction in final SOC error is measured as one minus the minimum SOC error divided by the maximum SOC error. The conclusion in one line: in all cases considered, the SP-SDP controller improved performance and improved equilibrium SOC error.比較の定義は論文に明記されており、一字一句記録しておく価値がある。相対性能改善は二つの制御器の差を良いほうの性能で割ったもの。最終 SOC 誤差の低減は、1 から「小さいほうの SOC 誤差を大きいほうの SOC 誤差で割った値」を引いたもの。結論は一行で言える。検討したすべての場合において、SP-SDP 制御器は性能を改善し、かつ平衡 SOC 誤差も改善した。
題目：Problem:問題： 用 WVU City 那一列：SP-SDP 性能 509.46、終端 SOC 0.4997；SDP 性能 536.82、終端 SOC 0.5095。(a) 算出性能改善百分比，驗證等於 5.37%。(b) 算出終端 SOC 誤差的減少，驗證等於 96.84%。(c) 明確寫出你用的兩個定義，並說明若把分母換成另一個控制器會差多少。Take the WVU City row: SP-SDP performance 509.46 with final SOC 0.4997; SDP performance 536.82 with final SOC 0.5095. (a) Compute the performance improvement and confirm it is 5.37%. (b) Compute the reduction in final SOC error and confirm it is 96.84%. (c) State the exact definitions you used, and say how much the answer moves if the other controller is used in the denominator.WVU City の行を取る。SP-SDP の性能 509.46、最終 SOC 0.4997。SDP の性能 536.82、最終 SOC 0.5095。(a) 性能改善率を計算し 5.37% になることを確認せよ。(b) 最終 SOC 誤差の低減を計算し 96.84% になることを確認せよ。(c) 用いた定義を明示し、分母をもう一方の制御器にした場合に答えがどれだけ動くか述べよ。
(a) 定義：兩個控制器的差，除以較佳的性能。這裡愈小愈好，所以「較佳」是 509.46。Definition: the difference between the two controllers divided by the best performance. Smaller is better here, so the best is 509.46.定義は二つの制御器の差を最良の性能で割る。ここでは小さいほど良いので最良は 509.46 である。
$$\frac{536.82 - 509.46}{509.46} = \frac{27.36}{509.46} = 0.053708 = \mathbf{5.37\%}\ \checkmark$$(b) 定義：1 減去（最小 SOC 誤差 ÷ 最大 SOC 誤差），誤差是相對於 $q_\text{target} = 0.5$ 的絕對偏差。Definition: one minus the minimum SOC error divided by the maximum SOC error, where the error is the absolute deviation from $q_\text{target} = 0.5$.定義は1 から「最小 SOC 誤差 ÷ 最大 SOC 誤差」を引く。誤差は $q_\text{target} = 0.5$ からの絶対偏差である。
$$e_{\text{SP-SDP}} = |0.4997 - 0.5| = 0.0003, \qquad e_{\text{SDP}} = |0.5095 - 0.5| = 0.0095$$ $$1 - \frac{0.0003}{0.0095} = 1 - 0.031579 = 0.968421 = \mathbf{96.84\%}\ \checkmark$$(c) 兩個定義都把分母放在「較好的那一邊」，這是一個保守的選擇 — 它讓宣稱的改善幅度偏小。若性能改善改用 536.82 當分母，得 $27.36/536.82 = 5.10\%$，比 5.37% 低 0.27 個百分點。方向值得記住：除以較佳值會給出較大的百分比，所以論文在性能上用的是對自己不利的那個？不 — 恰好相反，除以較小的 509.46 給出較大的 5.37%。這提醒我們讀任何「改善 X%」時都要先問分母是誰。Both definitions put the better value in the denominator. For the performance figure, using 536.82 instead gives $27.36/536.82 = 5.10\%$, 0.27 points lower than 5.37%. The direction is worth remembering: dividing by the smaller (better) number gives the larger percentage, so the quoted 5.37% is the more flattering of the two conventions. The lesson generalizes — whenever you read “improved by X%”, ask what the denominator was.どちらの定義も良いほうの値を分母に置いている。性能について分母を 536.82 にすると $27.36/536.82 = 5.10\%$ となり、5.37% より 0.27 ポイント低い。向きを覚えておく価値がある。小さい（良い）ほうで割れば大きいパーセントが出るので、提示された 5.37% は二つの流儀のうち見栄えのよいほうである。教訓は一般化できる。「X% 改善」と読むたびに、分母が何かを問うべきだ。
順帶把其他三列也驗一遍，全部吻合：For completeness the other three rows check out too:ついでに残りの三行も検算すると、すべて一致する。
注意 WVU Suburban 那一列的 SOC 誤差減少只有 43.7%，遠低於其他三列 — 因為 SDP 在這條循環上本來就守得不錯（0.5103，誤差僅 0.0103），而 SP-SDP 的 0.5058 誤差 0.0058，兩者同量級。SOC 誤差的百分比減少對小分母極度敏感，單看百分比容易誤判；要和絕對誤差一起看。Note that the WVU Suburban row shows only a 43.7% SOC-error reduction, far below the other three — because SDP already held SOC reasonably well on that cycle (0.5103, an error of only 0.0103) while SP-SDP's 0.5058 is an error of 0.0058, the same order. A percentage reduction in SOC error is extremely sensitive to a small denominator; read it next to the absolute errors, never alone.WVU Suburban の行だけ SOC 誤差の低減が 43.7% と他の三行よりはるかに小さいことに注目。このサイクルでは SDP もそこそこ SOC を保てており（0.5103、誤差わずか 0.0103）、SP-SDP の 0.5058 の誤差 0.0058 と同じ桁だからである。SOC 誤差の百分率低減は分母が小さいと極端に敏感なので、絶対誤差と並べて読むべきで、単独で読んではならない。
論文的表 1 到表 4 是完整的交叉矩陣：四個訓練循環 × 九條測試循環。其中有一個耐人尋味的現象：無論 SP-SDP 還是 SDP，最佳性能都不必然出現在「訓練與評估使用同一條循環」的那一格。The paper's Tables 1 to 4 form a full cross matrix: four training cycles by nine test cycles. One interesting aspect of the results stands out: the best performance for both the SP-SDP and the SDP controller does not necessarily occur when the controllers are trained and evaluated using the same drive cycle.論文の表 1 から表 4 は完全な交差行列をなす。訓練サイクル四つ × 試験サイクル九つである。そこに一つ興味深い現象がある。SP-SDP でも SDP でも、最良の性能が「訓練と評価に同じ走行サイクルを使った」マスに必ずしも現れないのである。
論文給的理由很精準：這是因為性能是在駕駛循環的「單一實現 (single realization)」上評估的，而不是在該循環的馬可夫模型上評估的。控制器被設計成最小化運轉的「期望」成本，這意味著在任何單一實現上，都可能存在一個更好的控制器。The reason the paper gives is precise: this is due to evaluating the performance of the controller on a single realization of the driving cycle and not on the Markov model of the drive cycle. The controller is designed to minimize the expected cost of operation, which implies that on any single realization there may exist a better controller.論文が示す理由は正確である。これは制御器の性能を、走行サイクルのマルコフモデルではなく、走行サイクルの単一の実現 (single realization) の上で評価しているからである。制御器は運転の期待コストを最小化するよう設計されており、それはすなわち、いかなる単一の実現においても、より良い制御器が存在しうることを意味する。
把這句話想透很值得。$\arg\min E[\,\cdot\,]$ 與 $E[\arg\min(\cdot)]$ 不是同一件事。一個把分布最佳化的控制器，在分布的任一個樣本上都可能輸給某個「剛好適合那個樣本」的控制器 — 而那個控制器就是 §3.1 裡被判定為 cycle beater 的東西。所以表 1–4 的對角線不是最小值，這不是缺陷，而是這個設計哲學的簽名。反過來說，若有人展示一個在自訓循環上永遠最佳的控制器，那才該警覺。另外也要注意這個實驗的樣本量：每一格只有一條循環的一次執行，這種等級的比較本來就帶著可觀的實現雜訊。It is worth thinking all the way through. $\arg\min E[\,\cdot\,]$ and $E[\arg\min(\cdot)]$ are not the same object. A controller optimized for a distribution can lose on any single draw from that distribution to a controller that happens to suit that draw — and that controller is precisely the cycle beater condemned in §3.1. So the diagonal of Tables 1–4 is not the minimum, and that is not a defect but the signature of this design philosophy. Conversely, a controller that always wins on its own training cycle is the one to be suspicious of. Note too the sample size of this experiment: one execution of one cycle per cell, so comparisons at this granularity carry appreciable realization noise.最後まで考え抜く価値がある。$\arg\min E[\,\cdot\,]$ と $E[\arg\min(\cdot)]$ は別物である。分布に対して最適化された制御器は、その分布からの任意の一標本において、その標本にたまたま適合した制御器に負けうる。そしてその制御器こそ §3.1 で断罪されたサイクルビーターである。だから表 1–4 の対角成分が最小値にならないのは欠陥ではなく、この設計思想の署名である。逆に、自分の訓練サイクルで常に勝つ制御器こそ疑うべきだ。実験の標本数にも注意したい。各マスは一本のサイクルの一回の実行にすぎず、この粒度の比較には相応の実現ノイズが伴う。
最後，論文也誠實說明了與既有文獻比較的困難：由於先前發表的結果沒有給出平衡運轉時的 SOC 值，直接比較是困難的。不過 [20] 已經證明了 SDP 相對於啟發式方法在油耗與排放上的改善，因此那裡得到的相對性能關係，對本文的結果仍然成立。Finally, the paper is candid about the difficulty of comparing with the published literature: comparison to previously published results is difficult since the SOC values for equilibrium operation are not available. However, [20] showed the improvement resulting from SDP versus heuristic methods in fuel economy and emissions, so the relative performance obtained there still holds for these results.最後に、論文は既発表の文献との比較が難しいことを率直に認めている。平衡運転時の SOC 値が得られていないため、先行結果との比較は困難である。ただし [20] は SDP が経験則的手法に対して燃費と排出を改善することを示しており、そこで得られた相対的な性能関係は本結果についても成り立つ。
用最短路徑隨機動態規劃來設計 HEV 控制器，可以在保有 SDP 設計法全部優點的同時，得到更好的 SOC 控制與更少的待調參數。而且，因為解控制問題時不需要折扣因子、也不需要瞬時 SOC 偏差成本，最佳化準則更貼近工程上真正的目標。By using shortest path stochastic dynamic programming to design HEV controllers, it is possible to realize the advantages of SDP-based controller design with better state of charge control and fewer parameters to tune. Additionally, the optimization criteria better resemble the engineering goals, by solving the control problem without a discount factor and without an instantaneous cost associated with state of charge deviation.最短経路確率的動的計画法で HEV 制御器を設計すれば、SDP に基づく制御器設計の利点を保ちながら、より良い SOC 制御とより少ない調整パラメータが実現できる。さらに、割引率なしで、かつ SOC 偏差に伴う瞬時コストなしで制御問題を解くことにより、最適化基準が工学的な目標により近いものになる。
本研究雖然用了一個特定的模型，但基於 SP-SDP 的控制設計可以應用到任何符合以下兩個準則的油電混合車：While a specific model was used in this study, SP-SDP based control design can be applied to any hybrid electric vehicle whose optimal control objective meets two criteria:本研究は特定のモデルを用いたが、SP-SDP に基づく制御設計は、最適制御目標が次の二つの基準を満たすあらゆるハイブリッド車に適用できる。
存在一個成本，對應於「熄火」時某個狀態偏離特定值。There is a cost associated with a state deviating from a specific value when ‘turned off’.「停止」時にある状態が特定の値から外れることに伴うコストが存在する。
控制目標是最小化總成本 — 它是當前狀態與動作的函數，再加上系統熄火時其狀態所帶來的成本。The control objective is to minimize the total cost that is a function of the current state and actions, plus a cost associated with the state of the system when turned off.制御目標が、現在の状態と行動の関数である総コストに、停止時の系の状態に伴うコストを加えたものの最小化である。
本文描述的兩個狀態之外，任意數量的額外狀態都可以放進模型。因此這套解法可以用在相當廣泛的 HEV 動力系統上。Any number of additional states beyond those described here can be part of the model. Hence the solution technique applies to a broad range of HEV powertrains.ここで述べた状態の他に任意の数の追加状態をモデルに含めてよい。したがってこの解法は幅広い HEV パワートレインに適用できる。
「任意數量」是表述上的，不是計算上的。$|\tilde{\mathcal{X}}|$ 隨狀態數指數成長，LP 的約束數是 $|\tilde{\mathcal{X}}||\tilde{\mathcal{U}}|$ — 維度詛咒並沒有被這個表述解決，只是被挪到別處。“Any number” is a statement about the formulation, not about computation. $|\tilde{\mathcal{X}}|$ grows exponentially in the number of states and the LP has $|\tilde{\mathcal{X}}||\tilde{\mathcal{U}}|$ constraints — the curse of dimensionality is not solved by this formulation, merely relocated.「任意の数」は定式化についての主張であって計算についてではない。$|\tilde{\mathcal{X}}|$ は状態数に対して指数的に増え、LP の拘束数は $|\tilde{\mathcal{X}}||\tilde{\mathcal{U}}|$ である。次元の呪いはこの定式化で解決されたのではなく、場所を移しただけである。
最佳化準則應該與認證測試實際量測的東西一致。測試量的是全程油耗排放加上熄火時的電量維持，不是每一瞬間的 SOC。The optimization criterion should match what the certification test actually measures: total fuel and emissions plus charge sustenance at key-off, not SOC at every instant.最適化基準は認証試験が実際に測るものと一致すべきである。測られるのは全走行の燃料・排出とキーオフ時の電荷維持であって、毎瞬間の SOC ではない。
把 $V_{cmd}$ 放進狀態，'off' 就成為吸收態；終端集合的存在加上可控進入性，保證了 $\gamma = 1$ 下期望成本仍然有限。Put $V_{cmd}$ into the state and 'off' becomes absorbing; the terminal set plus controllability into it guarantees finite expected cost at $\gamma = 1$.$V_{cmd}$ を状態に入れれば 'off' は吸収状態になる。終端集合の存在とそこへの可制御性が $\gamma = 1$ でも期待コストの有限性を保証する。
條件機率的列和不足 1，缺口就是熄火機率（式 28）。熄火的統計不必另外建模，從同一份計數掉出來。The conditional probability rows sum to less than one and the shortfall is the turn-off probability (eq 28). Key-off statistics need no separate model; they fall out of the same count.条件付き確率の行和は 1 未満になり、その不足分がキーオフ確率である（式 28）。キーオフの統計に別モデルは要らず、同じ計数からこぼれ落ちる。
離散 DP 可以寫成 LP：$|\tilde{\mathcal{X}}|$ 個變數、$|\tilde{\mathcal{X}}||\tilde{\mathcal{U}}|$ 條上界不等式，最大化 $\sum V$ 就把解頂到 Bellman 不動點。不必寫 VI/PI。The discrete DP becomes an LP: $|\tilde{\mathcal{X}}|$ variables, $|\tilde{\mathcal{X}}||\tilde{\mathcal{U}}|$ upper-bound inequalities, and maximizing $\sum V$ pushes the solution onto the Bellman fixed point. No VI or PI code needed.離散 DP は LP になる。変数 $|\tilde{\mathcal{X}}|$ 個、上界不等式 $|\tilde{\mathcal{X}}||\tilde{\mathcal{U}}|$ 本、そして $\sum V$ の最大化が解をベルマン不動点へ押し上げる。VI も PI も書かずに済む。
瞬時 SOC 罰則讓折扣控制器不斷追設定值 — 既更早關引擎，又更用力充電。終端罰則讓 SP-SDP 先花電、最後再結清。The instantaneous SOC penalty makes the discounted controller chase the setpoint — shutting off sooner and charging harder. The terminal penalty lets SP-SDP spend charge and settle up at the end.瞬時 SOC 罰則は割引制御器に設定値を追わせる — より早くエンジンを止め、より強く充電する。終端罰則は SP-SDP に電気を使わせ、最後に精算させる。
四條循環，性能改善 2.03%–5.37%，終端 SOC 誤差減少 43.7%–98.13%。全部四種情形下兩者皆改善，而且調校參數從兩個減為一個。Four cycles, performance improved 2.03%–5.37%, final SOC error cut 43.7%–98.13%. Both improved in all four cases — with one tuning parameter instead of two.四サイクルで性能改善 2.03%–5.37%、最終 SOC 誤差の低減 43.7%–98.13%。四例すべてで両方とも改善し、しかも調整パラメータは二つから一つになった。
| 符號Symbol記号 | 意義Meaning意味 |
|---|---|
| $\breve{\;\cdot\;}$ | 新月符號：表示該變數（或集合）是把連續變數量化後、取值有限的離散變數The crescent: the variable (or set) is a discrete one formed by quantizing a continuous variable and taking finitely many values三日月記号：連続変数を量子化して作られ、有限個の値を取る離散変数（集合）であることを示す |
| $q,\ q_\text{target}$ | 電池電量（正規化到 $[0,1]$）；設定值，本文為 0.5Battery state of charge, normalized to $[0,1]$; the setpoint, 0.5 here電池の充電状態（$[0,1]$ に正規化）。設定値は本論文では 0.5 |
| $v,\ V_{cmd}$ | 車速（0–100 mph）；車輛命令（功率位準／'turn off'／'off'）Vehicle speed, 0–100 mph; vehicle command (a power level, 'turn off' or 'off')車速（0–100 mph）。車両指令（出力レベル／'turn off'／'off'） |
| $x,\ \mathcal{X},\ \tilde{\mathcal{X}}$ | 狀態 $[q\ v\ V_{cmd}]^{T}$；狀態空間；離散（有限可數）狀態空間The state $[q\ v\ V_{cmd}]^{T}$; the state space; the discrete, finite countable state space状態 $[q\ v\ V_{cmd}]^{T}$、状態空間、離散（有限可算）状態空間 |
| $u,\ \mathcal{U},\ \tilde{\mathcal{U}}$ | 動作（即 PSR）；動作空間；離散動作空間。$\mathcal{U}(x)$ 是狀態 $x$ 下的可行子集Action (the PSR); the action space; the discrete action space. $\mathcal{U}(x)$ is the feasible subset at state $x$行動（すなわち PSR）、行動空間、離散行動空間。$\mathcal{U}(x)$ は状態 $x$ での実行可能部分集合 |
| $PSR$ | 功率分流比 = 輪端引擎功率 ÷ 輪端總功率（式 4）Power split ratio = engine power at the wheels divided by power at the wheels (eq 4)パワースプリット比 = 車輪端エンジン出力 ÷ 車輪端出力（式 4） |
| $c(\cdot),\ c_{inst},\ c_{term}$ | 瞬時成本函數；瞬時成本權重向量 $[1\ \mu\ \upsilon]^{T}$；終端罰則係數（本文 $10^{6}$）Instantaneous cost function; the instantaneous cost weight vector $[1\ \mu\ \upsilon]^{T}$; the terminal penalty constant ($10^{6}$ here)瞬時コスト関数、瞬時コストの重みベクトル $[1\ \mu\ \upsilon]^{T}$、終端罰則の定数（本論文では $10^{6}$） |
| $\mu,\ \upsilon$ | NOx 與 PM 的權重；本文取 40 與 800（燃油率權重為 1）Weights on NOx and particulate matter; 40 and 800 here (fuel rate weight is 1)NOx と粒子状物質の重み。本論文では 40 と 800（燃料率の重みは 1） |
| $K_q$ | 瞬時 SOC 二次成本增益 — 只有基準 SDP 控制器有，本文取 60,000Instantaneous SOC quadratic cost gain — present only in the baseline SDP controller, 60,000 here瞬時 SOC 二次コストのゲイン。基準 SDP 制御器にのみ存在し、本論文では 60,000 |
| $\gamma \in [0,1]$ | 未來成本的折扣因子。SP-SDP 取 1；SDP 取 0.95Discount factor for future costs. 1 for SP-SDP; 0.95 for SDP将来コストの割引率。SP-SDP では 1、SDP では 0.95 |
| $V(x),\ V^{*}$ | 價值（cost-to-go）函數。離散化後是一個長度 $|\tilde{\mathcal{X}}|$ 的向量Value or ‘cost to go’ function. Once discretized it is a vector of length $|\tilde{\mathcal{X}}|$価値（コスト・トゥ・ゴー）関数。離散化後は長さ $|\tilde{\mathcal{X}}|$ のベクトル |
| $f(\cdot),\ h(\cdot),\ g(\cdot)$ | 系統動態；系統輸出；回授控制律（策略）System dynamics; system output; a feedback control law or policy系のダイナミクス、系の出力、フィードバック制御則（方策） |
| $M_{\mathcal{X},\tilde{\mathcal{X}}}(x)$ | 歸屬函數：把 $\mathcal{X}$ 中的元素映射到它在 $\tilde{\mathcal{X}}$ 各元素上的歸屬度（即轉移機率）Membership function mapping an element of $\mathcal{X}$ to its membership in each element of $\tilde{\mathcal{X}}$ — equivalently, a transition probability帰属関数。$\mathcal{X}$ の要素を $\tilde{\mathcal{X}}$ の各要素への帰属度（すなわち遷移確率）へ写す |
| $w,\ W$ | 隨機擾動 $[V_{cmd,next}]$ 及其取值The stochastic disturbance $[V_{cmd,next}]$ and the value it takes確率的外乱 $[V_{cmd,next}]$ とその取る値 |
| $\dot m_f,\ \dot m_{NOx},\ \dot m_{PM}$ | 引擎燃油率、NOx 排放率、懸浮微粒排放率（g/s）；熄火時皆為 0Engine fueling rate, NOx rate, particulate matter rate (g/s); all 0 when the vehicle is offエンジンの燃料消費率、NOx 排出率、粒子状物質排出率（g/s）。停止時はいずれも 0 |
| $P_{\min},\ P_{\max},\ \varepsilon$ | 輪端功率下限 $-100$ kW、上限 $150$ kW；零速修正用的小速度 $\varepsilon = 1$ mphWheel power limits $-100$ kW and $150$ kW; the small speed $\varepsilon = 1$ mph used in the zero-velocity fix車輪端出力の下限 $-100$ kW、上限 $150$ kW。ゼロ速度補正に使う微小速度 $\varepsilon = 1$ mph |
| $N_P,\ N_v$ | 功率需求與車速的量化位準數Number of quantization levels for power demand and for velocity出力要求と車速の量子化レベル数 |
| $\#\{\mathcal{A}\}$ | 集合的序數（元素個數）；$\#x$ 則是元素 $x$ 在其有序集合中的次序The ordinality of a set (its number of elements); $\#x$ is the order of element $x$ within its ordered set集合の濃度（要素数）。$\#x$ は順序集合における要素 $x$ の順位 |
| 縮寫Abbreviation略語 | 全名Expansion正式名称 |
|---|---|
| SP-SDP | 最短路徑隨機動態規劃 (Shortest Path Stochastic Dynamic Programming)Shortest Path Stochastic Dynamic Programming最短経路確率的動的計画法 (Shortest Path Stochastic Dynamic Programming) |
| SDP · DP · LP | 隨機動態規劃 · 動態規劃 · 線性規劃Stochastic Dynamic Programming · Dynamic Program · Linear Program確率的動的計画法 · 動的計画 · 線形計画 |
| HEV · PHEV | 油電混合車 · 並聯式油電混合車Hybrid Electric Vehicle · Parallel Hybrid Electric Vehicleハイブリッド電気自動車 · 並列式ハイブリッド電気自動車 |
| PSR · TSR · SOC | 功率分流比 · 轉矩分流比 · 電池電量狀態Power Split Ratio · Torque Split Ratio · State of Chargeパワースプリット比 · トルクスプリット比 · 充電状態 |
| MPC · VCT · A/C | 模型預測控制 · 可變凸輪正時 · 空調Model Predictive Control · Variable Cam Timing · Air Conditioningモデル予測制御 · 可変カムタイミング · エアコン |
這三篇構成一條清楚的演進線 — 方法被發明 → 被移植到新架構 → 準則被修正以符合認證：The three guides form a clear progression — the method is invented, then ported to a new architecture, then its criterion is fixed to match certification:この三篇は明快な進展の線をなす。手法が発明され、新しい構成へ移植され、そして基準が認証に合うよう修正されるという流れである。