1.具有丢包和多时滞的网络控制系统的最优控制研究方法，其特征在于：首先给出如下定义：符号 表示n维欧氏空间；上标'表示矩阵的转置；实数矩阵M＞0表示矩阵M是正定的；实数矩阵M≥0表示矩阵M是半正定的； 表示指示函数，即当元素 时，有 否则有 是由随机过程X所产生的自然滤波；E[·]是数学期望且 是关于的条件期望；P(X)表示当事件X发生时的概率；I表示单位矩阵；δkl表示克罗内克函数，即当k＝l时有δkl＝1，否则有δkl＝0；

所述方法具体包括如下步骤：

步骤1：利用带有时滞的量测数据{yk}设计出了最优估计器；

步骤2：利用极大值原理，解出了最优控制器，并给出了有限时间范围内可解的充分必要条件；且最优控制器的增益为耦合的黎卡提方程的解；

步骤3：通过定义一个李雅普诺夫函数，得出系统在均方意义下是可镇定的，当且仅当给定的耦合的黎卡提方程有唯一解；

在步骤2中，具体设计如下：

有限时间的情况

问题描述

考虑下面带有丢包、输入时滞和量测时滞的乘性噪声系统：其中， 代表状态向量， 代表控制器， 代表其协方差为 的标量高斯白噪声； 代表量测过程，ωk是服从概率为P(ωk＝1)＝p＝1‑q∈[0,1]的伯努利分布；A, B, 是具有适当维数的常值矩阵，d和θ(>0)分别表示输入时滞和量测时滞；初始值x0表示均值为μ，协方差为Θ的高斯随机向量，初始控制器ui,i＝‑d,...,θ‑1的值是已知的，而且 {ωk}和x0彼此相互独立；

系统(1)和(2)的性能指标定义为：其中，常值矩阵 分别是用来平衡状态向量和输入向量的权重矩阵，xN+1为终端状态向量， 为有界的常数终端加权矩阵；

对于具有丢包和多时滞的乘性噪声系统，控制器uk只允许访问量测过程{yθ,...,yk}，也就是说，uk是 可量测的；为了方便起见，将 表示为 同时，将表示为 将 表示为

问题1对于系统(1)和(2)，利用量测数据{yk}，找到一个 可量测的控制器uk使得目标函数(3)最小；

为了确保问题的可解性，给出下面的假设：假设1目标函数(3)中矩阵满足Q≥0，R>0和MN+1≥0；

最优估计

在求解最优控制器之前，首先给出最优估计器的表达式；为了表示方便，将估计器表示为 下面给出本小节的重要定理：定理1对于系统的状态方程(1)和量测方程(2)，最优估计器的递推式为：其中

初始值为 且

有 和P(ψk＝1)＝q＝1‑p，θ≤k≤N，表示指示函数；

除此之外，由系统方程(1)能够直接计算得到证首先计算最优估计器的初始值 令yθ＝ωθx0＝h，则由条件期望的定义得到其中，P(xθ＝ri|yθ＝h)表示在yθ＝h发生的情况下xθ取值为ri的条件概率；下面进行讨论：

1)对于量测数据yθ，当出现数据丢包时，也就是说yθ＝h＝0，此时有P(xθ＝ri,yθ＝0)＝P(xθ＝ri)P(yθ＝0)，则由(5)得到

2)当没有发生丢包时，也即yθ＝h≠0，则由(5)得到因此，结合式(6)和(7)，估计器的初始值表示为由于系统噪声 和{ωk}是相互独立的，则通过系统状态方程(1)得到下面进一步分析最优估计器的一般形式为了方便起见，令Yk＝{yθ,...,yk}；类比式(5)，利用条件期望的定义，可得分类讨论如下：

1)若yθ＝yθ+1...＝yk＝0，则有P(xk＝ri,yθ＝0,yθ+1＝0,...,yk＝0)＝P(xk＝ri)P(yθ＝0,yθ+1＝0,...,yk＝0)；

因此，根据式(8)得

E[xk|yθ＝hθ,yθ+1＝hθ+1,...,yk＝hk]＝Exk (9)；

2)若有yk＝hk＝0, 且 其中{θ,θ+1,...,k‑1}＝{iθ,iθ+1,...,ik‑1}，iθ＜iθ+1＜...＜ij；此时有则根据式(8)得

3)若k时刻没有数据丢包，即yk＝hk≠0，估计器能够表示为其中yk＝ωkxk‑θ，且上式第二行利用了状态{xk}的马尔可夫特性；

由式(1)和(11)得

同理可得

则由式(12)和(13)，式(11)中的估计器 能够写成递推的形式，如下：综上所述，由式(9)‑(11)得最优估计器的形式为同时由系统方程(1)直接计算得下面对式(14)作进一步的化简；利用指示函数的特性知因此，当yθ＝yθ+1...＝yk＝0时，由式(16)，式(14)能够写为E[xk|yθ,...,yk]＝Exk＝AE[xk‑1|Yk‑1]+Buk‑d‑1 (18)；

同时，若有 其中iθ＜iθ+1＜...＜ij＜...≤ik‑1，则

1)当ij＜k‑1时，即 且yk‑1＝0，由式(17)，式(14)能够写为

2)当ij＝k‑1时，即yk‑1≠0，由式(17)，式(14)能够写为因此，由式(14)，(18)‑(20)，并将 定义为ψk，得到最优估计器的递推形式为上式即为式(4)；

最优输出反馈控制

为了得到问题1的解，对系统状态方程(1)和目标函数(3)应用极大值原理得到如下的共态方程：λN＝MN+1xN+1 (21)；

其中 下面给出问题1完整的解；

定理2基于假设1，对于系统(1)和(2)，问题1有唯一的解，当且仅当矩阵Δk＞0，k＝d+θ,...,N；且设计的令目标函数(3)最小的最优输出反馈控制器为其中估计器 满足下式

估计器 已经在定理1中给出，且增益Δk+d和Γk+d满足在式(25)和(26)中，矩阵 Ψk,Φk满足下列的黎卡提差分方程Φk＝(1‑q)A′Ψk+1A+A′Φk+1A， (31)；

式(27)‑(31)中的终端条件为 ΨN+1＝0,ΦN+1＝0；

同时可得式(3)中的最优目标函数为且状态和共态之间的关系满足下式推论令

对式(27)‑(31)两端从i＝3到d+1进行累加，得到下面耦合的黎卡提方程Φk＝(1‑q)A′Ψk+1A+A′Φk+1A， (37)；

上式中的终端值为ΞN+1＝ΠN+1＝MN+1，且矩阵Δk和Γk能够直接计算得到下面给出定理2的证明：

证首先给出必要性的证明，即在假设1的前提下，如果问题1有唯一解，式(25)中的矩阵Δk，d+θ≤k≤N是严格正定的；定义新的目标函数为令式(40)中的k＝N，得到

J(N)＝E[xN′QxN+uN‑d′RuN‑d]+xN+1′MN+1xN+1；

将系统的状态方程(1)代入上式，则J(N)能够写成状态xN和控制器uN‑d的二次型形式，且由于控制器解的唯一性，该二次型必然是正定的；令状态xN＝0，得到因此ΔN＞0成立；

下面计算最优控制器；由式(1)和(21)，平衡方程(23)能够写为因此，当k＝N时的最优控制器为明显式(41)满足式(24)；

接下来说明k＝N时的共态方程具有式(33)的形式；利用式(1)、(21)、(22)和(41)，得到1

上式满足式(33)，且矩阵MN和 分别满足式(27)和(28)；

为了进一步分析一般情况，并利用数学归纳法，取d+θ≤l≤N，当k≥l+1，假设式(25)中的矩阵是正定的，且控制器uk‑d和共态λk‑1的表达式为式(24)和(33)；接下来证明该情形在k＝l时也成立；

首先需要证明矩阵Δl的可逆性；由式(1)、(22)和(23)，得到将上式从k＝l+1到N进行累加，得到利用上式以及式(21)，并令式(40)中的k＝l，则J(l)表示成将式(33)代入上式，并令xl＝0，则J(l)被写成由于最优控制器解ul‑d的唯一性，则式(25)中矩阵Δl是严格正定的，也即Δl＞0成立；

下面求解最优控制器；将式(33)代入式(23)得到则最优控制器的解为

其中矩阵Δl和Γl分别满足式(25)和(26)；因此，最优控制器(24)在k＝l时也成立；

最后证明状态和共态之间的关系式满足式(33)，如下：显然该式成立；这就完成了必要性的证明；

下面给出充分性的证明，即当式(25)中的矩阵Δk＞0，k＝d+θ,...,N时，证明问题1有唯一解；定义则由式(1)、(25)‑(31)，能够计算得到VN(k+1,xk+1)如下令VN(k,xk)和VN(k+1,xk+1)作差，得到对式(41)两端从k＝d+θ到N进行累加，得到利用上式将目标函数写为

在上式中，x0,ui,i＝‑d,...,θ‑1已经初始化，对于0≤k≤d+θ‑1，xk能够由初始值进行求解，且矩阵Δk是严格正定的；因此，令目标函数取到最小值，最优控制器的唯一性即得证，且满足式(24)。

2.根据权利要求1所述的具有丢包和多时滞的网络控制系统的最优控制研究方法，其特征在于：在步骤3中，具体设计如下：无限时间的情况

问题描述

为了分析系统的镇定性，求解系统(1)和(2)在无限时间时的镇定问题；当N→+∞时考虑如下的性能指标：首先给出下面几个重要的定义：

定义1对于给定的初始值x0,u‑d,...,uθ‑1，且控制器uk‑d＝0,k≥d+θ，如果有则称方程(1)为渐进均方稳定的；

定义2方程(1)在均方意义下是可镇定的，当存在一个 可量测的控制器其中L和Li(i＝1,...,d+θ)是常值矩阵，且满足 使得(1)的闭环系统是渐进均方稳定的；

定义3对于下面的随机系统

为了方便起见，将上述系统简记为 基于假设1，有Q＝C'C成立；如果有下式成立则称系统 是完全可观测的；

问题2找到一个 可测的控制器uk‑d使得系统(1)是渐进均方稳定的，同时使得目标函数(44)最小；

假设2 是完全可观测的；

问题2的解

为了表述清晰，将矩阵Δk,Γk, Ψk,Φk,Ξk,Πk写为Δk(N),Γk(N), Ψk(N),Φk(N),Ξk(N),Πk(N)；由于终端值MN+1＝0，故上述矩阵都为时不变矩阵；

下面给出几个重要引理：

引理1基于假设1，得到Πk(N)≥Ξk(N)≥0, Ψk(N)＜0，Φk(N)＜0和证在定理1中已经证得了Δk(N)＞0，k≥d+θ，由式(28)‑(31)能够直接观察得出矩阵Ψk(N),Φk(N)都是负定的；接下来证明Πk(N)≥Ξk(N)≥0和 成立；定义

其中m≥d+θ；由式(3)和(32)能够类比得到式(45)的最优解为对式(46)分析如下：

其中有 同理得

则由式(46)‑(49)；得到由于状态xd+θ是随机变量，因此，得到Ξd+θ(m)≥0；

也即

由定理2看出 则必有 利用Ξd+θ(m), 和 的时不变特性，令m＝N+d+θ‑k，则有Ξk(N)＝Ξd+θ(N+d+θ‑k)≥0, 和因此不等式Πk(N)≥Ξk(N)≥0， 和 也成立；

引理2基于假设1和2，存在一个常数N0>0，使得当N＞N0时，有Ξd+θ(N)＞0；

证对于式(46)，选定状态向量xd+θ(≠0)，则有假设Ξd+θ(N)＝0成立，那么式(46)能够写为其中 和 分别代表最优状态策略和最优控制器；由假设1可知，Q＝C'C≥0且R＞0，再由式(51)能够观察得出则系统方程(1)能够写成

基于定义3和假设2，得到xd+θ＝0，矛盾；因此假设不成立，则有N0>0，使得当N＞N0时，有Ξd+θ(N)＞0成立；

引理3系统方程(1)是可镇定的，当且仅当不等式 成立；

证首先给出充分性的证明；显然，如果 成立，则必有 基于定义2可知系统方程(1)是可镇定的；

下面证明必要性，即若系统方程(1)是镇定的，则不等式 成立；

由定义2可知，存在 使得系统方程(1)是渐进均方稳定的；定义如下矩阵

利用上述矩阵可将系统方程(1)转变为一个新的状态方程为且控制器uk能够写为

将式(53)代入式(52)得到回顾定义2知，控制器 使系统方程(1)渐进均方稳定，也即存在同时，我们能够得到

则由式(54)能够直接得到 且有因此得

利用式(55)，能够得到 也即定理3系统方程在均方意义下是镇定的，当且仅当推论中耦合的黎卡提方程有唯一解，

1 j

且有Π≥Ξ＞0,M≥0,Ψ,Φ≤0和M≤0,j＝2,...,d+1：d ‑1 d

Ψ＝‑(A′)Γ′Δ ΓA+qA′ΨA (58)；

Φ＝(1‑q)A′ΨA+A′ΦA (59)；

其中Δ和Γ为

使系统镇定的控制器为

式(44)对应的最优目标函数为其中

下面给出定理3的证明：

必要性：即若系统方程(1)是均方能够镇定的，则式(34)‑(39)中耦合的黎卡提方程有唯一解，且Π≥Ξ＞0,Ψ,Φ≤0；

首先给出矩阵Ξd+θ(N),Πd+θ(N),Ψd+θ(N)和Φd+θ(N)关于N的单调性证明；回顾式(32)和(42)，最优目标函数能够写为其中， 且uj＝0,j＝‑d,...,‑1,下面对式(65)进行讨论：

1)如果有x0＝Ex0成立，则由定理1可以得到 那么式(65)能够写为* *

由于J(N)≤J (N+1)能够得到 也即Π0(N)≤Π0(N+1)成立；

2)如果有Ex0＝0成立，能够得到 类比上述分析得* *

3)对于给定的xd+θ，由式(46)，令m＝N，可有H(N)≤H(N+1)，则得也即Ξd+θ(N)≤Ξd+θ(N+1)成立；

综上所述，看出Π0(N), 和Ξd+θ(N)关于N是单调递增的；

下面证明上述矩阵是有界的；由定义2知，存在控制器 使得系统方程(1)镇定；选定一常数λ使得Q≤λI, 成立；则有其中c和c1是常数；因此，得到再由式(50)，知

上式表明矩阵Ξd+θ(N)是有界的；

类比式(65)进行如下讨论：

1)若x0＝Ex0，则有 故有上式表明矩阵 是有界的；

2)若Ex0＝0，则有 故有

得出 也是有界的；

综上知矩阵Ξd+θ(N),Π0(N), Ψ0(N)和Φ0(N)都是收敛的；且上述矩阵都是时不变矩阵，即有Ξd+θ(N)＝Ξ0(N‑d‑θ),Πd+θ(N)＝Π0(N‑d‑θ)；

Ψd+θ(N)＝Ψ0(N‑d‑θ)；

Φd+θ(N)＝Φ0(N‑d‑θ)；

1

因此，存在矩阵Ξ,Π,M ,Ψ和Φ，满足同时，在式(25)，(26)，(28)和(29)两端取极限得到收敛值为因此，当时间变量N→+∞，式(56)‑(61)是成立的；且利用引理1和2直接得到，Π≥Ξ＞

1 j

0,M≥0,Ψ＜0,Φ＜0和M≤0,j＝2,...,d+1；

最后证明式(56)‑(59)的解是唯一的；现假设存在另外一组解H,F,P和K也满足式(56)‑(59)；当有x0＝Ex0时，对式(66)两端取极限，得到*

J(N)＝E(x′0Πx0)＝E(x′0Fx0)；

则有Π＝F；而且若有Ex0＝0，得*

J(N)＝E{x′0[Π0(N)‑qΨ0(N)‑qΦ0(N)]x0} ＝E{x′0[F0(N)‑qP0(N)‑qK0(N)]x0}；

由式(30)和(31)，看出Φk(N)依赖于Ψk(N)，也即若Ψ0(N)≠P0(N)，则有Φ0(N)≠K0(N)，这与上述方程式矛盾；故在该方程两侧取极限得到Ψ＝P，Φ＝K；同时，对于给定的xd+θ，在式(51)两端取极限，直接得到E(x′d+θΞxd+θ)＝E(x′d+θHxd+θ)，则有Ξ＝H；综上知式(56)‑(61)的解是唯一的；

充分性：若式(56)‑(61)中耦合的黎卡提方程有唯一解，则控制器(62)能够使得系统方程(1)镇定；

首先，令

同时经计算也能够得到

则对k≥d+θ，有

从式(69)看出，控制器 满足式(62)，且函数V(k,xk)关于N是单调递减的；

同时经计算得到

上式表明函数V(k,xk)是有界的，由单调有界原理知函数V(k,xk)是收敛的；

因此，通过式(69)得到

再由式(50)得

在式(71)两端取极限并利用式(70)，得利用引理2知Ξd+θ(N)＞0，则有 也即式(62)中的控制器能够使得系统方程(1)镇定；

接下来证明控制器(62)能够使目标函数(44)最小为(63)；对式(68)两端从k＝0到N进行累加，得到其中V(0,x0)和V(N+1,xN+1)已在式(67)中给出定义；利用射影定理有我们已经得到控制器(62)能够使得系统(1)镇定，因此有 则在式(72)两端对N取极限，目标函数(44)能够写为通过以上的分析，控制器(62)能够使得目标函数(44)最小，且最优目标函数为式(63)。