Optimal tracking control for non-zero-sum games of linear discrete-time systems via off-policy reinforcement learning

In this article, a model-free off-policy reinforcement learning algorithm is applied to address the optimal tracking problem based on multiplayer non-zero-sum games for discrete-time linear systems. In contrast to the traditional method and the policy iteration method for solving the optimal tracking problems, the proposed algorithm operates with the system data rather than the knowledge of the system dynamics. For performing the proposed algorithm, an auxiliary augmented system is constructed via assembling the original system and the reference trajectory while a discount factor is introduced into the performance indexes. It is analyzed that the solutions of the proposed algorithm converge to the Nash equilibrium and the result is not influenced by the probing noise. Two simulations are presented to verify the feasibility and effectiveness of the proposed algorithm.     

硒蛋白P在直肠癌中的表达及临床意义

目的应用免疫组织化学染色的方法检测硒蛋白P在直肠癌组织中的表达,以探讨其与直肠癌发生的关系及临床意义。方法收集山西大医院2013年6月至2014年5月间行手术治疗并经病理证实的60例直肠癌组织、40例直肠腺瘤组织、40例正常直肠组织,应用SABC法检测上述组织中硒蛋白P的表达情况,结果依据阳性细胞百分率和染色强度进行评价,三组间样本率的比较采用无序行×列表?2检验(α=0.05),两组间样本率的比较采用独立样本?2检验(α=0.016 7),硒蛋白的表达与直肠癌临床病理参数的关系采用四格表?2检验(α=0.05)进行分析。结果硒蛋白P在正常直肠组织、直肠腺瘤组织、直肠癌组织中的表达阳性率分别为82.5%(33/40)、70.0%(28/40)、45.0%(27/60),组间差异有统计学意义(?2=15.680,P<0.001),癌组织与正常组织、腺瘤组织间差异显著(?2=14.063,P<0.001;?2=6.061,P=0.015);硒蛋白的表达与肿瘤大小、是否浸润浆膜有关(P<0.05),与性别、年龄、淋巴结有无转移、肿瘤细胞分化程度、TNM分期无关(P>0.05)。结论硒蛋白在直肠癌中低表达,对直肠癌的发生发展具有重要作用,有望为直肠癌的治疗提供新思路。     

依维莫司联合全反式维甲酸逆转急性早幼粒细胞白血病细胞耐药的研究

目的探讨依维莫司联合全反式维甲酸(简称维甲酸)逆转急性早幼粒细胞白血病(APL)细胞株NB4-R1耐药的作用。方法应用CD11b染色流式细胞术及硝基四唑氮蓝(NBT)还原实验检测两药联合应用对细胞分化的影响, 流式细胞术检测细胞周期情况, Annexin V/PI双染色检测细胞凋亡情况, 蛋白质印迹法检测自噬相关蛋白微管结合蛋白轻链3(LC3)、Beclin 1及早幼粒白血病-维甲酸受体融合蛋白(PML-RARα)、磷酸化核糖体S6激酶(P-P70S6K)、磷酸化4E结合蛋白1(P-4E-BP1) 等表达水平。结果与维甲酸组比较, 联用组能诱导耐药细胞株NB4-R1细胞的分化, 并将细胞增殖阻止在G ₁期而对细胞凋亡无明显影响。100 nmol/L依维莫司组、1μmol/L维甲酸组、联用组、对照组NB4-R1细胞培养48 h后分化百分率分别为(2.29±0.57)%、(17.06±2.65)%、(54.47±4.91)%、(2.54±0.53)%; 处于G ₁期的细胞百分率分别为(35.20±11.97)%、(33.54±6.25)%、(53.70±8.73)%、(27.40±6.01)%; 四组细胞凋亡细胞百分率分别为(2.30±0.14)%、(2.25±0.21)%、(2.40±0.28)%、(1.95±0.07)%。与维甲酸组比较, 联用组mTOR信号通路下游的P70S6K、4E-BP1分子磷酸化水平下降, LC3-II和Beclin 1的表达上调, 且能部分降解融合蛋白PML-RARα。 结论依维莫司联合维甲酸能诱导NB4-R1细胞分化, 且能阻滞细胞周期而不致细胞凋亡, 其机制可能与依维莫司联合维甲酸抑制mTOR信号通路激活自噬作用从而降解PML-RARα蛋白有关。