独立与条件独立

Post author:xfxia
Post published:2023年8月5日
Post category:其他

事件间的条件独立（三个事件之间）条件弱于两个事件间的独立。

条件有时为不独立的事件之间带来独立（gain independence），有时也会把本来独立的事件，因为此条件的存在，而失去独立性（lose independence），如下（本身，

P

(

X

Y

)

=

P

(

X

)

P

(

Y

)

(

X

Y

)

=

P

(

X

)

P

(

Y

)

$P(XY)=P(X)P(Y)$
，二者独立）；

$P (X, Y ∣ ∣ C) \neq P (X | C) P (Y | C)$
$P(X,Y\big |C)\neq P(X|C)P(Y|C)$

事件独立时，联合概率等于概率的乘积。这是一个非常好的数学性质，然而不幸的是，无条件的独立是十分稀少的，因为大部分情况下，事件之间都是互相影响的。然而，通常这种影响又往往依赖于其他变量而不是直接产生。由此我们引入条件独立（conditional independent，CI）。给定

$Z$
下，

$X$

X

$X$
与

$Y$
是条件独立的当且仅当：

X ⊥ Y | Z \Leftrightarrow P (X, Y | Z) = P (X | Z) \cdot P (Y | Z)

$X\perp Y | Z\Leftrightarrow P(X,Y|Z)=P(X|Z)\cdot P(Y|Z)$

也即

$X$
与

$Y$

Y

$Y$
的依赖关系借由

$Z$
产生。

例如，定义如下事件：

X
X

$X$
：明天下雨；
- $Y$
  ：今天的地面是湿的；
- $Z$
- $Z$
  事件的成立，对
  
  $X$
  X
  
  $X$
  和
  
  $Y$
  均有影响，然而，在
  
  $Z$
  Z
  
  $Z$
  事件成立的前提下，今天的地面情况对明天是否下雨没有影响。
  
  1. 相关证明
  
  X
  
  ⊥
  
  Y
  
  |
  
  Z
  
  ⇔
  
  p
  
  (
  
  x
  
  ,
  
  y
  
  |
  
  z
  
  )
  
  =
  
  h
  
  (
  
  x
  
  ,
  
  z
  
  )
  
  ⋅
  
  g
  
  (
  
  y
  
  ,
  
  z
  
  )
  
  $X\perp Y|Z \Leftrightarrow p(x,y|z)=h(x,z)\cdot g(y,z)$
  
  等式两边同时对
  
  $x$
  积分（对称地，对
  
  $y$
  y
  
  $y$
  进行积分）：
  
  ⎧
  
  ⎩
  
  ⎨
  
  p
  
  (
  
  y
  
  |
  
  z
  
  )
  
  ⋅
  
  1
  
  h
  
  (
  
  z
  
  )
  
  =
  
  g
  
  (
  
  y
  
  ,
  
  z
  
  )
  
  p
  
  (
  
  x
  
  |
  
  z
  
  )
  
  ⋅
  
  1
  
  g
  
  (
  
  z
  
  )
  
  =
  
  h
  
  (
  
  x
  
  ,
  
  z
  
  )
  
  $\left\{ \begin{array}{l} p(y|z)\cdot \frac1{h(z)}=g(y,z)\\ p(x|z)\cdot \frac1{g(z)}=h(x,z) \end{array} \right.$
  
  两式相乘
  
  h
  
  (
  
  x
  
  ,
  
  z
  
  )
  
  ⋅
  
  g
  
  (
  
  y
  
  ,
  
  z
  
  )
  
  =
  
  p
  
  (
  
  y
  
  |
  
  z
  
  )
  
  ⋅
  
  1
  
  h
  
  (
  
  z
  
  )
  
  ⋅
  
  p
  
  (
  
  x
  
  |
  
  z
  
  )
  
  ⋅
  
  1
  
  g
  
  (
  
  z
  
  )
  
  (
  
  x
  
  ,
  
  z
  
  )
  
  ⋅
  
  g
  
  (
  
  y
  
  ,
  
  z
  
  )
  
  =
  
  p
  
  (
  
  y
  
  |
  
  z
  
  )
  
  ⋅
  
  1
  
  h
  
  (
  
  z
  
  )
  
  ⋅
  
  p
  
  (
  
  x
  
  |
  
  z
  
  )
  
  ⋅
  
  1
  
  g
  
  (
  
  z
  
  )
  
  $h(x,z)\cdot g(y,z)=p(y|z)\cdot \frac1{h(z)}\cdot p(x|z)\cdot \frac1{g(z)}$
  ，又由题设可知，
  
  h
  
  (
  
  x
  
  ,
  
  z
  
  )
  
  ⋅
  
  g
  
  (
  
  y
  
  ,
  
  z
  
  )
  
  =
  
  p
  
  (
  
  x
  
  ,
  
  y
  
  |
  
  z
  
  )
  
  (
  
  x
  
  ,
  
  z
  
  )
  
  ⋅
  
  g
  
  (
  
  y
  
  ,
  
  z
  
  )
  
  =
  
  p
  
  (
  
  x
  
  ,
  
  y
  
  |
  
  z
  
  )
  
  $h(x,z)\cdot g(y,z)=p(x,y|z)$
  ，因此，
  
  p
  
  (
  
  x
  
  ,
  
  y
  
  |
  
  z
  
  )
  
  =
  
  p
  
  (
  
  y
  
  |
  
  z
  
  )
  
  ⋅
  
  1
  
  h
  
  (
  
  z
  
  )
  
  ⋅
  
  p
  
  (
  
  x
  
  |
  
  z
  
  )
  
  ⋅
  
  1
  
  g
  
  (
  
  z
  
  )
  
  $p(x,y|z)=p(y|z)\cdot \frac1{h(z)}\cdot p(x|z)\cdot \frac1{g(z)}$
  
  等式两边同时对
  
  x
  
  ,
  
  y
  
  ,
  
  y
  
  $x,y$
  进行积分，则可得：
  
  1
  
  h
  
  (
  
  z
  
  )
  
  1
  
  g
  
  (
  
  z
  
  )
  
  =
  
  1
  
  $\frac1{h(z)}\frac1{g(z)}=1$
  
  因此等式成立。
  
  2. 离散型随机变量独立性的判断
  
  P
  
  (
  
  A
  
  ,
  
  B
  
  )
  
  =
  
  P
  
  (
  
  A
  
  )
  
  ⋅
  
  P
  
  (
  
  B
  
  )
  
  $P(A, B) = P(A)\cdot P(B)$
  
  独立性的判断即是判断上述等式是否成立。
  
  两随机变量的联合概率分布以及各个概率分布（marginalized）：
  
  由此可知，
  
  P
  
  (
  
  i
  
  0
  
  ,
  
  d
  
  0
  
  )
  
  =
  
  P
  
  (
  
  i
  
  0
  
  )
  
  ⋅
  
  P
  
  (
  
  d
  
  0
  
  )
  
  ,
  
  …
  
  (
  
  i
  
  0
  
  ,
  
  d
  
  0
  
  )
  
  =
  
  P
  
  (
  
  i
  
  0
  
  )
  
  ⋅
  
  P
  
  (
  
  d
  
  0
  
  )
  
  ,
  
  …
  
  $P(i^0, d^0)=P(i^0)\cdot P(d^0), \ldots$
  ，可知事件彼此独立。
  
  3. 条件独立举例
  
  比如两枚硬币，一枚均匀（fair），一枚（biased，0.9 的概率为正，0.1 的概率为反面）。做如下操作，首先随机选择一枚硬币，然后投掷两次（tosses），现定义如下三个随机变量：
  - $C$
    ：随机选择一枚硬币；
  - $X_{1}$
  - X
    
    2
  考虑现在做第一次投掷，
  
  X
  
  1
  
  1
  
  $X_1$
  ，如果为正面，则第二次投掷为正面的概率。如果知道选中的是哪一种硬币，显然第二次投掷与第一次投掷彼此是独立的。因此，
  
  P
  
  ⊨
  
  (
  
  X
  
  1
  
  ⊥
  
  X
  
  2
  
  ∣
  
  ∣
  
  C
  
  )
  
  ⊨
  
  (
  
  X
  
  1
  
  ⊥
  
  X
  
  2
  
  |
  
  C
  
  )
  
  $P\models \left(X_1\perp X_2\big | C\right)$
  
  4. 条件独立与马尔科夫性
  - P
    
    (
    
    A
    
    B
    
    |
    
    C
    
    )
    
    =
    
    P
    
    (
    
    A
    
    |
    
    C
    
    )
    
    P
    
    (
    
    B
    
    |
    
    C
    
    )
  - C：事件表示现在；A：事件表示过去；B：事件表示未来；
    
    – 这样在条件独立的前提下，
    
    P
    
    (
    
    B
    
    |
    
    A
    
    C
    
    )
    
    =
    
    P
    
    (
    
    B
    
    |
    
    C
    
    )

原文链接：https://blog.csdn.net/lanchunhui/article/details/53696550

1. 相关证明

2. 离散型随机变量独立性的判断

3. 条件独立举例

4. 条件独立与马尔科夫性

你可能也喜欢