MLE properties笔记 🔗
-
1)consistent: likelihood maximized at $\hat theta$ (LHS), RHS maximized at $\theta_0$, so $\hat theta$ converge in prob to $\theta_0$ as n goes to infinity.
-
2)asymptotically normality:
-
score function 在 $\theta_0$处的泰勒展开–> let x = $hat \theta_{mle}$ –> $\ell’(\hat \theta_{mle})$ = 0, this is how we derived $\hat \theta_{mle}$ (i.e.,score function=0 –> hat theta_mle)
-
然后我们可以rearrange一下发现 theta_{mle} - theta_0 是score function和 observed information的函数
- 其中score function 是一个sample sum/mean,
sample mean –> population mean (WLLN)sample mean ~ Normal by CLT!!! - denominator 是likelihood 二阶导数，也是一个sum的形式，所以我们可以用WLLN得到 二阶导数 converge in prob to sth （我们知道likelihood 二阶导数就是variance of the score,也就是fisher information)
- 其中score function 是一个sample sum/mean,
-
最后用continuous mapping 和Slutsky thm得到sqrt(n)(theta_mle - theta_0) ~ N(0,1/I(theta_0)), where I(theta_0) is from one RV X.
-
-
3)invariance: if $\theta_{mle}$ is the mle of theta_0, then $g(theta_{mle})$ is the mle of g(theta_0)
正态随机变量的一些性质 🔗
正态分布正态分布对的是正态分布
1. normal sample mean and sample variance indep
- 可以用MGF证明/covariance证明/Basu/change of variable
- 非常有用，在构造t dist的时候，可以用上， bar X and S^2 分别为t dist的分子和分母，因为t dist 要求两个RV需要独立！！！
2. normal (n-1)S^2/sigma^2 follows chi-squared (n-1) dist
- 证明都可以用MGF
- trick： 先把感兴趣的stat写为一个和的形式，(xi - bar x) involved, decomposed as: (xi-mu) = (xi- bar x + bar x - mu) [xi- bar x is of interest]
- 所以我们证明LHS是一个chi-squared(n) dist; (bar x - mu) 是一个chi-squared(1) 这两个证明非常简单
- 然后我们用MGF (Z = X+Y, where X indep Y –> M_Z(t) = M_X(t)M_Y(t) )求xi- bar的MGF，我们recognize 它是一个chi-square(n-1)!!! complete the proof.
一点都不可怕的order statistics 笔记 🔗
我们只要把问题转换为一个Binomial dist,那么求CDF就非常容易，然后再求导得到PDF
T distribtuion 笔记 🔗
T分布的PDF derivation用到change of variable. u 为 standard normal， v为chi-square, t= u/sqrt(v/n), w = v.
- 先写uv joint PDF = multiplication of marginal pdf (indep uv)
- 然后change of variable (dont forget to multiply by Jocobian)
- 积分得到t的marginal PDF
一个应用是正态分布的sample mean/ sample variance ~ t(n-1)