Type I error and Type II error

关于hypothesis test，有Type I error和Type II error，这个教材里面也有解释：
教材认为，alpha, beta, delta和sigma四个指标是在做hypothesis test时，决定样本大小时需要考虑的指标。
alpha (normally use 5%; statistical synonym is "Type I" error)
beta (normally use 10-20%; statistical synonym is "Type II" error)
delta (to be determined case by case)
sigma (to be determined case by case)
那么这个alpha, beta, delta和sigma到底是什么东西有什么含义呢，教材里面是语焉不详。
关于alpha和beta还是有解释，是这样的。

也就是当元假设(null)实际是正确的，而我们拒绝了它的概率就是alpha，也叫type I error。这个值就是我们设置的p-value，也叫显著性水平(Significance Level)。就是说alpha是显著性水平(Significance Level)。
反之，当元假设实际是错误的，而我们却接受了它的概率就是beta，也叫type II error。就是说beta是type II error的水平。换句话说就是，1-β是这个检验的能力(power)。
教材里关于delta和sigma的解释，看不懂。
delta：The difference that you want to be able to detect in your hypothesis test (i.e. accuracy).
sigma：The estimated standard deviation of the population of the data from which you are sampling (i.e, precision)
关于alpha和beta教材还举了两个例子：
例1)如果嫌疑人真的无辜，而法庭判其有罪，alpha, Type I error。反之嫌疑人真的有罪，而法庭判其无罪，beta, Type II error。
例2)如果病人实际没有癌症，我们诊断其有癌症，alpha, Type I error。反之病人真有癌症，我们诊断其没有癌症，beta, Type II error。
当然了，上面这个图还有一个Power (右下角)，这个是这个hypothesis test做出正确判断的概率或这说水平，这个叫做这个hypothesis test的Power。
但是，俺发现有一个网页解释的非常清楚。
首先，关于有意水準(Significance Level) alpha，他是这样解释的：

(双向)

(单向)

(Type I和Type II error和检验的Power)

上面这几个图一看就非常清楚了。
alpha, beta, delta和sigma的含义是：
alpha = significance level
beta = Type II error (其实关注的是power，亦即1-β)
delta = true difference
sigma = true SD or true variation
sample size取决于δ, σ, α, 1-β (或者说1-β取决于sample size)。
至于详细的原理和决定方法，就不必去细究了，教材里面没有。毕竟不是研究统计学，而是统计学的思维方式在过程改进中的应用。如需要可参照这里的section 5 Sample size for precision and power, multiple hypothesis testing

---

很好的统计学参考资料，https://oku.edu.mie-u.ac.jp/~okumura/stat/