Type I & Type II Errors Explained

Two Ways to Be Wrong ⚖️ग़लत होने के दो तरीके ⚖️犯错的两种方式 ⚖️

Every decision made under uncertainty can be wrong. A doctor reading a scan, a judge weighing evidence, an engineer approving a bridge — each acts on incomplete information. In statistics there are exactly two ways a hypothesis test can fail you, and knowing both is the difference between careful science and dangerous science.

अनिश्चितता में लिया गया हर फ़ैसला ग़लत हो सकता है। Scan पढ़ता doctor, सबूत तौलता judge, पुल मंज़ूर करता engineer — सब अधूरी जानकारी पर काम करते हैं। Statistics में hypothesis test के ग़लत होने के ठीक दो तरीके हैं, और दोनों को जानना सावधान विज्ञान और ख़तरनाक विज्ञान के बीच का अंतर है।

在不确定中做出的每个决定都可能出错。读片的医生、权衡证据的法官、批准桥梁的工程师 —— 都基于不完整的信息行事。在统计学中，假设检验恰好有两种出错方式，了解这两种方式，就是严谨科学与危险科学的区别。

Think of a smoke detector. It can beep when there is no fire (a false alarm at 3 a.m. for burnt toast), or stay silent during a real fire (a disaster). With a given detector, making it less touchy means more silent fires; making it more touchy means more false alarms. Only a better detector — in statistics, more or better data — reduces both. Statisticians call these the Type I error and the Type II error.

Smoke detector सोचें। यह आग न होने पर भी बज सकता है (जली toast पर रात 3 बजे झूठा alarm), या असली आग में चुप रह सकता है (आपदा)। किसी दिए गए detector को कम संवेदनशील बनाने से ज़्यादा चुप आग; ज़्यादा संवेदनशील बनाने से ज़्यादा झूठे alarms. सिर्फ़ बेहतर detector — statistics में ज़्यादा या बेहतर data — दोनों घटाता है। Statisticians इन्हें Type I error और Type II error कहते हैं।

想想烟雾报警器。它可能没有火也响（凌晨 3 点因为烤焦的面包误报），也可能真着火时不响（酿成灾难）。对同一个报警器，调得不那么敏感，漏报的火灾就多；调得更敏感，误报就多。只有更好的报警器 —— 在统计中就是更多或更好的数据 —— 才能同时减少两者。统计学家称之为第一类错误和第二类错误。

Definitions — Crystal Clearपरिभाषाएँ — एकदम साफ़定义 — 一清二楚

The Four-Outcome Matrixचार नतीजों का Matrix四种结果矩阵

Reality is one way or the other, and your decision is one way or the other. That gives four boxes — two correct, two errors. This 2×2 table is worth memorising.

सच्चाई एक या दूसरी तरह है, और आपका फ़ैसला एक या दूसरी तरह। इससे चार खाने बनते हैं — दो सही, दो ग़लतियाँ। यह 2×2 table याद रखने लायक़ है।

现实是这样或那样，你的决定也是这样或那样。于是有四个格子 —— 两个正确，两个错误。这张 2×2 表值得记住。

Both Errors in Pictures — Understand Before the Maths 📊तस्वीरों में दोनों Errors — गणित से पहले समझें 📊图解两类错误 — 先理解，再算数 📊

Both errors come from the overlap of two curves: where the test statistic lands if H₀ is true (blue), and where it lands if the effect is real (purple). The decision line splits the axis into "keep H₀" and "reject H₀". Because the curves overlap, some blue area lies past the line (α) and some purple area lies before it (β).

दोनों errors दो curves के overlap से आती हैं: H₀ सच होने पर test statistic कहाँ गिरता है (नीला), और effect असली होने पर कहाँ (बैंगनी)। फ़ैसले की रेखा axis को "H₀ रखें" और "H₀ reject" में बाँटती है। Curves overlap करते हैं, इसलिए कुछ नीला area रेखा के पार है (α) और कुछ बैंगनी area रेखा से पहले (β)।

两类错误都来自两条曲线的重叠：H₀ 为真时检验统计量落在哪里（蓝），以及效应真实时落在哪里（紫）。判决线把坐标轴分成“保留 H₀”和“拒绝 H₀”两部分。由于曲线重叠，部分蓝色面积在线外（α），部分紫色面积在线内（β）。

Story 1 — The Courtroom 🏛️कहानी 1 — अदालत 🏛️故事 1 — 法庭 🏛️

Criminal justice starts from "innocent until proven guilty". The null hypothesis is innocence, and the prosecution must bring strong evidence to overturn it.

आपराधिक न्याय "दोष साबित होने तक बेगुनाह" से शुरू होता है। Null hypothesis बेगुनाही है, और prosecution को उसे पलटने के लिए मज़बूत सबूत लाना होता है।

刑事司法从“未经证明有罪即推定无罪”出发。原假设是无罪，控方必须拿出有力证据才能推翻。

Story 2 — The Cancer Screening Test 🏥कहानी 2 — Cancer Screening Test 🏥故事 2 — 癌症筛查 🏥

A hospital tries a new blood test for an early cancer. H₀: the patient does not have cancer. If a biomarker is above a threshold, the patient is sent for further tests such as a biopsy.

एक अस्पताल शुरुआती cancer के लिए नया blood test आज़माता है। H₀: मरीज़ को cancer नहीं है। अगर biomarker एक threshold से ऊपर हो, तो मरीज़ को biopsy जैसी आगे की जाँच के लिए भेजा जाता है।

一家医院试用一种早期癌症的新血液检测。H₀：患者没有癌症。若生物标志物高于阈值，患者会被安排做活检等进一步检查。

Story 3 — The Email Spam Filter 📧कहानी 3 — Email Spam Filter 📧故事 3 — 垃圾邮件过滤器 📧

A spam filter makes a decision for every incoming email. H₀: this email is legitimate. H₁: it is spam. Deliver it or move it to the spam folder?

Spam filter हर आने वाले email पर फ़ैसला लेता है। H₀: यह email असली है। H₁: यह spam है। Inbox में भेजें या spam folder में?

垃圾邮件过滤器要为每封来信做决定。H₀：这封邮件是正常的。H₁：它是垃圾邮件。送进收件箱还是移到垃圾箱？

Story 4 — The Insulin Factory 🏭कहानी 4 — Insulin Factory 🏭故事 4 — 胰岛素工厂 🏭

A pharmaceutical factory makes insulin vials. Each batch is tested to check that its strength is on specification. H₀: the batch is in spec (μ = 100 IU/mL). A Type I error destroys a good batch. A Type II error ships an off-spec batch to patients with diabetes.

एक pharmaceutical factory insulin vials बनाती है। हर batch की जाँच होती है कि उसकी ताक़त specification पर है। H₀: batch spec में है (μ = 100 IU/mL)। Type I error अच्छे batch को नष्ट करता है। Type II error ग़लत batch को diabetes के मरीज़ों तक भेजता है।

一家制药厂生产胰岛素小瓶。每批都要检测浓度是否符合规格。H₀：该批符合规格（μ = 100 IU/mL）。第一类错误会销毁合格批次；第二类错误则把不合格批次发给糖尿病患者。

What Controls Each Errorहर Error को क्या नियंत्रित करता है什么控制着每种错误

Which Error Matters More? — By Fieldकौन-सी Error ज़्यादा मायने रखती है? — क्षेत्र के अनुसार哪种错误更要紧？— 按领域

Worked Example — Power and Sample Size 🔢हल किया उदाहरण — Power और Sample Size 🔢例题 — 检验力与样本量 🔢

A researcher wants to know if a new teaching method raises exam scores by at least 5 points (the smallest gain that matters). Under the old method scores have μ = 70 and σ = 15. One class of students is taught the new way and compared with the known mean of 70. How many students are needed for 80% power at two-tailed α = 0.05?

एक researcher जानना चाहता है कि क्या नई teaching method exam scores कम से कम 5 points बढ़ाती है (सबसे छोटी बढ़त जो मायने रखती है)। पुरानी method में scores का μ = 70 और σ = 15 है। छात्रों की एक class को नए तरीके से पढ़ाया जाता है और ज्ञात mean 70 से तुलना की जाती है। Two-tailed α = 0.05 पर 80% power के लिए कितने छात्र चाहिए?

一位研究者想知道新教学法能否把考试成绩提高至少 5 分（有意义的最小提升）。旧方法下成绩 μ = 70，σ = 15。用新方法教一个班，再与已知均值 70 比较。在双侧 α = 0.05 下要达到 80% 检验力，需要多少学生？

The Replication Crisis — Type I Errors at Scale 📉Replication Crisis — बड़े पैमाने पर Type I Errors 📉可重复性危机 — 大规模的第一类错误 📉

Between 2011 and 2015 a large team (the Open Science Collaboration) repeated 100 published psychology studies. About 97% of the originals had reported significant results; only about 36% of the repeats did. Not every failed repeat means the original was a Type I error — repeats can miss real effects too — but the results showed that the false-positive rate in the published record was far above 5%.

2011 से 2015 के बीच एक बड़ी team (Open Science Collaboration) ने 100 प्रकाशित psychology studies दोहराईं। मूल studies में लगभग 97% ने significant नतीजे बताए थे; दोहराने पर सिर्फ़ लगभग 36% में मिले। हर असफल दोहराव का मतलब यह नहीं कि मूल study Type I error थी — दोहराव भी असली effects चूक सकते हैं — पर नतीजों ने दिखाया कि प्रकाशित साहित्य में false-positive दर 5% से बहुत ऊपर थी।

2011 至 2015 年间，一个大型团队（开放科学合作组织）重复了 100 项已发表的心理学研究。原始研究中约 97% 报告了显著结果；重复研究中只有约 36% 显著。并非每次重复失败都说明原研究是第一类错误 —— 重复研究也可能漏掉真实效应 —— 但结果表明，已发表文献中的假阳性率远高于 5%。

How can the real false-positive rate climb so far above α? The two simulations below show the two biggest reasons.

असली false-positive दर α से इतना ऊपर कैसे चढ़ सकती है? नीचे के दो simulations दो सबसे बड़े कारण दिखाते हैं।

真实的假阳性率怎么会远远超过 α？下面两个模拟展示了两大原因。

Python ImplementationPython ImplementationPython 实现

Power and sample size for the teaching exampleTeaching उदाहरण के लिए power और sample size教学例子的检验力与样本量

import numpy as np
from scipy import stats

# Teaching method: detect +5 points, σ = 15, two-tailed α = 0.05, one group vs known μ = 70
delta, sigma, alpha = 5, 15, 0.05
za, zb = stats.norm.ppf(1 - alpha/2), stats.norm.ppf(0.80)
n80 = (za + zb)**2 * sigma**2 / delta**2
print(f"n for 80% power: {n80:.1f} → {np.ceil(n80):.0f} students")
n95 = (za + stats.norm.ppf(0.95))**2 * sigma**2 / delta**2
print(f"n for 95% power: {n95:.1f} → {np.ceil(n95):.0f} students")

def power(n):
    shift = delta / (sigma / np.sqrt(n))
    return stats.norm.sf(za - shift) + stats.norm.cdf(-za - shift)

for n in [20, 45, 71, 117]:
    print(f"n = {n:3d}: power = {power(n)*100:4.1f}%   β = {(1-power(n))*100:4.1f}%")

# Comparing TWO groups (new method vs old) needs about twice as many per group
print(f"\nTwo-group design: about {np.ceil(2*n80):.0f} students in EACH group")

Insulin batch: same data, two α valuesInsulin batch: वही data, दो α胰岛素批次：同样数据，两个 α

from scipy import stats

# Insulin batch: H₀ μ = 100 IU/mL, two-tailed one-sample t-test
xbar, s, n, mu0 = 97.4, 4.2, 20, 100
t = (xbar - mu0) / (s / n ** 0.5)
p = 2 * stats.t.sf(abs(t), df=n - 1)
print(f"t = {t:.3f}, df = {n-1}, p = {p:.4f}")
for a in [0.01, 0.05]:
    crit = stats.t.ppf(1 - a/2, n - 1)
    print(f"α = {a}: critical ±{crit:.3f} → {'reject H₀ (destroy batch)' if p < a else 'fail to reject (ship batch)'}")

Simulating both error ratesदोनों error दरों का simulation模拟两种错误率

import numpy as np
from scipy import stats

rng = np.random.default_rng(7)
reps, n, alpha = 20_000, 25, 0.05

# World 1: H₀ true (no effect) → every rejection is a Type I error
x0 = rng.normal(0, 1, (reps, n))
p0 = stats.ttest_1samp(x0, 0, axis=1).pvalue
print(f"H₀ true : Type I error rate  = {np.mean(p0 < alpha)*100:5.2f}%  (α = 5%)")

# World 2: real effect d = 0.5 → every non-rejection is a Type II error
x1 = rng.normal(0.5, 1, (reps, n))
p1 = stats.ttest_1samp(x1, 0, axis=1).pvalue
beta = np.mean(p1 >= alpha)
print(f"d = 0.5 : Type II error rate = {beta*100:5.2f}%  → power = {(1-beta)*100:.1f}%")

The base-rate trap in numbersसंख्याओं में base-rate का जाल用数字看基础比率陷阱

# Screening with a rare disease: what does a positive result mean?
prev, sens, spec = 0.01, 0.90, 0.95        # 1% have it; test catches 90%; 5% false alarms
N = 100_000
sick, healthy = N * prev, N * (1 - prev)
tp, fn = sick * sens, sick * (1 - sens)
fp, tn = healthy * (1 - spec), healthy * spec
print(f"True positives  {tp:7.0f}   False negatives {fn:7.0f}")
print(f"False positives {fp:7.0f}   True negatives  {tn:7.0f}")
print(f"P(disease | positive test) = {tp / (tp + fp) * 100:.1f}%")
print(f"P(healthy | negative test) = {tn / (tn + fn) * 100:.2f}%")

Optional stopping inflates Type I errorsOptional stopping, Type I errors बढ़ाता है可选停止会抬高第一类错误

import numpy as np
from scipy import stats

# Optional stopping: peek after every 10 people (up to 100), stop as soon as p < 0.05
rng = np.random.default_rng(11)
reps, hits = 10_000, 0
for _ in range(reps):
    x = rng.normal(0, 1, 100)                   # H₀ is TRUE
    for n in range(10, 101, 10):
        if stats.ttest_1samp(x[:n], 0).pvalue < 0.05:
            hits += 1
            break
print(f"Fixed n = 100, one test:        5.0% false positives (by design)")
print(f"Peeking 10 times, stop if p<.05: {hits / reps * 100:.1f}% false positives")

Quick Reference Summaryझटपट सारांश速查总结