Hypothesis Testing, Null vs Alternative Hypothesis,

The Courtroom, the Medicine & the FactoryCourtroom, दवा और Factory法庭、药物与工厂

Imagine you are a judge. A person stands before you, accused of a crime. In India and in most modern legal systems, the court starts from one strong assumption: the accused is innocent until proven guilty. The prosecution must bring the proof. Unless the evidence is too strong to be explained by chance or coincidence, the verdict must be not guilty.

मान लीजिए आप judge हैं। आपके सामने एक व्यक्ति है जिस पर अपराध का आरोप है। India और ज़्यादातर आधुनिक क़ानूनी व्यवस्थाओं में अदालत एक मज़बूत मान्यता से शुरू करती है: दोष साबित होने तक आरोपी बेगुनाह है। सबूत लाने का काम prosecution का है। जब तक सबूत इतना मज़बूत न हो कि उसे संयोग से समझाया न जा सके, फ़ैसला बेगुनाह ही होगा।

想象你是一名法官。一个人站在你面前，被控犯罪。在印度和大多数现代法律体系中，法庭从一个强有力的假设出发：被告在被证明有罪之前是无罪的。举证责任在控方。除非证据强到无法用巧合解释，否则判决必须是无罪。

Notice that the judge does not prove innocence. The judge only asks: "Is the evidence strong enough to reject the assumption of innocence?" A "not guilty" verdict does not mean "proven innocent". This is exactly how hypothesis testing works in statistics.

ध्यान दें, judge बेगुनाही साबित नहीं करता। Judge सिर्फ़ पूछता है: "क्या सबूत इतना मज़बूत है कि बेगुनाही की मान्यता को reject किया जाए?" "Not guilty" का मतलब "बेगुनाह साबित" नहीं है। Statistics में hypothesis testing ठीक इसी तरह काम करता है।

注意，法官并不证明无罪。法官只问：“证据是否强到足以推翻无罪假设？”“无罪判决”并不等于“已证明清白”。统计学中的假设检验正是这样运作的。

Hypothesis testing is a formal way to decide whether sample data give enough evidence against a specific claim about a population. It is used in clinical trials, quality control, A/B testing and a large share of published research.

Hypothesis testing यह तय करने का औपचारिक तरीका है कि क्या sample data population के किसी ख़ास दावे के ख़िलाफ़ काफ़ी सबूत देता है। इसका इस्तेमाल clinical trials, quality control, A/B testing और बहुत सारी प्रकाशित research में होता है।

假设检验是一种正式方法，用来判断样本数据是否提供了足够证据来反驳关于总体的某个具体论断。它被用于临床试验、质量控制、A/B 测试以及大量已发表的研究。

What Is a Hypothesis Test?Hypothesis Test क्या है?什么是假设检验？

A statistical hypothesis is a testable claim about a population parameter — a mean, a proportion, a difference. The test uses sample data to judge that claim. Everything rests on one question:

Statistical hypothesis किसी population parameter के बारे में जाँचने लायक़ दावा है — mean, proportion, या अंतर। Test sample data से उस दावे को परखता है। सब कुछ एक सवाल पर टिका है:

统计假设是关于总体参数（均值、比例、差异）的可检验论断。检验用样本数据来评判这个论断。一切都基于一个问题：

Hypothesis Testing in Pictures — Understand Before the Mathsतस्वीरों में Hypothesis Testing — गणित से पहले समझें图解假设检验 — 先理解，再算数

Three pictures hold the whole idea. First: where does our result fall if H₀ is true? Second: what can go wrong? Third: how big are those risks?

तीन तस्वीरों में पूरा विचार है। पहली: अगर H₀ सच है, तो हमारा नतीजा कहाँ गिरता है? दूसरी: क्या ग़लत हो सकता है? तीसरी: वे जोखिम कितने बड़े हैं?

三张图概括了全部思想。第一：如果 H₀ 为真，我们的结果落在哪里？第二：可能出什么错？第三：这些风险有多大？

Null vs Alternative Hypothesis — In DepthNull vs Alternative Hypothesis — विस्तार से原假设 vs 备择假设 — 深入理解

H₀ and H₁ are two competing statements. They must not overlap, and together they must cover every possibility. Writing them correctly is the most important skill in hypothesis testing.

H₀ और H₁ दो प्रतिस्पर्धी कथन हैं। वे एक-दूसरे पर overlap नहीं करते, और मिलकर हर संभावना को कवर करते हैं। इन्हें सही लिखना hypothesis testing का सबसे ज़रूरी हुनर है।

H₀ 和 H₁ 是两个相互竞争的陈述。它们不能重叠，并且合起来要覆盖所有可能。正确写出它们是假设检验中最重要的技能。

The three test typesतीन तरह के tests三种检验类型

Significance Level α and the p-valueSignificance Level α और p-value显著性水平 α 与 p 值

Before collecting data, choose the significance level α: the largest risk of wrongly rejecting a true H₀ that you will accept. After collecting data, compute the p-value. Then compare the two.

Data जुटाने से पहले significance level α चुनें: सच्चे H₀ को ग़लती से reject करने का सबसे बड़ा जोखिम जो आप स्वीकार करेंगे। Data जुटाने के बाद p-value निकालें। फिर दोनों की तुलना करें।

收集数据之前，选定显著性水平 α：你愿意接受的、错误拒绝真实 H₀ 的最大风险。收集数据之后，计算 p 值。然后比较两者。

Type I & Type II Errors — The Cost of Being WrongType I और Type II Errors — ग़लत होने की क़ीमत第一类与第二类错误 — 犯错的代价

However carefully you design a test, two kinds of error are always possible. Think of a medical test: a Type I error is a false positive (the test says "disease" but you are healthy); a Type II error is a false negative (the test says "healthy" but you are ill).

Test कितनी भी सावधानी से design करें, दो तरह की ग़लतियाँ हमेशा संभव हैं। एक medical test सोचें: Type I error false positive है (test "बीमारी" कहता है पर आप स्वस्थ हैं); Type II error false negative है (test "स्वस्थ" कहता है पर आप बीमार हैं)।

无论检验设计得多仔细，两种错误总是可能发生。想想医学检测：第一类错误是假阳性（检测说“有病”，其实你很健康）；第二类错误是假阴性（检测说“健康”，其实你病了）。

The Universal 5-Step Frameworkसार्वभौमिक 5-Step ढाँचा通用五步框架

Every hypothesis test, whichever test you use, follows the same five steps.

हर hypothesis test, चाहे कोई भी test हो, यही पाँच steps मानता है।

无论使用哪种检验，每个假设检验都遵循同样的五个步骤。

One-tailed vs Two-tailed TestsOne-tailed vs Two-tailed Tests单侧检验 vs 双侧检验

Choose one-tailed or two-tailed before you look at the data. Switching afterwards to get a smaller p-value is a form of p-hacking.

One-tailed या two-tailed data देखने से पहले चुनें। छोटा p-value पाने के लिए बाद में बदलना p-hacking का एक रूप है।

在看数据之前就选定单侧还是双侧。看完结果再换，以求更小的 p 值，是 p-hacking 的一种形式。

Python ImplementationPython ImplementationPython 实现

Checking the worked exampleहल किए उदाहरण की जाँच验证例题

from scipy import stats
import numpy as np

# Worked example from summary numbers
x_bar, s, n, mu_0 = 51.2, 2.8, 25, 50
t = (x_bar - mu_0) / (s / np.sqrt(n))
p = 2 * stats.t.sf(abs(t), df=n - 1)
t_crit = stats.t.ppf(0.975, df=n - 1)
print(f"t = {t:.4f}, p (two-tailed) = {p:.4f}, t* = ±{t_crit:.4f}")

One-sample t-test — factory boltsOne-sample t-test — factory bolts单样本 t 检验 —— 工厂螺栓

import numpy as np
from scipy import stats

np.random.seed(7)

# 25 bolt weight measurements (grams)
bolt_weights = np.random.normal(loc=51.2, scale=2.8, size=25)

mu_0  = 50       # H₀: μ = 50 g
alpha = 0.05

# Two-tailed one-sample t-test
t_stat, p_value = stats.ttest_1samp(bolt_weights, popmean=mu_0)

x_bar = np.mean(bolt_weights)
s     = np.std(bolt_weights, ddof=1)
se    = s / np.sqrt(len(bolt_weights))
df    = len(bolt_weights) - 1
t_crit = stats.t.ppf(1 - alpha/2, df=df)

print(f"x̄ = {x_bar:.4f} g  |  s = {s:.4f} g  |  SE = {se:.4f}")
print(f"t_stat   = {t_stat:.4f}")
print(f"t_crit   = ±{t_crit:.4f}  (df={df}, α={alpha})")
print(f"p_value  = {p_value:.4f}")

if p_value < alpha:
    print(f"\np={p_value:.4f} < α={alpha} → REJECT H₀")
    print("Mean bolt weight differs significantly from 50 g")
else:
    print(f"\np={p_value:.4f} ≥ α={alpha} → FAIL TO REJECT H₀")

These 25 simulated bolts have x̄ = 51.35 g, a little different from the worked example, so t and p differ too. The decision is the same.

इन 25 simulated bolts का x̄ = 51.35 g है, हल किए उदाहरण से थोड़ा अलग, इसलिए t और p भी अलग हैं। फ़ैसला वही है।

这 25 个模拟螺栓的 x̄ = 51.35 g，与例题略有不同，所以 t 和 p 也不同，但结论相同。

One-tailed test — drug trial (right-tailed)One-tailed test — drug trial (right-tailed)单侧检验 —— 药物试验（右侧）

import numpy as np
from scipy import stats

np.random.seed(42)

# Blood pressure reduction (mmHg) for 30 trial patients
# H₀: μ ≤ 10  |  H₁: μ > 10  (right-tailed)
bp_reduction = np.random.normal(loc=12.5, scale=4.0, size=30)
mu_0, alpha  = 10, 0.05

# SciPy ≥ 1.6: ask for the one-tailed test directly
t_stat, p_one = stats.ttest_1samp(bp_reduction, popmean=mu_0,
                                  alternative='greater')

print(f"Mean reduction: {np.mean(bp_reduction):.2f} mmHg")
print(f"t-statistic:    {t_stat:.4f}")
print(f"p (one-tailed): {p_one:.4f}")

if p_one < alpha:
    print("\nREJECT H₀ — mean reduction is significantly greater than 10 mmHg")
else:
    print("\nFAIL TO REJECT H₀")

alternative='greater' gives the right-tailed p-value directly. The older trick — halve the two-tailed p when t > 0 — gives the same answer.

alternative='greater' सीधे right-tailed p-value देता है। पुरानी तरकीब — t > 0 होने पर two-tailed p को आधा करना — वही जवाब देती है।

alternative='greater' 直接给出右侧 p 值。旧方法 —— t > 0 时把双侧 p 减半 —— 结果相同。

A/B test — two proportionsA/B test — दो proportionsA/B 测试 —— 两个比例

import numpy as np
from scipy import stats

np.random.seed(0)

# A/B test: 500 visitors per button
# H₀: p_A = p_B  |  H₁: p_A ≠ p_B  (two-tailed)
clicks_A = np.random.binomial(1, 0.042, 500)
clicks_B = np.random.binomial(1, 0.047, 500)

def two_prop_ztest(x1, n1, x2, n2):
    p1, p2 = x1 / n1, x2 / n2
    p_pool = (x1 + x2) / (n1 + n2)
    se = np.sqrt(p_pool * (1 - p_pool) * (1/n1 + 1/n2))
    z = (p1 - p2) / se
    return z, 2 * stats.norm.sf(abs(z))

z, p = two_prop_ztest(clicks_A.sum(), 500, clicks_B.sum(), 500)
print(f"Button A rate: {clicks_A.mean()*100:.2f}%")
print(f"Button B rate: {clicks_B.mean()*100:.2f}%")
print(f"z = {z:.4f},  p-value = {p:.4f}")

# How many visitors per button would we need?
# (to detect 4.2% vs 4.7% with α = 0.05 and 80% power)
p1, p2 = 0.042, 0.047
za, zb = stats.norm.ppf(0.975), stats.norm.ppf(0.80)
n_needed = (za + zb)**2 * (p1*(1-p1) + p2*(1-p2)) / (p1 - p2)**2
print(f"\nVisitors needed per button: about {np.ceil(n_needed):,.0f}")

Effect size — Cohen's dEffect size — Cohen's d效应量 —— Cohen 的 d

import numpy as np
from scipy import stats

def cohen_d(group1, group2):
    """Pooled Cohen's d for two independent groups."""
    n1, n2 = len(group1), len(group2)
    s1, s2 = np.std(group1, ddof=1), np.std(group2, ddof=1)
    pooled_std = np.sqrt(((n1-1)*s1**2 + (n2-1)*s2**2) / (n1+n2-2))
    return (np.mean(group1) - np.mean(group2)) / pooled_std

rng = np.random.default_rng(42)
for n in [30, 100_000]:
    control = rng.normal(10.0, 4, n)
    treated = rng.normal(10.1 if n > 1000 else 12.5, 4, n)
    t_stat, p_val = stats.ttest_ind(treated, control, equal_var=False)
    d = cohen_d(treated, control)
    size = ("negligible" if abs(d) < 0.2 else "small" if abs(d) < 0.5
            else "medium" if abs(d) < 0.8 else "large")
    print(f"n = {n:>7,} per group: p = {p_val:.2g},  d = {d:.3f} ({size})")

Both results are "significant", but they mean very different things. With 30 people per group, d = 0.91 is a large, important effect. With 100,000 per group, p is tiny but d = 0.03 — an effect too small to matter for any patient.

दोनों नतीजे "significant" हैं, पर इनके मतलब बहुत अलग हैं। हर group में 30 लोगों पर d = 0.91 एक बड़ा, ज़रूरी effect है। हर group में 100,000 पर p बहुत छोटा है पर d = 0.03 — इतना छोटा effect कि किसी मरीज़ के लिए मायने नहीं रखता।

两个结果都“显著”，但含义截然不同。每组 30 人时，d = 0.91 是大而重要的效应。每组 100,000 人时，p 极小但 d = 0.03 —— 小到对任何患者都无关紧要。

Simulation — false positives, power and p-hackingSimulation — false positives, power और p-hacking模拟 —— 假阳性、检验力与 p-hacking

import numpy as np
from scipy import stats

rng = np.random.default_rng(1)
alpha, reps, n = 0.05, 10_000, 20

# 1) H₀ is TRUE: both groups come from the same population
a = rng.normal(0, 1, (reps, n)); b = rng.normal(0, 1, (reps, n))
p = stats.ttest_ind(a, b, axis=1, equal_var=False).pvalue
print(f"H₀ true  → significant in {np.mean(p < alpha)*100:.1f}% of studies (Type I rate)")

# 2) Real effect d = 0.5: same test, how often do we detect it?
b2 = rng.normal(0.5, 1, (reps, n))
p2 = stats.ttest_ind(b2, a, axis=1, equal_var=False).pvalue
print(f"d = 0.5  → significant in {np.mean(p2 < alpha)*100:.1f}% of studies (power)")

# 3) p-hacking: test 20 unrelated outcomes, report any p < 0.05
any_hit = 1 - (1 - alpha)**20
print(f"20 outcomes, no real effect → P(at least one 'significant') = {any_hit*100:.0f}%")

With no real effect, about 5% of studies are still "significant" — exactly α. With a medium effect (d = 0.5) and 20 people per group, the power is only about 34%: two out of three such studies miss a real effect. About 64 per group are needed for 80% power. And testing 20 outcomes gives a 64% chance of at least one false "discovery".

असली effect न होने पर भी लगभग 5% studies "significant" आती हैं — ठीक α. Medium effect (d = 0.5) और हर group में 20 लोगों पर power सिर्फ़ लगभग 34% है: ऐसी तीन में से दो studies असली effect से चूकती हैं। 80% power के लिए हर group में लगभग 64 लोग चाहिए। और 20 outcomes जाँचने पर कम से कम एक झूठी "खोज" का chance 64% है।

没有真实效应时，仍约有 5% 的研究“显著” —— 正好是 α。中等效应（d = 0.5）、每组 20 人时，检验力只有约 34%：三项这样的研究中有两项会漏掉真实效应。要达到 80% 检验力，每组约需 64 人。而检验 20 个指标，至少出现一个虚假“发现”的概率是 64%。

Choosing the Right Test — Quick Referenceसही Test चुनना — Quick Reference选择正确的检验 — 速查表

Golden RulesGolden Rules黄金法则