Estimation Theory

The Iceman, the Doctor & the Opinion PollIceman, Doctor और Opinion Poll冰人、医生与民意调查

In 1991, two hikers in the Alps found a frozen body — now famous as Ötzi the Iceman. Nobody could go back in time to watch him live. Yet scientists answered two questions with evidence. Radiocarbon dating showed that he died about 5,300 years ago. Studies of his bones and teeth showed that he was about 45 years old when he died. Not a guess. Not a certainty. An estimate with a margin of error.

1991 में Alps में दो hikers को एक जमा हुआ शरीर मिला — आज वह Ötzi the Iceman के नाम से मशहूर है। कोई समय में पीछे जाकर उसे जीते हुए नहीं देख सकता था। फिर भी वैज्ञानिकों ने सबूतों से दो सवालों के जवाब दिए। Radiocarbon dating से पता चला कि उसकी मौत लगभग 5,300 साल पहले हुई। उसकी हड्डियों और दाँतों की जाँच से पता चला कि मौत के समय वह लगभग 45 साल का था। अंदाज़ा नहीं। पक्का भी नहीं। Margin of error के साथ एक estimate।

1991 年，两名徒步者在阿尔卑斯山发现了一具冰冻的遗体 —— 也就是后来著名的冰人奥茨（Ötzi）。没有人能回到过去看他生活。但科学家用证据回答了两个问题。放射性碳定年表明他死于大约 5,300 年前。对他骨骼和牙齿的研究表明，他去世时大约 45 岁。不是瞎猜，也不是确定无疑，而是一个带误差范围的估计。

A doctor measures a patient's blood pressure three times and says: "Your average systolic pressure is 138 mmHg — we should look into it." She did not measure every heartbeat of the patient's life. She took a small sample and made an inference about the patient's true, usual blood pressure.

एक doctor मरीज़ का blood pressure तीन बार मापकर कहती है: "आपका औसत systolic pressure 138 mmHg है — इसकी जाँच करनी चाहिए।" उसने मरीज़ की ज़िंदगी की हर धड़कन नहीं मापी। उसने छोटा sample लिया और मरीज़ के असली, सामान्य blood pressure के बारे में inference किया।

医生给病人测了三次血压，然后说：“你的平均收缩压是 138 mmHg —— 我们应该进一步检查。”她没有测量病人一生中的每一次心跳。她只取了一个小样本，然后推断病人真实的、平时的血压。

Estimation theory tells us how to make such estimates, how precise they are, and how much to trust them. It is the engine behind clinical trials, quality control, A/B tests, credit-risk models and most data-driven decisions.

Estimation theory बताती है कि ऐसे estimates कैसे बनाएँ, वे कितने सटीक हैं, और उन पर कितना भरोसा करें। यही clinical trials, quality control, A/B tests, credit-risk models और ज़्यादातर data-आधारित फ़ैसलों का इंजन है।

估计理论告诉我们如何做出这样的估计、它们有多精确、以及该多大程度相信它们。它是临床试验、质量控制、A/B 测试、信用风险模型以及大多数数据驱动决策背后的引擎。

The Two Branches of EstimationEstimation की दो शाखाएँ估计的两大分支

When you have a sample and want to say something about the population, you have two tools. You can give a single best-guess number, or a range of believable values. You almost always need both.

जब आपके पास sample हो और आप population के बारे में कुछ कहना चाहें, तो दो tools हैं। आप एक सबसे अच्छा अनुमान (एक संख्या) दे सकते हैं, या भरोसेमंद values की एक range। लगभग हमेशा दोनों चाहिए।

当你有一个样本、想对总体下结论时，有两种工具：给出一个最佳猜测数值，或给出一个可信数值的范围。你几乎总是两者都需要。

Estimation in Pictures — Understand Before the Mathsतस्वीरों में Estimation — गणित से पहले समझें图解估计 — 先理解，再算数

Think of an estimator as an archer. Each sample gives one shot. A good archer hits the centre on average (no bias) and keeps the shots close together (low variance).

Estimator को एक तीरंदाज़ समझें। हर sample एक तीर है। अच्छा तीरंदाज़ औसतन केंद्र पर मारता है (कोई bias नहीं) और तीरों को पास-पास रखता है (कम variance)।

把估计量想象成一名弓箭手。每个样本射出一箭。好弓箭手平均命中靶心（无偏），而且箭彼此靠近（方差小）。

Point Estimation — The Best Single GuessPoint Estimation — सबसे अच्छा एक अनुमान点估计 — 最佳单一猜测

A point estimator is a formula (a statistic) that turns sample data into one number — the best guess of an unknown population parameter. The common ones are:

Point estimator एक formula (statistic) है जो sample data को एक संख्या में बदलता है — अज्ञात population parameter का सबसे अच्छा अनुमान। आम estimators ये हैं:

点估计量是一个公式（统计量），把样本数据变成一个数 —— 对未知总体参数的最佳猜测。常见的有：

Properties of a good estimatorअच्छे estimator के गुण好估计量的性质

import numpy as np

# Check bias: 100,000 samples of n = 5 from a population with σ = 10 (σ² = 100)
rng = np.random.default_rng(1)
X = rng.normal(50, 10, size=(100_000, 5))

print(f"Average s² with ddof=0 (÷ n)    : {X.var(axis=1, ddof=0).mean():6.2f}   (true σ² = 100)")
print(f"Average s² with ddof=1 (÷ n − 1): {X.var(axis=1, ddof=1).mean():6.2f}   (true σ² = 100)")
print(f"Average s  with ddof=1          : {X.std(axis=1, ddof=1).mean():6.2f}   (true σ  = 10)")

Interval Estimation & Confidence Intervals ⭐Interval Estimation और Confidence Intervals ⭐区间估计与置信区间 ⭐

A point estimate is useful but incomplete. It gives the best guess but says nothing about how uncertain that guess is. A mean salary of ₹42,000 from 10 workers is much less reliable than ₹42,000 from 10,000 workers. An interval estimate shows this by giving a range of believable values for the parameter.

Point estimate उपयोगी है, पर अधूरा। यह सबसे अच्छा अनुमान देता है, पर यह नहीं बताता कि अनुमान कितना अनिश्चित है। 10 workers से मिली ₹42,000 की औसत salary, 10,000 workers से मिली ₹42,000 से बहुत कम भरोसेमंद है। Interval estimate parameter के लिए भरोसेमंद values की range देकर यह दिखाता है।

点估计有用，但不完整。它给出最佳猜测，却没说这个猜测有多不确定。从 10 名工人得到的平均工资 ₹42,000，远不如从 10,000 名工人得到的 ₹42,000 可靠。区间估计通过给出参数的可信数值范围来体现这一点。

Margin of Error — The ± Number Everyone SeesMargin of Error — वह ± संख्या जो सब देखते हैं误差范围 — 人人都见过的 ± 数字

The margin of error (MoE) is half the width of a confidence interval. It is the ±3% in election polls and the "± x" next to many lab results. It tells you how far the point estimate might reasonably be from the true value, in either direction. It covers random sampling error only — not bias from a bad sample or badly worded questions.

Margin of error (MoE) confidence interval की आधी चौड़ाई है। यह election polls का ±3% है और कई lab results के आगे लिखा "± x"। यह बताता है कि point estimate असली value से किसी भी दिशा में कितना दूर हो सकता है। यह सिर्फ़ random sampling error को कवर करता है — ख़राब sample या ग़लत ढंग से पूछे गए सवालों से आए bias को नहीं।

误差范围（MoE）是置信区间宽度的一半。它就是选举民调里的 ±3%，以及许多化验结果后面的“± x”。它告诉你点估计在两个方向上可能偏离真值多远。它只涵盖随机抽样误差 —— 不包括坏样本或问题措辞不当造成的偏差。

Step by Step: Building a Confidence IntervalStep by Step: Confidence Interval बनाना一步一步构建置信区间

A quality engineer tests 36 LED bulbs from a production line and records how many hours each lasts. She wants a 95% confidence interval for the true average lifespan of all bulbs the line makes.

एक quality engineer production line से 36 LED bulbs जाँचती है और हर bulb कितने घंटे चला, यह लिखती है। उसे line के सभी bulbs की असली औसत उम्र के लिए 95% confidence interval चाहिए।

一位质量工程师从生产线上抽取 36 只 LED 灯泡，记录每只能用多少小时。她想为这条线生产的所有灯泡的真实平均寿命构建一个 95% 置信区间。

Python ImplementationPython ImplementationPython 实现

Point estimationPoint estimation点估计

import numpy as np
from scipy import stats

np.random.seed(42)

# Sample: lifespan of 36 LED bulbs (hours)
sample = np.random.normal(loc=1480, scale=120, size=36)

# Point estimates
x_bar = np.mean(sample)             # estimates μ
s     = np.std(sample, ddof=1)      # estimates σ (n − 1 in the denominator)
n     = len(sample)

print(f"Point estimate of μ (sample mean x̄): {x_bar:.2f} hrs")
print(f"Point estimate of σ (sample std  s):  {s:.2f} hrs")
print(f"Sample size n: {n}")

This simulated sample happens to have x̄ = 1,460.46 and s = 112.34 — not exactly the 1,480 and 120 used to create it. That gap is sampling error, and it is exactly why we need intervals.

इस simulated sample में x̄ = 1,460.46 और s = 112.34 आए — ठीक वही 1,480 और 120 नहीं जिनसे यह बना था। यह अंतर sampling error है, और इसीलिए हमें intervals चाहिए।

这个模拟样本恰好得到 x̄ = 1,460.46、s = 112.34 —— 并不正好等于生成它时用的 1,480 和 120。这个差距就是抽样误差，也正是我们需要区间的原因。

Confidence interval with the SciPy t-distributionSciPy t-distribution से Confidence interval用 SciPy 的 t 分布求置信区间

from scipy import stats
import numpy as np

np.random.seed(42)
sample = np.random.normal(loc=1480, scale=120, size=36)

x_bar = np.mean(sample)
s     = np.std(sample, ddof=1)
n     = len(sample)
se    = s / np.sqrt(n)

# 95% and 99% CI using the t-distribution (σ unknown)
# (SciPy ≥ 1.9 uses 'confidence='; older versions used 'alpha=')
ci_95 = stats.t.interval(confidence=0.95, df=n-1, loc=x_bar, scale=se)
ci_99 = stats.t.interval(confidence=0.99, df=n-1, loc=x_bar, scale=se)

# Critical t* values
t_95 = stats.t.ppf(0.975, df=n-1)
t_99 = stats.t.ppf(0.995, df=n-1)

print(f"Standard Error (SE): {se:.2f} hrs")
print(f"t* for 95% CI (df={n-1}): {t_95:.4f}")
print(f"Margin of Error 95%: ±{t_95 * se:.2f} hrs")
print(f"95% CI: ({ci_95[0]:.2f}, {ci_95[1]:.2f}) hrs")
print(f"99% CI: ({ci_99[0]:.2f}, {ci_99[1]:.2f}) hrs")

The 95% interval (1,422.44, 1,498.47) contains the true mean of 1,480 that we used to generate the data.

95% interval (1,422.44, 1,498.47) में वह असली mean 1,480 है जिससे data बनाया गया।

95% 区间 (1,422.44, 1,498.47) 包含了生成数据时使用的真实均值 1,480。

Confidence interval for a proportionProportion के लिए Confidence interval比例的置信区间

import numpy as np
from scipy import stats

# Scenario: 420 out of 1,000 voters prefer Party A
n       = 1000
x       = 420          # successes
p_hat   = x / n        # 0.42

se_prop = np.sqrt(p_hat * (1 - p_hat) / n)

# 95% CI for a proportion (normal approximation — n is large)
z_star = stats.norm.ppf(0.975)           # 1.95996...
moe    = z_star * se_prop
ci_low = p_hat - moe
ci_hi  = p_hat + moe

print(f"Sample proportion p̂:    {p_hat:.4f} ({p_hat*100:.1f}%)")
print(f"Standard Error:          {se_prop:.4f}")
print(f"Critical z*:             {z_star:.4f}")
print(f"Margin of Error:         ±{moe:.4f} (±{moe*100:.2f}%)")
print(f"95% CI: ({ci_low*100:.2f}%, {ci_hi*100:.2f}%)")

import numpy as np
from scipy import stats

z_star = stats.norm.ppf(0.975)    # 1.96 for a 95% CI

def wald(x, n):
    p = x / n
    m = z_star * np.sqrt(p * (1 - p) / n)
    return p - m, p + m

def wilson(x, n):
    p, z2 = x / n, z_star ** 2
    centre = (p + z2 / (2 * n)) / (1 + z2 / n)
    half = z_star * np.sqrt(p * (1 - p) / n + z2 / (4 * n * n)) / (1 + z2 / n)
    return centre - half, centre + half

# Small sample: 2 defective items out of 25 checked
for name, f in [("Wald  ", wald), ("Wilson", wilson)]:
    lo, hi = f(2, 25)
    print(f"{name} 95% CI: ({lo*100:6.2f}%, {hi*100:6.2f}%)")

Required sample sizeज़रूरी sample size所需样本量

import numpy as np
from scipy import stats

z_star = stats.norm.ppf(0.975)    # 1.96 for a 95% CI

# Mean: how many bulbs for MoE ≤ 25 hours?
sigma       = 120                 # guess of σ from a pilot study
desired_moe = 25
n_mean = (z_star * sigma / desired_moe) ** 2
print(f"Required n for MoE ≤ 25 hrs: n ≥ {np.ceil(n_mean):.0f}")

# Proportion: worst case p̂ = 0.5
for moe in [0.05, 0.03, 0.02, 0.01]:
    n_prop = (z_star * 0.5 / moe) ** 2
    print(f"Required n for ±{moe*100:.0f}% poll: n ≥ {np.ceil(n_prop):,.0f}")

Notice the square-root law again: going from ±2% to ±1% needs four times as many people (2,401 → 9,604).

Square-root law फिर देखें: ±2% से ±1% पर जाने के लिए चार गुना लोग चाहिए (2,401 → 9,604)।

再次看到平方根定律：从 ±2% 到 ±1% 需要四倍的人数（2,401 → 9,604）。

Does "95%" really hold? A coverage checkक्या "95%" सच में सही है? Coverage check“95%”真的成立吗？覆盖率检验

import numpy as np
from scipy import stats

# Does the "95%" really hold? Repeat a study 10,000 times.
rng = np.random.default_rng(0)
mu, sigma, n, reps = 1480, 120, 10, 10_000

hits = {"t-interval (correct)": 0, "z* with s (wrong for small n)": 0}
t_star, z_star = stats.t.ppf(0.975, n - 1), stats.norm.ppf(0.975)
for _ in range(reps):
    x = rng.normal(mu, sigma, n)
    m, se = x.mean(), x.std(ddof=1) / np.sqrt(n)
    hits["t-interval (correct)"] += abs(m - mu) <= t_star * se
    hits["z* with s (wrong for small n)"] += abs(m - mu) <= z_star * se

for k, v in hits.items():
    print(f"{k:31s}: {v / reps * 100:.1f}% of intervals caught μ")

With n = 10, the correct t-interval catches μ 94.9% of the time. Using z* = 1.96 with s gives intervals that are too narrow, and they catch μ only 91.9% of the time — a "95%" interval that is really about 92%. Try it yourself:

n = 10 पर सही t-interval 94.9% बार μ पकड़ता है। s के साथ z* = 1.96 लेने से intervals बहुत पतले बनते हैं, और वे सिर्फ़ 91.9% बार μ पकड़ते हैं — "95%" interval जो असल में लगभग 92% है। ख़ुद आज़माएँ:

n = 10 时，正确的 t 区间有 94.9% 的时候包含 μ。用 s 配 z* = 1.96 得到的区间太窄，只有 91.9% 的时候包含 μ —— 名为“95%”，实际约 92%。自己试试：

Estimation Methods — Comparison TablesEstimation Methods — तुलना Tables估计方法 — 对照表

Golden RulesGolden Rules黄金法则