PCA Dimensional Reduction Numerical

The Story That Explains PCAवह कहानी जो PCA समझाती है一个解释 PCA 的故事

Principal Component Analysis (PCA) is an unsupervised linear transformation that projects data onto a new set of orthogonal axes (principal components), ordered by the amount of variance they explain. It is the workhorse of dimensionality reduction — used in data visualisation, noise filtering, feature extraction, and preprocessing before clustering or classification.

Principal Component Analysis (PCA) एक unsupervised linear transformation है जो data को नए orthogonal axes (principal components) पर project करता है, और इन axes को इस क्रम में रखता है कि हर एक कितना variance समझाता है। यह dimensionality reduction का सबसे भरोसेमंद औज़ार है — इसका इस्तेमाल data visualisation, noise filtering, feature extraction, और clustering या classification से पहले preprocessing में होता है।

主成分分析（Principal Component Analysis，PCA）是一种无监督（unsupervised）的线性变换。 它把数据投影到一组新的正交（orthogonal）坐标轴上，这些轴就是主成分（principal components）， 并按各自解释的方差大小排序。它是降维（dimensionality reduction）的主力工具，常用于 数据可视化、噪声过滤、特征提取（feature extraction），以及聚类或分类之前的预处理。

The Problem — Dataset & Goalसमस्या — Dataset और लक्ष्य问题 — 数据集与目标

We have a small dataset with 4 samples and 2 features (x₁, x₂). The goal is to reduce it from 2D to 1D using PCA, retaining the maximum variance possible. We will solve every step by hand — exactly as you would in a Data Science exam notebook.

हमारे पास एक छोटा dataset है जिसमें 4 samples और 2 features (x₁, x₂) हैं। लक्ष्य है PCA से इसे 2D से 1D में घटाना, और जितना हो सके उतना variance बचाना। हम हर step हाथ से हल करेंगे — ठीक वैसे जैसे आप Data Science की exam copy में करते हैं।

我们有一个小数据集，包含 4 个样本（samples）和 2 个特征（x₁, x₂）。 目标是用 PCA 把它从二维降到一维，并尽可能多地保留方差。我们会手算每一步 —— 就像在数据科学考试的答题本上那样。

Step 1 — Compute the Mean of Each FeatureStep 1 — हर Feature का Mean निकालें第 1 步 — 计算每个特征的均值

PCA is sensitive to the spread of data, not its absolute position. We must first shift the data so it is centred at the origin. Before that, we need the mean of each feature.

PCA data के फैलाव (spread) पर ध्यान देता है, उसकी असली जगह पर नहीं। इसलिए पहले हमें data को खिसकाना होगा ताकि उसका केंद्र origin पर आ जाए। उससे पहले हमें हर feature का mean चाहिए।

PCA 关心的是数据的散布（spread），而不是它的绝对位置。 所以我们必须先平移数据，使它以原点为中心。 在此之前，我们需要每个特征的均值。

Step 2 — Mean-Centre the Data (Subtract the Mean)Step 2 — Data को Mean-Centre करें (Mean घटाएँ)第 2 步 — 数据均值中心化（减去均值）

We subtract the mean vector μ = [3, 4] from every data point to produce the centred matrix B. This shifts the data cloud so its centroid sits exactly at the origin — a prerequisite for covariance analysis.

हम हर data point में से mean vector μ = [3, 4] घटाते हैं और centred matrix B बनाते हैं। इससे data का बादल खिसक जाता है और उसका केंद्र (centroid) ठीक origin पर आ जाता है — covariance निकालने के लिए यह ज़रूरी है।

我们从每个数据点中减去均值向量 μ = [3, 4]，得到中心化矩阵 B。 这样数据点云整体平移，它的中心（centroid）正好落在原点 —— 这是计算协方差的前提。

Step 3 — Compute the Covariance MatrixStep 3 — Covariance Matrix निकालें第 3 步 — 计算协方差矩阵

The covariance matrix C captures how much each pair of features varies together. It is a symmetric p × p matrix. For our 2-feature dataset it is 2 × 2.

Covariance matrix C बताता है कि features का हर जोड़ा साथ-साथ कितना बदलता है। यह एक symmetric p × p matrix है। हमारे 2-feature dataset के लिए यह 2 × 2 है।

协方差矩阵 C 描述每一对特征一起变化的程度。它是一个对称的 p × p 矩阵。 我们的数据集有 2 个特征，所以它是 2 × 2。

Step 4 — Solve for EigenvaluesStep 4 — Eigenvalues हल करें第 4 步 — 求特征值

The eigenvalues of the covariance matrix tell us how much variance each principal component explains. We find them by solving the characteristic equation: det(C − λI) = 0

Covariance matrix के eigenvalues बताते हैं कि हर principal component कितना variance समझाता है। इन्हें हम characteristic equation हल करके निकालते हैं: det(C − λI) = 0

协方差矩阵的特征值（eigenvalues）告诉我们每个主成分解释了多少方差。 我们通过求解特征方程（characteristic equation）得到它们：det(C − λI) = 0

Step 5 — Compute Eigenvectors (Principal Directions)Step 5 — Eigenvectors निकालें (Principal दिशाएँ)第 5 步 — 求特征向量（主方向）

Eigenvectors give us the directions of the new axes. For each eigenvalue λ, we solve (C − λI)v = 0 and then normalise the resulting vector to unit length.

Eigenvectors हमें नए axes की दिशाएँ देते हैं। हर eigenvalue λ के लिए हम (C − λI)v = 0 हल करते हैं और फिर मिले vector को unit length पर normalise करते हैं।

特征向量给出新坐标轴的方向。 对每个特征值 λ，我们求解 (C − λI)v = 0，再把得到的向量归一化（normalise）为单位长度。

Step 6 — Explained Variance & Choosing ComponentsStep 6 — Explained Variance और Components चुनना第 6 步 — 解释方差与选择主成分

The eigenvalue tells us how much variance each principal component captures. We express this as a percentage of total variance to decide how many components to keep. This is the heart of the dimensionality reduction decision.

Eigenvalue बताता है कि हर principal component कितना variance पकड़ता है। कितने components रखने हैं, यह तय करने के लिए हम इसे कुल variance के प्रतिशत में लिखते हैं। Dimensionality reduction के फ़ैसले का यही दिल है।

特征值告诉我们每个主成分捕获了多少方差。我们把它写成占总方差的百分比， 以决定保留几个主成分。这是降维决策的核心。

Step 7 — Project Data onto PC1 (Reduce to 1D)Step 7 — Data को PC1 पर Project करें (1D में घटाएँ)第 7 步 — 把数据投影到 PC1（降到一维）

We now project the mean-centred data matrix B onto the first principal component direction e₁. The projection is simply a dot product: multiply each centred data row by the eigenvector.

अब हम mean-centred data matrix B को पहले principal component की दिशा e₁ पर project करते हैं। Projection बस एक dot product है: हर centred data row को eigenvector से गुणा करें।

现在我们把中心化后的数据矩阵 B 投影（project）到第一主成分方向 e₁ 上。 投影就是一个点积（dot product）：用每一行中心化数据乘以特征向量。

Full Solution Summary — One Viewपूरे हल का सार — एक नज़र में完整解答汇总 — 一览

Here is the complete PCA solution in condensed form, exactly as you would write it in a final exam answer:

यह PCA का पूरा हल छोटे रूप में है, ठीक वैसे जैसे आप final exam के जवाब में लिखेंगे:

下面是浓缩版的完整 PCA 解答，就像你在期末考试答卷里写的那样：

Key Formulae at a Glanceमुख्य Formulas एक नज़र में关键公式一览

Three Concepts Every PCA Student Must Understandतीन बातें जो हर PCA Student को समझनी चाहिए每个学 PCA 的学生都必须理解的三个概念

When to Use PCA — and When Not ToPCA कब इस्तेमाल करें — और कब नहीं什么时候用 PCA — 什么时候不用

Python Implementation — Verify Our Hand CalculationPython Implementation — हाथ के हिसाब की जाँचPython 实现 — 验证手算结果

Let us reproduce the exact numerical example above in Python — both manually and using scikit-learn. The outputs should match our hand-solved values to within floating-point precision.

चलिए ऊपर वाला ठीक यही numerical example Python में दोबारा करते हैं — हाथ वाले तरीके से भी और scikit-learn से भी। Outputs हमारे हाथ से हल किए values से floating-point precision तक मेल खाने चाहिए।

我们用 Python 重现上面这个数值例子 —— 既手动实现，也用 scikit-learn。 输出应与手算结果在浮点精度范围内一致。

import numpy as np
from sklearn.decomposition import PCA

# ── Original dataset ──────────────────────────────────────────
X = np.array([
    [1, 2],   # S1
    [3, 4],   # S2
    [5, 4],   # S3
    [3, 6],   # S4
], dtype=float)

# ── MANUAL PCA ────────────────────────────────────────────────
# Step 1: Mean vector
mu = X.mean(axis=0)
print(f"Mean vector μ: {mu}")   # [3. 4.]

# Step 2: Mean-centre
B = X - mu
print(f"\nCentred matrix B:\n{B}")

# Step 3: Covariance matrix (ddof=1 → divide by n-1)
C = np.cov(B, rowvar=False)     # equivalent to BᵀB / (n-1)
print(f"\nCovariance matrix C:\n{C}")

# Step 4 & 5: Eigendecomposition
eigenvalues, eigenvectors = np.linalg.eigh(C)

# eigh returns ascending order — reverse to descending
idx = np.argsort(eigenvalues)[::-1]
eigenvalues  = eigenvalues[idx]
eigenvectors = eigenvectors[:, idx]

print(f"\nEigenvalues (sorted): {eigenvalues}")   # [4.  1.333]
print(f"Eigenvectors (columns):\n{eigenvectors}")

# Step 6: Explained variance
ev_ratio = eigenvalues / eigenvalues.sum()
print(f"\nExplained variance ratio: {ev_ratio}")  # [0.75  0.25]
print(f"Cumulative:              {ev_ratio.cumsum()}")

# Step 7: Project onto PC1 only
W  = eigenvectors[:, :1]      # take first column only
Z  = B @ W                      # matrix multiply
print(f"\nProjected data Z (1D):\n{Z.flatten()}")

# ── SCIKIT-LEARN PCA (one-liner verification) ─────────────────
pca = PCA(n_components=1)
Z_sk = pca.fit_transform(X)    # sklearn centres internally

print(f"sklearn Z:          {Z_sk.flatten()}")
print(f"sklearn EV ratio:   {pca.explained_variance_ratio_}")
print(f"sklearn eigenvalue: {pca.explained_variance_}")
print(f"sklearn component:  {pca.components_}")

PCA vs Other Dimensionality Reduction MethodsPCA vs दूसरे Dimensionality Reduction तरीकेPCA 与其他降维方法对比

Golden Rules — PCA Non-Negotiablesसुनहरे नियम — PCA में ज़रूरी बातें黄金法则 — PCA 必须遵守的原则

The Real Significance of EigenvectorsEigenvectors का असली महत्व特征向量的真正意义

Most textbooks define eigenvectors as "directions of maximum variance" and move on. That is true but dangerously shallow. Here is what an eigenvector actually means — geometrically, algebraically, and in the context of your data.

ज़्यादातर किताबें eigenvectors को "maximum variance की दिशाएँ" कहकर आगे बढ़ जाती हैं। यह सही है, पर ख़तरनाक रूप से सतही है। यहाँ देखें कि eigenvector का असली मतलब क्या है — geometry में, algebra में, और आपके data के संदर्भ में।

大多数教科书把特征向量定义为"方差最大的方向"就一笔带过。这没错，但浅得危险。 下面讲讲特征向量真正的含义 —— 从几何、代数以及你的数据这三个角度。

The Real Significance of EigenvaluesEigenvalues का असली महत्व特征值的真正意义

The eigenvalue is often summarised as "the variance explained." That is correct. But why is the eigenvalue the variance? Where does that come from? And what exactly does the number 4 mean in our example? Let us build the answer from scratch.

Eigenvalue को अक्सर "समझाया गया variance" कहा जाता है। यह सही है। पर eigenvalue variance क्यों है? यह कहाँ से आता है? और हमारे example में number 4 का ठीक-ठीक मतलब क्या है? चलिए जवाब शुरू से बनाते हैं।

特征值常被概括为"解释的方差"。这没错。但特征值为什么就是方差？它从哪里来？ 我们例子里的数字 4 到底表示什么？我们从头推导答案。

Eigenvalue and Eigenvector Together — The Complete PictureEigenvalue और Eigenvector साथ में — पूरी तस्वीर特征值与特征向量合起来 — 完整的图景

They are inseparable. An eigenvalue without its eigenvector is just a number. An eigenvector without its eigenvalue is just a direction. Together they answer two questions that completely describe a principal component:

ये अलग नहीं किए जा सकते। Eigenvector के बिना eigenvalue बस एक number है। Eigenvalue के बिना eigenvector बस एक दिशा है। साथ मिलकर ये दो सवालों के जवाब देते हैं जो एक principal component को पूरी तरह बताते हैं:

它们密不可分。没有特征向量的特征值只是一个数字；没有特征值的特征向量只是一个方向。 合在一起，它们回答了完整描述一个主成分的两个问题：

Practical Significance — What These Numbers Mean for Your Dataव्यावहारिक महत्व — इन Numbers का आपके Data के लिए मतलब实际意义 — 这些数字对你的数据意味着什么