Singular Value Decomposition (SVD): Concept and Computation | सिंगुलर वैल्यू डीकंपोज़िशन: सिद्धांत और गणना

सिंगुलर वैल्यू डीकंपोज़िशन (SVD): सिद्धांत और गणना

Singular Value Decomposition (SVD) रैखिक बीजगणित की सबसे महत्वपूर्ण मैट्रिक्स डीकंपोज़िशन तकनीकों में से एक है। यह किसी भी आयताकार मैट्रिक्स को तीन घटकों में विभाजित करती है — जिससे उसके गुण, आयाम, और डेटा की संरचना को समझना आसान होता है। यह डेटा साइंस, मशीन लर्निंग, सिग्नल प्रोसेसिंग और इमेज कम्प्रेशन जैसे क्षेत्रों में अत्यधिक उपयोगी है।

1️⃣ SVD की परिभाषा (Definition)

यदि A एक m×n मैट्रिक्स है, तो उसका SVD इस प्रकार लिखा जा सकता है:

A = U × Σ × Vᵀ

U — एक m×m ऑर्थोगोनल (Orthogonal) मैट्रिक्स है।
Σ — एक m×n Diagonal मैट्रिक्स है जिसमें Singular Values होती हैं।
V — एक n×n ऑर्थोगोनल मैट्रिक्स है, Vᵀ उसका Transpose।

यहाँ Singular Values हमेशा गैर-ऋणात्मक (non-negative) और घटते क्रम में होती हैं।

2️⃣ Singular Values क्या हैं?

यदि AᵀA का Eigenvalue Decomposition इस प्रकार है:

AᵀA = VΛVᵀ

तो A की Singular Values होती हैं:

σᵢ = √λᵢ

जहाँ λᵢ, AᵀA के Eigenvalues हैं।

3️⃣ SVD के घटक

U (Left Singular Vectors): A Aᵀ के Eigenvectors
Σ (Singular Values): AᵀA के Eigenvalues का वर्गमूल
V (Right Singular Vectors): AᵀA के Eigenvectors

उदाहरण:

A = | 3  1 |
    | 1  3 |

AᵀA = | 10 6 |
       | 6 10 |

Eigenvalues = 16, 4
⇒ Singular Values = √16 = 4, √4 = 2

4️⃣ SVD का भौतिक अर्थ

SVD किसी भी Linear Transformation को तीन चरणों में विभाजित करता है:

Vᵀ — Input space को नई दिशा में घुमाता है।
Σ — उस दिशा में Stretch या Compress करता है।
U — Output space को वापस घुमाता है।

5️⃣ SVD के उपयोग (Applications)

Dimensionality Reduction: PCA में SVD का उपयोग होता है।
Noise Reduction: डेटा से अनावश्यक घटक हटाने के लिए।
Image Compression: इमेज को कम आकार में संग्रहीत करने हेतु।
Recommendation Systems: Netflix और Amazon के एल्गोरिद्म में।

6️⃣ Low-Rank Approximation

कई बार केवल पहले k Singular Values का उपयोग करके A का Approximated रूप निकाला जाता है:

Aₖ = Uₖ × Σₖ × Vₖᵀ

यह रूप उच्च आयाम के डेटा को छोटे आकार में प्रभावी रूप से दर्शाने में सहायक होता है।

7️⃣ गुणधर्म (Properties)

Singular Values हमेशा धनात्मक होती हैं।
Rank(A) = non-zero singular values की संख्या।
‖A‖₂ = सबसे बड़ी Singular Value।
Trace(AᵀA) = Σ σᵢ²

8️⃣ SVD बनाम Eigen Decomposition

पहलू	SVD	Eigen Decomposition
Matrix Type	Any m×n	Square only
Form	A = UΣVᵀ	A = PDP⁻¹
Values	Always Real & Positive	Can be complex

🔟 निष्कर्ष

Singular Value Decomposition गणितीय दृष्टि से अत्यंत शक्तिशाली है। यह किसी मैट्रिक्स को पूर्ण रूप से समझने, उसकी दिशा, स्केलिंग और सूचना संरचना को दर्शाने में सक्षम है। मशीन लर्निंग में SVD का ज्ञान किसी भी Data Scientist के लिए अनिवार्य है।

Singular Value Decomposition (SVD): Concept and Computation

Singular Value Decomposition (SVD) is one of the most fundamental matrix factorization techniques in linear algebra. It decomposes any rectangular matrix into three simpler components, revealing the intrinsic structure and dimensional properties of the data.

1️⃣ Definition

For any m×n matrix A:

A = U × Σ × Vᵀ

U → m×m orthogonal matrix (left singular vectors)
Σ → m×n diagonal matrix (singular values)
V → n×n orthogonal matrix (right singular vectors)

2️⃣ Singular Values

If AᵀA = VΛVᵀ, then singular values are given by:

σᵢ = √λᵢ

where λᵢ are the eigenvalues of AᵀA.

3️⃣ Components of SVD

U → Eigenvectors of A Aᵀ
Σ → Square roots of eigenvalues of AᵀA
V → Eigenvectors of AᵀA

Example:

A = |3 1|
    |1 3|
AᵀA = |10 6|
       |6 10|
Eigenvalues = 16, 4 ⇒ Singular Values = 4, 2

4️⃣ Geometric Meaning

SVD transforms data through three operations:

Vᵀ rotates the input space.
Σ stretches or compresses along principal directions.
U rotates the output space.

5️⃣ Applications

Dimensionality Reduction (PCA)
Noise Filtering
Image Compression
Recommendation Systems
Natural Language Processing (Latent Semantic Analysis)

6️⃣ Low-Rank Approximation

Approximate A using only the top k singular values:

Aₖ = Uₖ × Σₖ × Vₖᵀ

This compresses data while retaining maximum information.

7️⃣ Properties

All singular values are non-negative.
Rank(A) = number of non-zero singular values.
‖A‖₂ = largest singular value.
Trace(AᵀA) = Σ σᵢ²

8️⃣ SVD vs Eigen Decomposition

Aspect	SVD	Eigen Decomposition
Matrix Type	Any rectangular	Square only
Form	A = UΣVᵀ	A = PDP⁻¹
Values	Always positive real	Can be complex

🔟 Conclusion

Singular Value Decomposition reveals the geometric and algebraic essence of any matrix. It’s a foundational technique for compression, dimensionality reduction, and feature extraction in modern data-driven science and engineering.

Analysis of Variance (ANOVA): Concept, Assumptions, and Computation | विभेदन विश्लेषण (ANOVA): अवधारणा, मान्यताएँ और गणना

विभेदन विश्लेषण (ANOVA): अवधारणा, मा�...

Time Series Analysis: Concepts, Components, and Forecasting Methods | टाइम सीरीज़ विश्लेषण: अवधारणाएँ, घटक और पूर्वानुमान विधियाँ

टाइम सीरीज़ विश्लेषण: अवधारणाए�...

Type-I and Type-II Errors: Understanding Statistical Decision Making | टाइप-I और टाइप-II त्रुटियाँ: सांख्यिकीय निर्णय की समझ

टाइप-I और टाइप-II त्रुटियाँ: सांख्�...

Test of Hypothesis: Concept and Formulation | परिकल्पना परीक्षण: अवधारणा और निर्माण

परिकल्पना परीक्षण: अवधारणा और न�...

Useful Identities for Computing Gradient | ग्रेडिएंट की गणना के लिए उपयोगी सूत्र

ग्रेडिएंट की गणना के लिए उपयोगी ...

Singular Value Decomposition (SVD): Concept and Computation | सिंगुलर वैल्यू डीकंपोज़िशन: सिद्धांत और गणना