ग्रेडिएंट की गणना के लिए उपयोगी सूत्र (Useful Identities for Computing Gradient)

ग्रेडिएंट की गणना (Gradient Computation) गणित, मशीन लर्निंग और डीप लर्निंग के मूल में है। जब हम किसी स्केलर या वेक्टर फ़ंक्शन के पैरामीटर्स के सापेक्ष परिवर्तन दर निकालते हैं, तो हमें ग्रेडिएंट की आवश्यकता होती है। यह अध्याय उन उपयोगी सूत्रों (Useful Identities) पर केंद्रित है जिनका प्रयोग हम मैट्रिक्स डेरिवेटिव्स निकालने में करते हैं।

1️⃣ मैट्रिक्स कैलकुलस की मूल अवधारणा

यदि कोई स्केलर फ़ंक्शन f(X) एक मैट्रिक्स X पर निर्भर करता है, तो:

df = tr((∇ₓ f(X))ᵀ dX)

यह सूत्र हमें विभिन्न मैट्रिक्स रूपों के अवकलज निकालने में मदद करता है।

2️⃣ उपयोगी ग्रेडिएंट आइडेंटिटी (Common Gradient Identities)

(a) Linear Trace Form

यदि f(X) = tr(AᵀX), तो:

∇ₓ f = A

(b) Transposed Form

यदि f(X) = tr(XᵀA), तो:

∇ₓ f = A

(c) Double Product Form

यदि f(X) = tr(XᵀAX), तो:

∇ₓ f = (A + Aᵀ)X

(d) Bilinear Form

यदि f(X) = tr(A X B), तो:

∇ₓ f = AᵀBᵀ

(e) Quadratic Vector Form

यदि f(x) = xᵀA x, तो:

∇ₓ f = (A + Aᵀ)x

(f) Determinant Function

यदि f(X) = det(X), तो:

∇ₓ f = det(X)(X⁻¹)ᵀ

(g) Log Determinant

यदि f(X) = log(det(X)), तो:

∇ₓ f = (X⁻¹)ᵀ

(h) Inverse Matrix Identity

यदि f(X) = tr(X⁻¹A), तो:

∇ₓ f = - (X⁻ᵀ Aᵀ X⁻ᵀ)

3️⃣ उत्पाद नियम (Product Rules)

• ∇ₓ (A X) = Aᵀ
• ∇ₓ (X A) = Aᵀ
• ∇ₓ (A X B) = Aᵀ Bᵀ

4️⃣ ट्रेस के गुणधर्म (Trace Properties)

• tr(AB) = tr(BA)
• tr(Aᵀ) = tr(A)
• tr(A + B) = tr(A) + tr(B)
• ∂ tr(AᵀX) / ∂X = A

5️⃣ व्युत्पत्ति उदाहरण

उदाहरण 1:

f(X) = tr(XᵀA X B)

∇ₓ f = AᵀX(Bᵀ + B)

उदाहरण 2:

f(X) = tr(A Xᵀ B X)

∇ₓ f = Aᵀ X Bᵀ + A X B

6️⃣ ग्रेडिएंट और हेसियन

Gradient किसी फ़ंक्शन की पहली क्रम की दर को मापता है जबकि Hessian दूसरी क्रम की दर को मापता है। Optimization में, Gradient हमें दिशा बताता है और Hessian हमें गति (curvature) बताता है।

7️⃣ अनुप्रयोग (Applications)

• Machine Learning में Weight Optimization
• Deep Neural Networks में Backpropagation
• Control Theory और Physics में Error Minimization
• Econometrics में Parameter Estimation

8️⃣ निष्कर्ष

ग्रेडिएंट की गणना के लिए उपयोगी आइडेंटिटीज हमें किसी भी मैट्रिक्स आधारित समीकरण को सरलता से हल करने में सक्षम बनाती हैं। इन सूत्रों का सही उपयोग करना मशीन लर्निंग, डेटा साइंस और इंजीनियरिंग की सफलता की कुंजी है।