सूचनापञ्चाशिका : संवादनियमावली
Claude Shannon’s Mathematical Theory of Communication: A Fifty-Verse Sanskrit Treatise on Information, Entropy and Channel Capacity
Composed by: Vedant Madane & Antigravity
Meter: Strict Classical Pāṇinian Anuṣṭubh (अनुष्टुभ्, 32 syllables per verse)
Structure: 10 Cantos (सर्गाः), 50 Verses (पद्यानि) with complete Padaccheda, Morphological & Syntactic Analysis and Communications Systems Commentary.
Philosophical & Mathematical Prologue
In 1948, Claude Elwood Shannon published A Mathematical Theory of Communication in the Bell System Technical Journal, founding modern Information Theory. Shannon achieved what few thinkers in human history have accomplished: he created an entire scientific discipline ex nihilo. By defining information as the resolution of uncertainty, defining the bit as its atomic unit, establishing entropy as the universal compression limit and proving that reliable communication is possible over noisy channels up to Channel Capacity, Shannon architected the foundations of the digital civilization.
The Sūcanā-pañcāśikā (सूचनापञ्चाशिका : संवादनियमावली) codifies the entirety of Shannon’s information theory into fifty metered Sanskrit verses in the classical Anuṣṭubh meter. Every verse adheres strictly to the grammatical canons of Pāṇini and the prosodic rules of Piṅgala, bridging classical Indian epistemology (Pramāṇa-Śāstra) with the foundational mathematical equations of modern telecommunications.
Architectural Map of the Ten Cantos
- प्रथमः सर्गः - संशयप्रमाणतत्त्वम् (Uncertainty, Probability & Information Measurement): Verses 1-5. Information as the resolution of uncertainty; decoupling from semantics; defining the bit (
द्व्यङ्कः). - द्वितीयः सर्गः - मूलान्तरङ्गएन्ट्रोपी (Information Entropy Formula): Verses 6-10. Derivation of Shannon Entropy $H(X) = -\sum p(x) \log_2 p(x)$; maximum entropy of uniform distribution; thermodynamic parallels.
- तृतीयः सर्गः - समवायसंयोगज्ञानम् (Joint, Conditional & Mutual Information): Verses 11-15. Joint entropy $H(X, Y)$; conditional entropy (equivocation); Mutual Information $I(X; Y)$; Data Processing Inequality.
- चतुर्थः सर्गः - स्रोतसङ्केतनक्रमः (Source Coding Theorem & Lossless Compression): Verses 16-20. Shannon’s First Fundamental Theorem; entropy as compression limit; prefix codes; Kraft inequality; Huffman coding.
- पञ्चमः सर्गः - नादयुक्तमार्गस्वरूपम् (The Discrete Noisy Channel & Transition Matrices): Verses 21-25. Discrete Memoryless Channel (DMC); channel transition matrix $P(y \mid x)$; Binary Symmetric Channel (BSC); crossover probability.
- षष्ठः सर्गः - मार्गसामर्थ्यनिर्णयः (Channel Capacity & Mutual Information Maximization): Verses 26-30. Capacity definition $C = \max_{p(x)} I(X; Y)$; physical immutability of capacity; BSC capacity curve $C = 1 - H_b(p)$.
- सप्तमः सर्गः - दोषनिवारकसङ्केतनम् (Channel Coding Theorem & Error Correction): Verses 31-35. Shannon’s Second Fundamental Theorem; achieving $P_e \to 0$ for rates $R < C$; random coding; forward error correction (FEC).
- अष्टमः सर्गः - सातत्यमार्गसीमान्यायः (Continuous Channel & Shannon-Hartley Law): Verses 36-40. Continuous Gaussian channels (AWGN); the legendary Shannon-Hartley theorem $C = B \log_2(1 + S/N)$; infinite bandwidth limit.
- नवमः सर्गः - विकृतिदरसिद्धान्तः (Rate-Distortion Theory & Lossy Compression): Verses 41-45. Lossy compression foundations; distortion measures $d(x, \hat{x})$; Rate-Distortion function $R(D)$; perceptual audio and image coding.
- दशमः सर्गः - विश्वसंवादसिद्धिः (Cryptography, Communication & Universal Synthesis): Verses 46-50. Perfect secrecy proof $H(M \mid C) = H(M)$; the unbreakable One-Time Pad; Shannon’s legacy founding the digital epoch.
श्लोकः १ (Verse 1)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
संशयस्य विनाशात् च सूचना सम्प्रजायते । अज्ञाते लभ्यते ज्ञानम् यत्र सम्भाविता गतिः ॥
अन्वयः:
संशयस्य विनाशात् च सूचना सम्प्रजायते, यत्र सम्भाविता गतिः (अस्ति) अज्ञाते ज्ञानं लभ्यते।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| संशयस्य | सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) | of doubt, entropy, uncertainty |
| विनाशात् | सुबन्तरूपम् (पञ्चमी, एकवचनम्, पुंल्लिंगम्) | from the destruction, resolution |
| च | अव्ययम् | and |
| सूचना | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | information |
| सम्प्रजायते | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | सम् + प्र + जन्; is born, generated |
| अज्ञाते | सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) | in the unknown, prior state |
| लभ्यते | तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) | is obtained |
| ज्ञानम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | knowledge, resolved bits |
| यत्र | अव्ययम् | where |
| सम्भाविता | विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | probabilistic, stochastic |
| गतिः | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | course of events, distribution |
Information Theory & Telecommunications Commentary:
Claude Shannon’s core philosophical breakthrough: information is fundamentally a measure of freedom of choice or uncertainty. If you already know tomorrow’s sunrise with 100% certainty, receiving a message stating ‘the sun rose’ conveys exactly zero information. Information exists only when uncertainty is resolved.
श्लोकः २ (Verse 2)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
न अर्थस्य गौरवेण एव मापनम् क्रियते बुधैः । अनिश्चितत्व-मानेन प्रमाणम् परिकीर्त्यते ॥
अन्वयः:
बुधैः अर्थस्य गौरवेण एव मापनं न क्रियते, अनिश्चितत्वमानेन प्रमाणं परिकीर्त्यते।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| न | अव्ययम् | not |
| अर्थस्य | सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) | of semantic meaning / significance |
| गौरवेण | सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) | by emotional weight / prestige |
| एव | अव्ययम् | alone |
| मापनम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | quantification, measurement |
| क्रियते | तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) | is executed |
| बुधैः | सुबन्तरूपम् (तृतीया, बहुवचनम्, पुंल्लिंगम्) | by information theorists |
| अनिश्चितत्वमानेन | सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) | अनिश्चितत्वस्य मानेन (तत्पुरुषः); by the measure of prior uncertainty |
| प्रमाणम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | mathematical magnitude |
| परिकीर्त्यते | तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) | is formally enunciated |
Information Theory & Telecommunications Commentary:
Shannon explicitly decoupled engineering communication from semantic meaning: ‘The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point. Frequently the messages have meaning; that is they refer to or are correlated according to some system with certain physical or conceptual entities. These semantic aspects of communication are irrelevant to the engineering problem.’
श्लोकः ३ (Verse 3)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
यत् भवति एव नित्यम् तु तत्र न एव अस्ति काचन । आकस्मिके समायाते महती भासते मितिः ॥
अन्वयः:
यत् नित्यं भवति एव तत्र काचन (सूचना) नैवास्ति, आकस्मिके समायाते महती मितिः भासते।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| यत् | सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | whatever event |
| भवति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | occurs |
| एव | अव्ययम् | definitely |
| नित्यम् | क्रियाविशेषणम् | perpetually ($p = 1.0$) |
| तु | अव्ययम् | indeed |
| तत्र | अव्ययम् | therein |
| न एव अस्ति | सन्धिः (नैवास्ति) | there is none at all |
| काचन | सर्वनाम (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | any information whatsoever |
| आकस्मिके | विशेषणम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) | in a rare, improbable event ($p o 0$) |
| समायाते | कृदन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) | having arrived (sati-saptamī) |
| महती | विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | immense |
| भासते | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | shines, registers |
| मितिः | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | measure, quantity of bits |
Information Theory & Telecommunications Commentary:
Surprise Value: the information content of an event $x$ with probability $p(x)$ is $I(x) = \log_2 rac{1}{p(x)} = -\log_2 p(x)$. If an event has $p = 1$, $-\log_2(1) = 0$ bits. If an event has $p = rac{1}{1024}$, it carries $-\log_2(1/1024) = 10$ bits of surprise.
श्लोकः ४ (Verse 4)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
लघु-अङ्क-मान-योगेन द्व्यङ्केन इति प्रकल्प्यते । शून्यम् एकम् च रूपम् यत् संसारम् व्याप्नुवत् स्थितम् ॥
अन्वयः:
लघ्वङ्कमानयोगेन द्व्यङ्केन इति प्रकल्प्यते, यत् शून्यम् एकं च रूपं संसारं व्याप्नुवत् स्थितम्।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| लघ्वङ्कमानयोगेन | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | लघ्वङ्कस्य मानेन योगः तेन (तत्पुरुषः); through logarithmic measurement ($\log_2$) |
| द्व्यङ्केन | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | as a binary digit (bit) |
| इति | अव्ययम् | thus |
| प्रकल्प्यते | तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) | is formulated |
| शून्यम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | zero (0) |
| एकम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | one (1) |
| च | अव्ययम् | and |
| रूपम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | the binary form |
| यत् | सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | which |
| संसारम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) | the entire universe |
| व्याप्नुवत् | कृदन्तरूपम् (शतृ-प्रत्ययः, प्रथमा, एकवचनम्, नपुंसकलिंगम्) | pervading, saturating |
| स्थितम् | कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | standing, established |
Information Theory & Telecommunications Commentary:
The Coining of the Bit: John Tukey suggested the term ‘bit’ (contracted from binary digit) to Shannon, who formalized it in 1948 as the standard unit of information: the amount of information required to choose between two equally likely alternatives ($-\log_2(1/2) = 1$ bit).
श्लोकः ५ (Verse 5)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
शाननेन कृतम् शास्त्रम् संवादानाम् महा-उदधौ । यथा दीपेन दृश्यन्ते मार्गाः गाढे तमसि अपि ॥
अन्वयः:
संवादानां महोदधौ शाननेन शास्त्रं कृतम्, यथा दीपेन गाढे तमसि अपि मार्गाः दृश्यन्ते।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| शाननेन | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | by Claude Elwood Shannon |
| कृतम् | कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | authored, founded |
| शास्त्रम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | scientific treatise, Information Theory |
| संवादानाम् | सुबन्तरूपम् (षष्ठी, बहुवचनम्, पुंल्लिंगम्) | of communications, messages |
| महोदधौ | सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | in the vast ocean |
| यथा | अव्ययम् | just as |
| दीपेन | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | by a brilliant lamp |
| दृश्यन्ते | तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, बहुवचनम्) | are illuminated, seen |
| मार्गाः | सुबन्तरूपम् (प्रथमा, बहुवचनम्, पुंल्लिंगम्) | transmission channels, routes |
| गाढे | विशेषणम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) | in dense, pitch-black |
| तमसि | सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) | in darkness |
| अपि | अव्ययम् | even |
Information Theory & Telecommunications Commentary:
Shannon’s 1948 Bell System Technical Journal paper, ‘A Mathematical Theory of Communication’, is universally celebrated as the Magna Carta of the Information Age. In a single work, Shannon established entropy, channel capacity, error-correcting codes and source compression.
श्लोकः ६ (Verse 6)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
सर्व-सम्भाव्यतानाम् हि गणनम् क्रियते पदैः । मानम् यत् परमम् तत् हि संशयस्य निदर्शनम् ॥
अन्वयः:
पदैः सर्वसम्भाव्यतानां हि गणनं क्रियते, यत् परमं मानं तत् हि संशयस्य निदर्शनम्।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| सर्वसम्भाव्यतानाम् | सुबन्तरूपम् (षष्ठी, बहुवचनम्, स्त्रीलिंगम्) | of all event probabilities $p(x_i)$ |
| हि | अव्ययम् | indeed |
| गणनम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | mathematical computation |
| क्रियते | तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) | is executed |
| पदैः | सुबन्तरूपम् (तृतीया, बहुवचनम्, नपुंसकलिंगम्) | by terms in the summation |
| मानम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | quantitative metric |
| यत् | सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | which |
| परमम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | supreme, average uncertainty |
| तत् | सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | that |
| संशयस्य | सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) | of entropy / uncertainty |
| निदर्शनम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | exemplification, metric |
Information Theory & Telecommunications Commentary:
Entropy as Expected Surprise: Shannon entropy is the expected value of the information content: $H(X) = \mathbb{E}[I(X)] = \sum p(x) \log_2 rac{1}{p(x)}$. It quantifies the average number of bits required to encode the outcome of a random variable.
श्लोकः ७ (Verse 7)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
प्रायिकत्वेन संहत्य लघु-अङ्कम् गुणयेत् क्रमात् । ऋण-चिह्नेन संयुक्तम् तत् मूलम् शास्त्र-सम्मतम् ॥
अन्वयः:
प्रायिकत्वेन संहत्य क्रमात् लघ्वङ्कं गुणयेत्, ऋणचिह्नेन संयुक्तं तन्मूलं शास्त्रसम्मतम्।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| प्रायिकत्वेन | सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) | by probability $p(x)$ |
| संहत्य | कृदन्तरूपम् (ल्यप्) | having combined, aggregated |
| लघ्वङ्कम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) | the logarithm $\log_2(p(x))$ |
| गुणयेत् | तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) | one should multiply |
| क्रमात् | सुबन्तरूपम् (पञ्चमी, एकवचनम्, पुंल्लिंगम्) | sequentially ($\sum$) |
| ऋणचिह्नेन | सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) | ऋणस्य चिह्नेन (तत्पुरुषः); with a negative sign ($-$) |
| संयुक्तम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | conjoined with |
| तन्मूलम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | that foundational formula: $H(X) = -\sum p_i \log_2 p_i$ |
| शास्त्रसम्मतम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | sanctioned by mathematical doctrine |
Information Theory & Telecommunications Commentary:
The Negative Sign in Entropy: because probabilities $p(x) \le 1$, their logarithms $\log_2 p(x)$ are non-positive numbers ($\le 0$). Multiplying by $p(x)$ gives a negative sum. The negative sign outside the summation ensures that entropy $H(X)$ is always a positive quantity (or zero).
श्लोकः ८ (Verse 8)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
यदा समाना सर्वेषाम् सम्भावना प्रजायते । तदा एव परमम् मानम् संशयस्य विराजते ॥
अन्वयः:
यदा सर्वेषां समाना सम्भावना प्रजायते, तदा एव संशयस्य परमं मानं विराजते।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| यदा | अव्ययम् | when |
| समाना | विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | uniform, identical ($p_i = 1/n$) |
| सर्वेषाम् | सर्वनाम (षष्ठी, बहुवचनम्, पुंल्लिंगम्) | of all possible outcomes |
| सम्भावना | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | probability |
| प्रजायते | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | occurs |
| तदा एव | अव्यययुग्मम् | only then |
| परमम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | maximum ($H_{\max} = \log_2 n$) |
| मानम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | measure |
| संशयस्य | सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) | of entropy |
| विराजते | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | reigns, shines |
Information Theory & Telecommunications Commentary:
Maximum Entropy of the Uniform Distribution: for a discrete random variable with $n$ outcomes, $H(X) \le \log_2 n$, with equality if and only if $p(x_i) = rac{1}{n}$ for all $i$. A fair coin has maximum entropy of 1 bit; a biased coin has less than 1 bit because one outcome is favored.
श्लोकः ९ (Verse 9)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
निश्चिते तु विलीयेत शून्यम् एव उपपद्यते । एवम् सीमा-द्वयम् ज्ञेयम् गणितस्य प्रकाशने ॥
अन्वयः:
निश्चिते तु विलीयेत, शून्यम् एव उपपद्यते; गणितस्य प्रकाशने एवं सीमाद्वयं ज्ञेयम्।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| निश्चिते | विशेषणम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) | in a deterministic outcome ($p_k = 1, p_{j |
| e k} = 0$) | ||
| तु | अव्ययम् | however |
| विलीयेत | तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) | dissolves, disappears |
| शून्यम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | zero bits |
| एव | अव्ययम् | alone |
| उपपद्यते | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | results, yields |
| एवम् | अव्ययम् | thus |
| सीमाद्वयम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | the two boundary limits ($0 \le H(X) \le \log_2 n$) |
| ज्ञेयम् | कृदन्तरूपम् (यत्) | ought to be understood |
| गणितस्य | सुबन्तरूपम् (षष्ठी, एकवचनम्, नपुंसकलिंगम्) | of mathematics |
| प्रकाशने | सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) | in the illumination / derivation |
Information Theory & Telecommunications Commentary:
Lower Bound of Entropy: by convention, $0 \log_2 0 = \lim_{p o 0^+} p \log_2 p = 0$. When one event has probability 1, $H(X) = -(1 \log_2 1) = 0$. There is zero uncertainty and hence zero information can be gained.
श्लोकः १० (Verse 10)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
ताप-तन्त्रे यथा दृष्टम् तद्वत् अत्र अपि दृश्यते । अव्यवस्था-प्रमाणम् हि सूचनायाः परम् वपुः ॥
अन्वयः:
तापतन्त्रे यथा दृष्टं तद्वत् अत्र अपि दृश्यते, अव्यवस्थाप्रमाणं हि सूचनायाः परं वपुः।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| तापतन्त्रे | सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) | in thermodynamics (Boltzmann-Gibbs) |
| यथा … तद्वत् | अव्यययुग्मम् | just as … so too |
| दृष्टम् | कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | observed |
| अत्र | अव्ययम् | here in communication theory |
| अपि | अव्ययम् | also |
| दृश्यते | तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) | is seen |
| अव्यवस्थाप्रमाणम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | अव्यवस्थायाः प्रमाणम् (तत्पुरुषः); metric of disorder / microstate entropy |
| हि | अव्ययम् | indeed |
| सूचनायाः | सुबन्तरूपम् (षष्ठी, एकवचनम्, स्त्रीलिंगम्) | of information |
| परम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | supreme |
| वपुः | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | embodiment, form |
Information Theory & Telecommunications Commentary:
The Von Neumann Anecdote: when Shannon derived this formula, John von Neumann advised him to name it ‘entropy’ for two reasons: ‘First, the function has been used in statistical mechanics under that name, so it already has a name. In the second place and more importantly, no one really knows what entropy really is, so in a debate you will always have the advantage.’
श्लोकः ११ (Verse 11)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
द्वयोः सम्भाषणे जाते युक्ता भवति संस्थितिः । संयुक्त-संशयः नाम द्वयोः योगेन सिद्ध्यति ॥
अन्वयः:
द्वयोः सम्भाषणे जाते संस्थितिः युक्ता भवति, द्वयोः योगेन संयुक्तसंशयः नाम सिद्ध्यति।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| द्वयोः | संख्याविशेषणम् (षष्ठी, द्विवचनम्, पुंल्लिंगम्) | of two random variables ($X, Y$) |
| सम्भाषणे जाते | सतीसप्तमी प्रयोगः | when transmission/interaction occurs |
| युक्ता | विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | united, joint |
| भवति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | becomes |
| संस्थितिः | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | state, joint distribution |
| संयुक्तसंशयः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | संयुक्तः संशयः (कर्मधारयः); Joint Entropy $H(X, Y)$ |
| नाम | अव्ययम् | by name |
| द्वयोः | संख्याविशेषणम् (षष्ठी, द्विवचनम्, पुंल्लिंगम्) | of the two variables |
| योगेन | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | by joint union $p(x, y)$ |
| सिद्ध्यति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | is computed, derived |
Information Theory & Telecommunications Commentary:
Joint Entropy: $H(X, Y) = -\sum_x \sum_y p(x, y) \log_2 p(x, y)$. It measures the total uncertainty contained in the pair of random variables $(X, Y)$ considered as a single system. By subadditivity, $H(X, Y) \le H(X) + H(Y)$, with equality if and only if $X$ and $Y$ are statistically independent.
श्लोकः १२ (Verse 12)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
एके ज्ञाते द्वितीये तु यः संशयः अवशिष्यते । सः अधीन-संशयः नाम ज्ञेयः विज्ञातुम् इच्छुभिः ॥
अन्वयः:
एके ज्ञाते द्वितीये तु यः संशयः अवशिष्यते, विज्ञातुम् इच्छुभिः सः अधीनसंशयः नाम ज्ञेयः।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| एके ज्ञाते | सतीसप्तमी प्रयोगः | when one variable ($X$) is known |
| द्वितीये | सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) | in the second variable ($Y$) |
| तु | अव्ययम् | indeed |
| यः | सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) | which |
| संशयः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | residual uncertainty |
| अवशिष्यते | तिङन्तरूपम् (कर्मकर्तरि लट्, प्रथमपुरुषः, एकवचनम्) | remains |
| सः | सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) | that |
| अधीनसंशयः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | अधीनः संशयः (कर्मधारयः); Conditional Entropy $H(Y \mid X)$ |
| नाम | अव्ययम् | by name |
| ज्ञेयः | कृदन्तरूपम् (यत्) | must be known |
| विज्ञातुम् | तुमुन्-प्रत्ययान्तमव्ययम् | to comprehend |
| इच्छुभिः | विशेषणम् (तृतीया, बहुवचनम्, पुंल्लिंगम्) | by those desiring wisdom |
Information Theory & Telecommunications Commentary:
Conditional Entropy (Equivocation): $H(Y \mid X) = \sum_x p(x) H(Y \mid X = x) = -\sum_{x, y} p(x, y) \log_2 p(y \mid x)$. It quantifies the remaining uncertainty in output $Y$ after observing input $X$. If the channel is noiseless, $H(Y \mid X) = 0$.
श्लोकः १३ (Verse 13)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
उभयोः विद्यते यः तु सामान्यः सार-सङ्ग्रहः । परस्पर-आप्ति-संज्ञः असौ मार्गम् दर्शयति स्फुटम् ॥
अन्वयः:
उभयोः यः तु सामान्यः सारसङ्ग्रहः विद्यते, परस्पराप्तिसंज्ञः असौ स्फुटं मार्गं दर्शयति।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| उभयोः | सर्वनाम (षष्ठी, द्विवचनम्, पुंल्लिंगम्) | between both $X$ and $Y$ |
| विद्यते | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | exists |
| यः | सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) | which |
| तु | अव्ययम् | indeed |
| सामान्यः | विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | shared, common |
| सारसङ्ग्रहः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | core informational overlap |
| परस्पराप्तिसंज्ञः | विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | परस्परा आप्तिः संज्ञा यस्य सः (बहुव्रीहिः); bearing the name Mutual Information ($I(X; Y)$) |
| असौ | सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) | this metric |
| मार्गम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) | channel transmission fidelity |
| दर्शयति | तिङन्तरूपम् (णिजन्त लट्, प्रथमपुरुषः, एकवचनम्) | demonstrates |
| स्फुटम् | क्रियाविशेषणम् | clearly |
Information Theory & Telecommunications Commentary:
Mutual Information: $I(X; Y) = H(X) - H(X \mid Y) = H(Y) - H(Y \mid X) = H(X) + H(Y) - H(X, Y)$. It measures the reduction in uncertainty of $X$ due to the knowledge of $Y$. Symmetrical ($I(X; Y) = I(Y; X)$) and non-negative ($I(X; Y) \ge 0$), it represents the actual information successfully transported across the channel.
श्लोकः १४ (Verse 14)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
यथावत् छादिते वृत्ते ज्ञायते मध्यम-उच्चयः । तथा ज्ञान-अंश-संयोगः हि अन्योन्यम् सम्प्रवर्तते ॥
अन्वयः:
यथावत् छादिते वृत्ते यथा मध्यमोच्चयः ज्ञायते, तथा अन्योन्यं ज्ञानांशसंयोगः हि सम्प्रवर्तते।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| यथावत् | अव्ययम् | accurately, just as |
| छादिते | कृदन्तरूपम् (सप्तमी, द्विवचनम्, नपुंसकलिंगम्) | in overlapping (circles) |
| वृत्ते | सुबन्तरूपम् (सप्तमी, द्विवचनम्, नपुंसकलिंगम्) | in two geometric circles |
| ज्ञायते | तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) | is identified |
| मध्यमोच्चयः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | intersection, central overlap |
| तथा | अव्ययम् | so too |
| ज्ञानांशसंयोगः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | ज्ञानांशानां संयोगः (तत्पुरुषः); intersection of information sets |
| हि | अव्ययम् | verily |
| अन्योन्यम् | क्रियाविशेषणम् | mutually |
| सम्प्रवर्तते | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | flows, operates |
Information Theory & Telecommunications Commentary:
The Information Venn Diagram: $H(X)$ and $H(Y)$ are two overlapping circles. The left crescent is $H(X \mid Y)$, the right crescent is $H(Y \mid X)$, the union of both circles is $H(X, Y)$ and the intersection is Mutual Information $I(X; Y)$.
श्लोकः १५ (Verse 15)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
संस्कारेण न वर्धेत ज्ञानम् यत् पूर्व-सञ्चितम् । ह्रासम् एव व्रजेत् काले क्षीयमाणा परम्परा ॥
अन्वयः:
पूर्वसञ्चितं यत् ज्ञानं (तत्) संस्कारेण न वर्धेत, क्षीयमाणा परम्परा काले ह्रासम् एव व्रजेत्।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| संस्कारेण | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | by post-processing, algorithmic computation |
| न | अव्ययम् | never |
| वर्धेत | तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) | can expand, increase |
| ज्ञानम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | mutual information |
| यत् | सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | which |
| पूर्वसञ्चितम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | originally acquired at source |
| ह्रासम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) | decay, attenuation |
| एव | अव्ययम् | alone |
| व्रजेत् | तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) | goes to, suffers |
| काले | सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | over successive processing steps |
| क्षीयमाणा | कृदन्तरूपम् (शानच्, प्रथमा, एकवचनम्, स्त्रीलिंगम्) | decaying, attenuating |
| परम्परा | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | Markov chain $X o Y o Z$ |
Information Theory & Telecommunications Commentary:
The Data Processing Inequality: for any Markov chain $X o Y o Z$, $I(X; Y) \ge I(X; Z)$. No amount of clever post-processing, filtering, or deep neural network transformation can create new information about $X$ that was not already captured in $Y$. Computation can extract or discard information, but never create it.
श्लोकः १६ (Verse 16)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
सङ्केतैः लघुभिः कार्यम् प्रकाशनम् उदीरितम् । अव्ययम् साधनम् यद्वत् अल्प-अक्षर-समन्वितम् ॥
अन्वयः:
अव्ययं साधनं यद्वत् अल्पाक्षरसमन्वितं (स्यात्), लघुभिः सङ्केतैः प्रकाशनं कार्यम् उदीरितम्।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| सङ्केतैः | सुबन्तरूपम् (तृतीया, बहुवचनम्, पुंल्लिंगम्) | by binary codewords |
| लघुभिः | विशेषणम् (तृतीया, बहुवचनम्, पुंल्लिंगम्) | short, compact |
| कार्यम् | कृदन्तरूपम् (ण्यत्) | ought to be achieved |
| प्रकाशनम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | transmission, encoding |
| उदीरितम् | कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | proclaimed |
| अव्ययम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | economical, lossless |
| साधनम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | instrument, algorithm |
| यद्वत् | अव्ययम् | just as |
| अल्पाक्षरसमन्वितम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | अल्पैः अक्षरैः समन्वितम् (तत्पुरुषः); endowed with fewest characters/bits |
Information Theory & Telecommunications Commentary:
Lossless Data Compression: source coding seeks to eliminate redundancy. Like the grammatical aphorism of Pāṇini where saving half a mora is celebrated like the birth of a son (अर्धमात्रालाघवेन पुत्रोत्सवं मन्यन्ते वैयाकरणाः), optimal source coding encodes frequent symbols with the fewest possible bits.
श्लोकः १७ (Verse 17)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
वारम् वारम् समायाति यः शब्दः सः लघुः भवेत् । दुर्लभः यः तु लोके अस्मिन् दीर्घः तेन प्रयुज्यते ॥
अन्वयः:
यः शब्दः वारं वारं समायाति सः लघुः भवेत्, लोके यः तु दुर्लभः तेन दीर्घः प्रयुज्यते।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| वारं वारम् | वीप्सा-अव्ययम् | repeatedly, with high probability |
| समायाति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | appears |
| यः | सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) | which |
| शब्दः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | symbol, character |
| सः | सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) | its codeword |
| लघुः | विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | short, minimal bit length |
| भवेत् | तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) | should be |
| दुर्लभः | विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | rare ($p(x) \ll 1$) |
| लोकेऽस्मिन् | सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | in the dataset |
| दीर्घः | विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | long codeword |
| तेन | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | for that symbol |
| प्रयुज्यते | तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) | is allocated |
Information Theory & Telecommunications Commentary:
Variable-Length Optimal Coding: Morse Code anticipated this heuristically (assigning a single dot to the letter ‘E’, the most common letter in English and four symbols to ‘Q’). Shannon formalized this mathematically: optimal codeword length $l(x) pprox \log_2 rac{1}{p(x)}$.
श्लोकः १८ (Verse 18)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
संशयात् अल्प-मानेन न सङ्केतः प्रजायते । एषा सीमा उत्तमा प्रोक्ता निष्प्रमाद-प्रसारणे ॥
अन्वयः:
संशयात् अल्पमानेन सङ्केतः न प्रजायते, निष्प्रमादप्रसारणे एषा उत्तमा सीमा प्रोक्ता।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| संशयात् | सुबन्तरूपम् (पञ्चमी, एकवचनम्, पुंल्लिंगम्) | than the entropy $H(X)$ |
| अल्पमानेन | सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) | with a smaller average length ($ar{L} < H(X)$) |
| न | अव्ययम् | never |
| सङ्केतः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | lossless code |
| प्रजायते | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | is feasible, can be created |
| एषा | सर्वनाम (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | this |
| सीमा | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | fundamental boundary limit |
| उत्तमा | विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | supreme |
| प्रोक्ता | कृदन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | proclaimed |
| निष्प्रमादप्रसारणे | सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) | in lossless transmission |
Information Theory & Telecommunications Commentary:
Shannon’s Source Coding Theorem: the expected codeword length $ar{L} = \sum p(x) l(x)$ satisfies $ar{L} \ge H(X)$. Furthermore, by encoding blocks of $n$ symbols together, the average length per symbol can be made arbitrarily close to $H(X)$: $\lim_{n o \infty} rac{ar{L}_n}{n} = H(X)$. Entropy is the physical limit of compression.
श्लोकः १९ (Verse 19)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
अग्र-संज्ञाम् विना यः तु सङ्केतः न एव युज्यते । शीघ्रम् विदार्यते ग्रन्थिः सुगमेन एव वर्त्मना ॥
अन्वयः:
यः सङ्केतः अग्रसंज्ञां विना एव युज्यते, सुगमेन वर्त्मना एव शीघ्रं ग्रन्थिः विदार्यते।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| अग्रसंज्ञाम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, स्त्रीलिंगम्) | prefix collision (one word being the prefix of another) |
| विना | अव्ययम् | without (prefix-free property) |
| यः | सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) | which |
| सङ्केतः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | prefix code |
| युज्यते | तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) | is constructed |
| सुगमेन | विशेषणम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) | by an effortless, instantaneous |
| वर्त्मना | सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) | by pathway |
| शीघ्रम् | क्रियाविशेषणम् | instantaneously |
| ग्रन्थिः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | knot, bitstream ambiguity |
| विदार्यते | तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) | is parsed, decoded |
Information Theory & Telecommunications Commentary:
Prefix Codes and the Kraft Inequality: in an instantaneous prefix code, no valid codeword is a prefix of any other valid codeword. The decoder can parse bits on-the-fly without lookahead or comma markers. Kraft’s inequality proves that such codes exist if and only if $\sum 2^{-l_i} \le 1$.
श्लोकः २० (Verse 20)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
हफ्मनेन कृता रीतिः शाननस्य मते स्थिता । इष्टतमेन रूपेण संक्षिपति महत् धनम् ॥
अन्वयः:
शाननस्य मते स्थिता हफ्मनेन कृता रीतिः इष्टतमेन रूपेण महद्धनं संक्षिपति।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| हफ्मनेन | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | by David A. Huffman (1952) |
| कृता | कृदन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | created, innovated |
| रीतिः | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | the algorithm (Huffman coding tree) |
| शाननस्य | सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) | of Shannon |
| मते | सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) | in doctrine |
| स्थिता | विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | established |
| इष्टतमेन | विशेषणम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) | in globally optimal |
| रूपेण | सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) | in manner |
| संक्षिपति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | सम् + क्षिप्; compresses |
| महत् | विशेषणम् (द्वितीया, एकवचनम्, नपुंसकलिंगम्) | colossal |
| धनम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, नपुंसकलिंगम्) | data assets, files |
Information Theory & Telecommunications Commentary:
Huffman Coding Optimality: Huffman (1952) invented the bottom-up greedy binary tree that provably produces the minimal expected codeword length for any symbol-by-symbol code. Huffman codes form the backbone of modern compression algorithms (DEFLATE, GZIP, JPEG, MP3).
श्लोकः २१ (Verse 21)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
मार्गे प्रवहताम् नित्यम् विघ्नः तत्र उपपद्यते । नाद-संज्ञः समायाति विकृतिम् जनयन् बलात् ॥
अन्वयः:
मार्गे नित्यं प्रवहतां तत्र विघ्नः उपपद्यते, नादसंज्ञः बलात् विकृतिं जनयन् समायाति।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| मार्गे | सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | along the physical channel |
| प्रवहताम् | कृदन्तरूपम् (शतृ, षष्ठी, बहुवचनम्, पुंल्लिंगम्) | of streaming bits |
| नित्यम् | क्रियाविशेषणम् | perpetually |
| विघ्नः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | impediment, interference |
| तत्र | अव्ययम् | there |
| उपपद्यते | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | arises, manifests |
| नादसंज्ञः | विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | नादः संज्ञा यस्य सः (बहुव्रीहिः); bearing the name Noise ($N$) |
| समायाति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | enters the channel |
| विकृतिम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, स्त्रीलिंगम्) | distortion, bit-flips |
| जनयन् | कृदन्तरूपम् (शतृ, प्रथमा, एकवचनम्, पुंल्लिंगम्) | producing |
| बलात् | सुबन्तरूपम् (पञ्चमी, एकवचनम्, नपुंसकलिंगम्) | by thermal / physical force |
Information Theory & Telecommunications Commentary:
Physical Reality of the Noisy Channel: every physical transmission medium (copper wire, fiber optics, radio waves) is subject to physical noise (Johnson-Nyquist thermal noise, atmospheric attenuation, cross-talk). A transmitted input $X$ does not arrive deterministically as $X$, but as a corrupted output $Y$.
श्लोकः २२ (Verse 22)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
प्रेषिते शून्य-भागे तु कदाचित् एकताम् इयात् । एके अपि च विपर्यासः नाद-दोष-प्रकल्पितः ॥
अन्वयः:
शून्यभागे प्रेषिते तु कदाचित् एकताम् इयात्, एके अपि च नाददोषप्रकल्पितः विपर्यासः (भवति)।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| प्रेषिते | कृदन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | when transmitted (sati-saptamī) |
| शून्यभागे | सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | in a zero bit ($X = 0$) |
| तु | अव्ययम् | indeed |
| कदाचित् | अव्ययम् | sometimes |
| एकताम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, स्त्रीलिंगम्) | a one bit ($Y = 1$) |
| इयात् | तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) | इ (अदादिगणः); may become, flip into |
| एके | संख्याविशेषणम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) | in a transmitted one ($X = 1$) |
| अपि च | अव्यययुग्मम् | and also |
| विपर्यासः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | inversion, bit flip to 0 |
| नाददोषप्रकल्पितः | विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | नाददोषेण प्रकल्पितः (तृतीयातत्पुरुषः); manufactured by channel noise |
Information Theory & Telecommunications Commentary:
The Binary Symmetric Channel (BSC): the simplest canonical model of a noisy channel. If $X \in {0, 1}$ and $Y \in {0, 1}$, the crossover probability is $P(Y=1 \mid X=0) = P(Y=0 \mid X=1) = p$ and the correct transmission probability is $1-p$. A bit flip corrupts data if uncorrected.
श्लोकः २३ (Verse 23)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
संभ्रमे विहिते तस्मिन् व्यत्ययः दृश्यते स्फुटम् । सत्यम् न एव यथा-भूतम् प्राप्नोति ग्राहकः पथि ॥
अन्वयः:
तस्मिन् संभ्रमे विहिते व्यत्ययः स्फुटं दृश्यते, ग्राहकः पथि यथाभूतं सत्यं नैव प्राप्नोति।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| संभ्रमे | सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | in stochastic turmoil |
| विहिते | कृदन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | having been produced (sati-saptamī) |
| तस्मिन् | सर्वनाम (सप्तमी, एकवचनम्, पुंल्लिंगम्) | in that channel |
| व्यत्ययः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | corruption, transposition |
| दृश्यते | तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) | is seen |
| स्फुटम् | क्रियाविशेषणम् | conspicuously |
| सत्यम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, नपुंसकलिंगम्) | original transmitted truth |
| न एव | अव्यययुग्मम् | never indeed |
| यथाभूतम् | क्रियाविशेषणम् | in its pristine uncorrupted state |
| प्राप्नोति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | receives |
| ग्राहकः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | the receiving terminal / sink |
| पथि | सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | across the noisy path |
Information Theory & Telecommunications Commentary:
Unreliability of Naive Transmission: prior to Shannon, electrical engineers believed that to achieve zero error across a noisy channel, one had to either increase signal power towards infinity ($S o \infty$) or slow transmission speed down to zero. Shannon proved both assumptions false.
श्लोकः २४ (Verse 24)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
मातृका परिवर्तस्य दर्शयति अखिलम् फलम् । सम्भाव्यताम् विजानाति धीमान् दोषस्य सर्वथा ॥
अन्वयः:
परिवर्तस्य मातृका अखिलं फलं दर्शयति, धीमान् सर्वथा दोषस्य सम्भाव्यतां विजानाति।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| मातृका | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | channel transition probability matrix $[P(y \mid x)]$ |
| परिवर्तस्य | सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) | of channel transition / conditional mapping |
| दर्शयति | तिङन्तरूपम् (णिजन्त लट्, प्रथमपुरुषः, एकवचनम्) | illuminates, defines |
| अखिलम् | विशेषणम् (द्वितीया, एकवचनम्, नपुंसकलिंगम्) | entire |
| फलम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, नपुंसकलिंगम्) | stochastic behavior |
| सम्भाव्यताम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, स्त्रीलिंगम्) | error probability matrix |
| विजानाति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | understands |
| धीमान् | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | the communication theorist |
| दोषस्य | सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) | of bit error |
| सर्वथा | अव्ययम् | comprehensively |
Information Theory & Telecommunications Commentary:
Channel Transition Matrix: a Discrete Memoryless Channel is fully specified by an input alphabet $\mathcal{X}$, an output alphabet $\mathcal{Y}$ and a transition matrix $P(y \mid x)$. For the Binary Symmetric Channel, the matrix is $egin{bmatrix} 1-p & p \ p & 1-p \end{bmatrix}$.
श्लोकः २५ (Verse 25)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
न भीतिः विद्यते नादात् यदि शास्त्रम् समाश्रयेत् । रक्षण-अर्थम् प्रयुञ्जीत सङ्केतम् रक्षितम् दृढम् ॥
अन्वयः:
यदि शास्त्रं समाश्रयेत् नादात् भीतिः न विद्यते, रक्षणार्थं दृढं रक्षितं सङ्केतं प्रयुञ्जीत।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| न | अव्ययम् | no |
| भीतिः | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | dread, anxiety |
| विद्यते | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | exists |
| नादात् | सुबन्तरूपम् (पञ्चमी, एकवचनम्, पुंल्लिंगम्) | from channel noise |
| यदि | अव्ययम् | if |
| शास्त्रम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, नपुंसकलिंगम्) | Shannon’s information theory |
| समाश्रयेत् | तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) | one takes shelter in |
| रक्षणार्थम् | अव्ययरूपम् | for error protection |
| प्रयुञ्जीत | तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) | one should deploy |
| सङ्केतम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) | channel coding scheme |
| रक्षितम् | विशेषणम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) | resilient, error-correcting |
| दृढम् | क्रियाविशेषणम् | firmly, robustly |
Information Theory & Telecommunications Commentary:
The Foundation of Error Correction: noise does not mean communication must be imperfect. Shannon revealed that noise merely imposes an upper bound on transmission speed, not on transmission accuracy.
श्लोकः २६ (Verse 26)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
मार्गस्य हि परा सीमा सामर्थ्यम् इति कथ्यते । यत्र अधिकतमम् ज्ञानम् प्रवहति आदरेण वै ॥
अन्वयः:
मार्गस्य परा सीमा हि सामर्थ्यम् इति कथ्यते, यत्र अधिकतमं ज्ञानम् आदरेण प्रवहति वै।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| मार्गस्य | सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) | of the physical channel |
| परा सीमा | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | supreme upper bound limit |
| सामर्थ्यम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | Channel Capacity ($C$) |
| इति | अव्ययम् | thus |
| कथ्यते | तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) | is designated |
| यत्र | अव्ययम् | wherein |
| अधिकतमम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | maximal ($\max I(X; Y)$) |
| ज्ञानम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | mutual information |
| प्रवहति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | flows |
| आदरेण | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | with precision |
| वै | अव्ययम् | indeed |
Information Theory & Telecommunications Commentary:
Mathematical Definition of Channel Capacity: $C = \max_{p(x)} I(X; Y)$. It is the maximum rate at which information can be transmitted reliably over a channel, measured in bits per channel use. It depends solely on the physical channel transition probabilities $P(y \mid x)$.
श्लोकः २७ (Verse 27)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
निवेशस्य विधानेन वर्धयेत् प्रयत्नतः गतिम् । परस्पर-आप्ति-सारस्य यत् उच्चम् मानम् आप्यते ॥
अन्वयः:
निवेशस्य विधानेन प्रयत्नतः गतिं वर्धयेत्, यत् परस्पराप्तिसारस्य उच्चं मानम् आप्यते।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| निवेशस्य | सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) | of the input distribution $P(X)$ |
| विधानेन | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | by the structural optimization |
| वर्धयेत् | तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) | one should increase |
| प्रयत्नतः | तसिल्-प्रत्ययान्तम् अव्ययम् | diligently |
| गतिम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, स्त्रीलिंगम्) | rate of transmission |
| परस्पराप्तिसारस्य | सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) | of mutual information $I(X; Y)$ |
| यत् | सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | which |
| उच्चम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | highest, supremum |
| मानम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | capacity value |
| आप्यते | तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) | is achieved |
Information Theory & Telecommunications Commentary:
Maximizing Mutual Information: finding capacity is a convex optimization problem over the probability simplex $\Delta_{|\mathcal{X}|}$. Algorithms like the Blahut-Arimoto algorithm compute this maximum iteratively for arbitrary discrete memoryless channels.
श्लोकः २८ (Verse 28)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
नाद-युक्ते अपि मार्गे तु सीमा तिष्ठति अचञ्चला । न तस्याः लङ्घनम् शक्यम् नियमः अयम् निसर्ग-जः ॥
अन्वयः:
नादयुक्ते मार्गे अपि सीमा तु अचञ्चला तिष्ठति, तस्याः लङ्घनं न शक्यम्, अयम् निसर्गजः नियमः।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| नादयुक्ते | विशेषणम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | in a noisy |
| अपि | अव्ययम् | even |
| मार्गे | सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | channel |
| सीमा | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | the capacity limit $C$ |
| तु | अव्ययम् | indeed |
| अचञ्चला | विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | unshakeable, immutable |
| तिष्ठति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | stands |
| न | अव्ययम् | not |
| तस्याः | सर्वनाम (षष्ठी, एकवचनम्, स्त्रीलिंगम्) | of that capacity limit |
| लङ्घनम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | transgression, exceeding |
| शक्यम् | कृदन्तरूपम् (यत्, प्रथमा, एकवचनम्, नपुंसकलिंगम्) | possible |
| नियमः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | law |
| अयम् | सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) | this |
| निसर्गजः | विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | born of nature, fundamental physical law |
Information Theory & Telecommunications Commentary:
Physical Reality of Capacity: just as Einstein’s $c$ represents the speed limit of light in a vacuum, Shannon’s $C$ represents the fundamental speed limit of information transfer. No algorithm, quantum trick, or engineering ingenuity can transmit data reliably at a rate $R > C$.
श्लोकः २९ (Verse 29)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
यदि नादः भवेत् शून्यः पूर्णम् सामर्थ्यम् उच्यते । सम्पूर्णाे संभ्रमे जाते ह्रासः भवति दारुणः ॥
अन्वयः:
यदि नादः शून्यः भवेत्, सामर्थ्यं पूर्णम् उच्यते; सम्पूर्णे संभ्रमे जाते दारुणः ह्रासः भवति।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| यदि | अव्ययम् | if |
| नादः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | noise crossover probability $p$ |
| शून्यः | विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | zero ($p = 0$) |
| भवेत् | तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) | should be |
| पूर्णम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | full, 1 bit per channel use |
| सामर्थ्यम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | capacity |
| उच्यते | तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) | is stated |
| सम्पूर्णे | विशेषणम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | in total ($p = 0.5$) |
| संभ्रमे जाते | सतीसप्तमी प्रयोगः | when total confusion occurs |
| दारुणः | विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | catastrophic, total |
| ह्रासः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | collapse to $C = 0$ |
| भवति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | takes place |
Information Theory & Telecommunications Commentary:
BSC Capacity Curve: for a Binary Symmetric Channel, $C = 1 - H_b(p) = 1 + p \log_2 p + (1-p) \log_2(1-p)$. When $p = 0$, $C = 1 - 0 = 1$ bit/use. When $p = 0.5$ (pure random noise), $H_b(0.5) = 1$, so $C = 1 - 1 = 0$ bits/use. Even with $p = 0.5$, bits flow, but zero information gets through.
श्लोकः ३० (Verse 30)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
प्रमाणेन विनिर्णीते सामर्थ्ये सति पण्डितः । वेगम् नियमयति एव न वृथा धावति क्षितौ ॥
अन्वयः:
प्रमाणेन सामर्थ्ये विनिर्णीते सति पण्डितः वेगं नियमयति एव, क्षितौ वृथा न धावति।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| प्रमाणेन | सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) | by mathematical calculation |
| सामर्थ्ये विनिर्णीते सति | सतीसप्तमी प्रयोगः | when capacity has been determined |
| पण्डितः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | the wise engineer |
| वेगम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) | transmission rate $R$ |
| नियमयति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | regulates, constrains ($R < C$) |
| एव | अव्ययम् | indeed |
| न | अव्ययम् | not |
| वृथा | अव्ययम् | futilely, recklessly |
| धावति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | runs, pushes beyond capacity |
| क्षितौ | सुबन्तरूपम् (सप्तमी, एकवचनम्, स्त्रीलिंगम्) | in the field / engineering practice |
Information Theory & Telecommunications Commentary:
Operating Below Capacity: knowledge of $C$ dictates network protocol design. Attempting to push throughput beyond $C$ produces fatal packet corruption. Operating just below $C$ ($R < C$) guarantees error-free communication.
श्लोकः ३१ (Verse 31)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
अभूतम् अद्भुतम् च एव शाननेन प्रकाशितम् । नाद-युक्ते अपि संचारे शुद्धिः सम्भाव्यते परम् ॥
अन्वयः:
शाननेन अभूतम् अद्भुतं च एव प्रकाशितम्: नादयुक्ते संचारे अपि परं शुद्धिः सम्भाव्यते।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| अभूतम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | unprecedented, never witnessed before |
| अद्भुतम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | miraculous, astonishing |
| च एव | अव्यययुग्मम् | and also |
| शाननेन | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | by Claude Shannon |
| प्रकाशितम् | कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | illuminated, demonstrated |
| नादयुक्ते | विशेषणम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | in noise-corrupted |
| अपि | अव्ययम् | even |
| संचारे | सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | in communication transmission |
| शुद्धिः | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | absolute correctness ($P_e o 0$) |
| सम्भाव्यते | तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) | is mathematically feasible |
| परम् | क्रियाविशेषणम् | supremely, perfectly |
Information Theory & Telecommunications Commentary:
The Shock of the Noisy-Channel Coding Theorem: before 1948, it was widely believed that noise inevitably introduced uncorrectable errors unless power approached infinity. Shannon demonstrated that noise does not corrupt data fundamentally; it merely imposes a rate limit $C$. Below $C$, reliable communication with vanishingly small error is possible.
श्लोकः ३२ (Verse 32)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
सामर्थ्यात् न्यून-वेगेन यदा प्रेष्येत सञ्चयः । तदा दोषः विलीयेत शून्य-प्रायः भविष्यति ॥
अन्वयः:
यदा सामर्थ्यात् न्यूनवेगेन सञ्चयः प्रेष्येत, तदा दोषः विलीयेत, शून्यप्रायः भविष्यति।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| सामर्थ्यात् | सुबन्तरूपम् (पञ्चमी, एकवचनम्, नपुंसकलिंगम्) | than Channel Capacity ($C$) |
| न्यूनवेगेन | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | at a lower rate ($R < C$) |
| यदा | अव्ययम् | when |
| प्रेष्येत | तिङन्तरूपम् (कर्मणि विधिलिङ्, प्रथमपुरुषः, एकवचनम्) | is transmitted |
| सञ्चयः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | data payload, message block |
| तदा | अव्ययम् | then |
| दोषः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | bit error probability ($P_e$) |
| विलीयेत | तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) | dissolves, vanishes |
| शून्यप्रायः | विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | शून्यस्य प्रायः (तत्पुरुषः); vanishingly close to zero ($P_e o 0$) |
| भविष्यति | तिङन्तरूपम् (लृट्, प्रथमपुरुषः, एकवचनम्) | will become |
Information Theory & Telecommunications Commentary:
Noisy-Channel Coding Theorem: For any channel with capacity $C$ and any rate $R < C$, there exists a sequence of $(2^{nR}, n)$ block codes such that the maximum probability of error $P_e^{(n)} o 0$ as block length $n o \infty$. Conversely, if $R > C$, the probability of error is bounded away from zero.
श्लोकः ३३ (Verse 33)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
दीर्घ-सङ्केत-पुञ्जेषु युक्तेषु च समन्ततः । दोषस्य विजयः न एव सत्यम् एव प्रतिष्ठते ॥
अन्वयः:
दीर्घसङ्केतपुञ्जेषु समन्ततः युक्तेषु च, दोषस्य विजयः नैव (भवति), सत्यम् एव प्रतिष्ठते।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| दीर्घसङ्केतपुञ्जेषु | सुबन्तरूपम् (सप्तमी, बहुवचनम्, पुंल्लिंगम्) | in long codeword blocks as $n o \infty$ |
| युक्तेषु | कृदन्तरूपम् (सप्तमी, बहुवचनम्, पुंल्लिंगम्) | deployed, configured |
| च | अव्ययम् | and |
| समन्ततः | तसिल्-प्रत्ययान्तम् अव्ययम् | in all directions |
| दोषस्य | सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) | of channel error |
| विजयः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | victory |
| न एव | अव्यययुग्मम् | never indeed |
| सत्यम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | original transmitted message |
| एव | अव्ययम् | alone |
| प्रतिष्ठते | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | stands vindicated, restored |
Information Theory & Telecommunications Commentary:
Random Coding and Typicality: Shannon’s mathematical proof relied on random coding. By randomly selecting $2^{nR}$ codewords in high-dimensional hyperspace ($n o \infty$), the spheres of noise around each valid codeword (typical sets) do not overlap, allowing the receiver to decode the exact transmitted message with near-certainty.
श्लोकः ३४ (Verse 34)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
अतिरिक्तानि युञ्जीत चिह्नानि रक्षणाय वै । यथा एकेन विनष्टेन न नाशः सम्प्रजायते ॥
अन्वयः:
रक्षणाय वै अतिरिक्तानि चिह्नानि युञ्जीत, यथा एकेन विनष्टेन नाशः न सम्प्रजायते।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| अतिरिक्तानि | विशेषणम् (द्वितीया, बहुवचनम्, नपुंसकलिंगम्) | redundant, parity check |
| युञ्जीत | तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) | one should append / encode |
| चिह्नानि | सुबन्तरूपम् (द्वितीया, बहुवचनम्, नपुंसकलिंगम्) | parity bits, check symbols |
| रक्षणाय | सुबन्तरूपम् (चतुर्थी, एकवचनम्, नपुंसकलिंगम्) | for forward error correction (FEC) |
| वै | अव्ययम् | verily |
| यथा | अव्ययम् | so that |
| एकेन विनष्टेन | सतीसप्तमी प्रयोगः | when one single bit is corrupted |
| नाशः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | loss of packet / message |
| न | अव्ययम् | not |
| सम्प्रजायते | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | takes place |
Information Theory & Telecommunications Commentary:
Forward Error Correction (FEC): from Hamming codes and Reed-Solomon codes to modern Turbo codes and Low-Density Parity-Check (LDPC) codes, redundant parity bits allow receivers to detect and mathematically reconstruct corrupted bits without requesting a retransmission.
श्लोकः ३५ (Verse 35)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
इति सामर्थ्य-सीमायाः अधस्तात् यदि वर्तते । शुद्धम् संवाद-साम्राज्यम् लभते साधकः भुवि ॥
अन्वयः:
इति यदि सामर्थ्यसीमायाः अधस्तात् वर्तते, साधकः भुवि शुद्धं संवादसाम्राज्यं लभते।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| इति | अव्ययम् | thus |
| सामर्थ्यसीमायाः | सुबन्तरूपम् (षष्ठी, एकवचनम्, स्त्रीलिंगम्) | of the channel capacity limit $C$ |
| अधस्तात् | अव्ययम् | strictly below ($R < C$) |
| यदि | अव्ययम् | if |
| वर्तते | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | operates |
| शुद्धम् | विशेषणम् (द्वितीया, एकवचनम्, नपुंसकलिंगम्) | flawless, error-free |
| संवादसाम्राज्यम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, नपुंसकलिंगम्) | empire of communication, telecommunications network |
| लभते | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | attains |
| साधकः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | the communications engineer |
| भुवि | सुबन्तरूपम् (सप्तमी, एकवचनम्, स्त्रीलिंगम्) | on earth |
Information Theory & Telecommunications Commentary:
The Foundation of the Modern Internet: 5G cellular networks, undersea transoceanic fiber cables, deep space radio transmission from the Voyager probes and Wi-Fi all function because modern LDPC and Polar codes operate within a fraction of a decibel of Shannon’s capacity limit.
श्लोकः ३६ (Verse 36)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
तरङ्गे प्रसरति उच्चैः सातत्यम् दृश्यते पदे । विस्तारेण च कालेन बद्धम् तन्त्रम् प्रकाशते ॥
अन्वयः:
तरङ्गे उच्चैः प्रसरति (सति) पदे सातत्यं दृश्यते, विस्तारेण कालेन च बद्धं तन्त्रं प्रकाशते।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| तरङ्गे | सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | in electromagnetic wave / carrier signal |
| प्रसरति | कृदन्तरूपम् (शतृ, सप्तमी, एकवचनम्, पुंल्लिंगम्) | rippling through medium (sati-saptamī) |
| उच्चैः | अव्ययम् | high, radiating |
| सातत्यम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | continuity, analog waveform |
| दृश्यते | तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) | is observed |
| पदे | सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) | in physical space |
| विस्तारेण | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | by frequency bandwidth ($B$) |
| च | अव्ययम् | and |
| कालेन | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | by duration of time ($T$) |
| बद्धम् | कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | bounded, constrained |
| तन्त्रम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | continuous transmission system |
| प्रकाशते | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | manifests, functions |
Information Theory & Telecommunications Commentary:
Continuous Channels and Nyquist Sampling: an analog signal bandlimited to $B$ Hz can be completely reconstructed without loss by sampling at the Nyquist rate of $2B$ samples per second. Over duration $T$, a signal is fully described by a $2BT$-dimensional vector.
श्लोकः ३७ (Verse 37)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
पट्ट-विस्तार-संज्ञः च शक्तिः च प्रबला मता । नाद-शक्त्या विभागेन गुणः भवति शोभनः ॥
अन्वयः:
पट्टविस्तारसंज्ञः च प्रबला शक्तिः च मता, नादशक्त्या विभागेन शोभनः गुणः भवति।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| पट्टविस्तारसंज्ञः | विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | bearing the name Bandwidth ($B$) |
| च | अव्ययम् | and |
| शक्तिः | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | transmitted signal power ($S$) |
| प्रबला | विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | formidable, primary factor |
| मता | कृदन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | considered |
| नादशक्त्या | सुबन्तरूपम् (तृतीया, एकवचनम्, स्त्रीलिंगम्) | by noise power ($N$) |
| विभागेन | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | by division ($S / N$) |
| गुणः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | ratio, Signal-to-Noise Ratio (SNR) |
| भवति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | becomes |
| शोभनः | विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | pivotal, radiant |
Information Theory & Telecommunications Commentary:
Signal-to-Noise Ratio (SNR): the ratio of signal power to noise power, $ ext{SNR} = rac{S}{N}$. In Gaussian noise, higher transmitter power increases the radius of distinguishable signal points, boosting mutual information.
श्लोकः ३८ (Verse 38)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
द्व्यङ्क-लघु-अङ्क-योगेन सीमा संजायते परा । शानन-हार्टली-न्यायः जगत्सु विश्रुतः अभवत् ॥
अन्वयः:
द्व्यङ्कलघ्वङ्कयोगेन परा सीमा संजायते, शानन-हार्टली-न्यायः जगत्सु विश्रुतः अभवत्।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| द्व्यङ्कलघ्वङ्कयोगेन | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | by $\log_2(1 + S/N)$ |
| सीमा | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | channel capacity $C$ |
| संजायते | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | is generated |
| परा | विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | supreme, maximum |
| शानन-हार्टली-न्यायः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | the Shannon-Hartley Law: $C = B \log_2(1 + S/N)$ |
| जगत्सु | सुबन्तरूपम् (सप्तमी, बहुवचनम्, नपुंसकलिंगम्) | throughout the worlds |
| विश्रुतः | कृदन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | celebrated, famous |
| अभवत् | तिङन्तरूपम् (लङ्, प्रथमपुरुषः, एकवचनम्) | became |
Information Theory & Telecommunications Commentary:
The Shannon-Hartley Theorem: $C = B \log_2\left(1 + rac{S}{N}
ight)$ bits/second. This equation is the foundation of telecommunications. It proves that bandwidth and signal-to-noise ratio can be traded off against each other: a narrow channel with high power can carry the same data as a wide channel with low power.
श्लोकः ३९ (Verse 39)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
विस्तारे वर्धिते च अपि सीमा न एव अन्तम् उज्झति । शक्तेः अभावे सामर्थ्यम् न एव गच्छति अनन्तताम् ॥
अन्वयः:
विस्तारे वर्धिते अपि सीमा अन्तम् नैव उज्झति, शक्तेः अभावे सामर्थ्यम् अनन्ततां नैव गच्छति।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| विस्तारे वर्धिते | सतीसप्तमी प्रयोगः | when bandwidth ($B$) is expanded ($B o \infty$) |
| च अपि | अव्यययुग्मम् | and even |
| सीमा | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | channel capacity |
| न एव | अव्यययुग्मम् | never indeed |
| अन्तम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) | finite bound |
| उज्झति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | abandons |
| शक्तेः | सुबन्तरूपम् (षष्ठी, एकवचनम्, स्त्रीलिंगम्) | of power |
| अभावे | सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | in absence, when power $S$ is finite |
| सामर्थ्यम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | capacity |
| अनन्तताम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, स्त्रीलिंगम्) | infinity ($\infty$) |
| गच्छति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | reaches |
Information Theory & Telecommunications Commentary:
Infinite Bandwidth Limit: because total noise power is $N = N_0 B$, expanding bandwidth also admits more noise. Taking the limit as $B o \infty$: $\lim_{B o \infty} B \log_2\left(1 + rac{S}{N_0 B}
ight) = rac{S}{N_0} \log_2 e pprox 1.442 rac{S}{N_0}$ bits/sec. Infinite bandwidth does NOT give infinite capacity if power is finite.
श्लोकः ४० (Verse 40)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
तन्तु-जालेषु यत् दृष्टम् व्योम-सञ्चारके अपि च । एतेन एव विधानेन सर्वम् जगति बध्यते ॥
अन्वयः:
तन्तुजालेषु व्योमसञ्चारके अपि च यत् दृष्टम्, एतेन विधानेन एव जगति सर्वं बध्यते।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| तन्तुजालेषु | सुबन्तरूपम् (सप्तमी, बहुवचनम्, नपुंसकलिंगम्) | तन्तूनां जालेषु (तत्पुरुषः); in fiber optic networks |
| व्योमसञ्चारके | सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | व्योम्नः सञ्चारके (तत्पुरुषः); in satellite / deep space wireless channels |
| अपि च | अव्यययुग्मम् | and also |
| यत् | सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | which communication |
| दृष्टम् | कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | observed |
| एतेन | सर्वनाम (तृतीया, एकवचनम्, पुंल्लिंगम्) | by this |
| विधानेन | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | by the Shannon-Hartley Law |
| सर्वम् | सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | everything |
| जगति | सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) | in the connected world |
| बध्यते | तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) | is bounded, governed |
Information Theory & Telecommunications Commentary:
Universal Reach: the Shannon-Hartley theorem governs everything from undersea cables carrying petabits of transatlantic internet traffic to Wi-Fi 7 routers to interplanetary communication links transmitting images from Mars.
श्लोकः ४१ (Verse 41)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
यदा न शक्यते पूर्णम् रक्षणम् सर्वथा पदे । कियती विकृतिः ग्राह्या विचार्यम् तत् विचक्षणैः ॥
अन्वयः:
यदा पदे सर्वथा पूर्णं रक्षणं न शक्यते, तदा कियती विकृतिः ग्राह्या, तत् विचक्षणैः विचार्यम्।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| यदा | अव्ययम् | when |
| न शक्यते | क्रियापदम् | is not possible |
| पूर्णम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | perfect, lossless |
| रक्षणम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | preservation of every bit |
| सर्वथा | अव्ययम् | under severe bandwidth constraints |
| पदे | सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) | in transmission |
| कियती | सर्वनाम (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | how much |
| विकृतिः | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | distortion, fidelity error ($D$) |
| ग्राह्या | कृदन्तरूपम् (ण्यत्, प्रथमा, एकवचनम्, स्त्रीलिंगम्) | acceptable, tolerable |
| विचार्यम् | कृदन्तरूपम् (तव्यत्) | ought to be evaluated |
| तत् | सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | that trade-off |
| विचक्षणैः | सुबन्तरूपम् (तृतीया, बहुवचनम्, पुंल्लिंगम्) | by discerning engineers |
Information Theory & Telecommunications Commentary:
Lossy Data Compression: for continuous signals like speech, music and video, exact lossless representation requires infinite bits. Rate-Distortion theory formalizes the optimal trade-off: what is the minimum bit rate $R$ needed to guarantee distortion $\le D$?
श्लोकः ४२ (Verse 42)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
अल्पे वेगे प्रयुक्ते तु विकृतिः वर्धते भृशम् । वेगे प्रवृद्धे विकृतिः ह्रासम् गच्छति सर्वशः ॥
अन्वयः:
अल्पे वेगे प्रयुक्ते तु विकृतिः भृशं वर्धते, वेगे प्रवृद्धे विकृतिः सर्वशः ह्रासं गच्छति।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| अल्पे वेगे | सतीसप्तमी प्रयोगः | when a low bitrate $R$ is used |
| प्रयुक्ते | कृदन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | deployed |
| तु | अव्ययम् | indeed |
| विकृतिः | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | distortion ($D$) |
| वर्धते | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | escalates |
| भृशम् | क्रियाविशेषणम् | severely |
| वेगे प्रवृद्धे | सतीसप्तमी प्रयोगः | as bitrate $R$ is expanded |
| ह्रासम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) | diminution, decay |
| गच्छति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | reaches |
| सर्वशः | शस्-प्रत्ययान्तम् अव्ययम् | comprehensively |
Information Theory & Telecommunications Commentary:
Monotonicity of Rate-Distortion: $R(D) = \min_{p(\hat{x} \mid x): \mathbb{E}[d(x, \hat{x})] \le D} I(X; \hat{X})$. The Rate-Distortion function $R(D)$ is a strictly decreasing, convex function of distortion $D$. Higher fidelity demands higher bitrate; lower bitrate forces higher compression distortion.
श्लोकः ४३ (Verse 43)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
नेत्रयोः श्रवणस्य अपि सीमाम् ज्ञात्वा प्रयत्नतः । अनावश्यकम् अंशम् तु त्यजति ज्ञान-पारगः ॥
अन्वयः:
नेत्रयोः श्रवणस्य अपि सीमां प्रयत्नतः ज्ञात्वा, ज्ञानपारगः अनावश्यकम् अंशं तु त्यजति।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| नेत्रयोः | सुबन्तरूपम् (षष्ठी, द्विवचनम्, नपुंसकलिंगम्) | of the two eyes (visual perception) |
| श्रवणस्य | सुबन्तरूपम् (षष्ठी, एकवचनम्, नपुंसकलिंगम्) | of hearing (auditory perception) |
| अपि | अव्ययम् | also |
| सीमाम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, स्त्रीलिंगम्) | perceptual resolution thresholds |
| ज्ञात्वा | कृदन्तरूपम् (क्त्वा) | having understood |
| प्रयत्नतः | तसिल्-प्रत्ययान्तम् अव्ययम् | with precision |
| अनावश्यकम् | विशेषणम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) | imperceptible, inaudible, redundant |
| अंशम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) | frequency component / visual detail |
| तु | अव्ययम् | indeed |
| त्यजति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | discards, quantizes away |
| ज्ञानपारगः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | ज्ञानस्य पारं गच्छति इति (उपपदसमासः); the master compression engineer |
Information Theory & Telecommunications Commentary:
Perceptual Lossy Encoding: human sensory organs cannot perceive high-frequency audio masked by louder tones (psychoacoustics in MP3/AAC) or subtle high-frequency chroma variations (chroma subsampling and DCT quantization in JPEG/H.264/AV1). Rate-distortion theory quantifies which bits can be safely discarded.
श्लोकः ४४ (Verse 44)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
चित्राणि च ध्वनिः च एव लघु-रूपम् समाश्रिताः । विकृतौ सहनीयायाम् सुखेन सञ्चरन्ति अहो ॥
अन्वयः:
चित्राणि ध्वनिः च एव लघुरूपं समाश्रिताः, सहनीयायां विकृतौ (सत्यां) सुखेन सञ्चरन्ति अहो।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| चित्राणि | सुबन्तरूपम् (प्रथमा, बहुवचनम्, नपुंसकलिंगम्) | images, video frames |
| च … च एव | अव्ययत्रयम् | and audio as well |
| ध्वनिः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | sound, music streams |
| लघुरूपम् | सुबन्तरूपम् (द्वितीया, एकवचनम्, नपुंसकलिंगम्) | compact compressed representation |
| समाश्रिताः | कृदन्तरूपम् (प्रथमा, बहुवचनम्, पुंल्लिंगम्/नपुंसकलिंगम्) | having adopted |
| विकृतौ | सुबन्तरूपम् (सप्तमी, एकवचनम्, स्त्रीलिंगम्) | in distortion |
| सहनीयायाम् | विशेषणम् (सप्तमी, एकवचनम्, स्त्रीलिंगम्) | imperceptible, tolerable |
| सुखेन | क्रियाविशेषणम् | seamlessly, effortlessly |
| सञ्चरन्ति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, बहुवचनम्) | stream across networks |
| अहो | अव्ययम् | lo! wonder |
Information Theory & Telecommunications Commentary:
Streaming Video and Audio Revolution: uncompressed 4K video requires over 12 Gbps of throughput. Rate-distortion algorithms (HEVC/AV1) compress this to under 25 Mbps: a 500-to-1 compression ratio with near-zero perceived loss in visual quality.
श्लोकः ४५ (Verse 45)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
एवम् त्यागेन संसिद्धम् लाघवम् परम-उत्तमम् । विस्तारे सीमिते च अपि प्रवहति आदरात् कथा ॥
अन्वयः:
एवं त्यागेन परमोत्तमं लाघवं संसिद्धम्, सीमिते विस्तारे अपि कथा आदरात् प्रवहति।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| एवम् | अव्ययम् | in this manner |
| त्यागेन | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | by discarding non-essential bits |
| संसिद्धम् | कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | achieved, perfected |
| लाघवम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | compression lightness / brevity |
| परमोत्तमम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | supreme |
| विस्तारे | सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | in bandwidth channel |
| सीमिते | विशेषणम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | in narrow, constrained |
| च अपि | अव्यययुग्मम् | and even |
| प्रवहति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | flows |
| आदरात् | क्रियाविशेषणम् | faithfully |
| कथा | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | human communication / media narrative |
Information Theory & Telecommunications Commentary:
Rate-distortion theory proves that perfection is not when there is nothing more to add, but when there is nothing more to take away without violating the distortion threshold.
श्लोकः ४६ (Verse 46)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
गूढ-लेखस्य शास्त्रे अपि शाननेन कृतः श्रमः । परमम् रक्षणम् यत् च तत् सिद्धम् गणितेन वै ॥
अन्वयः:
गूढलेखस्य शास्त्रे अपि शाननेन श्रमः कृतः, यत् च परमं रक्षणं तत् गणितेन सिद्धं वै।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| गूढलेखस्य | सुबन्तरूपम् (षष्ठी, एकवचनम्, नपुंसकलिंगम्) | of cryptography, secrecy systems |
| शास्त्रे | सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) | in the science |
| अपि | अव्ययम् | also |
| शाननेन | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | by Claude Shannon (1949) |
| कृतः | कृदन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | undertaken |
| श्रमः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | pioneering labor |
| परमम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | perfect, absolute |
| रक्षणम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | unbreakable secrecy |
| यत् | सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | which |
| च | अव्ययम् | and |
| तत् | सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | that |
| सिद्धम् | कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | proven |
| गणितेन | सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) | by pure mathematics |
| वै | अव्ययम् | verily |
Information Theory & Telecommunications Commentary:
Shannon’s 1949 Cryptography Paper: ‘Communication Theory of Secrecy Systems’ transformed cryptography from an art of code-makers and code-breakers into a branch of information theory, proving that security can be analyzed with mathematical rigor.
श्लोकः ४७ (Verse 47)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
कुञ्चिका यदि तुल्या स्यात् सन्देशेन प्रमाणतः । एक-वार-प्रयुक्ता च न तत्-भेदः कदाचन ॥
अन्वयः:
कुञ्चिका यदि प्रमाणतः सन्देशेन तुल्या स्यात् एकवारप्रयुक्ता च (स्यात्), कदाचन तद्भेदः न (भवति)।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| कुञ्चिका | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | secret key ($K$) |
| यदि | अव्ययम् | if |
| तुल्या | विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | equal in length ($H(K) \ge H(M)$) |
| स्यात् | तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) | should be |
| सन्देशेन | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | with the plaintext message ($M$) |
| प्रमाणतः | तसिल्-प्रत्ययान्तम् अव्ययम् | in entropy / length |
| एकवारप्रयुक्ता | विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | used exactly once (One-Time Pad) |
| च | अव्ययम् | and |
| न | अव्ययम् | never |
| तद्भेदः | सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) | तस्य भेदः (तत्पुरुषः); cracking / deciphering |
| कदाचन | अव्ययम् | at any time whatsoever |
Information Theory & Telecommunications Commentary:
Shannon’s Proof of Perfect Secrecy: Perfect secrecy requires $P(M \mid C) = P(M)$, meaning observing ciphertext $C$ provides zero information about message $M$ ($I(M; C) = 0$). Shannon proved that perfect secrecy is possible if and only if the key entropy is at least as large as the message entropy: $H(K) \ge H(M)$ (the One-Time Pad).
श्लोकः ४८ (Verse 48)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
गणितस्य बलेन एव जगत् सञ्चार-संयुतम् । अदृष्टम् ग्रथितम् सर्वम् विद्युत्-मार्गेषु धावति ॥
अन्वयः:
गणितस्य बलेन एव जगत् सञ्चारसंयुतं (जातम्), ग्रथितम् अदृष्टं सर्वं विद्युन्मार्गेषु धावति।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| गणितस्य | सुबन्तरूपम् (षष्ठी, एकवचनम्, नपुंसकलिंगम्) | of mathematics |
| बलेन | सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) | by the strength |
| एव | अव्ययम् | alone |
| जगत् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | the entire globe |
| सञ्चारसंयुतम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | endowed with telecommunication connectivity |
| अदृष्टम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | invisible to the naked eye |
| ग्रथितम् | कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | interwoven into network fabric |
| सर्वम् | सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | all knowledge and discourse |
| विद्युन्मार्गेषु | सुबन्तरूपम् (सप्तमी, बहुवचनम्, पुंल्लिंगम्) | विद्युतः मार्गेषु (तत्पुरुषः); across optical and electronic circuits |
| धावति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | rushes, streams |
Information Theory & Telecommunications Commentary:
The Global Information Mesh: Shannon’s theory transformed abstract mathematical concepts into physical global infrastructure: fiber-optic backbones, internet routing, mobile cellular towers and satellite constellations.
श्लोकः ४९ (Verse 49)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
शाननस्य प्रसादेन युगम् नूतनम् आगतम् । द्व्यङ्केषु सर्व-विज्ञानाम् प्रतिष्ठा संस्थिता परा ॥
अन्वयः:
शाननस्य प्रसादेन नूतनं युगम् आगतम्, द्व्यङ्केषु सर्वविज्ञानां परा प्रतिष्ठा संस्थिता।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| शाननस्य | सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) | of Claude Shannon |
| प्रसादेन | सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) | by the intellectual grace / gift |
| युगम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | epoch, age |
| नूतनम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | the Digital Information Age |
| आगतम् | कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | arrived, commenced |
| द्व्यङ्केषु | सुबन्तरूपम् (सप्तमी, बहुवचनम्, पुंल्लिंगम्) | within binary bits (0s and 1s) |
| सर्वविज्ञानाम् | सुबन्तरूपम् (षष्ठी, बहुवचनम्, नपुंसकलिंगम्) | of all sciences and arts |
| प्रतिष्ठा | सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | foundation, sovereign pedestal |
| संस्थिता | कृदन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | firmly established |
| परा | विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) | supreme |
Information Theory & Telecommunications Commentary:
Universal Digitization: text, speech, symphonies, paintings, medical scans, genome sequences and mathematical theorems are all encoded as bits. Shannon demonstrated that a bit is the universal substrate of all information.
श्लोकः ५० (Verse 50)
अनुष्टुभ् (Anuṣṭubh)
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary
पदच्छेदः:
इति पञ्चाशता श्लोकैः सूचना-शास्त्रम् उत्तमम् । संवादे यः विजानाति सः लोके जयति ध्रुवम् ॥
अन्वयः:
इति पञ्चाशता श्लोकैः उत्तमं सूचनाशास्त्रं (कृतम्), संवादे यः विजानाति सः लोके ध्रुवं जयति।
व्याकरणम् (Morphological & Syntactic Analysis):
| पदम् (Word) | व्याकरण-विभागः (Grammatical Category) | विवरणम् (Pāṇinian Derivation & Meaning) |
|---|---|---|
| इति | अव्ययम् | thus concludes |
| पञ्चाशता | सुबन्तरूपम् (तृतीया, एकवचनम्, स्त्रीलिंगम्) | by fifty |
| श्लोकैः | सुबन्तरूपम् (तृतीया, बहुवचनम्, पुंल्लिंगम्) | by metered verses |
| सूचनाशास्त्रम् | सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | सूचनायाः शास्त्रम् (तत्पुरुषः); Information Theory |
| उत्तमम् | विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) | sublime, supreme |
| संवादे | सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | in digital and analog communication |
| यः | सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) | whoever |
| विजानाति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | masters, comprehends |
| सः | सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) | he |
| लोके | सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) | in the technological world |
| जयति | तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) | triumphs |
| ध्रुवम् | क्रियाविशेषणम् | indisputably, eternally |
Information Theory & Telecommunications Commentary:
The Concluding Benediction: mastering entropy, mutual information, source coding, channel capacity, error-correction and rate-distortion gives an engineer total intellectual sovereignty over the fundamental mechanics of the connected universe.
Comprehensive Theoretical Summary Matrix
| सर्गः (Canto) | मुख्यविषयः (Core Topic) | शास्त्रीयसंज्ञा (Classical Sanskrit Term) | Mathematical Equation | Engineering Signification |
|---|---|---|---|---|
| Canto 1 | Uncertainty & Bits | संशयप्रमाणम् (Saṁśayapramāṇam) | $I(x) = -\log_2 p(x)$ | Information as Uncertainty Reduction |
| Canto 2 | Shannon Entropy | मूलान्तरङ्गएन्ट्रोपी (Mūlāntaraṅga-Entropī) | $H(X) = -\sum p_i \log_2 p_i$ | Average Information per Symbol |
| Canto 3 | Mutual Information | परस्पराप्तिसारः (Parasparāptisāraḥ) | $I(X; Y) = H(X) - H(X \mid Y)$ | Shared Information Across Channel |
| Canto 4 | Source Coding Theorem | स्रोतसङ्केतनम् (Srotasaṅketanam) | $\bar{L} \ge H(X)$ | Theoretical Limit of Lossless Compression |
| Canto 5 | Noisy Channel Model | नादयुक्तमार्गः (Nādayuktamārgaḥ) | $P(y \mid x)$ Matrix | Transition Probabilities & Bit Flips |
| Canto 6 | Channel Capacity | मार्गसामर्थ्यम् (Mārgasāmarthyam) | $C = \max_{p(x)} I(X; Y)$ | Universal Physical Throughput Ceiling |
| Canto 7 | Noisy Channel Coding | दोषनिवारकसङ्केतनम् (Doṣanivārakasaṅketanam) | $P_e \to 0 \iff R < C$ | Reliable Communication Across Noise |
| Canto 8 | Continuous Channels | सातत्यसीमान्यायः (Sātat Yasīmānyāyaḥ) | $C = B \log_2(1 + S/N)$ | Bandwidth-Power Trade-off in Analog Media |
| Canto 9 | Rate-Distortion Theory | विकृतिदरसिद्धान्तः (Vikṛtidarasiddhāntaḥ) | $R(D) = \min I(X; \hat{X})$ | Optimal Lossy Compression Limits |
| Canto 10 | Cryptography & Synthesis | गूढलेखसिद्धिः (Gūḍhalekhasiddhiḥ) | $H(M \mid C) = H(M)$ | Mathematical Proof of Perfect Secrecy |
Classical Technical Sanskrit Information Lexicon (पारिभाषिककोशः)
- सूचना (Sūcanā): Information; the quantitative measure of resolved uncertainty.
- द्व्यङ्कः (Dvyaṅkaḥ): Bit (Binary Digit); the fundamental atomic unit of information ($0$ or $1$).
- संशयः (Saṁśayaḥ): Entropy ($H$); the expected uncertainty or disorder of a probabilistic source.
- अधीनसंशयः (Adhīnasaṁśayaḥ): Conditional Entropy / Equivocation ($H(Y \mid X)$); remaining uncertainty given prior knowledge.
- परस्पराप्तिः (Parasparāptiḥ): Mutual Information ($I(X; Y)$); the shared information transferred across a channel.
- स्रोतसङ्केतनम् (Srotasaṅketanam): Source Coding; lossless data compression mapping symbols to optimal prefix codes.
- मार्गसामर्थ्यम् (Mārgasāmarthyam): Channel Capacity ($C$); the maximum achievable mutual information over a transmission medium.
- नादः (Nādaḥ): Channel Noise ($N$); physical interference corrupting transmitted waveforms or bits.
- पट्टविस्तारः (Paṭṭavistāraḥ): Bandwidth ($B$); the frequency spectrum width allocated for transmission.
- विकृतिदरः (Vikṛtidaraḥ): Rate-Distortion ($R(D)$); the minimum bit rate required to keep lossy distortion within bound $D$.
Concluding Theoretical Synthesis
Claude Shannon unified the physical and abstract worlds under the sovereign jurisdiction of probability and mathematics. As codified in the Sūcanā-pañcāśikā, Information Theory demonstrates that neither distance, noise, nor physical distortion can extinguish human communication so long as transmission honors the eternal laws of nature: compressing redundant speech to its entropy, shielding bits with structured parity and respecting the immutable speed limit of Channel Capacity. Across optical fibers, atmospheric waves and digital matrices, Shannon’s equations illuminate the interconnected cosmos.