सूचनापञ्चाशिका : संवादनियमावली

Claude Shannon’s Mathematical Theory of Communication: A Fifty-Verse Sanskrit Treatise on Information, Entropy and Channel Capacity

Composed by: Vedant Madane & Antigravity
Meter: Strict Classical Pāṇinian Anuṣṭubh (अनुष्टुभ्, 32 syllables per verse)
Structure: 10 Cantos (सर्गाः), 50 Verses (पद्यानि) with complete Padaccheda, Morphological & Syntactic Analysis and Communications Systems Commentary.


Philosophical & Mathematical Prologue

In 1948, Claude Elwood Shannon published A Mathematical Theory of Communication in the Bell System Technical Journal, founding modern Information Theory. Shannon achieved what few thinkers in human history have accomplished: he created an entire scientific discipline ex nihilo. By defining information as the resolution of uncertainty, defining the bit as its atomic unit, establishing entropy as the universal compression limit and proving that reliable communication is possible over noisy channels up to Channel Capacity, Shannon architected the foundations of the digital civilization.

The Sūcanā-pañcāśikā (सूचनापञ्चाशिका : संवादनियमावली) codifies the entirety of Shannon’s information theory into fifty metered Sanskrit verses in the classical Anuṣṭubh meter. Every verse adheres strictly to the grammatical canons of Pāṇini and the prosodic rules of Piṅgala, bridging classical Indian epistemology (Pramāṇa-Śāstra) with the foundational mathematical equations of modern telecommunications.

Architectural Map of the Ten Cantos

  1. प्रथमः सर्गः - संशयप्रमाणतत्त्वम् (Uncertainty, Probability & Information Measurement): Verses 1-5. Information as the resolution of uncertainty; decoupling from semantics; defining the bit (द्व्यङ्कः).
  2. द्वितीयः सर्गः - मूलान्तरङ्गएन्ट्रोपी (Information Entropy Formula): Verses 6-10. Derivation of Shannon Entropy $H(X) = -\sum p(x) \log_2 p(x)$; maximum entropy of uniform distribution; thermodynamic parallels.
  3. तृतीयः सर्गः - समवायसंयोगज्ञानम् (Joint, Conditional & Mutual Information): Verses 11-15. Joint entropy $H(X, Y)$; conditional entropy (equivocation); Mutual Information $I(X; Y)$; Data Processing Inequality.
  4. चतुर्थः सर्गः - स्रोतसङ्केतनक्रमः (Source Coding Theorem & Lossless Compression): Verses 16-20. Shannon’s First Fundamental Theorem; entropy as compression limit; prefix codes; Kraft inequality; Huffman coding.
  5. पञ्चमः सर्गः - नादयुक्तमार्गस्वरूपम् (The Discrete Noisy Channel & Transition Matrices): Verses 21-25. Discrete Memoryless Channel (DMC); channel transition matrix $P(y \mid x)$; Binary Symmetric Channel (BSC); crossover probability.
  6. षष्ठः सर्गः - मार्गसामर्थ्यनिर्णयः (Channel Capacity & Mutual Information Maximization): Verses 26-30. Capacity definition $C = \max_{p(x)} I(X; Y)$; physical immutability of capacity; BSC capacity curve $C = 1 - H_b(p)$.
  7. सप्तमः सर्गः - दोषनिवारकसङ्केतनम् (Channel Coding Theorem & Error Correction): Verses 31-35. Shannon’s Second Fundamental Theorem; achieving $P_e \to 0$ for rates $R < C$; random coding; forward error correction (FEC).
  8. अष्टमः सर्गः - सातत्यमार्गसीमान्यायः (Continuous Channel & Shannon-Hartley Law): Verses 36-40. Continuous Gaussian channels (AWGN); the legendary Shannon-Hartley theorem $C = B \log_2(1 + S/N)$; infinite bandwidth limit.
  9. नवमः सर्गः - विकृतिदरसिद्धान्तः (Rate-Distortion Theory & Lossy Compression): Verses 41-45. Lossy compression foundations; distortion measures $d(x, \hat{x})$; Rate-Distortion function $R(D)$; perceptual audio and image coding.
  10. दशमः सर्गः - विश्वसंवादसिद्धिः (Cryptography, Communication & Universal Synthesis): Verses 46-50. Perfect secrecy proof $H(M \mid C) = H(M)$; the unbreakable One-Time Pad; Shannon’s legacy founding the digital epoch.

श्लोकः १ (Verse 1)

अनुष्टुभ् (Anuṣṭubh)

संशयस्य विनाशाच्च सूचना संप्रजायते ।
अज्ञाते लभ्यते ज्ञानं यत्र सम्भाविता गतिः ॥ १ ॥
English Translation: From the elimination of uncertainty alone is information born; where outcomes are governed by probability, genuine knowledge is harvested from the unknown.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
संशयस्य विनाशात् च सूचना सम्प्रजायते । अज्ञाते लभ्यते ज्ञानम् यत्र सम्भाविता गतिः ॥

अन्वयः:
संशयस्य विनाशात् च सूचना सम्प्रजायते, यत्र सम्भाविता गतिः (अस्ति) अज्ञाते ज्ञानं लभ्यते।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
संशयस्य सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) of doubt, entropy, uncertainty
विनाशात् सुबन्तरूपम् (पञ्चमी, एकवचनम्, पुंल्लिंगम्) from the destruction, resolution
च अव्ययम् and
सूचना सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) information
सम्प्रजायते तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) सम् + प्र + जन्; is born, generated
अज्ञाते सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) in the unknown, prior state
लभ्यते तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) is obtained
ज्ञानम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) knowledge, resolved bits
यत्र अव्ययम् where
सम्भाविता विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) probabilistic, stochastic
गतिः सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) course of events, distribution

Information Theory & Telecommunications Commentary:
Claude Shannon’s core philosophical breakthrough: information is fundamentally a measure of freedom of choice or uncertainty. If you already know tomorrow’s sunrise with 100% certainty, receiving a message stating ‘the sun rose’ conveys exactly zero information. Information exists only when uncertainty is resolved.

श्लोकः २ (Verse 2)

अनुष्टुभ् (Anuṣṭubh)

नार्थस्य गौरवेणैव मापनं क्रियते बुधैः ।
अनिश्चितत्वमानेन प्रमाणं परिकीर्त्यते ॥ २ ॥
English Translation: The measure of information is never calculated by emotional or semantic importance; by the metric of prior uncertainty alone is its true magnitude proclaimed.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
न अर्थस्य गौरवेण एव मापनम् क्रियते बुधैः । अनिश्चितत्व-मानेन प्रमाणम् परिकीर्त्यते ॥

अन्वयः:
बुधैः अर्थस्य गौरवेण एव मापनं न क्रियते, अनिश्चितत्वमानेन प्रमाणं परिकीर्त्यते।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
न अव्ययम् not
अर्थस्य सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) of semantic meaning / significance
गौरवेण सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) by emotional weight / prestige
एव अव्ययम् alone
मापनम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) quantification, measurement
क्रियते तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) is executed
बुधैः सुबन्तरूपम् (तृतीया, बहुवचनम्, पुंल्लिंगम्) by information theorists
अनिश्चितत्वमानेन सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) अनिश्चितत्वस्य मानेन (तत्पुरुषः); by the measure of prior uncertainty
प्रमाणम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) mathematical magnitude
परिकीर्त्यते तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) is formally enunciated

Information Theory & Telecommunications Commentary:
Shannon explicitly decoupled engineering communication from semantic meaning: ‘The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point. Frequently the messages have meaning; that is they refer to or are correlated according to some system with certain physical or conceptual entities. These semantic aspects of communication are irrelevant to the engineering problem.’

श्लोकः ३ (Verse 3)

अनुष्टुभ् (Anuṣṭubh)

यद्भवत्येव नित्यं तु तत्र नैवास्ति काचन ।
आकस्मिके समायाते महती भासते मितिः ॥ ३ ॥
English Translation: For that which inevitably occurs with certainty, zero information exists; when a rare and unexpected event strikes, a colossal measure of information shines forth.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
यत् भवति एव नित्यम् तु तत्र न एव अस्ति काचन । आकस्मिके समायाते महती भासते मितिः ॥

अन्वयः:
यत् नित्यं भवति एव तत्र काचन (सूचना) नैवास्ति, आकस्मिके समायाते महती मितिः भासते।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
यत् सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) whatever event
भवति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) occurs
एव अव्ययम् definitely
नित्यम् क्रियाविशेषणम् perpetually ($p = 1.0$)
तु अव्ययम् indeed
तत्र अव्ययम् therein
न एव अस्ति सन्धिः (नैवास्ति) there is none at all
काचन सर्वनाम (प्रथमा, एकवचनम्, स्त्रीलिंगम्) any information whatsoever
आकस्मिके विशेषणम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) in a rare, improbable event ($p o 0$)
समायाते कृदन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) having arrived (sati-saptamī)
महती विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) immense
भासते तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) shines, registers
मितिः सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) measure, quantity of bits

Information Theory & Telecommunications Commentary:
Surprise Value: the information content of an event $x$ with probability $p(x)$ is $I(x) = \log_2 rac{1}{p(x)} = -\log_2 p(x)$. If an event has $p = 1$, $-\log_2(1) = 0$ bits. If an event has $p = rac{1}{1024}$, it carries $-\log_2(1/1024) = 10$ bits of surprise.

श्लोकः ४ (Verse 4)

अनुष्टुभ् (Anuṣṭubh)

लघ्वङ्कमानयोगेन द्व्यङ्केनेति प्रकल्प्यते ।
शून्यमेकं च रूपं यत्संसारं व्याप्नुवत्स्थितम् ॥ ४ ॥
English Translation: Through logarithmic calculation, it is structured as the binary digit or 'bit'; that duality of zero and one which stands pervading the modern cosmos.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
लघु-अङ्क-मान-योगेन द्व्यङ्केन इति प्रकल्प्यते । शून्यम् एकम् च रूपम् यत् संसारम् व्याप्नुवत् स्थितम् ॥

अन्वयः:
लघ्वङ्कमानयोगेन द्व्यङ्केन इति प्रकल्प्यते, यत् शून्यम् एकं च रूपं संसारं व्याप्नुवत् स्थितम्।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
लघ्वङ्कमानयोगेन सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) लघ्वङ्कस्य मानेन योगः तेन (तत्पुरुषः); through logarithmic measurement ($\log_2$)
द्व्यङ्केन सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) as a binary digit (bit)
इति अव्ययम् thus
प्रकल्प्यते तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) is formulated
शून्यम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) zero (0)
एकम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) one (1)
च अव्ययम् and
रूपम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) the binary form
यत् सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) which
संसारम् सुबन्तरूपम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) the entire universe
व्याप्नुवत् कृदन्तरूपम् (शतृ-प्रत्ययः, प्रथमा, एकवचनम्, नपुंसकलिंगम्) pervading, saturating
स्थितम् कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) standing, established

Information Theory & Telecommunications Commentary:
The Coining of the Bit: John Tukey suggested the term ‘bit’ (contracted from binary digit) to Shannon, who formalized it in 1948 as the standard unit of information: the amount of information required to choose between two equally likely alternatives ($-\log_2(1/2) = 1$ bit).

श्लोकः ५ (Verse 5)

अनुष्टुभ् (Anuṣṭubh)

शाननेन कृतं शास्त्रं संवादानां महोदधौ ।
यथा दीपेन दृश्यन्ते मार्गा गाढे तमस्यपि ॥ ५ ॥
English Translation: Across the vast ocean of communication, this monumental science was authored by Claude Shannon, just as shining pathways are revealed by a lamp even within dense darkness.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
शाननेन कृतम् शास्त्रम् संवादानाम् महा-उदधौ । यथा दीपेन दृश्यन्ते मार्गाः गाढे तमसि अपि ॥

अन्वयः:
संवादानां महोदधौ शाननेन शास्त्रं कृतम्, यथा दीपेन गाढे तमसि अपि मार्गाः दृश्यन्ते।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
शाननेन सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) by Claude Elwood Shannon
कृतम् कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) authored, founded
शास्त्रम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) scientific treatise, Information Theory
संवादानाम् सुबन्तरूपम् (षष्ठी, बहुवचनम्, पुंल्लिंगम्) of communications, messages
महोदधौ सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) in the vast ocean
यथा अव्ययम् just as
दीपेन सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) by a brilliant lamp
दृश्यन्ते तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, बहुवचनम्) are illuminated, seen
मार्गाः सुबन्तरूपम् (प्रथमा, बहुवचनम्, पुंल्लिंगम्) transmission channels, routes
गाढे विशेषणम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) in dense, pitch-black
तमसि सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) in darkness
अपि अव्ययम् even

Information Theory & Telecommunications Commentary:
Shannon’s 1948 Bell System Technical Journal paper, ‘A Mathematical Theory of Communication’, is universally celebrated as the Magna Carta of the Information Age. In a single work, Shannon established entropy, channel capacity, error-correcting codes and source compression.

श्लोकः ६ (Verse 6)

अनुष्टुभ् (Anuṣṭubh)

सर्वसम्भाव्यतानां हि गणनं क्रियते पदैः ।
मानं यत्परमं तद्धि संशयस्य निदर्शनम् ॥ ६ ॥
English Translation: Across every probabilistic state, calculation is performed term by term; that supreme resultant measure stands as the definitive portrait of uncertainty.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
सर्व-सम्भाव्यतानाम् हि गणनम् क्रियते पदैः । मानम् यत् परमम् तत् हि संशयस्य निदर्शनम् ॥

अन्वयः:
पदैः सर्वसम्भाव्यतानां हि गणनं क्रियते, यत् परमं मानं तत् हि संशयस्य निदर्शनम्।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
सर्वसम्भाव्यतानाम् सुबन्तरूपम् (षष्ठी, बहुवचनम्, स्त्रीलिंगम्) of all event probabilities $p(x_i)$
हि अव्ययम् indeed
गणनम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) mathematical computation
क्रियते तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) is executed
पदैः सुबन्तरूपम् (तृतीया, बहुवचनम्, नपुंसकलिंगम्) by terms in the summation
मानम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) quantitative metric
यत् सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) which
परमम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) supreme, average uncertainty
तत् सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) that
संशयस्य सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) of entropy / uncertainty
निदर्शनम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) exemplification, metric

Information Theory & Telecommunications Commentary:
Entropy as Expected Surprise: Shannon entropy is the expected value of the information content: $H(X) = \mathbb{E}[I(X)] = \sum p(x) \log_2 rac{1}{p(x)}$. It quantifies the average number of bits required to encode the outcome of a random variable.

श्लोकः ७ (Verse 7)

अनुष्टुभ् (Anuṣṭubh)

प्रायिकत्वेन संहत्य लघ्वङ्कं गुणयेत्क्रमात् ।
ऋणचिह्नेन संयुक्तं तन्मूलं शास्त्रसम्मतम् ॥ ७ ॥
English Translation: Multiplying each event's probability by its base-two logarithm and prefixing the sum with a negative sign, that foundational formula is sanctioned by theory.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
प्रायिकत्वेन संहत्य लघु-अङ्कम् गुणयेत् क्रमात् । ऋण-चिह्नेन संयुक्तम् तत् मूलम् शास्त्र-सम्मतम् ॥

अन्वयः:
प्रायिकत्वेन संहत्य क्रमात् लघ्वङ्कं गुणयेत्, ऋणचिह्नेन संयुक्तं तन्मूलं शास्त्रसम्मतम्।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
प्रायिकत्वेन सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) by probability $p(x)$
संहत्य कृदन्तरूपम् (ल्यप्) having combined, aggregated
लघ्वङ्कम् सुबन्तरूपम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) the logarithm $\log_2(p(x))$
गुणयेत् तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) one should multiply
क्रमात् सुबन्तरूपम् (पञ्चमी, एकवचनम्, पुंल्लिंगम्) sequentially ($\sum$)
ऋणचिह्नेन सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) ऋणस्य चिह्नेन (तत्पुरुषः); with a negative sign ($-$)
संयुक्तम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) conjoined with
तन्मूलम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) that foundational formula: $H(X) = -\sum p_i \log_2 p_i$
शास्त्रसम्मतम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) sanctioned by mathematical doctrine

Information Theory & Telecommunications Commentary:
The Negative Sign in Entropy: because probabilities $p(x) \le 1$, their logarithms $\log_2 p(x)$ are non-positive numbers ($\le 0$). Multiplying by $p(x)$ gives a negative sum. The negative sign outside the summation ensures that entropy $H(X)$ is always a positive quantity (or zero).

श्लोकः ८ (Verse 8)

अनुष्टुभ् (Anuṣṭubh)

यदा समाना सर्वेषां सम्भावना प्रजायते ।
तदैव परमं मानं संशयस्य विराजते ॥ ८ ॥
English Translation: Only when all possible outcomes share perfectly equal probability does uncertainty attain its maximum possible value.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
यदा समाना सर्वेषाम् सम्भावना प्रजायते । तदा एव परमम् मानम् संशयस्य विराजते ॥

अन्वयः:
यदा सर्वेषां समाना सम्भावना प्रजायते, तदा एव संशयस्य परमं मानं विराजते।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
यदा अव्ययम् when
समाना विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) uniform, identical ($p_i = 1/n$)
सर्वेषाम् सर्वनाम (षष्ठी, बहुवचनम्, पुंल्लिंगम्) of all possible outcomes
सम्भावना सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) probability
प्रजायते तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) occurs
तदा एव अव्यययुग्मम् only then
परमम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) maximum ($H_{\max} = \log_2 n$)
मानम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) measure
संशयस्य सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) of entropy
विराजते तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) reigns, shines

Information Theory & Telecommunications Commentary:
Maximum Entropy of the Uniform Distribution: for a discrete random variable with $n$ outcomes, $H(X) \le \log_2 n$, with equality if and only if $p(x_i) = rac{1}{n}$ for all $i$. A fair coin has maximum entropy of 1 bit; a biased coin has less than 1 bit because one outcome is favored.

श्लोकः ९ (Verse 9)

अनुष्टुभ् (Anuṣṭubh)

निश्चिते तु विलीयेत शून्यमेवोपपद्यते ।
एवं सीमाद्वयं ज्ञेयं गणितस्य प्रकाशने ॥ ९ ॥
English Translation: When an outcome is certain, uncertainty dissolves completely, resulting in exactly zero; thus are the two boundary limits recognized in mathematical analysis.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
निश्चिते तु विलीयेत शून्यम् एव उपपद्यते । एवम् सीमा-द्वयम् ज्ञेयम् गणितस्य प्रकाशने ॥

अन्वयः:
निश्चिते तु विलीयेत, शून्यम् एव उपपद्यते; गणितस्य प्रकाशने एवं सीमाद्वयं ज्ञेयम्।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
निश्चिते विशेषणम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) in a deterministic outcome ($p_k = 1, p_{j
e k} = 0$)    
तु अव्ययम् however
विलीयेत तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) dissolves, disappears
शून्यम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) zero bits
एव अव्ययम् alone
उपपद्यते तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) results, yields
एवम् अव्ययम् thus
सीमाद्वयम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) the two boundary limits ($0 \le H(X) \le \log_2 n$)
ज्ञेयम् कृदन्तरूपम् (यत्) ought to be understood
गणितस्य सुबन्तरूपम् (षष्ठी, एकवचनम्, नपुंसकलिंगम्) of mathematics
प्रकाशने सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) in the illumination / derivation

Information Theory & Telecommunications Commentary:
Lower Bound of Entropy: by convention, $0 \log_2 0 = \lim_{p o 0^+} p \log_2 p = 0$. When one event has probability 1, $H(X) = -(1 \log_2 1) = 0$. There is zero uncertainty and hence zero information can be gained.

श्लोकः १० (Verse 10)

अनुष्टुभ् (Anuṣṭubh)

तापतन्त्रे यथा दृष्टं तद्वदत्रापि दृश्यते ।
अव्यवस्थाप्रमाणं हि सूचनायाः परं वपुः ॥ १० ॥
English Translation: Just as observed in thermodynamics, identically so is it witnessed here; the statistical measure of disorder constitutes the supreme physical form of information.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
ताप-तन्त्रे यथा दृष्टम् तद्वत् अत्र अपि दृश्यते । अव्यवस्था-प्रमाणम् हि सूचनायाः परम् वपुः ॥

अन्वयः:
तापतन्त्रे यथा दृष्टं तद्वत् अत्र अपि दृश्यते, अव्यवस्थाप्रमाणं हि सूचनायाः परं वपुः।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
तापतन्त्रे सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) in thermodynamics (Boltzmann-Gibbs)
यथा … तद्वत् अव्यययुग्मम् just as … so too
दृष्टम् कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) observed
अत्र अव्ययम् here in communication theory
अपि अव्ययम् also
दृश्यते तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) is seen
अव्यवस्थाप्रमाणम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) अव्यवस्थायाः प्रमाणम् (तत्पुरुषः); metric of disorder / microstate entropy
हि अव्ययम् indeed
सूचनायाः सुबन्तरूपम् (षष्ठी, एकवचनम्, स्त्रीलिंगम्) of information
परम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) supreme
वपुः सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) embodiment, form

Information Theory & Telecommunications Commentary:
The Von Neumann Anecdote: when Shannon derived this formula, John von Neumann advised him to name it ‘entropy’ for two reasons: ‘First, the function has been used in statistical mechanics under that name, so it already has a name. In the second place and more importantly, no one really knows what entropy really is, so in a debate you will always have the advantage.’

श्लोकः ११ (Verse 11)

अनुष्टुभ् (Anuṣṭubh)

द्वयोः सम्भाषणे जाते युक्ता भवति संस्थितिः ।
संयुक्तसंशयो नाम द्वयोर्योगेन सिद्ध्यति ॥ ११ ॥
English Translation: When transmission unfolds between two interacting variables, a composite state emerges; known as Joint Entropy, it is forged through their combined union.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
द्वयोः सम्भाषणे जाते युक्ता भवति संस्थितिः । संयुक्त-संशयः नाम द्वयोः योगेन सिद्ध्यति ॥

अन्वयः:
द्वयोः सम्भाषणे जाते संस्थितिः युक्ता भवति, द्वयोः योगेन संयुक्तसंशयः नाम सिद्ध्यति।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
द्वयोः संख्याविशेषणम् (षष्ठी, द्विवचनम्, पुंल्लिंगम्) of two random variables ($X, Y$)
सम्भाषणे जाते सतीसप्तमी प्रयोगः when transmission/interaction occurs
युक्ता विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) united, joint
भवति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) becomes
संस्थितिः सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) state, joint distribution
संयुक्तसंशयः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) संयुक्तः संशयः (कर्मधारयः); Joint Entropy $H(X, Y)$
नाम अव्ययम् by name
द्वयोः संख्याविशेषणम् (षष्ठी, द्विवचनम्, पुंल्लिंगम्) of the two variables
योगेन सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) by joint union $p(x, y)$
सिद्ध्यति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) is computed, derived

Information Theory & Telecommunications Commentary:
Joint Entropy: $H(X, Y) = -\sum_x \sum_y p(x, y) \log_2 p(x, y)$. It measures the total uncertainty contained in the pair of random variables $(X, Y)$ considered as a single system. By subadditivity, $H(X, Y) \le H(X) + H(Y)$, with equality if and only if $X$ and $Y$ are statistically independent.

श्लोकः १२ (Verse 12)

अनुष्टुभ् (Anuṣṭubh)

एके ज्ञाते द्वितीये तु यः संशयोऽवशिष्यते ।
सोऽधीनसंशयो नाम ज्ञेयो विज्ञातुमिच्छुभिः ॥ १२ ॥
English Translation: Once one variable is known, whatever residual uncertainty remains in the other is proclaimed as Conditional Entropy by truth-seeking analysts.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
एके ज्ञाते द्वितीये तु यः संशयः अवशिष्यते । सः अधीन-संशयः नाम ज्ञेयः विज्ञातुम् इच्छुभिः ॥

अन्वयः:
एके ज्ञाते द्वितीये तु यः संशयः अवशिष्यते, विज्ञातुम् इच्छुभिः सः अधीनसंशयः नाम ज्ञेयः।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
एके ज्ञाते सतीसप्तमी प्रयोगः when one variable ($X$) is known
द्वितीये सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) in the second variable ($Y$)
तु अव्ययम् indeed
यः सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) which
संशयः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) residual uncertainty
अवशिष्यते तिङन्तरूपम् (कर्मकर्तरि लट्, प्रथमपुरुषः, एकवचनम्) remains
सः सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) that
अधीनसंशयः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) अधीनः संशयः (कर्मधारयः); Conditional Entropy $H(Y \mid X)$
नाम अव्ययम् by name
ज्ञेयः कृदन्तरूपम् (यत्) must be known
विज्ञातुम् तुमुन्-प्रत्ययान्तमव्ययम् to comprehend
इच्छुभिः विशेषणम् (तृतीया, बहुवचनम्, पुंल्लिंगम्) by those desiring wisdom

Information Theory & Telecommunications Commentary:
Conditional Entropy (Equivocation): $H(Y \mid X) = \sum_x p(x) H(Y \mid X = x) = -\sum_{x, y} p(x, y) \log_2 p(y \mid x)$. It quantifies the remaining uncertainty in output $Y$ after observing input $X$. If the channel is noiseless, $H(Y \mid X) = 0$.

श्लोकः १३ (Verse 13)

अनुष्टुभ् (Anuṣṭubh)

उभयोर्विद्यते यस्तु सामान्यः सारसङ्ग्रहः ।
परस्पराप्तिसंज्ञोऽसौ मार्गं दर्शयति स्फुटम् ॥ १३ ॥
English Translation: Whatever shared core information exists common to both variables, known as Mutual Information, clearly reveals the transmission capacity of the channel.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
उभयोः विद्यते यः तु सामान्यः सार-सङ्ग्रहः । परस्पर-आप्ति-संज्ञः असौ मार्गम् दर्शयति स्फुटम् ॥

अन्वयः:
उभयोः यः तु सामान्यः सारसङ्ग्रहः विद्यते, परस्पराप्तिसंज्ञः असौ स्फुटं मार्गं दर्शयति।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
उभयोः सर्वनाम (षष्ठी, द्विवचनम्, पुंल्लिंगम्) between both $X$ and $Y$
विद्यते तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) exists
यः सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) which
तु अव्ययम् indeed
सामान्यः विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) shared, common
सारसङ्ग्रहः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) core informational overlap
परस्पराप्तिसंज्ञः विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) परस्परा आप्तिः संज्ञा यस्य सः (बहुव्रीहिः); bearing the name Mutual Information ($I(X; Y)$)
असौ सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) this metric
मार्गम् सुबन्तरूपम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) channel transmission fidelity
दर्शयति तिङन्तरूपम् (णिजन्त लट्, प्रथमपुरुषः, एकवचनम्) demonstrates
स्फुटम् क्रियाविशेषणम् clearly

Information Theory & Telecommunications Commentary:
Mutual Information: $I(X; Y) = H(X) - H(X \mid Y) = H(Y) - H(Y \mid X) = H(X) + H(Y) - H(X, Y)$. It measures the reduction in uncertainty of $X$ due to the knowledge of $Y$. Symmetrical ($I(X; Y) = I(Y; X)$) and non-negative ($I(X; Y) \ge 0$), it represents the actual information successfully transported across the channel.

श्लोकः १४ (Verse 14)

अनुष्टुभ् (Anuṣṭubh)

यथावच्छादिते वृत्ते ज्ञायते मध्यमोच्चयः ।
तथा ज्ञानांशसंयोगो ह्यन्योन्यं सम्प्रवर्तते ॥ १४ ॥
English Translation: Just as the overlapping intersection is revealed where two circles intersect in a Venn diagram, so does mutual information manifest between two communicating variables.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
यथावत् छादिते वृत्ते ज्ञायते मध्यम-उच्चयः । तथा ज्ञान-अंश-संयोगः हि अन्योन्यम् सम्प्रवर्तते ॥

अन्वयः:
यथावत् छादिते वृत्ते यथा मध्यमोच्चयः ज्ञायते, तथा अन्योन्यं ज्ञानांशसंयोगः हि सम्प्रवर्तते।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
यथावत् अव्ययम् accurately, just as
छादिते कृदन्तरूपम् (सप्तमी, द्विवचनम्, नपुंसकलिंगम्) in overlapping (circles)
वृत्ते सुबन्तरूपम् (सप्तमी, द्विवचनम्, नपुंसकलिंगम्) in two geometric circles
ज्ञायते तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) is identified
मध्यमोच्चयः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) intersection, central overlap
तथा अव्ययम् so too
ज्ञानांशसंयोगः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) ज्ञानांशानां संयोगः (तत्पुरुषः); intersection of information sets
हि अव्ययम् verily
अन्योन्यम् क्रियाविशेषणम् mutually
सम्प्रवर्तते तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) flows, operates

Information Theory & Telecommunications Commentary:
The Information Venn Diagram: $H(X)$ and $H(Y)$ are two overlapping circles. The left crescent is $H(X \mid Y)$, the right crescent is $H(Y \mid X)$, the union of both circles is $H(X, Y)$ and the intersection is Mutual Information $I(X; Y)$.

श्लोकः १५ (Verse 15)

अनुष्टुभ् (Anuṣṭubh)

संस्कारेण न वर्धेत ज्ञानं यत्पूर्वसञ्चितम् ।
ह्रासमेव व्रजेत्काले क्षीयमाणा परम्परा ॥ १५ ॥
English Translation: Downstream post-processing can never increase the original information collected; cascading across successive operations, information strictly diminishes with time.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
संस्कारेण न वर्धेत ज्ञानम् यत् पूर्व-सञ्चितम् । ह्रासम् एव व्रजेत् काले क्षीयमाणा परम्परा ॥

अन्वयः:
पूर्वसञ्चितं यत् ज्ञानं (तत्) संस्कारेण न वर्धेत, क्षीयमाणा परम्परा काले ह्रासम् एव व्रजेत्।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
संस्कारेण सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) by post-processing, algorithmic computation
न अव्ययम् never
वर्धेत तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) can expand, increase
ज्ञानम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) mutual information
यत् सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) which
पूर्वसञ्चितम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) originally acquired at source
ह्रासम् सुबन्तरूपम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) decay, attenuation
एव अव्ययम् alone
व्रजेत् तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) goes to, suffers
काले सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) over successive processing steps
क्षीयमाणा कृदन्तरूपम् (शानच्, प्रथमा, एकवचनम्, स्त्रीलिंगम्) decaying, attenuating
परम्परा सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) Markov chain $X o Y o Z$

Information Theory & Telecommunications Commentary:
The Data Processing Inequality: for any Markov chain $X o Y o Z$, $I(X; Y) \ge I(X; Z)$. No amount of clever post-processing, filtering, or deep neural network transformation can create new information about $X$ that was not already captured in $Y$. Computation can extract or discard information, but never create it.

श्लोकः १६ (Verse 16)

अनुष्टुभ् (Anuṣṭubh)

सङ्केतैर्लघुभिः कार्यं प्रकाशनमुदीरितम् ।
अव्ययं साधनं यद्वदल्पाक्षरसमन्वितम् ॥ १६ ॥
English Translation: Transmission must be executed through minimal codewords; just as a Sanskrit sūtra operates with maximum economy through fewest syllables.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
सङ्केतैः लघुभिः कार्यम् प्रकाशनम् उदीरितम् । अव्ययम् साधनम् यद्वत् अल्प-अक्षर-समन्वितम् ॥

अन्वयः:
अव्ययं साधनं यद्वत् अल्पाक्षरसमन्वितं (स्यात्), लघुभिः सङ्केतैः प्रकाशनं कार्यम् उदीरितम्।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
सङ्केतैः सुबन्तरूपम् (तृतीया, बहुवचनम्, पुंल्लिंगम्) by binary codewords
लघुभिः विशेषणम् (तृतीया, बहुवचनम्, पुंल्लिंगम्) short, compact
कार्यम् कृदन्तरूपम् (ण्यत्) ought to be achieved
प्रकाशनम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) transmission, encoding
उदीरितम् कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) proclaimed
अव्ययम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) economical, lossless
साधनम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) instrument, algorithm
यद्वत् अव्ययम् just as
अल्पाक्षरसमन्वितम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) अल्पैः अक्षरैः समन्वितम् (तत्पुरुषः); endowed with fewest characters/bits

Information Theory & Telecommunications Commentary:
Lossless Data Compression: source coding seeks to eliminate redundancy. Like the grammatical aphorism of Pāṇini where saving half a mora is celebrated like the birth of a son (अर्धमात्रालाघवेन पुत्रोत्सवं मन्यन्ते वैयाकरणाः), optimal source coding encodes frequent symbols with the fewest possible bits.

श्लोकः १७ (Verse 17)

अनुष्टुभ् (Anuṣṭubh)

वारं वारं समायाति यः शब्दः स लघुर्भवेत् ।
दुर्लभो यस्तु लोकेऽस्मिन् दीर्घस्तेन प्रयुज्यते ॥ १७ ॥
English Translation: A symbol that recurs frequently must be assigned a short codeword; that which is exceedingly rare in the message is granted a longer sequence.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
वारम् वारम् समायाति यः शब्दः सः लघुः भवेत् । दुर्लभः यः तु लोके अस्मिन् दीर्घः तेन प्रयुज्यते ॥

अन्वयः:
यः शब्दः वारं वारं समायाति सः लघुः भवेत्, लोके यः तु दुर्लभः तेन दीर्घः प्रयुज्यते।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
वारं वारम् वीप्सा-अव्ययम् repeatedly, with high probability
समायाति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) appears
यः सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) which
शब्दः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) symbol, character
सः सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) its codeword
लघुः विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) short, minimal bit length
भवेत् तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) should be
दुर्लभः विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) rare ($p(x) \ll 1$)
लोकेऽस्मिन् सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) in the dataset
दीर्घः विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) long codeword
तेन सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) for that symbol
प्रयुज्यते तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) is allocated

Information Theory & Telecommunications Commentary:
Variable-Length Optimal Coding: Morse Code anticipated this heuristically (assigning a single dot to the letter ‘E’, the most common letter in English and four symbols to ‘Q’). Shannon formalized this mathematically: optimal codeword length $l(x) pprox \log_2 rac{1}{p(x)}$.

श्लोकः १८ (Verse 18)

अनुष्टुभ् (Anuṣṭubh)

संशयादल्पमानेन न सङ्केतः प्रजायते ।
एषा सीमोत्तमा प्रोक्ता निष्प्रमादप्रसारणे ॥ १८ ॥
English Translation: No lossless code can ever be constructed whose average length is less than the entropy; this is proclaimed as the supreme theoretical limit in distortion-free transmission.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
संशयात् अल्प-मानेन न सङ्केतः प्रजायते । एषा सीमा उत्तमा प्रोक्ता निष्प्रमाद-प्रसारणे ॥

अन्वयः:
संशयात् अल्पमानेन सङ्केतः न प्रजायते, निष्प्रमादप्रसारणे एषा उत्तमा सीमा प्रोक्ता।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
संशयात् सुबन्तरूपम् (पञ्चमी, एकवचनम्, पुंल्लिंगम्) than the entropy $H(X)$
अल्पमानेन सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) with a smaller average length ($ar{L} < H(X)$)
न अव्ययम् never
सङ्केतः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) lossless code
प्रजायते तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) is feasible, can be created
एषा सर्वनाम (प्रथमा, एकवचनम्, स्त्रीलिंगम्) this
सीमा सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) fundamental boundary limit
उत्तमा विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) supreme
प्रोक्ता कृदन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) proclaimed
निष्प्रमादप्रसारणे सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) in lossless transmission

Information Theory & Telecommunications Commentary:
Shannon’s Source Coding Theorem: the expected codeword length $ar{L} = \sum p(x) l(x)$ satisfies $ar{L} \ge H(X)$. Furthermore, by encoding blocks of $n$ symbols together, the average length per symbol can be made arbitrarily close to $H(X)$: $\lim_{n o \infty} rac{ar{L}_n}{n} = H(X)$. Entropy is the physical limit of compression.

श्लोकः १९ (Verse 19)

अनुष्टुभ् (Anuṣṭubh)

अग्रसंज्ञां विना यस्तु सङ्केतो नैव युज्यते ।
शीघ्रं विदार्यते ग्रन्थिः सुगमेनैव वर्त्मना ॥ १९ ॥
English Translation: A code where no codeword is a prefix of another is instantly decodable; through this elegant path, the knotted stream is untangled with zero delay.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
अग्र-संज्ञाम् विना यः तु सङ्केतः न एव युज्यते । शीघ्रम् विदार्यते ग्रन्थिः सुगमेन एव वर्त्मना ॥

अन्वयः:
यः सङ्केतः अग्रसंज्ञां विना एव युज्यते, सुगमेन वर्त्मना एव शीघ्रं ग्रन्थिः विदार्यते।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
अग्रसंज्ञाम् सुबन्तरूपम् (द्वितीया, एकवचनम्, स्त्रीलिंगम्) prefix collision (one word being the prefix of another)
विना अव्ययम् without (prefix-free property)
यः सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) which
सङ्केतः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) prefix code
युज्यते तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) is constructed
सुगमेन विशेषणम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) by an effortless, instantaneous
वर्त्मना सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) by pathway
शीघ्रम् क्रियाविशेषणम् instantaneously
ग्रन्थिः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) knot, bitstream ambiguity
विदार्यते तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) is parsed, decoded

Information Theory & Telecommunications Commentary:
Prefix Codes and the Kraft Inequality: in an instantaneous prefix code, no valid codeword is a prefix of any other valid codeword. The decoder can parse bits on-the-fly without lookahead or comma markers. Kraft’s inequality proves that such codes exist if and only if $\sum 2^{-l_i} \le 1$.

श्लोकः २० (Verse 20)

अनुष्टुभ् (Anuṣṭubh)

हफ्मनेन कृता रीतिः शाननस्य मते स्थिता ।
इष्टतमेन रूपेण संक्षिपति महद्धनम् ॥ २० ॥
English Translation: Rooted in Shannon's theory, the algorithm crafted by David Huffman compresses massive data files with mathematically provable optimality.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
हफ्मनेन कृता रीतिः शाननस्य मते स्थिता । इष्टतमेन रूपेण संक्षिपति महत् धनम् ॥

अन्वयः:
शाननस्य मते स्थिता हफ्मनेन कृता रीतिः इष्टतमेन रूपेण महद्धनं संक्षिपति।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
हफ्मनेन सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) by David A. Huffman (1952)
कृता कृदन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) created, innovated
रीतिः सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) the algorithm (Huffman coding tree)
शाननस्य सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) of Shannon
मते सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) in doctrine
स्थिता विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) established
इष्टतमेन विशेषणम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) in globally optimal
रूपेण सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) in manner
संक्षिपति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) सम् + क्षिप्; compresses
महत् विशेषणम् (द्वितीया, एकवचनम्, नपुंसकलिंगम्) colossal
धनम् सुबन्तरूपम् (द्वितीया, एकवचनम्, नपुंसकलिंगम्) data assets, files

Information Theory & Telecommunications Commentary:
Huffman Coding Optimality: Huffman (1952) invented the bottom-up greedy binary tree that provably produces the minimal expected codeword length for any symbol-by-symbol code. Huffman codes form the backbone of modern compression algorithms (DEFLATE, GZIP, JPEG, MP3).

श्लोकः २१ (Verse 21)

अनुष्टुभ् (Anuṣṭubh)

मार्गे प्रवहतां नित्यं विघ्नस्तत्रोपपद्यते ।
नादसंज्ञः समायाति विकृतिं जनयन्बलात् ॥ २१ ॥
English Translation: For bits streaming ceaselessly along physical transmission lines, inevitable obstacles emerge; designated as Noise, it arrives forcibly corrupting the signal.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
मार्गे प्रवहताम् नित्यम् विघ्नः तत्र उपपद्यते । नाद-संज्ञः समायाति विकृतिम् जनयन् बलात् ॥

अन्वयः:
मार्गे नित्यं प्रवहतां तत्र विघ्नः उपपद्यते, नादसंज्ञः बलात् विकृतिं जनयन् समायाति।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
मार्गे सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) along the physical channel
प्रवहताम् कृदन्तरूपम् (शतृ, षष्ठी, बहुवचनम्, पुंल्लिंगम्) of streaming bits
नित्यम् क्रियाविशेषणम् perpetually
विघ्नः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) impediment, interference
तत्र अव्ययम् there
उपपद्यते तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) arises, manifests
नादसंज्ञः विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) नादः संज्ञा यस्य सः (बहुव्रीहिः); bearing the name Noise ($N$)
समायाति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) enters the channel
विकृतिम् सुबन्तरूपम् (द्वितीया, एकवचनम्, स्त्रीलिंगम्) distortion, bit-flips
जनयन् कृदन्तरूपम् (शतृ, प्रथमा, एकवचनम्, पुंल्लिंगम्) producing
बलात् सुबन्तरूपम् (पञ्चमी, एकवचनम्, नपुंसकलिंगम्) by thermal / physical force

Information Theory & Telecommunications Commentary:
Physical Reality of the Noisy Channel: every physical transmission medium (copper wire, fiber optics, radio waves) is subject to physical noise (Johnson-Nyquist thermal noise, atmospheric attenuation, cross-talk). A transmitted input $X$ does not arrive deterministically as $X$, but as a corrupted output $Y$.

श्लोकः २२ (Verse 22)

अनुष्टुभ् (Anuṣṭubh)

प्रेषिते शून्यभागे तु कदाचिदेकतामियात् ।
एकेऽपि च विपर्यासो नाददोषप्रकल्पितः ॥ २२ ॥
English Translation: When a zero bit is dispatched, it may flip and arrive as a one; likewise a one can invert, manufactured by the deceit of noise.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
प्रेषिते शून्य-भागे तु कदाचित् एकताम् इयात् । एके अपि च विपर्यासः नाद-दोष-प्रकल्पितः ॥

अन्वयः:
शून्यभागे प्रेषिते तु कदाचित् एकताम् इयात्, एके अपि च नाददोषप्रकल्पितः विपर्यासः (भवति)।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
प्रेषिते कृदन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) when transmitted (sati-saptamī)
शून्यभागे सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) in a zero bit ($X = 0$)
तु अव्ययम् indeed
कदाचित् अव्ययम् sometimes
एकताम् सुबन्तरूपम् (द्वितीया, एकवचनम्, स्त्रीलिंगम्) a one bit ($Y = 1$)
इयात् तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) इ (अदादिगणः); may become, flip into
एके संख्याविशेषणम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) in a transmitted one ($X = 1$)
अपि च अव्यययुग्मम् and also
विपर्यासः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) inversion, bit flip to 0
नाददोषप्रकल्पितः विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) नाददोषेण प्रकल्पितः (तृतीयातत्पुरुषः); manufactured by channel noise

Information Theory & Telecommunications Commentary:
The Binary Symmetric Channel (BSC): the simplest canonical model of a noisy channel. If $X \in {0, 1}$ and $Y \in {0, 1}$, the crossover probability is $P(Y=1 \mid X=0) = P(Y=0 \mid X=1) = p$ and the correct transmission probability is $1-p$. A bit flip corrupts data if uncorrected.

श्लोकः २३ (Verse 23)

अनुष्टुभ् (Anuṣṭubh)

संभ्रमे विहिते तस्मिन्व्यत्ययो दृश्यते स्फुटम् ।
सत्यं नैव यथाभूतं प्राप्नोति ग्राहकः पथि ॥ २३ ॥
English Translation: When such random confusion is wrought, corruption is blatantly witnessed; the receiving party along the path never obtains the uncorrupted truth directly.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
संभ्रमे विहिते तस्मिन् व्यत्ययः दृश्यते स्फुटम् । सत्यम् न एव यथा-भूतम् प्राप्नोति ग्राहकः पथि ॥

अन्वयः:
तस्मिन् संभ्रमे विहिते व्यत्ययः स्फुटं दृश्यते, ग्राहकः पथि यथाभूतं सत्यं नैव प्राप्नोति।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
संभ्रमे सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) in stochastic turmoil
विहिते कृदन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) having been produced (sati-saptamī)
तस्मिन् सर्वनाम (सप्तमी, एकवचनम्, पुंल्लिंगम्) in that channel
व्यत्ययः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) corruption, transposition
दृश्यते तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) is seen
स्फुटम् क्रियाविशेषणम् conspicuously
सत्यम् सुबन्तरूपम् (द्वितीया, एकवचनम्, नपुंसकलिंगम्) original transmitted truth
न एव अव्यययुग्मम् never indeed
यथाभूतम् क्रियाविशेषणम् in its pristine uncorrupted state
प्राप्नोति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) receives
ग्राहकः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) the receiving terminal / sink
पथि सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) across the noisy path

Information Theory & Telecommunications Commentary:
Unreliability of Naive Transmission: prior to Shannon, electrical engineers believed that to achieve zero error across a noisy channel, one had to either increase signal power towards infinity ($S o \infty$) or slow transmission speed down to zero. Shannon proved both assumptions false.

श्लोकः २४ (Verse 24)

अनुष्टुभ् (Anuṣṭubh)

मातृका परिवर्तस्य दर्शयत्यखिलं फलम् ।
सम्भाव्यतां विजानाति धीमान्दोषस्य सर्वथा ॥ २४ ॥
English Translation: The channel transition matrix completely exposes all outcome probabilities; the prudent engineer thoroughly comprehends the exact likelihood of failure.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
मातृका परिवर्तस्य दर्शयति अखिलम् फलम् । सम्भाव्यताम् विजानाति धीमान् दोषस्य सर्वथा ॥

अन्वयः:
परिवर्तस्य मातृका अखिलं फलं दर्शयति, धीमान् सर्वथा दोषस्य सम्भाव्यतां विजानाति।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
मातृका सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) channel transition probability matrix $[P(y \mid x)]$
परिवर्तस्य सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) of channel transition / conditional mapping
दर्शयति तिङन्तरूपम् (णिजन्त लट्, प्रथमपुरुषः, एकवचनम्) illuminates, defines
अखिलम् विशेषणम् (द्वितीया, एकवचनम्, नपुंसकलिंगम्) entire
फलम् सुबन्तरूपम् (द्वितीया, एकवचनम्, नपुंसकलिंगम्) stochastic behavior
सम्भाव्यताम् सुबन्तरूपम् (द्वितीया, एकवचनम्, स्त्रीलिंगम्) error probability matrix
विजानाति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) understands
धीमान् सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) the communication theorist
दोषस्य सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) of bit error
सर्वथा अव्ययम् comprehensively

Information Theory & Telecommunications Commentary:
Channel Transition Matrix: a Discrete Memoryless Channel is fully specified by an input alphabet $\mathcal{X}$, an output alphabet $\mathcal{Y}$ and a transition matrix $P(y \mid x)$. For the Binary Symmetric Channel, the matrix is $egin{bmatrix} 1-p & p \ p & 1-p \end{bmatrix}$.

श्लोकः २५ (Verse 25)

अनुष्टुभ् (Anuṣṭubh)

न भीतिर्विद्यते नादाद्यदि शास्त्रं समाश्रयेत् ।
रक्षणार्थं प्रयुञ्जीत सङ्केतं रक्षितं दृढम् ॥ २५ ॥
English Translation: No fear of noise need trouble the mind if one takes refuge in mathematical doctrine; for complete protection, one deploys fortified error-correcting codes.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
न भीतिः विद्यते नादात् यदि शास्त्रम् समाश्रयेत् । रक्षण-अर्थम् प्रयुञ्जीत सङ्केतम् रक्षितम् दृढम् ॥

अन्वयः:
यदि शास्त्रं समाश्रयेत् नादात् भीतिः न विद्यते, रक्षणार्थं दृढं रक्षितं सङ्केतं प्रयुञ्जीत।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
न अव्ययम् no
भीतिः सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) dread, anxiety
विद्यते तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) exists
नादात् सुबन्तरूपम् (पञ्चमी, एकवचनम्, पुंल्लिंगम्) from channel noise
यदि अव्ययम् if
शास्त्रम् सुबन्तरूपम् (द्वितीया, एकवचनम्, नपुंसकलिंगम्) Shannon’s information theory
समाश्रयेत् तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) one takes shelter in
रक्षणार्थम् अव्ययरूपम् for error protection
प्रयुञ्जीत तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) one should deploy
सङ्केतम् सुबन्तरूपम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) channel coding scheme
रक्षितम् विशेषणम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) resilient, error-correcting
दृढम् क्रियाविशेषणम् firmly, robustly

Information Theory & Telecommunications Commentary:
The Foundation of Error Correction: noise does not mean communication must be imperfect. Shannon revealed that noise merely imposes an upper bound on transmission speed, not on transmission accuracy.

श्लोकः २६ (Verse 26)

अनुष्टुभ् (Anuṣṭubh)

मार्गस्य हि परा सीमा सामर्थ्यमिति कथ्यते ।
यत्राधिकतमं ज्ञानं प्रवहत्यादरेण वै ॥ २६ ॥
English Translation: The supreme upper boundary of any channel is proclaimed as Channel Capacity; wherein the maximal volume of information flows with flawless integrity.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
मार्गस्य हि परा सीमा सामर्थ्यम् इति कथ्यते । यत्र अधिकतमम् ज्ञानम् प्रवहति आदरेण वै ॥

अन्वयः:
मार्गस्य परा सीमा हि सामर्थ्यम् इति कथ्यते, यत्र अधिकतमं ज्ञानम् आदरेण प्रवहति वै।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
मार्गस्य सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) of the physical channel
परा सीमा सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) supreme upper bound limit
सामर्थ्यम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) Channel Capacity ($C$)
इति अव्ययम् thus
कथ्यते तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) is designated
यत्र अव्ययम् wherein
अधिकतमम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) maximal ($\max I(X; Y)$)
ज्ञानम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) mutual information
प्रवहति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) flows
आदरेण सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) with precision
वै अव्ययम् indeed

Information Theory & Telecommunications Commentary:
Mathematical Definition of Channel Capacity: $C = \max_{p(x)} I(X; Y)$. It is the maximum rate at which information can be transmitted reliably over a channel, measured in bits per channel use. It depends solely on the physical channel transition probabilities $P(y \mid x)$.

श्लोकः २७ (Verse 27)

अनुष्टुभ् (Anuṣṭubh)

निवेशस्य विधानेन वर्धयेद्यत्नतो गतिम् ।
परस्पराप्तिसारस्य यदुच्चं मानमाप्यते ॥ २७ ॥
English Translation: By tuning the input probability distribution, one maximizes throughput until the highest zenith of mutual information is attained.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
निवेशस्य विधानेन वर्धयेत् प्रयत्नतः गतिम् । परस्पर-आप्ति-सारस्य यत् उच्चम् मानम् आप्यते ॥

अन्वयः:
निवेशस्य विधानेन प्रयत्नतः गतिं वर्धयेत्, यत् परस्पराप्तिसारस्य उच्चं मानम् आप्यते।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
निवेशस्य सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) of the input distribution $P(X)$
विधानेन सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) by the structural optimization
वर्धयेत् तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) one should increase
प्रयत्नतः तसिल्-प्रत्ययान्तम् अव्ययम् diligently
गतिम् सुबन्तरूपम् (द्वितीया, एकवचनम्, स्त्रीलिंगम्) rate of transmission
परस्पराप्तिसारस्य सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) of mutual information $I(X; Y)$
यत् सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) which
उच्चम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) highest, supremum
मानम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) capacity value
आप्यते तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) is achieved

Information Theory & Telecommunications Commentary:
Maximizing Mutual Information: finding capacity is a convex optimization problem over the probability simplex $\Delta_{|\mathcal{X}|}$. Algorithms like the Blahut-Arimoto algorithm compute this maximum iteratively for arbitrary discrete memoryless channels.

श्लोकः २८ (Verse 28)

अनुष्टुभ् (Anuṣṭubh)

नादयुक्तेऽपि मार्गे तु सीमा तिष्ठत्यचञ्चला ।
न तस्या लङ्घनं शक्यं नियमोऽयं निसर्गजः ॥ २८ ॥
English Translation: Even within a heavily noise-corrupted channel, this capacity boundary stands immovable; breaching it is physically impossible, for this is a law of nature.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
नाद-युक्ते अपि मार्गे तु सीमा तिष्ठति अचञ्चला । न तस्याः लङ्घनम् शक्यम् नियमः अयम् निसर्ग-जः ॥

अन्वयः:
नादयुक्ते मार्गे अपि सीमा तु अचञ्चला तिष्ठति, तस्याः लङ्घनं न शक्यम्, अयम् निसर्गजः नियमः।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
नादयुक्ते विशेषणम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) in a noisy
अपि अव्ययम् even
मार्गे सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) channel
सीमा सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) the capacity limit $C$
तु अव्ययम् indeed
अचञ्चला विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) unshakeable, immutable
तिष्ठति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) stands
न अव्ययम् not
तस्याः सर्वनाम (षष्ठी, एकवचनम्, स्त्रीलिंगम्) of that capacity limit
लङ्घनम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) transgression, exceeding
शक्यम् कृदन्तरूपम् (यत्, प्रथमा, एकवचनम्, नपुंसकलिंगम्) possible
नियमः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) law
अयम् सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) this
निसर्गजः विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) born of nature, fundamental physical law

Information Theory & Telecommunications Commentary:
Physical Reality of Capacity: just as Einstein’s $c$ represents the speed limit of light in a vacuum, Shannon’s $C$ represents the fundamental speed limit of information transfer. No algorithm, quantum trick, or engineering ingenuity can transmit data reliably at a rate $R > C$.

श्लोकः २९ (Verse 29)

अनुष्टुभ् (Anuṣṭubh)

यदि नादो भवेच्छून्यो पूर्णं सामर्थ्यमुच्यते ।
सम्पूर्णे संभ्रमे जाते ह्रासो भवति दारुणः ॥ २९ ॥
English Translation: If noise is zero, capacity reaches its theoretical maximum of 1 bit per use; when total noise saturation takes over, capacity crashes to zero.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
यदि नादः भवेत् शून्यः पूर्णम् सामर्थ्यम् उच्यते । सम्पूर्णाे संभ्रमे जाते ह्रासः भवति दारुणः ॥

अन्वयः:
यदि नादः शून्यः भवेत्, सामर्थ्यं पूर्णम् उच्यते; सम्पूर्णे संभ्रमे जाते दारुणः ह्रासः भवति।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
यदि अव्ययम् if
नादः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) noise crossover probability $p$
शून्यः विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) zero ($p = 0$)
भवेत् तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) should be
पूर्णम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) full, 1 bit per channel use
सामर्थ्यम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) capacity
उच्यते तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) is stated
सम्पूर्णे विशेषणम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) in total ($p = 0.5$)
संभ्रमे जाते सतीसप्तमी प्रयोगः when total confusion occurs
दारुणः विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) catastrophic, total
ह्रासः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) collapse to $C = 0$
भवति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) takes place

Information Theory & Telecommunications Commentary:
BSC Capacity Curve: for a Binary Symmetric Channel, $C = 1 - H_b(p) = 1 + p \log_2 p + (1-p) \log_2(1-p)$. When $p = 0$, $C = 1 - 0 = 1$ bit/use. When $p = 0.5$ (pure random noise), $H_b(0.5) = 1$, so $C = 1 - 1 = 0$ bits/use. Even with $p = 0.5$, bits flow, but zero information gets through.

श्लोकः ३० (Verse 30)

अनुष्टुभ् (Anuṣṭubh)

प्रमाणेन विनिर्णीते सामर्थ्ये सति पण्डितः ।
वेगं नियमयत्येव न वृथा धावति क्षितौ ॥ ३० ॥
English Translation: With channel capacity scientifically determined, the enlightened engineer regulates transmission speed accordingly, never racing foolishly into failure.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
प्रमाणेन विनिर्णीते सामर्थ्ये सति पण्डितः । वेगम् नियमयति एव न वृथा धावति क्षितौ ॥

अन्वयः:
प्रमाणेन सामर्थ्ये विनिर्णीते सति पण्डितः वेगं नियमयति एव, क्षितौ वृथा न धावति।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
प्रमाणेन सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) by mathematical calculation
सामर्थ्ये विनिर्णीते सति सतीसप्तमी प्रयोगः when capacity has been determined
पण्डितः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) the wise engineer
वेगम् सुबन्तरूपम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) transmission rate $R$
नियमयति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) regulates, constrains ($R < C$)
एव अव्ययम् indeed
न अव्ययम् not
वृथा अव्ययम् futilely, recklessly
धावति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) runs, pushes beyond capacity
क्षितौ सुबन्तरूपम् (सप्तमी, एकवचनम्, स्त्रीलिंगम्) in the field / engineering practice

Information Theory & Telecommunications Commentary:
Operating Below Capacity: knowledge of $C$ dictates network protocol design. Attempting to push throughput beyond $C$ produces fatal packet corruption. Operating just below $C$ ($R < C$) guarantees error-free communication.

श्लोकः ३१ (Verse 31)

अनुष्टुभ् (Anuṣṭubh)

अभूतमद्भुतं चैव शाननेन प्रकाशितम् ।
नादयुक्तेऽपि संचारे शुद्धिः सम्भाव्यते परम् ॥ ३१ ॥
English Translation: An unprecedented and wondrous revelation was unveiled by Shannon: even across an intensely noisy channel, absolute transmission purity is achievable.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
अभूतम् अद्भुतम् च एव शाननेन प्रकाशितम् । नाद-युक्ते अपि संचारे शुद्धिः सम्भाव्यते परम् ॥

अन्वयः:
शाननेन अभूतम् अद्भुतं च एव प्रकाशितम्: नादयुक्ते संचारे अपि परं शुद्धिः सम्भाव्यते।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
अभूतम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) unprecedented, never witnessed before
अद्भुतम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) miraculous, astonishing
च एव अव्यययुग्मम् and also
शाननेन सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) by Claude Shannon
प्रकाशितम् कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) illuminated, demonstrated
नादयुक्ते विशेषणम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) in noise-corrupted
अपि अव्ययम् even
संचारे सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) in communication transmission
शुद्धिः सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) absolute correctness ($P_e o 0$)
सम्भाव्यते तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) is mathematically feasible
परम् क्रियाविशेषणम् supremely, perfectly

Information Theory & Telecommunications Commentary:
The Shock of the Noisy-Channel Coding Theorem: before 1948, it was widely believed that noise inevitably introduced uncorrectable errors unless power approached infinity. Shannon demonstrated that noise does not corrupt data fundamentally; it merely imposes a rate limit $C$. Below $C$, reliable communication with vanishingly small error is possible.

श्लोकः ३२ (Verse 32)

अनुष्टुभ् (Anuṣṭubh)

सामर्थ्यान्न्यूनवेगेन यदा प्रेष्येत सञ्चयः ।
तदा दोषो विलीयेत शून्यप्रायो भविष्यति ॥ ३२ ॥
English Translation: Whenever data is transmitted at a rate strictly lower than channel capacity, the probability of error dissolves and approaches virtually zero.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
सामर्थ्यात् न्यून-वेगेन यदा प्रेष्येत सञ्चयः । तदा दोषः विलीयेत शून्य-प्रायः भविष्यति ॥

अन्वयः:
यदा सामर्थ्यात् न्यूनवेगेन सञ्चयः प्रेष्येत, तदा दोषः विलीयेत, शून्यप्रायः भविष्यति।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
सामर्थ्यात् सुबन्तरूपम् (पञ्चमी, एकवचनम्, नपुंसकलिंगम्) than Channel Capacity ($C$)
न्यूनवेगेन सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) at a lower rate ($R < C$)
यदा अव्ययम् when
प्रेष्येत तिङन्तरूपम् (कर्मणि विधिलिङ्, प्रथमपुरुषः, एकवचनम्) is transmitted
सञ्चयः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) data payload, message block
तदा अव्ययम् then
दोषः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) bit error probability ($P_e$)
विलीयेत तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) dissolves, vanishes
शून्यप्रायः विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) शून्यस्य प्रायः (तत्पुरुषः); vanishingly close to zero ($P_e o 0$)
भविष्यति तिङन्तरूपम् (लृट्, प्रथमपुरुषः, एकवचनम्) will become

Information Theory & Telecommunications Commentary:
Noisy-Channel Coding Theorem: For any channel with capacity $C$ and any rate $R < C$, there exists a sequence of $(2^{nR}, n)$ block codes such that the maximum probability of error $P_e^{(n)} o 0$ as block length $n o \infty$. Conversely, if $R > C$, the probability of error is bounded away from zero.

श्लोकः ३३ (Verse 33)

अनुष्टुभ् (Anuṣṭubh)

दीर्घसङ्केतपुञ्जेषु युक्तेषु च समन्ततः ।
दोषस्य विजयो नैव सत्यमेव प्रतिष्ठते ॥ ३३ ॥
English Translation: By grouping bits into long block code constellations, the triumphs of noise are vanquished; the pristine truth alone reigns supreme.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
दीर्घ-सङ्केत-पुञ्जेषु युक्तेषु च समन्ततः । दोषस्य विजयः न एव सत्यम् एव प्रतिष्ठते ॥

अन्वयः:
दीर्घसङ्केतपुञ्जेषु समन्ततः युक्तेषु च, दोषस्य विजयः नैव (भवति), सत्यम् एव प्रतिष्ठते।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
दीर्घसङ्केतपुञ्जेषु सुबन्तरूपम् (सप्तमी, बहुवचनम्, पुंल्लिंगम्) in long codeword blocks as $n o \infty$
युक्तेषु कृदन्तरूपम् (सप्तमी, बहुवचनम्, पुंल्लिंगम्) deployed, configured
च अव्ययम् and
समन्ततः तसिल्-प्रत्ययान्तम् अव्ययम् in all directions
दोषस्य सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) of channel error
विजयः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) victory
न एव अव्यययुग्मम् never indeed
सत्यम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) original transmitted message
एव अव्ययम् alone
प्रतिष्ठते तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) stands vindicated, restored

Information Theory & Telecommunications Commentary:
Random Coding and Typicality: Shannon’s mathematical proof relied on random coding. By randomly selecting $2^{nR}$ codewords in high-dimensional hyperspace ($n o \infty$), the spheres of noise around each valid codeword (typical sets) do not overlap, allowing the receiver to decode the exact transmitted message with near-certainty.

श्लोकः ३४ (Verse 34)

अनुष्टुभ् (Anuṣṭubh)

अतिरिक्तानि युञ्जीत चिह्नानि रक्षणाय वै ।
यथैकेन विनष्टेन न नाशः सम्प्रजायते ॥ ३४ ॥
English Translation: One injects parity and redundancy bits for defense; so that when a single bit is damaged, total loss never consumes the message.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
अतिरिक्तानि युञ्जीत चिह्नानि रक्षणाय वै । यथा एकेन विनष्टेन न नाशः सम्प्रजायते ॥

अन्वयः:
रक्षणाय वै अतिरिक्तानि चिह्नानि युञ्जीत, यथा एकेन विनष्टेन नाशः न सम्प्रजायते।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
अतिरिक्तानि विशेषणम् (द्वितीया, बहुवचनम्, नपुंसकलिंगम्) redundant, parity check
युञ्जीत तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) one should append / encode
चिह्नानि सुबन्तरूपम् (द्वितीया, बहुवचनम्, नपुंसकलिंगम्) parity bits, check symbols
रक्षणाय सुबन्तरूपम् (चतुर्थी, एकवचनम्, नपुंसकलिंगम्) for forward error correction (FEC)
वै अव्ययम् verily
यथा अव्ययम् so that
एकेन विनष्टेन सतीसप्तमी प्रयोगः when one single bit is corrupted
नाशः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) loss of packet / message
न अव्ययम् not
सम्प्रजायते तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) takes place

Information Theory & Telecommunications Commentary:
Forward Error Correction (FEC): from Hamming codes and Reed-Solomon codes to modern Turbo codes and Low-Density Parity-Check (LDPC) codes, redundant parity bits allow receivers to detect and mathematically reconstruct corrupted bits without requesting a retransmission.

श्लोकः ३५ (Verse 35)

अनुष्टुभ् (Anuṣṭubh)

इति सामर्थ्यसीमाया अधस्ताद्यदि वर्तते ।
शुद्धं संवादसाम्राज्यं लभते साधको भुवि ॥ ३५ ॥
English Translation: Thus, so long as transmission operates below channel capacity, the engineer establishes a realm of flawless digital communication on earth.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
इति सामर्थ्य-सीमायाः अधस्तात् यदि वर्तते । शुद्धम् संवाद-साम्राज्यम् लभते साधकः भुवि ॥

अन्वयः:
इति यदि सामर्थ्यसीमायाः अधस्तात् वर्तते, साधकः भुवि शुद्धं संवादसाम्राज्यं लभते।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
इति अव्ययम् thus
सामर्थ्यसीमायाः सुबन्तरूपम् (षष्ठी, एकवचनम्, स्त्रीलिंगम्) of the channel capacity limit $C$
अधस्तात् अव्ययम् strictly below ($R < C$)
यदि अव्ययम् if
वर्तते तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) operates
शुद्धम् विशेषणम् (द्वितीया, एकवचनम्, नपुंसकलिंगम्) flawless, error-free
संवादसाम्राज्यम् सुबन्तरूपम् (द्वितीया, एकवचनम्, नपुंसकलिंगम्) empire of communication, telecommunications network
लभते तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) attains
साधकः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) the communications engineer
भुवि सुबन्तरूपम् (सप्तमी, एकवचनम्, स्त्रीलिंगम्) on earth

Information Theory & Telecommunications Commentary:
The Foundation of the Modern Internet: 5G cellular networks, undersea transoceanic fiber cables, deep space radio transmission from the Voyager probes and Wi-Fi all function because modern LDPC and Polar codes operate within a fraction of a decibel of Shannon’s capacity limit.

श्लोकः ३६ (Verse 36)

अनुष्टुभ् (Anuṣṭubh)

तरङ्गे प्रसरत्युच्चैः सातत्यं दृश्यते पदे ।
विस्तारेण च कालेन बद्धं तन्त्रं प्रकाशते ॥ ३६ ॥
English Translation: As electromagnetic waves ripple through space, continuous physical waveforms manifest; bounded by bandwidth and time, physical transmission illuminates the world.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
तरङ्गे प्रसरति उच्चैः सातत्यम् दृश्यते पदे । विस्तारेण च कालेन बद्धम् तन्त्रम् प्रकाशते ॥

अन्वयः:
तरङ्गे उच्चैः प्रसरति (सति) पदे सातत्यं दृश्यते, विस्तारेण कालेन च बद्धं तन्त्रं प्रकाशते।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
तरङ्गे सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) in electromagnetic wave / carrier signal
प्रसरति कृदन्तरूपम् (शतृ, सप्तमी, एकवचनम्, पुंल्लिंगम्) rippling through medium (sati-saptamī)
उच्चैः अव्ययम् high, radiating
सातत्यम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) continuity, analog waveform
दृश्यते तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) is observed
पदे सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) in physical space
विस्तारेण सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) by frequency bandwidth ($B$)
च अव्ययम् and
कालेन सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) by duration of time ($T$)
बद्धम् कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) bounded, constrained
तन्त्रम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) continuous transmission system
प्रकाशते तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) manifests, functions

Information Theory & Telecommunications Commentary:
Continuous Channels and Nyquist Sampling: an analog signal bandlimited to $B$ Hz can be completely reconstructed without loss by sampling at the Nyquist rate of $2B$ samples per second. Over duration $T$, a signal is fully described by a $2BT$-dimensional vector.

श्लोकः ३७ (Verse 37)

अनुष्टुभ् (Anuṣṭubh)

पट्टविस्तारसंज्ञश्च शक्तिश्च प्रबला मता ।
नादशक्त्या विभागेन गुणो भवति शोभनः ॥ ३७ ॥
English Translation: Bandwidth on one hand and signal power on the other stand as the primary pillars; divided by noise power, the pristine Signal-to-Noise ratio is born.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
पट्ट-विस्तार-संज्ञः च शक्तिः च प्रबला मता । नाद-शक्त्या विभागेन गुणः भवति शोभनः ॥

अन्वयः:
पट्टविस्तारसंज्ञः च प्रबला शक्तिः च मता, नादशक्त्या विभागेन शोभनः गुणः भवति।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
पट्टविस्तारसंज्ञः विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) bearing the name Bandwidth ($B$)
च अव्ययम् and
शक्तिः सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) transmitted signal power ($S$)
प्रबला विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) formidable, primary factor
मता कृदन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) considered
नादशक्त्या सुबन्तरूपम् (तृतीया, एकवचनम्, स्त्रीलिंगम्) by noise power ($N$)
विभागेन सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) by division ($S / N$)
गुणः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) ratio, Signal-to-Noise Ratio (SNR)
भवति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) becomes
शोभनः विशेषणम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) pivotal, radiant

Information Theory & Telecommunications Commentary:
Signal-to-Noise Ratio (SNR): the ratio of signal power to noise power, $ ext{SNR} = rac{S}{N}$. In Gaussian noise, higher transmitter power increases the radius of distinguishable signal points, boosting mutual information.

श्लोकः ३८ (Verse 38)

अनुष्टुभ् (Anuṣṭubh)

द्व्यङ्कलघ्वङ्कयोगेन सीमा संजायते परा ।
शानन-हार्टली-न्यायो जगत्सु विश्रुतोऽभवत् ॥ ३८ ॥
English Translation: Governed by the binary logarithm, the supreme continuous capacity emerges; the Shannon-Hartley Theorem became world-renowned across all civilizations.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
द्व्यङ्क-लघु-अङ्क-योगेन सीमा संजायते परा । शानन-हार्टली-न्यायः जगत्सु विश्रुतः अभवत् ॥

अन्वयः:
द्व्यङ्कलघ्वङ्कयोगेन परा सीमा संजायते, शानन-हार्टली-न्यायः जगत्सु विश्रुतः अभवत्।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
द्व्यङ्कलघ्वङ्कयोगेन सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) by $\log_2(1 + S/N)$
सीमा सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) channel capacity $C$
संजायते तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) is generated
परा विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) supreme, maximum
शानन-हार्टली-न्यायः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) the Shannon-Hartley Law: $C = B \log_2(1 + S/N)$
जगत्सु सुबन्तरूपम् (सप्तमी, बहुवचनम्, नपुंसकलिंगम्) throughout the worlds
विश्रुतः कृदन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) celebrated, famous
अभवत् तिङन्तरूपम् (लङ्, प्रथमपुरुषः, एकवचनम्) became

Information Theory & Telecommunications Commentary:
The Shannon-Hartley Theorem: $C = B \log_2\left(1 + rac{S}{N} ight)$ bits/second. This equation is the foundation of telecommunications. It proves that bandwidth and signal-to-noise ratio can be traded off against each other: a narrow channel with high power can carry the same data as a wide channel with low power.

श्लोकः ३९ (Verse 39)

अनुष्टुभ् (Anuṣṭubh)

विस्तारे वर्धिते चापि सीमा नैवान्तमुज्झति ।
शक्तेरभावे सामर्थ्यं नैव गच्छत्यनन्तताम् ॥ ३९ ॥
English Translation: Even if bandwidth is expanded towards infinity, capacity never becomes boundless; without infinite transmitter power, capacity reaches an asymptotic ceiling.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
विस्तारे वर्धिते च अपि सीमा न एव अन्तम् उज्झति । शक्तेः अभावे सामर्थ्यम् न एव गच्छति अनन्तताम् ॥

अन्वयः:
विस्तारे वर्धिते अपि सीमा अन्तम् नैव उज्झति, शक्तेः अभावे सामर्थ्यम् अनन्ततां नैव गच्छति।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
विस्तारे वर्धिते सतीसप्तमी प्रयोगः when bandwidth ($B$) is expanded ($B o \infty$)
च अपि अव्यययुग्मम् and even
सीमा सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) channel capacity
न एव अव्यययुग्मम् never indeed
अन्तम् सुबन्तरूपम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) finite bound
उज्झति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) abandons
शक्तेः सुबन्तरूपम् (षष्ठी, एकवचनम्, स्त्रीलिंगम्) of power
अभावे सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) in absence, when power $S$ is finite
सामर्थ्यम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) capacity
अनन्तताम् सुबन्तरूपम् (द्वितीया, एकवचनम्, स्त्रीलिंगम्) infinity ($\infty$)
गच्छति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) reaches

Information Theory & Telecommunications Commentary:
Infinite Bandwidth Limit: because total noise power is $N = N_0 B$, expanding bandwidth also admits more noise. Taking the limit as $B o \infty$: $\lim_{B o \infty} B \log_2\left(1 + rac{S}{N_0 B} ight) = rac{S}{N_0} \log_2 e pprox 1.442 rac{S}{N_0}$ bits/sec. Infinite bandwidth does NOT give infinite capacity if power is finite.

श्लोकः ४० (Verse 40)

अनुष्टुभ् (Anuṣṭubh)

तन्तुजालेषु यद्दृष्टं व्योमसञ्चारकेऽपि च ।
एतेनैव विधानेन सर्वं जगति बध्यते ॥ ४० ॥
English Translation: Whatever operates across fiber-optic conduits or deep-space satellite transmitters, by this exact equation is all worldly communication governed.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
तन्तु-जालेषु यत् दृष्टम् व्योम-सञ्चारके अपि च । एतेन एव विधानेन सर्वम् जगति बध्यते ॥

अन्वयः:
तन्तुजालेषु व्योमसञ्चारके अपि च यत् दृष्टम्, एतेन विधानेन एव जगति सर्वं बध्यते।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
तन्तुजालेषु सुबन्तरूपम् (सप्तमी, बहुवचनम्, नपुंसकलिंगम्) तन्तूनां जालेषु (तत्पुरुषः); in fiber optic networks
व्योमसञ्चारके सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) व्योम्नः सञ्चारके (तत्पुरुषः); in satellite / deep space wireless channels
अपि च अव्यययुग्मम् and also
यत् सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) which communication
दृष्टम् कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) observed
एतेन सर्वनाम (तृतीया, एकवचनम्, पुंल्लिंगम्) by this
विधानेन सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) by the Shannon-Hartley Law
सर्वम् सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) everything
जगति सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) in the connected world
बध्यते तिङन्तरूपम् (कर्मणि लट्, प्रथमपुरुषः, एकवचनम्) is bounded, governed

Information Theory & Telecommunications Commentary:
Universal Reach: the Shannon-Hartley theorem governs everything from undersea cables carrying petabits of transatlantic internet traffic to Wi-Fi 7 routers to interplanetary communication links transmitting images from Mars.

श्लोकः ४१ (Verse 41)

अनुष्टुभ् (Anuṣṭubh)

यदा न शक्यते पूर्णं रक्षणं सर्वथा पदे ।
कियती विकृतिर्गृह्या विचार्यं तद्विचक्षणैः ॥ ४१ ॥
English Translation: When perfect lossless fidelity cannot be preserved across constrained channels, how much distortion may be tolerated must be calculated by the wise.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
यदा न शक्यते पूर्णम् रक्षणम् सर्वथा पदे । कियती विकृतिः ग्राह्या विचार्यम् तत् विचक्षणैः ॥

अन्वयः:
यदा पदे सर्वथा पूर्णं रक्षणं न शक्यते, तदा कियती विकृतिः ग्राह्या, तत् विचक्षणैः विचार्यम्।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
यदा अव्ययम् when
न शक्यते क्रियापदम् is not possible
पूर्णम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) perfect, lossless
रक्षणम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) preservation of every bit
सर्वथा अव्ययम् under severe bandwidth constraints
पदे सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) in transmission
कियती सर्वनाम (प्रथमा, एकवचनम्, स्त्रीलिंगम्) how much
विकृतिः सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) distortion, fidelity error ($D$)
ग्राह्या कृदन्तरूपम् (ण्यत्, प्रथमा, एकवचनम्, स्त्रीलिंगम्) acceptable, tolerable
विचार्यम् कृदन्तरूपम् (तव्यत्) ought to be evaluated
तत् सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) that trade-off
विचक्षणैः सुबन्तरूपम् (तृतीया, बहुवचनम्, पुंल्लिंगम्) by discerning engineers

Information Theory & Telecommunications Commentary:
Lossy Data Compression: for continuous signals like speech, music and video, exact lossless representation requires infinite bits. Rate-Distortion theory formalizes the optimal trade-off: what is the minimum bit rate $R$ needed to guarantee distortion $\le D$?

श्लोकः ४२ (Verse 42)

अनुष्टुभ् (Anuṣṭubh)

अल्पे वेगे प्रयुक्ते तु विकृतिर्वर्धते भृशम् ।
वेगे प्रवृद्धे विकृतिर्ह्रासं गच्छति सर्वशः ॥ ४२ ॥
English Translation: When transmission bitrate is constrained to a trickle, distortion spikes violently; as bitrate expands, distortion recedes towards zero.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
अल्पे वेगे प्रयुक्ते तु विकृतिः वर्धते भृशम् । वेगे प्रवृद्धे विकृतिः ह्रासम् गच्छति सर्वशः ॥

अन्वयः:
अल्पे वेगे प्रयुक्ते तु विकृतिः भृशं वर्धते, वेगे प्रवृद्धे विकृतिः सर्वशः ह्रासं गच्छति।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
अल्पे वेगे सतीसप्तमी प्रयोगः when a low bitrate $R$ is used
प्रयुक्ते कृदन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) deployed
तु अव्ययम् indeed
विकृतिः सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) distortion ($D$)
वर्धते तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) escalates
भृशम् क्रियाविशेषणम् severely
वेगे प्रवृद्धे सतीसप्तमी प्रयोगः as bitrate $R$ is expanded
ह्रासम् सुबन्तरूपम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) diminution, decay
गच्छति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) reaches
सर्वशः शस्-प्रत्ययान्तम् अव्ययम् comprehensively

Information Theory & Telecommunications Commentary:
Monotonicity of Rate-Distortion: $R(D) = \min_{p(\hat{x} \mid x): \mathbb{E}[d(x, \hat{x})] \le D} I(X; \hat{X})$. The Rate-Distortion function $R(D)$ is a strictly decreasing, convex function of distortion $D$. Higher fidelity demands higher bitrate; lower bitrate forces higher compression distortion.

श्लोकः ४३ (Verse 43)

अनुष्टुभ् (Anuṣṭubh)

नेत्रयोः श्रवणस्यापि सीमां ज्ञात्वा प्रयत्नतः ।
अनावश्यकमंशं तु त्यजति ज्ञानपारगः ॥ ४३ ॥
English Translation: Understanding the perceptual limits of human eyes and ears, the master engineer discards imperceptible components without hesitation.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
नेत्रयोः श्रवणस्य अपि सीमाम् ज्ञात्वा प्रयत्नतः । अनावश्यकम् अंशम् तु त्यजति ज्ञान-पारगः ॥

अन्वयः:
नेत्रयोः श्रवणस्य अपि सीमां प्रयत्नतः ज्ञात्वा, ज्ञानपारगः अनावश्यकम् अंशं तु त्यजति।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
नेत्रयोः सुबन्तरूपम् (षष्ठी, द्विवचनम्, नपुंसकलिंगम्) of the two eyes (visual perception)
श्रवणस्य सुबन्तरूपम् (षष्ठी, एकवचनम्, नपुंसकलिंगम्) of hearing (auditory perception)
अपि अव्ययम् also
सीमाम् सुबन्तरूपम् (द्वितीया, एकवचनम्, स्त्रीलिंगम्) perceptual resolution thresholds
ज्ञात्वा कृदन्तरूपम् (क्त्वा) having understood
प्रयत्नतः तसिल्-प्रत्ययान्तम् अव्ययम् with precision
अनावश्यकम् विशेषणम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) imperceptible, inaudible, redundant
अंशम् सुबन्तरूपम् (द्वितीया, एकवचनम्, पुंल्लिंगम्) frequency component / visual detail
तु अव्ययम् indeed
त्यजति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) discards, quantizes away
ज्ञानपारगः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) ज्ञानस्य पारं गच्छति इति (उपपदसमासः); the master compression engineer

Information Theory & Telecommunications Commentary:
Perceptual Lossy Encoding: human sensory organs cannot perceive high-frequency audio masked by louder tones (psychoacoustics in MP3/AAC) or subtle high-frequency chroma variations (chroma subsampling and DCT quantization in JPEG/H.264/AV1). Rate-distortion theory quantifies which bits can be safely discarded.

श्लोकः ४४ (Verse 44)

अनुष्टुभ् (Anuṣṭubh)

चित्राणि च ध्वनिश्चैव लघुरूपं समाश्रिताः ।
विकृतौ सहनीयायां सुखेन सञ्चरन्त्यहो ॥ ४४ ॥
English Translation: Images and audio streams, compressed into fractions of their size, travel smoothly across the globe within tolerable distortion bounds.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
चित्राणि च ध्वनिः च एव लघु-रूपम् समाश्रिताः । विकृतौ सहनीयायाम् सुखेन सञ्चरन्ति अहो ॥

अन्वयः:
चित्राणि ध्वनिः च एव लघुरूपं समाश्रिताः, सहनीयायां विकृतौ (सत्यां) सुखेन सञ्चरन्ति अहो।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
चित्राणि सुबन्तरूपम् (प्रथमा, बहुवचनम्, नपुंसकलिंगम्) images, video frames
च … च एव अव्ययत्रयम् and audio as well
ध्वनिः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) sound, music streams
लघुरूपम् सुबन्तरूपम् (द्वितीया, एकवचनम्, नपुंसकलिंगम्) compact compressed representation
समाश्रिताः कृदन्तरूपम् (प्रथमा, बहुवचनम्, पुंल्लिंगम्/नपुंसकलिंगम्) having adopted
विकृतौ सुबन्तरूपम् (सप्तमी, एकवचनम्, स्त्रीलिंगम्) in distortion
सहनीयायाम् विशेषणम् (सप्तमी, एकवचनम्, स्त्रीलिंगम्) imperceptible, tolerable
सुखेन क्रियाविशेषणम् seamlessly, effortlessly
सञ्चरन्ति तिङन्तरूपम् (लट्, प्रथमपुरुषः, बहुवचनम्) stream across networks
अहो अव्ययम् lo! wonder

Information Theory & Telecommunications Commentary:
Streaming Video and Audio Revolution: uncompressed 4K video requires over 12 Gbps of throughput. Rate-distortion algorithms (HEVC/AV1) compress this to under 25 Mbps: a 500-to-1 compression ratio with near-zero perceived loss in visual quality.

श्लोकः ४५ (Verse 45)

अनुष्टुभ् (Anuṣṭubh)

एवं त्यागेन संसिद्धं लाघवं परमोत्तमम् ।
विस्तारे सीमिते चापि प्रवहत्यादरात्कथा ॥ ४५ ॥
English Translation: Thus through deliberate sacrifice, consummate compression economy is attained; even across narrow bandwidth, the narrative of humanity flows with grace.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
एवम् त्यागेन संसिद्धम् लाघवम् परम-उत्तमम् । विस्तारे सीमिते च अपि प्रवहति आदरात् कथा ॥

अन्वयः:
एवं त्यागेन परमोत्तमं लाघवं संसिद्धम्, सीमिते विस्तारे अपि कथा आदरात् प्रवहति।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
एवम् अव्ययम् in this manner
त्यागेन सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) by discarding non-essential bits
संसिद्धम् कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) achieved, perfected
लाघवम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) compression lightness / brevity
परमोत्तमम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) supreme
विस्तारे सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) in bandwidth channel
सीमिते विशेषणम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) in narrow, constrained
च अपि अव्यययुग्मम् and even
प्रवहति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) flows
आदरात् क्रियाविशेषणम् faithfully
कथा सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) human communication / media narrative

Information Theory & Telecommunications Commentary:
Rate-distortion theory proves that perfection is not when there is nothing more to add, but when there is nothing more to take away without violating the distortion threshold.

श्लोकः ४६ (Verse 46)

अनुष्टुभ् (Anuṣṭubh)

गूढलेखस्य शास्त्रेऽपि शाननेन कृतः श्रमः ।
परमं रक्षणं यच्च तत्सिद्धं गणितेन वै ॥ ४६ ॥
English Translation: In the science of cryptography as well, Shannon applied his genius; that which constitutes absolute unbreakable secrecy was proved through rigorous mathematics.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
गूढ-लेखस्य शास्त्रे अपि शाननेन कृतः श्रमः । परमम् रक्षणम् यत् च तत् सिद्धम् गणितेन वै ॥

अन्वयः:
गूढलेखस्य शास्त्रे अपि शाननेन श्रमः कृतः, यत् च परमं रक्षणं तत् गणितेन सिद्धं वै।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
गूढलेखस्य सुबन्तरूपम् (षष्ठी, एकवचनम्, नपुंसकलिंगम्) of cryptography, secrecy systems
शास्त्रे सुबन्तरूपम् (सप्तमी, एकवचनम्, नपुंसकलिंगम्) in the science
अपि अव्ययम् also
शाननेन सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) by Claude Shannon (1949)
कृतः कृदन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) undertaken
श्रमः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) pioneering labor
परमम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) perfect, absolute
रक्षणम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) unbreakable secrecy
यत् सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) which
च अव्ययम् and
तत् सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) that
सिद्धम् कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) proven
गणितेन सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) by pure mathematics
वै अव्ययम् verily

Information Theory & Telecommunications Commentary:
Shannon’s 1949 Cryptography Paper: ‘Communication Theory of Secrecy Systems’ transformed cryptography from an art of code-makers and code-breakers into a branch of information theory, proving that security can be analyzed with mathematical rigor.

श्लोकः ४७ (Verse 47)

अनुष्टुभ् (Anuṣṭubh)

कुञ्चिका यदि तुल्या स्यात्सन्देशेन प्रमाणतः ।
एकवारप्रयुक्ता च न तद्भेदः कदाचन ॥ ४७ ॥
English Translation: If the secret key is equal in length to the plaintext message, truly random and used only once, its encryption can never be broken by any computational power.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
कुञ्चिका यदि तुल्या स्यात् सन्देशेन प्रमाणतः । एक-वार-प्रयुक्ता च न तत्-भेदः कदाचन ॥

अन्वयः:
कुञ्चिका यदि प्रमाणतः सन्देशेन तुल्या स्यात् एकवारप्रयुक्ता च (स्यात्), कदाचन तद्भेदः न (भवति)।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
कुञ्चिका सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) secret key ($K$)
यदि अव्ययम् if
तुल्या विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) equal in length ($H(K) \ge H(M)$)
स्यात् तिङन्तरूपम् (विधिलिङ्, प्रथमपुरुषः, एकवचनम्) should be
सन्देशेन सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) with the plaintext message ($M$)
प्रमाणतः तसिल्-प्रत्ययान्तम् अव्ययम् in entropy / length
एकवारप्रयुक्ता विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) used exactly once (One-Time Pad)
च अव्ययम् and
न अव्ययम् never
तद्भेदः सुबन्तरूपम् (प्रथमा, एकवचनम्, पुंल्लिंगम्) तस्य भेदः (तत्पुरुषः); cracking / deciphering
कदाचन अव्ययम् at any time whatsoever

Information Theory & Telecommunications Commentary:
Shannon’s Proof of Perfect Secrecy: Perfect secrecy requires $P(M \mid C) = P(M)$, meaning observing ciphertext $C$ provides zero information about message $M$ ($I(M; C) = 0$). Shannon proved that perfect secrecy is possible if and only if the key entropy is at least as large as the message entropy: $H(K) \ge H(M)$ (the One-Time Pad).

श्लोकः ४८ (Verse 48)

अनुष्टुभ् (Anuṣṭubh)

गणितस्य बलेनैव जगत्सञ्चारसंयुतम् ।
अदृष्टं ग्रथितं सर्वं विद्युन्मार्गेषु धावति ॥ ४८ ॥
English Translation: By the sheer power of mathematics alone is the world joined in global communication; unperceived and woven together, all data surges across optical and electrical channels.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
गणितस्य बलेन एव जगत् सञ्चार-संयुतम् । अदृष्टम् ग्रथितम् सर्वम् विद्युत्-मार्गेषु धावति ॥

अन्वयः:
गणितस्य बलेन एव जगत् सञ्चारसंयुतं (जातम्), ग्रथितम् अदृष्टं सर्वं विद्युन्मार्गेषु धावति।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
गणितस्य सुबन्तरूपम् (षष्ठी, एकवचनम्, नपुंसकलिंगम्) of mathematics
बलेन सुबन्तरूपम् (तृतीया, एकवचनम्, नपुंसकलिंगम्) by the strength
एव अव्ययम् alone
जगत् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) the entire globe
सञ्चारसंयुतम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) endowed with telecommunication connectivity
अदृष्टम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) invisible to the naked eye
ग्रथितम् कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) interwoven into network fabric
सर्वम् सर्वनाम (प्रथमा, एकवचनम्, नपुंसकलिंगम्) all knowledge and discourse
विद्युन्मार्गेषु सुबन्तरूपम् (सप्तमी, बहुवचनम्, पुंल्लिंगम्) विद्युतः मार्गेषु (तत्पुरुषः); across optical and electronic circuits
धावति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) rushes, streams

Information Theory & Telecommunications Commentary:
The Global Information Mesh: Shannon’s theory transformed abstract mathematical concepts into physical global infrastructure: fiber-optic backbones, internet routing, mobile cellular towers and satellite constellations.

श्लोकः ४९ (Verse 49)

अनुष्टुभ् (Anuṣṭubh)

शाननस्य प्रसादेन युगं नूतनमागतम् ।
द्व्यङ्केषु सर्वविज्ञानां प्रतिष्ठा संस्थिता परा ॥ ४९ ॥
English Translation: Through the intellectual grace of Claude Shannon, a new epoch dawned on earth; within the binary alphabet of bits, the supreme edifice of all human knowledge is anchored.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
शाननस्य प्रसादेन युगम् नूतनम् आगतम् । द्व्यङ्केषु सर्व-विज्ञानाम् प्रतिष्ठा संस्थिता परा ॥

अन्वयः:
शाननस्य प्रसादेन नूतनं युगम् आगतम्, द्व्यङ्केषु सर्वविज्ञानां परा प्रतिष्ठा संस्थिता।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
शाननस्य सुबन्तरूपम् (षष्ठी, एकवचनम्, पुंल्लिंगम्) of Claude Shannon
प्रसादेन सुबन्तरूपम् (तृतीया, एकवचनम्, पुंल्लिंगम्) by the intellectual grace / gift
युगम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) epoch, age
नूतनम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) the Digital Information Age
आगतम् कृदन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) arrived, commenced
द्व्यङ्केषु सुबन्तरूपम् (सप्तमी, बहुवचनम्, पुंल्लिंगम्) within binary bits (0s and 1s)
सर्वविज्ञानाम् सुबन्तरूपम् (षष्ठी, बहुवचनम्, नपुंसकलिंगम्) of all sciences and arts
प्रतिष्ठा सुबन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) foundation, sovereign pedestal
संस्थिता कृदन्तरूपम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) firmly established
परा विशेषणम् (प्रथमा, एकवचनम्, स्त्रीलिंगम्) supreme

Information Theory & Telecommunications Commentary:
Universal Digitization: text, speech, symphonies, paintings, medical scans, genome sequences and mathematical theorems are all encoded as bits. Shannon demonstrated that a bit is the universal substrate of all information.

श्लोकः ५० (Verse 50)

अनुष्टुभ् (Anuṣṭubh)

इति पञ्चाशता श्लोकैः सूचनाशास्त्रमुत्तमम् ।
संवादे यो विजानाति स लोके जयति ध्रुवम् ॥ ५० ॥
English Translation: Thus across fifty metered verses, the sublime science of Information Theory is established; whoever masters this in communication triumphs unconditionally in this world.
व्याकरणम् · पदच्छेदः · अन्वयः · Information Theory Commentary

पदच्छेदः:
इति पञ्चाशता श्लोकैः सूचना-शास्त्रम् उत्तमम् । संवादे यः विजानाति सः लोके जयति ध्रुवम् ॥

अन्वयः:
इति पञ्चाशता श्लोकैः उत्तमं सूचनाशास्त्रं (कृतम्), संवादे यः विजानाति सः लोके ध्रुवं जयति।

व्याकरणम् (Morphological & Syntactic Analysis):

पदम् (Word) व्याकरण-विभागः (Grammatical Category) विवरणम् (Pāṇinian Derivation & Meaning)
इति अव्ययम् thus concludes
पञ्चाशता सुबन्तरूपम् (तृतीया, एकवचनम्, स्त्रीलिंगम्) by fifty
श्लोकैः सुबन्तरूपम् (तृतीया, बहुवचनम्, पुंल्लिंगम्) by metered verses
सूचनाशास्त्रम् सुबन्तरूपम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) सूचनायाः शास्त्रम् (तत्पुरुषः); Information Theory
उत्तमम् विशेषणम् (प्रथमा, एकवचनम्, नपुंसकलिंगम्) sublime, supreme
संवादे सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) in digital and analog communication
यः सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) whoever
विजानाति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) masters, comprehends
सः सर्वनाम (प्रथमा, एकवचनम्, पुंल्लिंगम्) he
लोके सुबन्तरूपम् (सप्तमी, एकवचनम्, पुंल्लिंगम्) in the technological world
जयति तिङन्तरूपम् (लट्, प्रथमपुरुषः, एकवचनम्) triumphs
ध्रुवम् क्रियाविशेषणम् indisputably, eternally

Information Theory & Telecommunications Commentary:
The Concluding Benediction: mastering entropy, mutual information, source coding, channel capacity, error-correction and rate-distortion gives an engineer total intellectual sovereignty over the fundamental mechanics of the connected universe.


Comprehensive Theoretical Summary Matrix

सर्गः (Canto) मुख्यविषयः (Core Topic) शास्त्रीयसंज्ञा (Classical Sanskrit Term) Mathematical Equation Engineering Signification
Canto 1 Uncertainty & Bits संशयप्रमाणम् (Saṁśayapramāṇam) $I(x) = -\log_2 p(x)$ Information as Uncertainty Reduction
Canto 2 Shannon Entropy मूलान्तरङ्गएन्ट्रोपी (Mūlāntaraṅga-Entropī) $H(X) = -\sum p_i \log_2 p_i$ Average Information per Symbol
Canto 3 Mutual Information परस्पराप्तिसारः (Parasparāptisāraḥ) $I(X; Y) = H(X) - H(X \mid Y)$ Shared Information Across Channel
Canto 4 Source Coding Theorem स्रोतसङ्केतनम् (Srotasaṅketanam) $\bar{L} \ge H(X)$ Theoretical Limit of Lossless Compression
Canto 5 Noisy Channel Model नादयुक्तमार्गः (Nādayuktamārgaḥ) $P(y \mid x)$ Matrix Transition Probabilities & Bit Flips
Canto 6 Channel Capacity मार्गसामर्थ्यम् (Mārgasāmarthyam) $C = \max_{p(x)} I(X; Y)$ Universal Physical Throughput Ceiling
Canto 7 Noisy Channel Coding दोषनिवारकसङ्केतनम् (Doṣanivārakasaṅketanam) $P_e \to 0 \iff R < C$ Reliable Communication Across Noise
Canto 8 Continuous Channels सातत्यसीमान्यायः (Sātat Yasīmānyāyaḥ) $C = B \log_2(1 + S/N)$ Bandwidth-Power Trade-off in Analog Media
Canto 9 Rate-Distortion Theory विकृतिदरसिद्धान्तः (Vikṛtidarasiddhāntaḥ) $R(D) = \min I(X; \hat{X})$ Optimal Lossy Compression Limits
Canto 10 Cryptography & Synthesis गूढलेखसिद्धिः (Gūḍhalekhasiddhiḥ) $H(M \mid C) = H(M)$ Mathematical Proof of Perfect Secrecy

Classical Technical Sanskrit Information Lexicon (पारिभाषिककोशः)

  • सूचना (Sūcanā): Information; the quantitative measure of resolved uncertainty.
  • द्व्यङ्कः (Dvyaṅkaḥ): Bit (Binary Digit); the fundamental atomic unit of information ($0$ or $1$).
  • संशयः (Saṁśayaḥ): Entropy ($H$); the expected uncertainty or disorder of a probabilistic source.
  • अधीनसंशयः (Adhīnasaṁśayaḥ): Conditional Entropy / Equivocation ($H(Y \mid X)$); remaining uncertainty given prior knowledge.
  • परस्पराप्तिः (Parasparāptiḥ): Mutual Information ($I(X; Y)$); the shared information transferred across a channel.
  • स्रोतसङ्केतनम् (Srotasaṅketanam): Source Coding; lossless data compression mapping symbols to optimal prefix codes.
  • मार्गसामर्थ्यम् (Mārgasāmarthyam): Channel Capacity ($C$); the maximum achievable mutual information over a transmission medium.
  • नादः (Nādaḥ): Channel Noise ($N$); physical interference corrupting transmitted waveforms or bits.
  • पट्टविस्तारः (Paṭṭavistāraḥ): Bandwidth ($B$); the frequency spectrum width allocated for transmission.
  • विकृतिदरः (Vikṛtidaraḥ): Rate-Distortion ($R(D)$); the minimum bit rate required to keep lossy distortion within bound $D$.

Concluding Theoretical Synthesis

Claude Shannon unified the physical and abstract worlds under the sovereign jurisdiction of probability and mathematics. As codified in the Sūcanā-pañcāśikā, Information Theory demonstrates that neither distance, noise, nor physical distortion can extinguish human communication so long as transmission honors the eternal laws of nature: compressing redundant speech to its entropy, shielding bits with structured parity and respecting the immutable speed limit of Channel Capacity. Across optical fibers, atmospheric waves and digital matrices, Shannon’s equations illuminate the interconnected cosmos.