लेखनधाराधर्मः। क्रमसंचयधर्मस्य (३ फाल्गु) अनन्तरं अत्र लेखनधारा: लेखनधाराधर्मः परिवर्तनग्रहणं अङ्कः पात्रम्। लेखनधाराधर्मः।

English (minimizable)

After ordered aggregation (3 Feb), this post covers write streams: CDC capture, offsets, sinks and why the log is the contract not a side hobby.

पूर्ण-शीर्षकम् / Full title

लेखनधाराधर्मः: A Metrical Codification of Write-Stream Dharma (with English glosses)

English · overview and topics (minimizable)

What this post is about

Every durable write can speak again as a stream. Capture at the source, advance offsets with care, never fork truth silently.

Topics

  1. Why CDC
  2. Source capture
  3. Offset commit
  4. At-least-once sink
  5. Schema on stream
  6. Backfill
  7. Delete as event
  8. Lag page
  9. Not dual source of truth
  10. Five limbs
  11. Close
  12. Seal

Sanskrit title

लेखनधाराधर्मः = dharma of the write stream.

English

Minimizable; Sanskrit-first.

परम्परा-सन्धिः / Series links
पूर्वं / Prior अत्र / Adds न पुनः / Does not repeat
क्रमसंचयधर्मः (३ फाल्गु) fold windows this is the feed
नादपटलधर्मः (१६ जन) pubsub cousin
अत्र CDC write stream -
ग्राह्य-त्याज्य-विवेकः / Keep and avoid

ग्राह्यम् / Keep

१. capture at primary write path: source
२. commit offsets after sink ack: offset
३. sinks tolerate duplicates: alo
४. deletes are first-class events: delete
५. page on capture lag: lag

त्याज्यम् / Avoid

  • Poll tables as only CDC forever
  • Commit offset before sink
  • Drop deletes silently
  • Two independent write truths
अध्याय-योजना / Chapter plan
प्रकरणम् विषयः छन्दः श्लोकाः
मङ्गलं बीजं च / Opening अनुष्टुभ्
मूलतत्त्वानि / Core अनुष्टुभ्
मुख्यविधिः / Method उपजाति
रक्षा · विधिः / Guards अनुष्टुभ्
विवेक · सीमा / Judgment अनुष्टुभ्
पूर्वसन्धिः / Series links उपजाति
उपसंहारः / Close अनुष्टुभ्
पारिभाषिक-कोशः / Glossary
Modern English संस्कृतम् Note
write stream लेखनधारा change flow
CDC परिवर्तनग्रहणम् change capture
offset धाराङ्कः stream cursor
sink पातपात्रम् downstream store
backfill पूरणम् historical fill

श्लोकः १ (अनुष्टुभ्)

स्थिरलेखः पुनः वक्तुं शक्नोति तस्माद् धारां योजय ।
अधारायां इतिहासो मौनः हि नित्यम् ॥१॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
स्थिरलेखः पुनः वक्तुं शक्नोति तस्माद् धारां योजय । अधारायां इतिहासो मौनः हि नित्यम् ॥१॥

Word-for-word

संस्कृतपदम् Word-for-word English
स्थिरलेखः स्थिरलेखः
पुनः पुनः
वक्तुं वक्तुं
शक्नोति शक्नोति
तस्माद् तस्माद्
धारां धारां
योजय योजय
अधारायां अधारायां
इतिहासो इतिहासो
मौनः मौनः
हि हि
नित्यम् नित्यम्

Gloss table

पदम् अर्थः / sense
धर्मः dharma
मितम् measured

English sense
Durable writes can speak again; without a stream history is mute.

Context / topic
why

वृत्तमिति: ८-८-८-८।

श्लोकः २ (अनुष्टुभ्)

परिवर्तनं मूललेखपथे गृह्ण मा केवलं ।
पृष्ठमात्रे भेदो जायते पथि नित्यम् ॥२॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
परिवर्तनं मूललेखपथे गृह्ण मा केवलं । पृष्ठमात्रे भेदो जायते पथि नित्यम् ॥२॥

Word-for-word

संस्कृतपदम् Word-for-word English
परिवर्तनं परिवर्तनं
मूललेखपथे मूललेखपथे
गृह्ण गृह्ण
मा मा
केवलं केवलं
पृष्ठमात्रे पृष्ठमात्रे
भेदो भेदो
जायते जायते
पथि पथि
नित्यम् नित्यम्

Gloss table

पदम् अर्थः / sense
धर्मः dharma
मितम् measured

English sense
Capture on the primary write path not only side polls; side-only skews.

Context / topic
source

वृत्तमिति: ८-८-८-८।

श्लोकः ३ (उपजाति)

धाराङ्कं पात्रात् परं गृह्ण सदा ।
सिद्धे पात्रे एव गृह्ण सम्यक् ।
पूर्वाङ्के हानिर्जायते सम्यक् ।
एवं अङ्कधर्मः सदा सम्यक् ॥३॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
धाराङ्कं पात्रात् परं गृह्ण सदा । सिद्धे पात्रे एव गृह्ण सम्यक् । पूर्वाङ्के हानिर्जायते सम्यक् । एवं अङ्कधर्मः सदा सम्यक् ॥३॥

Word-for-word

संस्कृतपदम् Word-for-word English
धाराङ्कं धाराङ्कं
पात्रात् पात्रात्
परं परं
गृह्ण गृह्ण
सदा सदा
सिद्धे सिद्धे
पात्रे पात्रे
एव एव
सम्यक् सम्यक्
पूर्वाङ्के पूर्वाङ्के
हानिर्जायते हानिर्जायते
एवं एवं

Gloss table

पदम् अर्थः / sense
धर्मः dharma

English sense
Commit offset after sink ack; early commit loses events.

Context / topic
offset

वृत्तमिति: एकादशाक्षराः पादाः।

श्लोकः ४ (अनुष्टुभ्)

पातपात्रं द्विवारं सहस्व न्यूनैकवारं सत्यं ।
एकवारमिथ्यायां कथा नश्यति सदा ॥४॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
पातपात्रं द्विवारं सहस्व न्यूनैकवारं सत्यं । एकवारमिथ्यायां कथा नश्यति सदा ॥४॥

Word-for-word

संस्कृतपदम् Word-for-word English
पातपात्रं पातपात्रं
द्विवारं द्विवारं
सहस्व सहस्व
न्यूनैकवारं न्यूनैकवारं
सत्यं सत्यं
एकवारमिथ्यायां एकवारमिथ्यायां
कथा कथा
नश्यति नश्यति
सदा सदा

Gloss table

पदम् अर्थः / sense
धर्मः dharma
मितम् measured

English sense
Sinks must tolerate duplicates; fake exactly-once kills the tale.

Context / topic
alo

वृत्तमिति: ८-८-८-८।

श्लोकः ५ (अनुष्टुभ्)

धारान्यासं चिह्नितं कुरु अचिह्नं मा प्रवाहितम् ।
अचिह्ने धारे ग्राहको भ्रमति नित्यम् ॥५॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
धारान्यासं चिह्नितं कुरु अचिह्नं मा प्रवाहितम् । अचिह्ने धारे ग्राहको भ्रमति नित्यम् ॥५॥

Word-for-word

संस्कृतपदम् Word-for-word English
धारान्यासं धारान्यासं
चिह्नितं चिह्नितं
कुरु कुरु
अचिह्नं अचिह्नं
मा मा
प्रवाहितम् प्रवाहितम्
अचिह्ने अचिह्ने
धारे धारे
ग्राहको ग्राहको
भ्रमति भ्रमति
नित्यम् नित्यम्

Gloss table

पदम् अर्थः / sense
धर्मः dharma
मितम् measured

English sense
Schema-mark the stream; unmarked flow confuses consumers.

Context / topic
schema

वृत्तमिति: ८-८-८-८।

श्लोकः ६ (अनुष्टुभ्)

ऐतिहासिकपूरणपथं लिख मा केवलं ।
अपूरणे कथा खण्डिता जायते सदा ॥६॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
ऐतिहासिकपूरणपथं लिख मा केवलं । अपूरणे कथा खण्डिता जायते सदा ॥६॥

Word-for-word

संस्कृतपदम् Word-for-word English
ऐतिहासिकपूरणपथं ऐतिहासिकपूरणपथं
लिख लिख
मा मा
केवलं केवलं
अपूरणे अपूरणे
कथा कथा
खण्डिता खण्डिता
जायते जायते
सदा सदा

Gloss table

पदम् अर्थः / sense
धर्मः dharma
मितम् measured

English sense
Write a backfill path not only live tail; no backfill fragments the story.

Context / topic
backfill

वृत्तमिति: ८-८-८-८।

श्लोकः ७ (अनुष्टुभ्)

लोपमपि घटनां कुरु मौननाशं मा ।
मौनलोपे प्रेतो तिष्ठति पथि नित्यम् ॥७॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
लोपमपि घटनां कुरु मौननाशं मा । मौनलोपे प्रेतो तिष्ठति पथि नित्यम् ॥७॥

Word-for-word

संस्कृतपदम् Word-for-word English
लोपमपि लोपमपि
घटनां घटनां
कुरु कुरु
मौननाशं मौननाशं
मा मा
मौनलोपे मौनलोपे
प्रेतो प्रेतो
तिष्ठति तिष्ठति
पथि पथि
नित्यम् नित्यम्

Gloss table

पदम् अर्थः / sense
धर्मः dharma
मितम् measured

English sense
Deletes are events too; silent delete leaves ghosts.

Context / topic
delete

वृत्तमिति: ८-८-८-८।

श्लोकः ८ (अनुष्टुभ्)

ग्रहणविलंम्बे शब्दं देहि मौनं मा विश्वस ।
मौनविलम्बे अग्निर्वर्धते पथि सदा ॥८॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
ग्रहणविलंम्बे शब्दं देहि मौनं मा विश्वस । मौनविलम्बे अग्निर्वर्धते पथि सदा ॥८॥

Word-for-word

संस्कृतपदम् Word-for-word English
ग्रहणविलंम्बे ग्रहणविलंम्बे
शब्दं शब्दं
देहि देहि
मौनं मौनं
मा मा
विश्वस विश्वस
मौनविलम्बे मौनविलम्बे
अग्निर्वर्धते अग्निर्वर्धते
पथि पथि
सदा सदा

Gloss table

पदम् अर्थः / sense
धर्मः dharma
मितम् measured

English sense
Page on capture lag; silence grows fire.

Context / topic
lag

वृत्तमिति: ८-८-८-८।

श्लोकः ९ (अनुष्टुभ्)

द्विसत्यलेखो न धर्मः पथि कदापि हि ।
एकधारा पर्याप्तः पथि सदा नित्यम् ॥९॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
द्विसत्यलेखो न धर्मः पथि कदापि हि । एकधारा पर्याप्तः पथि सदा नित्यम् ॥९॥

Word-for-word

संस्कृतपदम् Word-for-word English
द्विसत्यलेखो द्विसत्यलेखो
धर्मः धर्मः
पथि पथि
कदापि कदापि
हि हि
एकधारा एकधारा
पर्याप्तः पर्याप्तः
सदा सदा
नित्यम् नित्यम्

Gloss table

पदम् अर्थः / sense
धर्मः dharma
मितम् measured

English sense
Two independent write truths are not dharma; one stream is enough.

Context / topic
not dual

वृत्तमिति: ८-८-८-८।

श्लोकः १० (उपजाति)

मूलं अङ्कं पात्रम् सदा सम्यक् ।
न्यासं पूरणं लोपम् हि सम्यक् ।
विलंम्बं द्वयविवेकम् एव ।
पञ्चाङ्गं लेखनधारा उच्यते ॥१०॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
मूलं अङ्कं पात्रम् सदा सम्यक् । न्यासं पूरणं लोपम् हि सम्यक् । विलंम्बं द्वयविवेकम् एव । पञ्चाङ्गं लेखनधारा उच्यते ॥१०॥

Word-for-word

संस्कृतपदम् Word-for-word English
मूलं मूलं
अङ्कं अङ्कं
पात्रम् पात्रम्
सदा सदा
सम्यक् सम्यक्
न्यासं न्यासं
पूरणं पूरणं
लोपम् लोपम्
हि हि
विलंम्बं विलंम्बं
द्वयविवेकम् द्वयविवेकम्
एव एव

Gloss table

पदम् अर्थः / sense
धर्मः dharma

English sense
Five limbs of write-stream dharma.

Context / topic
five

वृत्तमिति: एकादशाक्षराः पादाः।

श्लोकः ११ (अनुष्टुभ्)

इति धारासारः अङ्कसत्ययुक्तः सदा ।
मापितग्रहणं कर्मयोग्यं तन्त्रधर्मः स उच्यते ॥११॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
इति धारासारः अङ्कसत्ययुक्तः सदा । मापितग्रहणं कर्मयोग्यं तन्त्रधर्मः स उच्यते ॥११॥

Word-for-word

संस्कृतपदम् Word-for-word English
इति इति
धारासारः धारासारः
अङ्कसत्ययुक्तः अङ्कसत्ययुक्तः
सदा सदा
मापितग्रहणं मापितग्रहणं
कर्मयोग्यं कर्मयोग्यं
तन्त्रधर्मः तन्त्रधर्मः
उच्यते उच्यते

Gloss table

पदम् अर्थः / sense
धर्मः dharma
मितम् measured

English sense
Closing: operable CDC under offset-after-ack law.

Context / topic
close

वृत्तमिति: ८-८-८-८।

श्लोकः १२ (अनुष्टुभ्)

मूले गृह्ण अङ्कं पश्चात् द्विवारं सहस्व लोपं ।
द्विसत्यं मा धाराधर्मः स उच्यते पथि ॥१२॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
मूले गृह्ण अङ्कं पश्चात् द्विवारं सहस्व लोपं । द्विसत्यं मा धाराधर्मः स उच्यते पथि ॥१२॥

Word-for-word

संस्कृतपदम् Word-for-word English
मूले मूले
गृह्ण गृह्ण
अङ्कं अङ्कं
पश्चात् पश्चात्
द्विवारं द्विवारं
सहस्व सहस्व
लोपं लोपं
द्विसत्यं द्विसत्यं
मा मा
धाराधर्मः धाराधर्मः
उच्यते उच्यते

Gloss table

पदम् अर्थः / sense
धर्मः dharma
मितम् measured

English sense
Capture at source, offset after sink, tolerate dupes, delete events, one truth.

Context / topic
seal

वृत्तमिति: ८-८-८-८।

श्लोकसूची / Verse index

१. धारां योजय
२. मूले गृह्ण
३. अङ्कं पश्चात्
४. द्विवारं सहस्व
५. न्यासं धारे
६. पूरणं कुरु
७. लोपं घटनां कुरु
८. विलंम्बं पश्य
९. पञ्चाङ्गं स्मर
१०. द्विसत्यं मा
११. सत्यं धारां
१२. धर्मं धारय

सन्दर्भाः / References
  1. CDC pipelines
  2. Offset management
  3. Prior: aggregate 3 Feb, pubsub 16 Jan