परिवर्तनप्रवाहः। परक्षेत्रनीतौ (१२ अक्टो) ब्राउसर्। अत्र DB कथं वदति बहिः। CDC, WAL, lag। न पोलमात्रम्; परिवर्तनश्रुतिः

English (minimizable)

After CORS (12 Oct), this post covers change data capture: log-based sources, schema evolution, idempotent sinks, outbox contrast, bootstrap/lag, privacy filters, ordering and deletes.

पूर्ण-शीर्षकम् / Full title

परिवर्तनप्रवाहः: A Metrical Codification of Change Data Capture (with English glosses)

English · overview and topics (minimizable)

What this post is about

CDC publishes database row changes as an event stream for search warehouses caches and integrations.

Topics covered

  1. Polling pain
  2. WAL/binlog capture
  3. Schema evolution with consumers
  4. At-least-once + idempotent sinks
  5. Outbox vs CDC
  6. Snapshot bootstrap and lag
  7. PII filtering
  8. Per-key ordering
  9. Deletes/tombstones
  10. Links to streams and warehouse

Sanskrit title

परिवर्तनप्रवाहः = parivartana-pravāhaḥ “flow of changes” (CDC).

English

Minimizable; Sanskrit-first.

परम्परा-सन्धिः / Series links
पूर्वं / Prior अत्र / Adds न पुनः / Does not repeat
बहिर्लेखनपटलः (२८ सितम्बे) app outbox DB-level capture
घटनाप्रवाहः (३० जुलै) transport CDC as source
दत्तांशभण्डारः (२ अक्टो) warehouse sink consumer
इदमर्थकुञ्चिका (४ अक्टो) idempotent apply sink keys
इदम् CDC lag schema privacy -
ग्राह्य-त्याज्य-विवेकः / Keep and avoid

ग्राह्यम् / Keep

१. log-based CDC: prefer WAL/binlog
२. schema expand: consumers compatible
३. idempotent sinks: PK/event id upserts
४. lag SLO: monitor streaming delay
५. PII filter: column allow-lists
६. bootstrap plan: snapshot then stream
७. delete policy: tombstones explicit

त्याज्यम् / Avoid

  • poll whole tables every second as architecture
  • fan out raw PII to all sinks
  • assume global total order
अध्याय-योजना / Chapter plan
प्रकरणम् विषयः छन्दः श्लोकाः
मङ्गलं बीजं च / Opening अनुष्टुभ्
मूलतत्त्वानि / Core अनुष्टुभ्
मुख्यविधिः / Method उपजाति
रक्षा · विधिः / Guards अनुष्टुभ्
विवेक · सीमा / Judgment अनुष्टुभ्
पूर्वसन्धिः / Series links उपजाति
उपसंहारः / Close अनुष्टुभ्
पारिभाषिक-कोशः / Glossary
Modern English संस्कृतम् Note
CDC परिवर्तनप्रग्रहणम् / CDC  
WAL लेखनपूर्वलॉग्  
binlog द्विआधारलॉग्  
snapshot पूर्णचित्रम्  
tombstone समाधिचिह्नम्  
debezium-class (tool class)  
offset/position प्रवाहस्थानम्  
sink निकेतः  
schema registry योजनाकोषः  
backfill पूर्वपूरणम्  

श्लोकः १ (अनुष्टुभ्)

DB सत्यं यदि केवलं पठने तदा घटनाः विलम्बन्ते ।
परिवर्तनप्रवाहस्तस्माद् लेखजन्मश्रुतिः ॥१॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
DB सत्यं यदि केवलं पठने तदा घटनाः विलम्बन्ते । परिवर्तनप्रवाहस्तस्माद् लेखजन्मश्रुतिः ॥१॥

Word-for-word

संस्कृतपदम् Word-for-word English
DB DB
सत्यम् truth
केवलम् only
पठने in polling
घटनाः events
विलम्बन्ते delay
परिवर्तनप्रवाहः change stream
लेखजन्मश्रुतिः hearing of write-birth

Gloss table

पदम् अर्थः / sense
परिवर्तनप्रवाहः CDC
लेखजन्मश्रुतिः hearing row births

English sense
Change data capture streams row-level inserts updates and deletes from the database log so downstream systems learn changes without heavy polling.

Context / topic
Topic: why CDC.

वृत्तमिति: ८-८-८-८।

श्लोकः २ (अनुष्टुभ्)

WAL binlog स्रोतं प्रामाणिकम् ।
trigger exclusively न सर्वदा श्रेयः ॥२॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
WAL binlog स्रोतं प्रामाणिकम् । trigger exclusively न सर्वदा श्रेयः ॥२॥

Word-for-word

संस्कृतपदम् Word-for-word English
WAL WAL
binlog binlog
स्रोतम् source
प्रामाणिकम् authoritative
trigger trigger
exclusively only
न सर्वदा not always
श्रेयः best

Gloss table

पदम् अर्थः / sense
WAL binlog DB log sources
trigger DB triggers

English sense
Log-based CDC usually beats trigger-only designs for completeness and load though triggers still appear in some systems.

Context / topic
Topic: log-based capture.

वृत्तमिति: ८-८-८-८।

श्लोकः ३ (अनुष्टुभ्)

schema evolution ग्राहके सह ।
अन्धconsumers भग्नाः ॥३॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
schema evolution ग्राहके सह । अन्धconsumers भग्नाः ॥३॥

Word-for-word

संस्कृतपदम् Word-for-word English
schema schema
evolution evolution
ग्राहके with consumer
सह together
अन्धconsumers blind consumers
भग्नाः broken

Gloss table

पदम् अर्थः / sense
schema evolution column changes
अन्धconsumers unversioned consumers

English sense
Column adds/renames must be expand/contract compatible with CDC consumers. Breaking payload shapes strand search indexes and warehouses.

Context / topic
Topic: schema and CDC. Links to migrations and API versioning ideas.

वृत्तमिति: ८-८-८-८।

श्लोकः ४ (अनुष्टुभ्)

exactly-once sink दुःसाध्यं ।
इदमर्थलेखनं व्यावहारिकम् ॥४॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
exactly-once sink दुःसाध्यं । इदमर्थलेखनं व्यावहारिकम् ॥४॥

Word-for-word

संस्कृतपदम् Word-for-word English
exactly-once exactly-once
sink sink
दुःसाध्यम् hard
इदमर्थलेखनम् idempotent write
व्यावहारिकम् practical

Gloss table

पदम् अर्थः / sense
exactly-once sink EOS apply
इदमर्थलेखनम् idempotent apply

English sense
Treat delivery as at-least-once and make sinks idempotent by primary key or event id rather than promising magic exactly-once everywhere.

Context / topic
Topic: delivery semantics. Links to idempotency and outbox.

वृत्तमिति: ८-८-८-८।

श्लोकः ५ (उपजाति)

बहिर्पटलं app जन्म
CDC db जन्म ।
उभौ मार्गौ
कदाचित् सह ॥५॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
बहिर्पटलं app जन्म CDC db जन्म । उभौ मार्गौ कदाचित् सह ॥५॥

Word-for-word

संस्कृतपदम् Word-for-word English
बहिर्पटलम् outbox
app app
जन्म birth
CDC CDC
db db
जन्म birth
उभौ both
मार्गौ paths
कदाचित् sometimes
सह together

Gloss table

पदम् अर्थः / sense
बहिर्पटलम् outbox
CDC CDC

English sense
Outbox is application-chosen events; CDC is database truth. Some architectures use both; do not double-publish the same business fact without care.

Context / topic
Topic: outbox vs CDC.

सन्धिः: पटलः सङ्कल्पः; CDC तथ्यम्

वृत्तमिति: एकादशाक्षराः पादाः।

श्लोकः ६ (अनुष्टुभ्)

lag माप्यः snapshot+incremental क्रमः ।
अन्धbackfill विपत्तिः ॥६॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
lag माप्यः snapshot+incremental क्रमः । अन्धbackfill विपत्तिः ॥६॥

Word-for-word

संस्कृतपदम् Word-for-word English
lag lag
माप्यः measured
snapshot snapshot
incremental incremental
क्रमः order
अन्धbackfill blind backfill
विपत्तिः incident

Gloss table

पदम् अर्थः / sense
snapshot+incremental bootstrap then stream
backfill historical load

English sense
Bootstrap with a snapshot then switch to the stream at a tracked position. Measure CDC lag like replica lag.

Context / topic
Topic: bootstrap and lag.

वृत्तमिति: ८-८-८-८।

श्लोकः ७ (अनुष्टुभ्)

PII स्तम्भाः मा सर्वत्र प्रवाहे ।
गोप्यताfilter अनिवार्यः ॥७॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
PII स्तम्भाः मा सर्वत्र प्रवाहे । गोप्यताfilter अनिवार्यः ॥७॥

Word-for-word

संस्कृतपदम् Word-for-word English
PII PII
स्तम्भाः columns
मा सर्वत्र not everywhere
प्रवाहे in the stream
गोप्यताfilter privacy filter
अनिवार्यः mandatory

Gloss table

पदम् अर्थः / sense
PII स्तम्भाः sensitive columns
filter redact/filter

English sense
Do not fan sensitive columns to every downstream by default. Filter mask or tokenize per consumer need.

Context / topic
Topic: privacy on the stream. Links to privacy logging.

वृत्तमिति: ८-८-८-८।

श्लोकः ८ (अनुष्टुभ्)

ordering per key partition ।
विश्वक्रमः मा मिथ्याप्रतिज्ञा ॥८॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
ordering per key partition । विश्वक्रमः मा मिथ्याप्रतिज्ञा ॥८॥

Word-for-word

संस्कृतपदम् Word-for-word English
ordering ordering
per per
key key
partition partition
विश्वक्रमः global order
मा do not
मिथ्याप्रतिज्ञा false promise

Gloss table

पदम् अर्थः / sense
per key per PK order
विश्वक्रमः global order

English sense
CDC usually preserves order per primary key or partition not a single global total order across all tables.

Context / topic
Topic: ordering guarantees.

वृत्तमिति: ८-८-८-८।

श्लोकः ९ (अनुष्टुभ्)

downstream delete tombstone धर्मः ।
soft delete विवेकः ॥९॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
downstream delete tombstone धर्मः । soft delete विवेकः ॥९॥

Word-for-word

संस्कृतपदम् Word-for-word English
downstream downstream
delete delete
tombstone tombstone
धर्मः rule
soft soft
delete delete
विवेकः judgment

Gloss table

पदम् अर्थः / sense
tombstone delete marker
soft delete logical delete

English sense
Propagate deletes intentionally. Soft deletes upstream become update events; hard deletes need tombstones consumers understand.

Context / topic
Topic: deletes.

वृत्तमिति: ८-८-८-८।

श्लोकः १० (उपजाति)

घटनाप्रवाहः वाहनं
CDC स्रोतं ।
दत्तांशभण्डारः
एकः ग्राहकः ॥१०॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
घटनाप्रवाहः वाहनं CDC स्रोतं । दत्तांशभण्डारः एकः ग्राहकः ॥१०॥

Word-for-word

संस्कृतपदम् Word-for-word English
घटनाप्रवाहः event stream treatise
वाहनम् vehicle
CDC CDC
स्रोतम् source
दत्तांशभण्डारः warehouse
एकः one
ग्राहकः customer

Gloss table

पदम् अर्थः / sense
घटनाप्रवाहः event streaming
दत्तांशभण्डारः warehouse

English sense
Streaming platforms carry change events; warehouses and search are common sinks. CDC is the source pattern that feeds them.

Context / topic
Topic: series links.

सन्धिः: CDC जायते; प्रवाहः वहति; भण्डारः पचति

वृत्तमिति: एकादशाक्षराः पादाः।

श्लोकः ११ (अनुष्टुभ्)

स्रोतः schema lag गोप्यता sink-इदमर्थः पञ्चकम् ।
एभिः परिवर्तनप्रवाहः लेखसत्यसमन्वितः ॥११॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
स्रोतः schema lag गोप्यता sink-इदमर्थः पञ्चकम् । एभिः परिवर्तनप्रवाहः लेखसत्यसमन्वितः ॥११॥

Word-for-word

संस्कृतपदम् Word-for-word English
स्रोतः source
schema schema
lag lag
गोप्यता privacy
sink sink
इदमर्थः idempotent
पञ्चकम् five-set

Gloss table

पदम् अर्थः / sense
पञ्चकम् source schema lag privacy sink

English sense
Five limbs: log-based source, schema discipline, lag metrics, privacy filters and idempotent sinks.

Context / topic
Topic: checklist.

वृत्तमिति: ८-८-८-८।

श्लोकः १२ (अनुष्टुभ्)

इति परिवर्तनप्रवाहसारो लेखसत्यसमन्वितः ।
मितं श्रवणं क्रियायोग्यं तन्त्रधर्मः स उच्यते ॥१२॥
पदच्छेदः · Word-for-word · English (minimizable)

पदच्छेदः
इति परिवर्तनप्रवाहसारो लेखसत्यसमन्वितः । मितं श्रवणं क्रियायोग्यं तन्त्रधर्मः स उच्यते ॥१२॥

Word-for-word

संस्कृतपदम् Word-for-word English
इति thus
परिवर्तनप्रवाहसारः CDC essence
लेखसत्यम् write truth
मितम् measured
श्रवणम् hearing
क्रियायोग्यम् operable
तन्त्रधर्मः system dharma

Gloss table

पदम् अर्थः / sense
मितं श्रवणम् measured listening
तन्त्रधर्मः platform dharma

English sense
Closing: hear the database truth as a stream not as endless full-table polls.

Context / topic
Topic: close.

उपसंहारन्यायः: लॉगात् शृणु; lag मापय; sink इदमर्थं कुरु।

वृत्तमिति: ८-८-८-८।

श्लोकसूची / Verse index

१. Why CDC
२. Log source
३. Schema
४. Sinks
५. Outbox contrast
६. Bootstrap/lag
७. Privacy
८. Order
९. Deletes
१०. Stream/warehouse
११. Five limbs
१२. Close

सन्दर्भाः / References
  1. Prior: outbox 2026-09-28; streams 2026-07-30; warehouse 2026-08-02; idempotency 2026-10-04.
  2. Domain: change data capture.
  3. English minimizable; Sanskrit-first.
  4. Style: no em dash; no Oxford comma in English clauses.