परिवर्तनप्रवाहः। परक्षेत्रनीतौ (१२ अक्टो) ब्राउसर्। अत्र DB कथं वदति बहिः। CDC, WAL, lag। न पोलमात्रम्; परिवर्तनश्रुतिः।
English (minimizable)
After CORS (12 Oct), this post covers change data capture: log-based sources, schema evolution, idempotent sinks, outbox contrast, bootstrap/lag, privacy filters, ordering and deletes.
पूर्ण-शीर्षकम् / Full title
परिवर्तनप्रवाहः: A Metrical Codification of Change Data Capture (with English glosses)
English · overview and topics (minimizable)
What this post is about
CDC publishes database row changes as an event stream for search warehouses caches and integrations.
Topics covered
- Polling pain
- WAL/binlog capture
- Schema evolution with consumers
- At-least-once + idempotent sinks
- Outbox vs CDC
- Snapshot bootstrap and lag
- PII filtering
- Per-key ordering
- Deletes/tombstones
- Links to streams and warehouse
Sanskrit title
परिवर्तनप्रवाहः = parivartana-pravāhaḥ “flow of changes” (CDC).
English
Minimizable; Sanskrit-first.
परम्परा-सन्धिः / Series links
| पूर्वं / Prior | अत्र / Adds | न पुनः / Does not repeat |
|---|---|---|
| बहिर्लेखनपटलः (२८ सितम्बे) | app outbox | DB-level capture |
| घटनाप्रवाहः (३० जुलै) | transport | CDC as source |
| दत्तांशभण्डारः (२ अक्टो) | warehouse sink | consumer |
| इदमर्थकुञ्चिका (४ अक्टो) | idempotent apply | sink keys |
| इदम् | CDC lag schema privacy | - |
ग्राह्य-त्याज्य-विवेकः / Keep and avoid
ग्राह्यम् / Keep
१. log-based CDC: prefer WAL/binlog
२. schema expand: consumers compatible
३. idempotent sinks: PK/event id upserts
४. lag SLO: monitor streaming delay
५. PII filter: column allow-lists
६. bootstrap plan: snapshot then stream
७. delete policy: tombstones explicit
त्याज्यम् / Avoid
- poll whole tables every second as architecture
- fan out raw PII to all sinks
- assume global total order
अध्याय-योजना / Chapter plan
| प्रकरणम् | विषयः | छन्दः | श्लोकाः |
|---|---|---|---|
| १ | मङ्गलं बीजं च / Opening | अनुष्टुभ् | २ |
| २ | मूलतत्त्वानि / Core | अनुष्टुभ् | २ |
| ३ | मुख्यविधिः / Method | उपजाति | १ |
| ४ | रक्षा · विधिः / Guards | अनुष्टुभ् | २ |
| ५ | विवेक · सीमा / Judgment | अनुष्टुभ् | २ |
| ६ | पूर्वसन्धिः / Series links | उपजाति | १ |
| ७ | उपसंहारः / Close | अनुष्टुभ् | २ |
पारिभाषिक-कोशः / Glossary
| Modern English | संस्कृतम् | Note |
|---|---|---|
| CDC | परिवर्तनप्रग्रहणम् / CDC | |
| WAL | लेखनपूर्वलॉग् | |
| binlog | द्विआधारलॉग् | |
| snapshot | पूर्णचित्रम् | |
| tombstone | समाधिचिह्नम् | |
| debezium-class | (tool class) | |
| offset/position | प्रवाहस्थानम् | |
| sink | निकेतः | |
| schema registry | योजनाकोषः | |
| backfill | पूर्वपूरणम् |
श्लोकः १ (अनुष्टुभ्)
परिवर्तनप्रवाहस्तस्माद् लेखजन्मश्रुतिः ॥१॥
पदच्छेदः · Word-for-word · English (minimizable)
पदच्छेदः
DB सत्यं यदि केवलं पठने तदा घटनाः विलम्बन्ते ।
परिवर्तनप्रवाहस्तस्माद् लेखजन्मश्रुतिः ॥१॥
Word-for-word
| संस्कृतपदम् | Word-for-word English |
|---|---|
| DB | DB |
| सत्यम् | truth |
| केवलम् | only |
| पठने | in polling |
| घटनाः | events |
| विलम्बन्ते | delay |
| परिवर्तनप्रवाहः | change stream |
| लेखजन्मश्रुतिः | hearing of write-birth |
Gloss table
| पदम् | अर्थः / sense |
|---|---|
| परिवर्तनप्रवाहः | CDC |
| लेखजन्मश्रुतिः | hearing row births |
English sense
Change data capture streams row-level inserts updates and deletes from the database log so downstream systems learn changes without heavy polling.
Context / topic
Topic: why CDC.
वृत्तमिति: ८-८-८-८।
श्लोकः २ (अनुष्टुभ्)
trigger exclusively न सर्वदा श्रेयः ॥२॥
पदच्छेदः · Word-for-word · English (minimizable)
पदच्छेदः
WAL binlog स्रोतं प्रामाणिकम् ।
trigger exclusively न सर्वदा श्रेयः ॥२॥
Word-for-word
| संस्कृतपदम् | Word-for-word English |
|---|---|
| WAL | WAL |
| binlog | binlog |
| स्रोतम् | source |
| प्रामाणिकम् | authoritative |
| trigger | trigger |
| exclusively | only |
| न सर्वदा | not always |
| श्रेयः | best |
Gloss table
| पदम् | अर्थः / sense |
|---|---|
| WAL binlog | DB log sources |
| trigger | DB triggers |
English sense
Log-based CDC usually beats trigger-only designs for completeness and load though triggers still appear in some systems.
Context / topic
Topic: log-based capture.
वृत्तमिति: ८-८-८-८।
श्लोकः ३ (अनुष्टुभ्)
अन्धconsumers भग्नाः ॥३॥
पदच्छेदः · Word-for-word · English (minimizable)
पदच्छेदः
schema evolution ग्राहके सह ।
अन्धconsumers भग्नाः ॥३॥
Word-for-word
| संस्कृतपदम् | Word-for-word English |
|---|---|
| schema | schema |
| evolution | evolution |
| ग्राहके | with consumer |
| सह | together |
| अन्धconsumers | blind consumers |
| भग्नाः | broken |
Gloss table
| पदम् | अर्थः / sense |
|---|---|
| schema evolution | column changes |
| अन्धconsumers | unversioned consumers |
English sense
Column adds/renames must be expand/contract compatible with CDC consumers. Breaking payload shapes strand search indexes and warehouses.
Context / topic
Topic: schema and CDC. Links to migrations and API versioning ideas.
वृत्तमिति: ८-८-८-८।
श्लोकः ४ (अनुष्टुभ्)
इदमर्थलेखनं व्यावहारिकम् ॥४॥
पदच्छेदः · Word-for-word · English (minimizable)
पदच्छेदः
exactly-once sink दुःसाध्यं ।
इदमर्थलेखनं व्यावहारिकम् ॥४॥
Word-for-word
| संस्कृतपदम् | Word-for-word English |
|---|---|
| exactly-once | exactly-once |
| sink | sink |
| दुःसाध्यम् | hard |
| इदमर्थलेखनम् | idempotent write |
| व्यावहारिकम् | practical |
Gloss table
| पदम् | अर्थः / sense |
|---|---|
| exactly-once sink | EOS apply |
| इदमर्थलेखनम् | idempotent apply |
English sense
Treat delivery as at-least-once and make sinks idempotent by primary key or event id rather than promising magic exactly-once everywhere.
Context / topic
Topic: delivery semantics. Links to idempotency and outbox.
वृत्तमिति: ८-८-८-८।
श्लोकः ५ (उपजाति)
CDC db जन्म ।
उभौ मार्गौ
कदाचित् सह ॥५॥
पदच्छेदः · Word-for-word · English (minimizable)
पदच्छेदः
बहिर्पटलं app जन्म
CDC db जन्म ।
उभौ मार्गौ
कदाचित् सह ॥५॥
Word-for-word
| संस्कृतपदम् | Word-for-word English |
|---|---|
| बहिर्पटलम् | outbox |
| app | app |
| जन्म | birth |
| CDC | CDC |
| db | db |
| जन्म | birth |
| उभौ | both |
| मार्गौ | paths |
| कदाचित् | sometimes |
| सह | together |
Gloss table
| पदम् | अर्थः / sense |
|---|---|
| बहिर्पटलम् | outbox |
| CDC | CDC |
English sense
Outbox is application-chosen events; CDC is database truth. Some architectures use both; do not double-publish the same business fact without care.
Context / topic
Topic: outbox vs CDC.
सन्धिः: पटलः सङ्कल्पः; CDC तथ्यम्।
वृत्तमिति: एकादशाक्षराः पादाः।
श्लोकः ६ (अनुष्टुभ्)
अन्धbackfill विपत्तिः ॥६॥
पदच्छेदः · Word-for-word · English (minimizable)
पदच्छेदः
lag माप्यः snapshot+incremental क्रमः ।
अन्धbackfill विपत्तिः ॥६॥
Word-for-word
| संस्कृतपदम् | Word-for-word English |
|---|---|
| lag | lag |
| माप्यः | measured |
| snapshot | snapshot |
| incremental | incremental |
| क्रमः | order |
| अन्धbackfill | blind backfill |
| विपत्तिः | incident |
Gloss table
| पदम् | अर्थः / sense |
|---|---|
| snapshot+incremental | bootstrap then stream |
| backfill | historical load |
English sense
Bootstrap with a snapshot then switch to the stream at a tracked position. Measure CDC lag like replica lag.
Context / topic
Topic: bootstrap and lag.
वृत्तमिति: ८-८-८-८।
श्लोकः ७ (अनुष्टुभ्)
गोप्यताfilter अनिवार्यः ॥७॥
पदच्छेदः · Word-for-word · English (minimizable)
पदच्छेदः
PII स्तम्भाः मा सर्वत्र प्रवाहे ।
गोप्यताfilter अनिवार्यः ॥७॥
Word-for-word
| संस्कृतपदम् | Word-for-word English |
|---|---|
| PII | PII |
| स्तम्भाः | columns |
| मा सर्वत्र | not everywhere |
| प्रवाहे | in the stream |
| गोप्यताfilter | privacy filter |
| अनिवार्यः | mandatory |
Gloss table
| पदम् | अर्थः / sense |
|---|---|
| PII स्तम्भाः | sensitive columns |
| filter | redact/filter |
English sense
Do not fan sensitive columns to every downstream by default. Filter mask or tokenize per consumer need.
Context / topic
Topic: privacy on the stream. Links to privacy logging.
वृत्तमिति: ८-८-८-८।
श्लोकः ८ (अनुष्टुभ्)
विश्वक्रमः मा मिथ्याप्रतिज्ञा ॥८॥
पदच्छेदः · Word-for-word · English (minimizable)
पदच्छेदः
ordering per key partition ।
विश्वक्रमः मा मिथ्याप्रतिज्ञा ॥८॥
Word-for-word
| संस्कृतपदम् | Word-for-word English |
|---|---|
| ordering | ordering |
| per | per |
| key | key |
| partition | partition |
| विश्वक्रमः | global order |
| मा | do not |
| मिथ्याप्रतिज्ञा | false promise |
Gloss table
| पदम् | अर्थः / sense |
|---|---|
| per key | per PK order |
| विश्वक्रमः | global order |
English sense
CDC usually preserves order per primary key or partition not a single global total order across all tables.
Context / topic
Topic: ordering guarantees.
वृत्तमिति: ८-८-८-८।
श्लोकः ९ (अनुष्टुभ्)
soft delete विवेकः ॥९॥
पदच्छेदः · Word-for-word · English (minimizable)
पदच्छेदः
downstream delete tombstone धर्मः ।
soft delete विवेकः ॥९॥
Word-for-word
| संस्कृतपदम् | Word-for-word English |
|---|---|
| downstream | downstream |
| delete | delete |
| tombstone | tombstone |
| धर्मः | rule |
| soft | soft |
| delete | delete |
| विवेकः | judgment |
Gloss table
| पदम् | अर्थः / sense |
|---|---|
| tombstone | delete marker |
| soft delete | logical delete |
English sense
Propagate deletes intentionally. Soft deletes upstream become update events; hard deletes need tombstones consumers understand.
Context / topic
Topic: deletes.
वृत्तमिति: ८-८-८-८।
श्लोकः १० (उपजाति)
CDC स्रोतं ।
दत्तांशभण्डारः
एकः ग्राहकः ॥१०॥
पदच्छेदः · Word-for-word · English (minimizable)
पदच्छेदः
घटनाप्रवाहः वाहनं
CDC स्रोतं ।
दत्तांशभण्डारः
एकः ग्राहकः ॥१०॥
Word-for-word
| संस्कृतपदम् | Word-for-word English |
|---|---|
| घटनाप्रवाहः | event stream treatise |
| वाहनम् | vehicle |
| CDC | CDC |
| स्रोतम् | source |
| दत्तांशभण्डारः | warehouse |
| एकः | one |
| ग्राहकः | customer |
Gloss table
| पदम् | अर्थः / sense |
|---|---|
| घटनाप्रवाहः | event streaming |
| दत्तांशभण्डारः | warehouse |
English sense
Streaming platforms carry change events; warehouses and search are common sinks. CDC is the source pattern that feeds them.
Context / topic
Topic: series links.
सन्धिः: CDC जायते; प्रवाहः वहति; भण्डारः पचति।
वृत्तमिति: एकादशाक्षराः पादाः।
श्लोकः ११ (अनुष्टुभ्)
एभिः परिवर्तनप्रवाहः लेखसत्यसमन्वितः ॥११॥
पदच्छेदः · Word-for-word · English (minimizable)
पदच्छेदः
स्रोतः schema lag गोप्यता sink-इदमर्थः पञ्चकम् ।
एभिः परिवर्तनप्रवाहः लेखसत्यसमन्वितः ॥११॥
Word-for-word
| संस्कृतपदम् | Word-for-word English |
|---|---|
| स्रोतः | source |
| schema | schema |
| lag | lag |
| गोप्यता | privacy |
| sink | sink |
| इदमर्थः | idempotent |
| पञ्चकम् | five-set |
Gloss table
| पदम् | अर्थः / sense |
|---|---|
| पञ्चकम् | source schema lag privacy sink |
English sense
Five limbs: log-based source, schema discipline, lag metrics, privacy filters and idempotent sinks.
Context / topic
Topic: checklist.
वृत्तमिति: ८-८-८-८।
श्लोकः १२ (अनुष्टुभ्)
मितं श्रवणं क्रियायोग्यं तन्त्रधर्मः स उच्यते ॥१२॥
पदच्छेदः · Word-for-word · English (minimizable)
पदच्छेदः
इति परिवर्तनप्रवाहसारो लेखसत्यसमन्वितः ।
मितं श्रवणं क्रियायोग्यं तन्त्रधर्मः स उच्यते ॥१२॥
Word-for-word
| संस्कृतपदम् | Word-for-word English |
|---|---|
| इति | thus |
| परिवर्तनप्रवाहसारः | CDC essence |
| लेखसत्यम् | write truth |
| मितम् | measured |
| श्रवणम् | hearing |
| क्रियायोग्यम् | operable |
| तन्त्रधर्मः | system dharma |
Gloss table
| पदम् | अर्थः / sense |
|---|---|
| मितं श्रवणम् | measured listening |
| तन्त्रधर्मः | platform dharma |
English sense
Closing: hear the database truth as a stream not as endless full-table polls.
Context / topic
Topic: close.
उपसंहारन्यायः: लॉगात् शृणु; lag मापय; sink इदमर्थं कुरु।
वृत्तमिति: ८-८-८-८।
श्लोकसूची / Verse index
१. Why CDC
२. Log source
३. Schema
४. Sinks
५. Outbox contrast
६. Bootstrap/lag
७. Privacy
८. Order
९. Deletes
१०. Stream/warehouse
११. Five limbs
१२. Close
सन्दर्भाः / References
- Prior: outbox 2026-09-28; streams 2026-07-30; warehouse 2026-08-02; idempotency 2026-10-04.
- Domain: change data capture.
- English minimizable; Sanskrit-first.
- Style: no em dash; no Oxford comma in English clauses.