Dalam sistem digital, data terus berubah setiap saat. Data pelanggan dapat diperbarui, transaksi baru masuk, stok produk berubah, atau status pesanan berpindah dari diproses menjadi selesai. Perubahan-perubahan tersebut perlu diketahui oleh sistem lain agar data tetap sinkron dan proses bisnis dapat berjalan dengan baik.<\/p>\n
Salah satu pendekatan yang digunakan untuk menangkap perubahan data secara efisien adalah Change Data Capture (CDC).<\/em><\/p>\n CDC memungkinkan sistem mendeteksi perubahan yang terjadi pada sumber data, seperti operasi insert, update, dan delete<\/em>, kemudian meneruskan informasi perubahan tersebut ke sistem lain. Dengan pendekatan ini, aplikasi tidak harus membaca seluruh isi database secara berulang hanya untuk mengetahui data apa yang berubah.<\/p>\n Teknologi ini banyak digunakan dalam berbagai kebutuhan modern, mulai dari data integration, real-time analytics, data warehouse, data lake, event-driven architecture, hingga sinkronisasi database. Lalu, apa itu Change Data Capture, bagaimana cara kerjanya, apa saja jenisnya, dan kapan teknologi ini sebaiknya digunakan? Berikut pembahasan lengkapnya!<\/p>\n Change Data Capture (CDC)<\/em> adalah teknik untuk mengidentifikasi dan menangkap perubahan yang terjadi pada data di sebuah sumber, kemudian menyediakan informasi mengenai perubahan tersebut agar dapat diproses oleh sistem lain. Perubahan yang ditangkap umumnya mencakup:<\/p>\n Sebagai contoh, sebuah toko online memiliki tabel CDC dapat menangkap perubahan tersebut dan meneruskannya ke sistem lain, misalnya:<\/p>\n Dengan mekanisme tersebut, sistem tujuan tidak perlu terus-menerus memeriksa seluruh tabel untuk mencari data baru atau data yang berubah.<\/p>\n Secara sederhana, CDC dapat dianalogikan seperti sistem pemantauan perubahan dokumen.<\/em> Sistem tidak perlu membaca seluruh dokumen setiap kali ingin mengetahui perubahan. Sebaliknya, sistem cukup mencatat bagian yang mengalami perubahan dan meneruskannya kepada pihak yang membutuhkan.<\/p>\n Pada sistem sederhana, proses sinkronisasi data dapat dilakukan dengan menyalin seluruh tabel secara berkala. Misalnya, database memiliki 10 juta baris data. Setiap malam, sistem mengambil seluruh data tersebut untuk dibandingkan dengan data sebelumnya.<\/p>\n Cara tersebut mungkin masih dapat diterapkan pada kondisi tertentu. Namun, ketika volume data semakin besar, pendekatan tersebut dapat menjadi tidak efisien. Bayangkan hanya ada 10.000 baris yang berubah dari 10 juta baris data. Sistem tetap harus membaca dan memproses data dalam jumlah sangat besar hanya untuk menemukan perubahan tersebut.<\/p>\n CDC menawarkan pendekatan yang berbeda:<\/p>\n Pendekatan ini dapat mengurangi kebutuhan pemrosesan data yang tidak berubah dan membantu membangun pipeline data yang lebih responsif.<\/p>\n Secara umum, alur CDC dapat digambarkan dibawah ini. Setiap implementasi dapat memiliki arsitektur yang berbeda, tetapi konsep dasarnya relatif sama.<\/p>\n 1. Data Berada di Source Database<\/span><\/p>\n Proses dimulai dari database sumber. Contohnya:<\/p>\n Database tersebut menyimpan data operasional yang digunakan aplikasi.<\/p>\n 2. Terjadi Perubahan Data<\/span><\/p>\n Kemudian terjadi operasi terhadap data. Misalnya:<\/p>\n Perubahan tersebut menjadi informasi yang perlu ditangkap oleh CDC.<\/p>\n 3. CDC Mendeteksi Perubahan<\/span><\/p>\n Komponen CDC membaca perubahan dari sumber data menggunakan metode tertentu. Metode yang digunakan bergantung pada teknologi CDC. Sebagian implementasi membaca transaction log<\/em>, sementara metode lain dapat menggunakan timestamp, trigger, atau mekanisme database tertentu.<\/p>\n 4. Perubahan Diubah Menjadi Event<\/span><\/p>\n Perubahan data kemudian dapat direpresentasikan sebagai event. Contohnya:<\/p>\n Format event sebenarnya dapat berbeda-beda tergantung teknologi yang digunakan.<\/p>\n 5. Event Dikirim ke Sistem Tujuan<\/span><\/p>\n Event kemudian diteruskan ke consumer atau sistem tujuan. Contohnya:<\/p>\n atau:<\/p>\n Sistem tujuan kemudian menggunakan event tersebut untuk memperbarui datanya.<\/p>\n CDC dapat diimplementasikan dengan beberapa pendekatan. Masing-masing memiliki karakteristik, kelebihan, dan keterbatasan yang berbeda. Secara umum, beberapa metode yang sering dibahas adalah log-based CDC, trigger-based CDC, timestamp-based CDC, dan query-based CDC.<\/em><\/p>\n 1. Log-Based CDC<\/span><\/p>\n Log-based CDC<\/em> memanfaatkan transaction log atau mekanisme log perubahan yang tersedia pada database. Database biasanya mencatat aktivitas transaksi untuk kebutuhan seperti recovery dan konsistensi data. CDC dapat membaca informasi perubahan tersebut dan meneruskannya ke sistem lain. Contohnya:<\/p>\n Metode ini banyak digunakan dalam arsitektur data modern karena dapat menangkap perubahan tanpa harus melakukan query berulang terhadap tabel utama. Beberapa teknologi CDC populer menggunakan pendekatan berbasis log untuk database tertentu.<\/p>\n 2. Trigger-Based CDC<\/span><\/p>\n Pada metode ini, database menggunakan trigger <\/em>untuk menjalankan tindakan tertentu ketika terjadi perubahan data. Misalnya, ketika sebuah baris diperbarui:<\/p>\n Trigger kemudian dapat mencatat perubahan tersebut ke tabel khusus. Kelebihannya adalah mekanisme dapat diterapkan pada database yang mendukung trigger. Namun, trigger juga perlu dirancang dengan hati-hati karena logika tambahan tersebut berjalan dalam konteks operasi database.<\/p>\n 3. Timestamp-Based CDC<\/span><\/p>\n Metode ini menggunakan kolom waktu untuk mengetahui kapan data terakhir diubah. Contohnya:<\/p>\n Sistem kemudian mengambil data yang berubah setelah waktu tertentu. Misalnya:<\/p>\n Pendekatan ini relatif sederhana, tetapi memiliki keterbatasan. Salah satunya adalah penghapusan data. Ketika sebuah baris benar-benar dihapus, data tersebut tidak lagi tersedia untuk ditemukan melalui kolom Karena itu, timestamp-based CDC perlu dirancang dengan mekanisme tambahan apabila sistem harus menangkap operasi delete.<\/p>\n 4. Query-Based CDC<\/span><\/p>\n Query-based CDC menggunakan query untuk secara berkala memeriksa database dan mencari perubahan. Misalnya:<\/p>\n Metode ini lebih sederhana untuk kebutuhan tertentu, tetapi semakin kurang ideal ketika volume data dan kebutuhan real-time semakin tinggi.<\/p>\nApa Itu Change Data Capture (CDC)?<\/h2>\n
\n
\n<\/strong>Penambahan data baru.<\/li>\n
\n<\/strong>Perubahan terhadap data yang sudah ada.<\/li>\n
\n<\/strong>Penghapusan data.<\/li>\n<\/ul>\norders<\/code> dengan data pesanan pelanggan. Ketika pelanggan membuat pesanan baru:<\/p>\nINSERT\r\nOrder ID: 10025\r\nStatus: Paid<\/code><\/pre>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\nDatabase\r\n \u2193\r\nCDC\r\n \u2193\r\nMessage Broker\r\n \u2193\r\nData Warehouse<\/code><\/pre>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\nMengapa Change Data Capture Dibutuhkan?<\/h2>\n
10.000 data berubah\r\n \u2193\r\nCDC menangkap perubahan\r\n \u2193\r\nHanya perubahan yang diteruskan\r\n \u2193\r\nSistem tujuan memperbarui data<\/code><\/pre>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\nBagaimana Cara Kerja Change Data Capture?<\/h2>\n
MySQL\r\nPostgreSQL\r\nSQL Server\r\nOracle<\/code><\/pre>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\nINSERT customer\r\nUPDATE customer\r\nDELETE customer<\/code><\/pre>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n{\r\n \"operation\": \"UPDATE\"<\/span>,\r\n \"table\": \"customers\"<\/span>,\r\n \"id\": 1024<\/span>,\r\n \"before\": {\r\n \"status\": \"inactive\"<\/span>\r\n },\r\n \"after\": {\r\n \"status\": \"active\"<\/span>\r\n }\r\n}<\/code><\/pre>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\nCDC\r\n \u2193\r\nKafka\r\n \u2193\r\nData Warehouse<\/code><\/pre>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\nCDC\r\n \u2193\r\nStreaming Platform\r\n \u2193\r\nSearch Engine<\/code><\/pre>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\nJenis-Jenis Change Data Capture<\/h2>\n
Database\r\n \u2193\r\nTransaction Log\r\n \u2193\r\nCDC Connector\r\n \u2193\r\nEvent Stream\r\n \u2193\r\nConsumer<\/code><\/pre>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\nUPDATE customers\r\n \u2193\r\nDatabase Trigger\r\n \u2193\r\nCDC Table \/ Audit Table<\/code><\/pre>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\nid | name | updated_at\r\n---|-------|-------------------\r\n1 | Andi | 2026-09-23 10:00\r\n2 | Budi | 2026-09-24 08:00<\/code><\/pre>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\nSELECT<\/span> *<\/span>\r\nFROM<\/span> customers\r\nWHERE<\/span> updated_at ><\/span> '2026-09-23 23:59:59'<\/span>;<\/code><\/pre>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\nupdated_at<\/code>.<\/p>\nSetiap 5 menit\r\n \u2193\r\nQuery database\r\n \u2193\r\nCari data yang berubah\r\n \u2193\r\nKirim perubahan<\/code><\/pre>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\nPerbandingan Metode CDC<\/h2>\n