Debezium Nedir Mimarisi ve Apache Kafka Connector

Debezium’u incelemeden önce ne olduğuna bakmamız gerekmektedir. 

Change Data Capture (CDC) Nedir?

Veri tabanında yapılan Insert, Update ya da Delete gibi işlemlerin sonrasında değişen verilerin ilk halinin ve son halinin CDC desteği sağlayan veri tabanı tarafından izlenmesi ve değişikliklerin kayıt altına alınması işlemidir.

CDC’nin performanslıdır. Sebebi ise log formatında tutulmasıdır. 

Debezium Nedir?

Debezium bir CDC’dir. Veritabanı’nın transaction log’unu okuyaran Açık Kaynak bir projedir. Debezium la Kafka Connect Apı yardımı ile Kafka topic’e aktarılmasını sağlamaktayız.

Debezium Mimarisi

Debezium Özellikleri

• Dağıtık Mimari
  • Birden fazla node oluşturarak ayrı ayrı başlatabiliyoruz.
• Filtreleme
  • Sadece veritabanı bazlı değil tablo ya da kolon bazlı stream edebilmekteyiz.
• Veritabanı snapshot alabilmek
  • Var olan tabloyu kafka ile dinlemeye başlamadan önce initial snapshot alarak stream’e devam edebiliyoruz.

Debezium Connector Nedir?

Debezium’un veritabanına bağlanarak oluşan değişiklikleri kafkaya iletmek için kullanılan connectordür. Desteklenen (2021 Ocak) Debezium Connector çeşitleri şunlardır.

We currently have the following connectors:

• MongoDB (Stabil Sürüm)
• MySQL (Stabil Sürüm)
• PostgreSQL (Stabil Sürüm)
• SQL Server (Stabil Sürüm)
• Oracle (Beta Evresi)
• Db2 (Beta Evresi)
• Cassandra (Beta Evresi)
• Vitess (Beta Evresi)

Debezium için bilmemiz gerekenler kısaca bunlar. Sonraki yazıda ise MYSQL, Debezium, Kafka Connect, Apache Kafka örneği yapacağız.