使用Logstash JDBC和Cassandra删除同步操作

问题描述

我们已经配置了JDBC logstash，以便将数据从Cassandra迁移到logstash。 我们已经能够将数据从Cassandra移至logstash，我们还可以基于document_id在弹性搜索中更新数据，但是我们无法删除在Cassandra中删除的记录。

我们正在寻找基于在Cassandra中删除而在弹性搜索中删除记录的配置？ 最终，我们需要使用logstash JDBC同步两个数据库。

Our Configuration:

# emp_id -- Primary Key in Cassandra

input {
    jdbc {
        jdbc_connection_string => "jdbc:cassandra://X.X.X.X:9042/cloud"
        jdbc_user => "cassandra"
        jdbc_password => "cassandra"
        jdbc_driver_library => "/usr/share/logstash/logstash-core/lib/jars/CassandraJDBC42.jar"
        jdbc_validate_connection => true
        jdbc_driver_class => "com.simba.cassandra.jdbc42.Driver"
        statement => "SELECT * FROM cloud.employee_list"
        schedule => "* * * * *"
        use_column_value => true
        tracking_column => "emp_id"
    }

}

output {
  elasticsearch { 
   hosts => ["localhost:9200"]
   document_id=> "%{emp_id}"
   index => "employeelist_table2"
  } 
  stdout { codec => rubydebug }
}

麋鹿版本-7.9.2， Java 8 卡桑德拉-3.11.6

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）