使用Sqoop 对 Oracle 做数据迁移 到 PostgreSQL




基本的流程如上图所示。


前提:


一个可连接的Oracle数据库作为数据源

一个可连接的Postgresql数据库作为目的数据库

一个可使用的Hadoop集群

一个可以用的hive平台


注意事项:

对于将要导入的Oracle的数据库表,我们需要在Postgresql中创建一个字段结构相同的table,此处还需要注意原表是否有主键。



导入命令:

首先查看Oracle中 xe 数据库中的表

./sqoop list-tables --connect jdbc:oracle:thin:@ip:49161:xe --username system --password oracle



然后将其中的一个SALARY表导入hive


./sqoop import --hive-import --connect jdbc:oracle:thin:@ip:xe --username system --password oracle --table SALARY -m 1 --columns 'EMPLOYEEID,INCOME,OUTCOME' --hive-table salary



然后通过hive命令show tables 查看是否存入hive


然后接着查看postgresql中tpcds_1数据库中的所有表



./sqoop list-tables --connect jdbc:postgresql://ip:5432/tpcds_1 --username postgres --password postgres




如果能够正常的显示,接着直接输入命令将 hive 中的表 salary 导入 postgresql


./sqoop export --connect jdbc:postgresql://ip:5432/tpcds_1 --username postgres --password postgres --table salary --fields-terminated-by '\001' --export-dir /user/hive/warehouse/salary/part-m-00000




再去查询一下表内的数据





最后 OK,迁移成功。

相关文章

Java Oracle 结果集是Java语言中处理数据库查询结果的一种方...
Java AES和Oracle AES是现代加密技术中最常使用的两种AES加密...
Java是一种广泛应用的编程语言,具备可靠性、安全性、跨平台...
随着移动互联网的发展,抽奖活动成为了营销活动中不可或缺的...
Java和Oracle都是在计算机领域应用非常广泛的技术,他们经常...
Java 是一门非常流行的编程语言,它可以运行于各种操作系统上...