Sqoop常見(jiàn)問(wèn)題
更新時(shí)間:
本文匯總了Sqoop使用時(shí)的常見(jiàn)問(wèn)題。
導(dǎo)入RDS數(shù)據(jù)至EMR時(shí),時(shí)間字段顯示提前8小時(shí)如何處理?
問(wèn)題描述:
例如,在云數(shù)據(jù)庫(kù)RDS數(shù)據(jù)源中,數(shù)據(jù)表test_table中包含時(shí)間戳(TIMESTAMP)字段。
您可以執(zhí)行以下命令,導(dǎo)入test_table中的數(shù)據(jù)至HDFS。
sqoop import \ --connect jdbc:mysql://rm-2ze****341.mysql.rds.aliyuncs.com:3306/s***o_sqoop_db \ --username s***o \ --password ****** \ --table test_table \ --target-dir /user/hadoop/output \ --delete-target-dir \ --direct \ --split-by id \ --fields-terminated-by '|' \ -m 1
查詢導(dǎo)入結(jié)果。
查詢結(jié)果顯示,HDFS中導(dǎo)入數(shù)據(jù)的時(shí)間字段顯示提前8小時(shí)。
解決方法:在使用TIMESTAMP字段導(dǎo)入數(shù)據(jù)至HDFS時(shí),請(qǐng)刪除--direct參數(shù)。
sqoop import \ --connect jdbc:mysql://rm-2ze****341.mysql.rds.aliyuncs.com:3306/s***o_sqoop_db \ --username s***o \ --password ****** \ --table test_table \ --target-dir /user/hadoop/output \ --delete-target-dir \ --split-by id \ --fields-terminated-by '|' \ -m 1
查詢結(jié)果顯示正常。
文檔內(nèi)容是否對(duì)您有幫助?