MaxCompute通過Tunnel實現上傳下載數據功能。本文為您介紹如何通過Tunnel上傳、下載數據。
Tunnel操作詳情請參見Tunnel命令。Tunnel操作常用命令如下。
類型 | 功能 | 角色 | 操作入口 |
將本地文件的數據上傳至MaxCompute的表中,以追加模式導入。 | 具備修改表權限(Alter)的用戶。 | 本文中的命令您需要在MaxCompute客戶端執行。 | |
將MaxCompute表數據或指定Instance的執行結果下載至本地。 | 具備讀取表數據權限(Select)的用戶。 |
上傳數據
將本地文件的數據上傳至MaxCompute的表中,以追加模式導入。上傳數據至MaxCompute不收取費用。
使用限制
支持文件或目錄(指一級目錄)的上傳,每一次上傳只支持數據上傳到一張表或表的一個分區。
分區表一定要指定上傳的分區,多級分區一定要指定到末級分區。
命令格式
Tunnel upload <path> [<project_name>.]<table_name>[/<pt_spc>];
參數說明
path:必填。上傳數據文件的存放路徑以及文件名稱。默認上傳的數據文件為TXT格式。
數據文件的歸檔路徑有兩種選擇:您可以將文件直接歸檔至MaxCompute客戶端的
bin
目錄中,此時path需要設置為文件名.后綴名
;也可以將文件歸檔至其他路徑下,例如D盤的test文件夾,path需要設置為D:\test\文件名.后綴名
。說明macOS系統中path值只能使用絕對路徑,例如文件歸檔在MaxCompute客戶端的
bin
目錄中,此時path需要設置為D:\MaxCompute\bin\文件名.后綴名
。project_name:可選。目標表所屬項目空間名稱。跨項目空間訪問表時需要指定該參數。
table_name:必填。目標表名。
pt_spc:可選。需要指定至最末級分區。格式為
partition_col1=col1_value1, partition_col2=col2_value1...
。
使用示例
示例1:將log.txt中的數據上傳至當前項目空間的表test_table中。log.txt文件歸檔在MaxCompute客戶端的
bin
目錄中。命令示例如下。Tunnel upload log.txt test_table;
示例2:將log.txt中的數據上傳至項目空間test_project的表test_table(二級分區表)中的
p1="b1",p2="b2"
分區。log.txt文件歸檔在D盤的test文件夾中。命令示例如下。Tunnel upload D:\test\log.txt test_project.test_table/p1="b1",p2="b2";
下載數據
將MaxCompute表數據或指定Instance的執行結果下載至本地。MaxCompute僅對公網的數據下載,按照下載的數據大小進行計費,一次下載費用=下載數據量(GB)×下載價格(0.8元/GB)。
使用限制
只支持下載到單個文件,每一次下載只支持下載一張表或一個分區到一個文件。
分區表一定要指定下載的分區,多級分區一定要指定到末級分區。
命令格式
Tunnel download [<project_name>.]<table_name>[/<pt_spc>] <path>;
參數說明
project_name:可選。目標表所屬項目空間名稱。跨項目空間訪問表時需要指定該參數。
table_name:必填。目標表表名。
pt_spc:可選。需要指定至最末級分區。格式為
partition_col1=col1_value1, partition_col2=col2_value1...
。path:必填。下載數據文件的存放路徑以及文件名稱。默認下載的數據文件為TXT格式。
數據文件的保存路徑有兩種選擇:您可以將文件直接下載至MaxCompute客戶端的
bin
目錄中,此時path需要設置為文件名.后綴名
;也可以將文件下載至其他路徑下,例如D盤的test文件夾,path需要設置為D:\test\文件名.后綴名
。
使用示例
示例1:將test_project.test_table表(二級分區表)中的數據下載到test_table.txt文件中。test_table.txt文件位于MaxCompute客戶端的
bin
目錄中。命令示例如下。Tunnel download test_project.test_table/p1="b1",p2="b2" test_table.txt;
示例2:將test_project.test_table表(二級分區表)中的數據下載到test_table.txt文件中。test_table.txt文件位于D盤的test文件夾中。命令示例如下。
Tunnel download test_project.test_table/p1="b1",p2="b2" D:\test\test_table.txt;