日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

logstash-input-maxcompute插件使用說明

通過logstash-input-maxcompute插件,您可以讀取MaxCompute離線表的數據到其他數據源中。

前提條件

您已完成以下操作:

  • 安裝logstash-input-maxcompute插件。

    詳情請參見安裝或卸載插件

  • 開通阿里云MaxCompute產品,并創建項目、創建表和導入數據。

    詳情請參見MaxCompute官方文檔的準備工作快速入門章節。

使用logstash-input-maxcompute插件

滿足以上前提條件后,您可以通過配置文件管理管道的方式創建管道任務。在創建管道任務時,按照以下說明配置Pipeline參數,保存并部署后,即可觸發阿里云Logstash讀取MaxCompute的數據到目標數據源中。

配置腳本如下,相關參數說明請參見參數說明

input {
    maxcompute {
        access_id => "Your accessId"
        access_key => "Your accessKey"
        endpoint => "maxcompute service endpoint"
        project_name => "Your project"
        table_name => "Your table name"
        partition => "pt='p1',dt='d1'"
        thread_num => 1
        dirty_data_file => "/ssd/1/<Logstash實例ID>/logstash/data/XXXXX.txt"
    }
}

output {
    stdout {
        codec => rubydebug
    }
}
重要
  • 目前阿里云Logstash只支持同一專有網絡VPC(Virtual Private Cloud)下的數據傳輸,如果源端數據在公網環境下,請參見配置NAT公網數據傳輸,通過公網訪問Logstash。

  • logstash-input-maxcompute插件會全量同步數據到目標數據源中。

參數說明

logstash-input-maxcompute插件支持的參數如下。

參數

類型

是否必選

說明

endpoint

string

MaxCompute對外服務的訪問域名,詳情請參見各地域Endpoint對照表(外網連接方式)

access_id

string

阿里云賬號的AccessKey ID。

access_key

string

阿里云賬號的Access Key Secret。

project_name

string

MaxCompute的項目名稱。

table_name

string

MaxCompute的表名稱。

partition

string

分區字段。分區表按照字段來定義,例如:sale_date='201911'region='hangzhou'

thread_num

number

線程數,默認為1。

retry_interval

number

重試的間隔,單位為秒。

dirty_data_file

string

指定文件目錄,用于記錄處理失敗的日志。

說明

文件路徑請指定為/ssd/1/<Logstash實例ID>/logstash/data/