日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

類型轉換

本文為您介紹Designer提供的類型轉換組件。您可以將任意類型特征轉成STRING、DOUBLE和INT特征,并支持轉換異常時的缺失值填充。

背景信息

  • 支持將表的字段類型轉成另一個類型。

  • 支持多個字段同時轉換成不同的類型。

  • 支持ODPS2.0數值類型字段的轉換,例如decimal,float,int。

    說明

    該功能僅支持在華北2(北京)、華東2(上海)、華東1(杭州)、華南1(深圳)、華北3(張家口)和西南1(成都)使用。

  • 可以選擇是否保持原來的轉換前的數據列。

組件配置

您可以使用以下任意一種方式,配置類型轉換組件參數。

方式一:可視化方式

Designer工作流頁面配置組件參數。

頁簽

參數

描述

字段設置

轉換為double類型的列

轉換所選字段為DOUBLE類型。

轉換為double異常時默認填充值

轉換為DOUBLE類型異常時的默認填充值。

轉換為int類型的列

轉換所選字段為INT類型。

轉換為int異常時默認填充值

轉換為INT類型異常時的默認填充值。

轉換為string類型的列

轉換所選字段為STRING類型。

轉換為string異常時默認填充值

轉換為STRING類型異常時的默認填充值。

是否保留原列

列名增加前綴“typed_”。

單個結點內存大小

取值范圍為1024 MB~64*1024 MB。

節點個數

與參數單個節點內存大小搭配使用,取值范圍為[1, 9999]。

方式二:PAI命令方式

使用PAI命令方式,配置該組件參數。您可以使用SQL腳本組件進行PAI命令調用,詳情請參見SQL腳本

pai -project algo_public
    -name type_transform_v1
    -DinputTable=type_test
    -Dcols_to_string="f0"
    -Ddefault_double_value=0.0
    -DoutputTable=type_test_output;

參數名稱

是否必選

參數描述

默認值

inputTable

輸入表的表名。

inputTablePartitions

輸入表中,參與訓練的分區。支持以下格式:

  • Partition_name=value

  • name1=value1/name2=value2:多級格式

說明

如果指定多個分區,則使用英文逗號(,)分隔。

所有分區

outputTable

類型轉換的結果表。

reserveOldFeat

是否保持原來變換前的數據列。

cols_to_double

需要類型轉換到DOUBLE的特征列。

cols_to_string

需要類型轉換到STRING的特征列。

cols_to_int

需要類型轉換到INT的特征列。

default_int_value

當特征字段為空時的值。

0

default_double_value

當特征字段為空時的值。

0.0

default_string_value

當特征字段為空時的值。

“”

coreNum

節點數量。與memSizePerCore搭配使用,取值范圍為[1, 9999]。

默認自動計算

memSizePerCore

單個節點內存大小,單位M,取值范圍為[1024, 64 *1024]。

默認自動計算

lifecycle

輸出表生命周期。

7

示例

  • 測試數據生成

    create table transform_test as
    select * from
    (
    select true as f0,2.0 as f1,1 as f2 union all
    select false as f0,3.0 as f1,1 as f2 union all
    select false as f0,4.0 as f1,1 as f2 union all
    select true as f0,3.0 as f1,1 as f2 union all
    select false as f0,3.0 as f1,1 as f2 union all
    select false as f0,4.0 as f1,1 as f2 union all
    select true as f0,3.0 as f1,1 as f2 union all
    select false as f0,5.0 as f1,1 as f2 union all
    select false as f0,3.0 as f1,1 as f2 union all
    select true as f0,4.0 as f1,1 as f2 union all
    select false as f0,3.0 as f1,1 as f2 union all
    select true as f0,4.0 as f1,1 as f2
    )tmp;
  • 訓練數據展示

    f0

    f1

    f2

    false

    3.0

    1

    false

    3.0

    1

    true

    2.0

    1

    true

    4.0

    1

    false

    4.0

    1

    false

    3.0

    1

    false

    3.0

    1

    true

    3.0

    1

    false

    4.0

    1

    true

    4.0

    1

    false

    5.0

    1

    true

    3.0

    1

  • 訓練PAI命令

    pai -project projectxlib4
        -name type_transform_v1
        -DinputTable=transform_test
        -Dcols_to_double=f0
        -Dcols_to_int=f1
        -Dcols_to_string=f2
        -DoutputTable=trans_test_output;
  • 輸出說明

    結果表

    f0

    f1

    f2

    0.0

    3

    1

    0.0

    3

    1

    1.0

    2

    1

    1.0

    4

    1

    0.0

    4

    1

    0.0

    3

    1

    1.0

    3

    1

    0.0

    4

    1

    0.0

    3

    1

    0.0

    5

    1

    1.0

    3

    1

    1.0

    4

    1