調(diào)用函數(shù)清洗數(shù)據(jù)
您可以通過日志服務(wù)數(shù)據(jù)加工函數(shù)清洗您所采集的海量日志數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)格式標(biāo)準(zhǔn)化。本文介紹調(diào)用函數(shù)清洗數(shù)據(jù)的常見場(chǎng)景和相關(guān)操作。
場(chǎng)景1：過濾日志（e_keep函數(shù)和e_drop函數(shù)）
您可以使用e_drop函數(shù)或e_keep函數(shù)過濾日志，也可以使用e_if函數(shù)與DROP參數(shù)、e_if_else函數(shù)與DROP參數(shù)過濾日志。
常用規(guī)則如下所示：
e_keep(e_search(...) )：滿足條件時(shí)保留，不滿足條件時(shí)丟棄。e_drop(e_search(...) )：滿足條件時(shí)丟棄，不滿足條件時(shí)保留。e_if_else(e_search("..."), KEEP, DROP)：滿足條件時(shí)保留，不滿足條件時(shí)丟棄。e_if(e_search("not ..."), DROP)：滿足條件時(shí)丟棄，不滿足條件時(shí)保留。e_if(e_search("..."), KEEP)：無意義的加工規(guī)則。
示例如下所示：
原始日志
#日志1 __source__: 192.168.0.1 __tag__:__client_ip__: 192.168.0.2 __tag__:__receive_time__: 1597214851 __topic__: app class: test_case id: 7992 test_string: <function test1 at 0x1027401e0> #日志2 __source__: 192.168.0.1 class: produce_case id: 7990 test_string: <function test1 at 0x1020401e0>加工規(guī)則
丟棄沒有__topic__字段和__tag__:__receive_time__字段的日志。
e_if(e_not_has("__topic__"),e_drop()) e_if(e_not_has("__tag__:__receive_time__"),e_drop())加工結(jié)果
__source__: 192.168.0.1 __tag__:__client_ip__: 192.168.0.2 __tag__:__receive_time__: 1597214851 __topic__: app class: test_case id: 7992 test_string: <function test1 at 0x1027401e0>
場(chǎng)景2：為日志空缺字段賦值（e_set函數(shù)）
您可以使用e_set函數(shù)為日志空缺字段賦值。
子場(chǎng)景1：原字段不存在或者為空時(shí)，為字段賦值。
e_set("result", "......value......", mode="fill")mode參數(shù)取值請(qǐng)參見字段提取檢查與覆蓋模式。
示例如下所示：
原始日志
name:加工規(guī)則
e_set("name", "aspara2.0", mode="fill")加工結(jié)果
name: aspara2.0
子場(chǎng)景2：使用GROK函數(shù)簡(jiǎn)化正則表達(dá)式，提取字段內(nèi)容。
示例如下所示：
原始日志
content："ip address: 192.168.1.1"加工規(guī)則
使用GROK函數(shù)捕獲提取content字段中的IP地址。
e_regex("content", grok(r"(%{IP})"),"addr")加工結(jié)果
addr: 192.168.1.1 content："ip address: 192.168.1.1"
子場(chǎng)景3：為多個(gè)字段賦值。
e_set("k1", "v1", "k2", "v2", "k3", "v3", ......)示例如下所示：
原始日志
__source__: 192.168.0.1 __topic__: __tag__: __receive_time__: id: 7990 test_string: <function test1 at 0x1020401e0>加工規(guī)則
為__topic__字段、__tag__字段和__receive_time__字段賦值。
e_set("__topic__","app", "__tag__","stu","__receive_time__","1597214851")加工結(jié)果
__source__: 192.168.0.1 __topic__: app __tag__: stu __receive_time__: 1597214851 id: 7990 test_string: <function test1 at 0x1020401e0>
場(chǎng)景3：通過判斷，刪除和重命名字段（e_search函數(shù)、e_rename函數(shù)和e_compose函數(shù)）
一般情況下，推薦您使用e_compose函數(shù)進(jìn)行重復(fù)判斷和操作。
示例如下所示：
原始日志
content：123 age：23 name：twiss加工規(guī)則
首先判斷content字段值是否為123，如果是，則刪除age和name字段，再將content字段重命名為ctx。
e_if(e_search("content==123"),e_compose(e_drop_fields("age|name"), e_rename("content", "ctx")))加工結(jié)果
ctx: 123
場(chǎng)景4：轉(zhuǎn)換日志參數(shù)類型（v函數(shù)、cn_int函數(shù)和dt_totimestamp函數(shù)）
日志的字段和字段值在加工過程中，始終都是字符串形式，非字符串類型的數(shù)據(jù)會(huì)被自動(dòng)轉(zhuǎn)化為字符串類型。因此在調(diào)用函數(shù)時(shí)，要注意各個(gè)函數(shù)能接收的參數(shù)類型。更多信息，請(qǐng)參見語法簡(jiǎn)介。
子場(chǎng)景1：調(diào)用op_add函數(shù)進(jìn)行字符拼接和數(shù)據(jù)相加。
op_add函數(shù)既可以接收字符串類型，也可以接受數(shù)值類型，因此不需要做參數(shù)類型轉(zhuǎn)換。
示例如下所示：
原始日志
a : 1 b : 2加工規(guī)則
e_set("d",op_add(v("a"), v("b"))) e_set("e",op_add(ct_int(v("a")), ct_int(v("b"))))加工結(jié)果
a:1 b:2 d:12 e:3
子場(chǎng)景2：運(yùn)用字段操作函數(shù)和ct_int函數(shù)進(jìn)行類型轉(zhuǎn)換并調(diào)用op_mul函數(shù)進(jìn)行數(shù)據(jù)相乘。
示例如下所示：
原始日志
a:2 b:5加工規(guī)則
因?yàn)関("a")和v("b")都是字符串類型，而op_mul函數(shù)的第二個(gè)參數(shù)只能接收數(shù)值類型，所以您需要通過ct_int函數(shù)將字符串轉(zhuǎn)化為整型，再傳遞給op_mul函數(shù)。
e_set("c",op_mul(ct_int(v("a")), ct_int(v("b")))) e_set("d",op_mul(v("a"), ct_int(v("b"))))加工結(jié)果
a: 2 b: 5 c: 10 d: 22222
子場(chǎng)景3：調(diào)用dt_parse函數(shù)和dt_parsetimestamp函數(shù)將字符串或日期時(shí)間轉(zhuǎn)換為標(biāo)準(zhǔn)時(shí)間。
dt_totimestamp函數(shù)接收的參數(shù)類型為日期時(shí)間對(duì)象，不是字符串。因此需要調(diào)用dt_parse函數(shù)將time1的字符串值類型轉(zhuǎn)化為日期時(shí)間對(duì)象類型。您也可以直接使用dt_parsetimestamp函數(shù)，它既能接收日期時(shí)間對(duì)象，也能接收字符串。更多信息，請(qǐng)參見日期時(shí)間函數(shù)。
示例如下所示：
原始日志
time1: 2020-09-17 9:00:00加工規(guī)則
將time1表示的日期時(shí)間轉(zhuǎn)化為Unix時(shí)間戳。
e_set("time1", "2019-06-03 2:41:26") e_set("time2", dt_totimestamp(dt_parse(v("time1")))) 或 e_set("time2", dt_parsetimestamp(v("time1")))加工結(jié)果
time1: 2019-06-03 2:41:26 time2: 1559529686
場(chǎng)景5：為日志不存在的字段填充默認(rèn)值（default傳參）
部分SLS DSL表達(dá)式函數(shù)對(duì)輸入的參數(shù)有一定要求，如果不滿足，數(shù)據(jù)加工窗口會(huì)報(bào)錯(cuò)或返回默認(rèn)值。當(dāng)日志中存在必要而殘缺字段時(shí)，您可以在op_len函數(shù)中填充默認(rèn)值。
傳遞默認(rèn)值給后續(xù)的函數(shù)時(shí)可能會(huì)進(jìn)一步報(bào)錯(cuò)，因而需要及時(shí)處理函數(shù)返回的異常。
原始日志
data_len: 1024加工規(guī)則
e_set("data_len", op_len(v("data", default="")))加工結(jié)果
data: 0 data_len: 0
場(chǎng)景6：判斷日志并增加字段（e_if函數(shù)與e_switch函數(shù)）
推薦使用e_if函數(shù)或e_switch函數(shù)進(jìn)行日志判斷。更多信息，請(qǐng)參見流程控制函數(shù)。
e_if函數(shù)
e_if(條件1, 操作1, 條件2, 操作2, 條件3, 操作3, ....)e_switch函數(shù)
e_switch函數(shù)是條件與操作的配對(duì)組合。依次根據(jù)條件進(jìn)行判斷，滿足條件的進(jìn)行對(duì)應(yīng)操作，然后直接返回操作結(jié)果。不滿足條件的不進(jìn)行對(duì)應(yīng)操作，直接進(jìn)行下一個(gè)條件判斷。如果沒有滿足任一條件并且配置了default參數(shù)，則執(zhí)行default配置的操作并返回。
e_switch(條件1, 操作1, 條件2, 操作2, 條件3, 操作3, ...., default=None)
示例如下所示：
原始日志
status1: 200 status2: 404e_if函數(shù)
加工規(guī)則
e_if(e_match("status1", "200"), e_set("status1_info", "normal"), e_match("status2", "404"), e_set("status2_info", "error"))加工結(jié)果
status1: 200 status2: 404 status1_info: normal status2_info: error
e_switch函數(shù)
加工規(guī)則
e_switch(e_match("status1", "200"), e_set("status1_info", "normal"), e_match("status2", "404"), e_set("status2_info", "error"))加工結(jié)果
只要有一個(gè)條件滿足，就返回結(jié)果，不再進(jìn)行后續(xù)條件判斷。
status1: 200 status2: 404 status1_info: normal
場(chǎng)景7：數(shù)據(jù)轉(zhuǎn)化納秒級(jí)的Unix時(shí)間戳
部分場(chǎng)景需要日志服務(wù)的數(shù)據(jù)加工能夠滿足納秒級(jí)精度時(shí)間戳的需求，當(dāng)原始日志中存在Unix時(shí)間格式字段，您可以使用字段操作函數(shù)，將其解析成納秒精度的日志時(shí)間。
原始日志
{ "__source__": "1.2.3.4", "__time__": 1704983810, "__topic__": "test", "log_time_nano":"1705043680630940602" }加工規(guī)則
e_set( "__time__", op_div_floor(ct_int(v("log_time_nano")), 1000000000), ) e_set( "__time_ns_part__", op_mod(ct_int(v("log_time_nano")), 1000000000), )加工結(jié)果
{ "__source__": "1.2.3.4", "__time__": 1705043680, "__time_ns_part__": 630940602, "__topic__": "test", "log_time_nano":"1705043680630940602" }
場(chǎng)景8：數(shù)據(jù)轉(zhuǎn)化微秒級(jí)標(biāo)準(zhǔn) ISO8601 時(shí)間戳
部分場(chǎng)景需要日志服務(wù)的數(shù)據(jù)加工滿足高精度時(shí)間戳的需求，當(dāng)原始日志中存在標(biāo)準(zhǔn) ISO8601時(shí)間格式的字段，您可以使用字段操作函數(shù)，將其解析成微秒精度的日志時(shí)間。
原始日志
{ "__source__": "1.2.3.4", "__time__": 1704983810, "__topic__": "test", "log_time":"2024-01-11 23:10:43.992847200" }加工規(guī)則
e_set( "__time__", dt_parsetimestamp(v("log_time"), tz="Asia/Shanghai"), mode="overwrite", ) e_set("tmp_ms", dt_prop(v("log_time"), "microsecond")) e_set( "__time_ns_part__", op_mul(ct_int(v("tmp_ms")), 1000), )加工結(jié)果
{ "__source__": "1.2.3.4", "__time__": 1704985843, "__time_ns_part__": 992847000, "__topic__": "test", "log_time": "2024-01-11 23:10:43.992847200", "tmp_ms": "992847" }