圖運(yùn)維
圖計(jì)算服務(wù)iGraph圖運(yùn)維功能介紹。
圖運(yùn)維
圖運(yùn)維頁(yè)面幫助用戶查看當(dāng)前圖的回流信息，支持兩種查看視角：
圖schema視角，并支持對(duì)圖進(jìn)行索引構(gòu)建、數(shù)據(jù)寫入操作
節(jié)點(diǎn)、關(guān)系視角，并查看對(duì)應(yīng)的回流日志
圖schema視角
以圖schema視角查看全局圖運(yùn)維信息，對(duì)節(jié)點(diǎn)、關(guān)系右鍵可進(jìn)行對(duì)應(yīng)操作：
觸發(fā)索引構(gòu)建：選擇對(duì)應(yīng)分區(qū)并觸發(fā)索引構(gòu)建
增量數(shù)據(jù)寫入：基于數(shù)據(jù)更新語(yǔ)法
數(shù)據(jù)導(dǎo)出
定時(shí)導(dǎo)出
節(jié)點(diǎn)、關(guān)系視角
查看當(dāng)前圖對(duì)應(yīng)的回流日志：
回流對(duì)象：schema下的節(jié)點(diǎn)、關(guān)系所對(duì)應(yīng)的表
狀態(tài)：當(dāng)前回流頁(yè)面會(huì)讀取最新的回流信息，單擊刷新進(jìn)行更新。狀態(tài)說(shuō)明參考當(dāng)前回流
觸發(fā)時(shí)間、完成時(shí)間
單擊詳情查看當(dāng)前回流對(duì)象具體信息
回流詳情
基礎(chǔ)信息
數(shù)據(jù)表包含的基礎(chǔ)信息，表名 、狀態(tài)、數(shù)據(jù)源表等信息。
當(dāng)前回流
目前回流經(jīng)過(guò)7步驟
未觸發(fā)：未回流
觸發(fā)成功：后端接受到觸發(fā)回流信號(hào)，并信息檢查成功
等待索引構(gòu)建：表進(jìn)入構(gòu)建等待隊(duì)列，構(gòu)建服務(wù)會(huì)根據(jù)表優(yōu)先級(jí)選擇表進(jìn)行構(gòu)建
進(jìn)行索引構(gòu)建：通過(guò)build service服務(wù)構(gòu)建索引到hdfs
等待索引切換：索引產(chǎn)出后，會(huì)進(jìn)入切換等待隊(duì)列，等待切換程序處理，切換程序會(huì)根據(jù)表優(yōu)先級(jí)從等待隊(duì)列中選擇
索引切換：將索引從hdfs拉取到在線服務(wù)物理機(jī)，并完成數(shù)據(jù)切換
回流完成：可以提供查詢、更新服務(wù)
歷史回流
字段結(jié)構(gòu)
圖模型中所配置的節(jié)點(diǎn)、關(guān)系的字段結(jié)構(gòu)
索引導(dǎo)出
總體流程
數(shù)據(jù)導(dǎo)出
對(duì)于需要導(dǎo)出功能的點(diǎn)/邊，在數(shù)據(jù)配置頁(yè)面關(guān)閉“索引優(yōu)化”選項(xiàng)后提交
修改完表配置后，保存并發(fā)布圖配置
選擇該點(diǎn)/邊，重新觸發(fā)一次索引構(gòu)建，回流完成后的索引即為可導(dǎo)出版本
選擇該點(diǎn)/邊，進(jìn)入“數(shù)據(jù)導(dǎo)出”頁(yè)面，填寫如下信息：指定project、指定table、新分區(qū)版本、選擇可導(dǎo)出版本，單擊“一鍵獲取建表SQL”。
注意：此時(shí)先不要單擊“導(dǎo)出”按鈕
拿到建表sql后，在max compute里執(zhí)行創(chuàng)建table
創(chuàng)建table成功后，使用alter方法添加對(duì)應(yīng)分區(qū)。
注意：分區(qū)名要與第四步填寫的保持一致
每次導(dǎo)出，需要在max compute的對(duì)應(yīng)table添加一個(gè)新分區(qū)，否則可能存在數(shù)據(jù)重復(fù)寫入的問題
max compute里的table及分區(qū)創(chuàng)建完畢后，進(jìn)行授權(quán)操作，然后在graph compute里的數(shù)據(jù)導(dǎo)出頁(yè)面檢查填寫信息是否正確，無(wú)誤后單擊“導(dǎo)出”按鈕，任務(wù)創(chuàng)建完成
導(dǎo)出任務(wù)相關(guān)信息可進(jìn)入回流日志中對(duì)應(yīng)點(diǎn)/邊的“詳情”頁(yè)面查看
定時(shí)導(dǎo)出
對(duì)于需要導(dǎo)出功能的點(diǎn)/邊，在數(shù)據(jù)配置頁(yè)面關(guān)閉“索引優(yōu)化”選項(xiàng)后提交
修改完表配置后，保存并發(fā)布圖配置
選擇該點(diǎn)/邊，重新觸發(fā)一次索引構(gòu)建，回流完成后的索引即為可導(dǎo)出版本
選擇該點(diǎn)/邊，進(jìn)入“定時(shí)導(dǎo)出”頁(yè)面，填寫如下信息：指定project、指定table、選擇新分區(qū)版本、定時(shí)配置，單擊“一鍵獲取建表SQL”。
注意：此時(shí)先不要單擊“導(dǎo)出”按鈕
若是一天內(nèi)需要導(dǎo)出多次，新分區(qū)版本需要選擇"yyyyMMddHH"
拿到建表sql后，在max compute里執(zhí)行創(chuàng)建table
創(chuàng)建table成功后，使用grant方法賦予graph compute賬戶對(duì)該table的操作權(quán)限
max compute里的table創(chuàng)建并授權(quán)完畢后，在graph compute里的定時(shí)導(dǎo)出頁(yè)面檢查填寫信息是否正確，無(wú)誤后單擊“導(dǎo)出”按鈕，任務(wù)創(chuàng)建完成。
注意：每個(gè)點(diǎn)/邊僅支持一個(gè)定時(shí)導(dǎo)出任務(wù)，若是重復(fù)創(chuàng)建則會(huì)刪除該點(diǎn)/邊的前一個(gè)定時(shí)導(dǎo)出任務(wù)。
導(dǎo)出任務(wù)相關(guān)信息可進(jìn)入回流日志中對(duì)應(yīng)點(diǎn)/邊的“詳情”頁(yè)面查看
操作示例
準(zhǔn)備可導(dǎo)出的索引版本
對(duì)于需要導(dǎo)出功能的點(diǎn)/邊，在數(shù)據(jù)配置頁(yè)面關(guān)閉“索引優(yōu)化”選項(xiàng)后提交
修改完表配置后，保存并發(fā)布圖配置
選擇該點(diǎn)/邊，重新觸發(fā)一次索引構(gòu)建，回流完成后的索引即為可導(dǎo)出版本
獲取建表sql，并創(chuàng)建table
graph compute填寫導(dǎo)出相關(guān)參數(shù)，單擊“一鍵獲取建表SQL”。此時(shí)先不要單擊“導(dǎo)出”按鈕
在max compute里執(zhí)行sql語(yǔ)句，創(chuàng)建table
“數(shù)據(jù)導(dǎo)出”任務(wù)中，需要在table下添加對(duì)應(yīng)分區(qū)
alter table openrec_new.test_momet add partition (ds='2023032302');
max compute賦予table級(jí)權(quán)限
max compute里，待導(dǎo)出的table需要給Graph Compute的odps賬號(hào)賦權(quán)
add user ALIYUN$openias;grant Describe,Alter,Update,Select on table test_momet to USER ALIYUN$openias;