大數據上云及巡檢服務內容說明
1.服務說明
1.1. 大數據遷移服務說明
隨著云計算的普及，越來越多的企業客戶選擇將計算平臺遷移至云上。大數據平臺遷移服務提供計算平臺遷移相關的遷移方案設計和遷移實施過程（包括數據遷移、任務遷移）中的技術支持。幫助客戶制定滿足客戶業務系統的大數據平臺遷移改造技術方案，快速高效的實現數據/作業的遷移，保證數據的一致性。以解決以下客戶痛點：
對云計算平臺產品不熟悉，對大數據遷移沒有設計經驗，缺乏相應的遷移方案設計能力。
數據遷移整體流程不熟悉，缺少實操經驗，包括流程管控和遷移實施經驗，遷移前后的數據的一致性，以及遷移工具使用出現問題，不知如何定位和排查，缺少技術指導和支持。
任務遷移整體流程不熟悉，缺少實操經驗，包括流程管控和遷移實施經驗，以及遷移工具使用出現問題，不知如何定位和排查，缺少技術指導和支持。
本服務包含四項子服務，客戶可以結合自身業務需求進行購買：
大數據遷移方案設計服務（可選）
大數據遷移方案實施基礎服務（可選數據遷移、任務遷移兩種子服務其中之一）
大數據遷移方案實施增補服務（可選）
服務注意事項如下：
本SOW在一次售賣中僅包括遷移咨詢、數據遷移、業務遷移這三個服務其中之一
遷移實施（包括數據遷移、任務遷移）的工作量評估，都建立在遷移資源可以及時到位的前提下。
遷移的資源成本不包括本服務包成本內，本服務包僅負責資源的使用。
如無特別要求，默認遷移周期>=2個月。
本服務包所支持的遷移場景列表如下，一個服務包的一次售賣中，僅包括下列場景之一：
開源Hive/Hadoop -> 阿里云EMR-Hive
開源Spark -> 阿里云EMR-Spark
開源Hive/Hadoop -> 阿里云Maxcompute
開源Spark -> 阿里云Maxcompute（非pyodps）
開源Flink -> 阿里云 Flink
ClickHouse -> 阿里云ClickHouse
云上/下Maxcompute -> 云上/下Maxcompute
不在以上范圍內的，具體項目分析
本文提到的『任務量』的計量與場景、任務類型、調度等諸多因子相關，請線下與服務包PD咨詢，要根據客戶情況來計算。
1.2. 大數據巡檢服務說明
基于阿里云大數據平臺運維巡檢最佳實踐，為客戶提供云原生、EMR商業開源平臺監控采集配置服務，根據運維周期按次提供主動運維巡檢健康檢查，并結合數據業務現狀輸出健康分析報告。以解決客戶耍得的大數據產品配置不合理、資源利用率不高、架構可用性隱患、生產任務頻繁故障，無法提前感知等痛點。
服務注意事項如下：
聲明本服務支持產品范圍為：
開源EMR
阿里云EMR
阿里云Maxcompute/Dataworks/Hologress
不在以上范圍內的，基于項目具體分析
2.服務范圍
各項子服務服務范圍如下：
2.1.遷移方案設計服務范圍
針對客戶業務系統鏈路改造上阿里云計算平臺的整體遷移鏈路技術方案設計：通過調研客戶當前的業務系統、鏈路架構、上云要求，設計滿足客戶要求的包括數據及任務的增量遷移/存量遷移/增全量合并/一致性校驗/sql改造一整套遷移鏈路設計，包括業務系統到云上產品鏈路、遷移所用工具以及關鍵步驟的實施說明，以及割接要點說明。
方案設計的技術參數有如下約束：
源端集群數 | 調度組件數 | 數據量 | 表數量 | 任務量 |
<=4 | <=2 | 10P | 1萬 | 3000 |
2.2.遷移實施基礎服務之數據遷移服務范圍
基于遷移規劃產出的方案，為客戶大基于遷移規劃產出的方案，為客戶大數據平臺數據遷移過程中提供工具部署使用培訓以及技術支持，問題解決，保障實施過程順利進行，并配合完成數據遷移的割接。
遷移規模有如下約束：
源端集群數 | 調度組件數 | 數據量 | 表數量 | 任務量 |
<=2 | 1P | 1000 |
2.3.遷移實施基礎服務之任務遷移技術支持服務范圍
基于遷移規劃產出的方案，為客戶大數據平臺任務遷移過程中提供工具部署使用培訓以及技術支持，問題解決，保障實施過程順利進行，并配合完成任務遷移的割接。
遷移規模有如下約束（其中任務量的計算受遷移的組件異構性、任務是否改造等多種因子影響，具體要根據售前調研情況來確定）：
源端集群數 | 調度組件數 | 數據量 | 表數量 | 任務量（僅參考） |
<=2 | <=1 | 售前調研來定 |
2.4.遷移實施增補之服務范圍
作為大數據平臺遷移實施基礎服務的補充，除按工作量擴充基礎服務之外，也可以為客戶大數據平臺遷移過程中提供基礎服務之外的升級服務，如駐場護航、技術答疑、技術培訓等標準化的遷移升級服務。
升級服務有如下約束（其中任務量的計算受遷移的組件異構性、任務是否改造等多種因子影響，具體要根據售前調研情況來確定）：
服務類型 | 服務內容 | 服務范圍 |
數據遷移或者任務遷移技術支持的工作量擴充 | 擴充同一場景下基礎服務包未能覆蓋的遷移工作量 | 與方案設計、數據遷移、任務遷移等保持一致 |
技術答疑 | 僅對應一種大數據產品的Landing使用，包括資源評估、用戶權限設計、網絡分配等 |
|
技術培訓 | 僅對應一種大數據產品使用培訓，不超過2人天課程，3人天課后答疑 |
|
駐場護航 | 客戶重大活動或者重大項目（如平臺改造、平臺遷移、營銷大促等）運行期間，提供駐場護航服務，不超過10人天駐場支持 |
|
2.5.大數據平臺巡檢服務范圍
序號 | 主要工作內容 | 詳細描述 |
需求階段 | 現狀調研 | 調研客戶當前的大數據架構數據鏈路等，調研客戶大數據平臺巡檢的需求范圍和日常痛點 |
需求確認 | 理解客戶需求，梳理關鍵指標清單和巡檢目標，與客戶確認需求 | |
系統巡檢 | 巡檢實施 | 通過Prometheus、或自研工具等方式為部署巡檢采集服務，獲取需求階段的指標清單，如集群運行環境（cpu、內存、磁盤、網絡等），大數據服務運行信息（服務占用cpu、內存、中間目錄等） |
分析診斷 | 基于收集的指標和配置信息，輸出集群運行狀態巡檢報告，對集群資源使用異常、服務異常等情況進行診斷 | |
產出報告 | 產出報告 | 1）從環境配置、運行性能、存儲合理、安全等多維度評估巡檢產出，形成報告文檔 2）針對高頻可優先、或使用風險場景給出問題診斷和優化建議，如大數據集群配置任務消耗資源度、高頻低效運算、小文件堆積、分區異常等情況 |
2.6.本服務不包括以下內容
本服務不包括應用遷移/數據庫平遷/應用程序改造/應用程序設計/數據庫邏輯結構設計。
遷移未明確認定為“范圍內”的應用系統。
遷移未明確認定為“范圍內”的數據。
云平臺基礎架構設施及環境的設計與搭建。
實施所需的通信基礎架構和組件。
安裝或配置電氣、電子通信、布線基礎架構和組件，以及為其提供支持。
非IT設備以及桌面設備（如辦公桌椅、打印設備、空調、UPS、磁帶等）等的安裝配置。
本服務不承諾提供任何應用改造，僅負責限定范圍內的數據及任務遷移，因平臺替換導致的兼容性問題由客戶負責改造。
乙方不為具體進度負責，由甲方原因導致的進度不符合預期，乙方不承擔延期責任。
3.前提條件
客戶應提前至少15個自然日申請該服務，以便于阿里云評估客戶業務目標及時間計劃可行，確認是否承接該服務申請。
如客戶的申請涉及大批量資源需求，建議客戶提前一個月申請，具體視供應鏈評估情況協商。
客戶應在阿里云承接服務后，提供場地、設備、必要的非生產環境及遠程訪問通道、權限、明確的業務目標（如遷移范圍、遷移產品方案等）等，協助阿里云開展服務。
客戶應審核阿里云制定的項目實施計劃，以書面形式（包括但不限于電子郵件）確認阿里云提供的具體實施計劃。客戶如無正當技術理由，不得否定雙方已確認的技術建議或方案，以確保及時實現本服務目的。
按雙方協商約定時間實施具體的遷移服務。
4.分工邊界
4.1.客戶與阿里云
項目階段 | 甲方 | 乙方 |
項目準備 | 1. 指定一名具備合適技能和經驗的項目經理作為與乙方溝通的主要聯系人，代表甲方直接負責項目實施的計劃、協調、監督與控制以及升級問題與風險，同時全權代表甲方在本項目的各個方面做出決策。 2. 項目經理應協同乙方人員針對項目準備階段的所有事項（見本工作說明書《2.1 項目準備》）進行確認。 3. 辦公環境準備與人員出入許可權限批準。 4. 管理甲方項目組相關人員且和各階段需投入人員進行溝通交流并取得投入項目的承諾與時間。 5. 管理甲方項目組相關人員。 | 1. 指派一名有經驗的項目經理執行項目管理，并引入、管理乙方項目組人員，與甲方項目經理溝通 2. 針對項目準備階段的所有事項（見本工作說明書《2.1 項目準備》）提出方案與計劃與甲方項目經理進行確認并書面記錄在案 |
現狀調研階段 | 1.根據項目計劃與訪談計劃，組織關鍵用戶參與調研訪談 2.根據乙方提供的需求調研表格，提供現有業務概況，如所用組件，數據源類型，數據源數量，遷移作業數，作業類型, 作業運行方式，了解用戶遷移所用阿里云組件，數據遷移方式（存量遷移方式/增量遷移方式），作業遷移方式，一致性校驗標準等作為乙方評估調研評估輸入 3.確認乙方的數據上云策略與風險控制策略 4.部署乙方提供的數據探查采集工具，并上傳采集結果完成評估分析 5.指定驗收人負責審核乙方交付物并提供反饋與確認 | 1. 提供訪談計劃并根據訪談結果評估現有系統架構/部署架構。 2.根據調研評估結果提出數據上云策略與風險控制策略，并與甲方達成一致 3.協助甲方分析數據遷移評估結果 4.根據甲方驗收反饋確保最終交付物符合驗收標準 |
方案設計階段 | 1.配合乙方進行數據架構選型和設計。 2.配合乙方進行數據遷移方案的設計。 3.根據乙方的作業改造建議，進行sql代碼檢查，確認具體改造的范圍和改造方案 4.指定驗收人負責審核乙方交付物并提供反饋與確認驗收 | 1.根據服務范圍，結合客戶具體場景進行組件選型和架構設計。 2.根據客戶當前系統、云上產品、數據規模和大小，業務特點，設計數據遷移方案，推薦合適的遷移工具。 3.分析目標作業與源作業的兼容性，提供作業改造建議以及sql代碼檢查建議。 4. 根據甲方驗收反饋確保最終交付物符合驗收標準 |
方案驗證階段 | 1.根據作業兼容性分析、sql改造建議，進行1個示例作業改造，并進行業務驗證 2.驗證數據遷移方案 | 1.協助并指導甲方開通或購買云資源以及基礎架構搭建與配置 2.提供作業改造過程的相關技術支持 3.協助甲方驗證數據遷移方案，提供遷移過程中的答疑、工具培訓、技術支持 4.在該階段只選擇1個示例進行咨詢方案的驗證。 |
遷移實施階段 | 1.根據作業兼容性分析以及改造建議，執行作業代碼改造等實施工作 2.執行數據遷移、割接演練 3.根據應用測試、割接演練結果準備業務割接 | 1.協助并指導甲方開通或購買云資源以及基礎架構搭建與配置 2.提供作業改造的相關技術支持 3.協助甲方數據遷移，提供遷移過程中的答疑、工具培訓、技術支持 |
割接與護航 | 1.確認業務割接到阿里數據平臺的計劃并指定相應的協同割接人員 2.清理測試數據并確認生產資源準備就緒 3.在計劃時間窗口內完成系統割接工作，并驗證切換后的業務測試 4.若遇非乙方系統或服務問題，協助乙方協調第三方系統相關人員進行問題修復 5.指定運維接口人與乙方交接業務上線后的注意事項 6.指定驗收人負責審核乙方交付物并提供反饋與確認驗收 | 1.協助甲方進行系統割接準備并對系統割接計劃與甲方達成共識 2.根據甲方指定的具體業務系統，在割接演練期間提供計算平臺相關技術支持和問題解決。 3.協助甲方進行系統割接并在系統割接過程中提供阿里云計算平臺相關的技術支持、問題排查與解決方案 4.在系統切換完成后，提供運維問題排查，針對在項目范圍內的問題提供修復或臨時解決方案 5.與甲方運維接口人進行運維交接 |
巡檢實施 | 1.配合乙方進行實施巡檢配置，包括產品開通、部署、必要的配置工作協作等。 | 1.根據服務范圍，實施巡檢配置，覆蓋調研階段所提出的指標需求。 2.收集巡檢指標結果，建立數據分析模型，形成巡檢決策結果 |
巡檢報告 | 1.確認驗收 | 1.負責產出結果報告，并給出必要的建議 |
4.2.完工標準
滿足下列條件之一，則視為完工：
完成2.服務范圍內的工作量，并由客戶驗收后，即可視為完工。
如果因客戶側原因導致項目暫停或終止，但阿里云已按時間期限提供了20人天服務，則也算完工。
5.服務項
阿里云針對客戶的業務目標，包含以下服務：
5.1.方案設計
主要工作內容 | 詳細描述 |
現狀調研 | 1、調研客戶所指定遷移范圍內的端大數據系統的相關信息，包括當前所用組件，數據源類型，數據源數量，遷移作業數，作業類型, 作業運行方式。 2、對應售前方案，確定遷移目標端所使用的阿里云大數據組件信息（規格、版本、網絡連通性等），數據遷移方式（存量遷移方式/增量遷移方式），作業遷移方式，遷移工具，一致性校驗標準。 |
數據遷移設計 | 基于需求詳細調研的結果，設計【XXX】項目的數據遷移方案
|
任務遷移設計 | 基于需求詳細調研的結果，設計【XXX】項目的任務遷移方案
|
關鍵點驗證及割接方案設計 | 1、根據項目需求，對方案中的關鍵點進行驗證，如新遷移工具的引入、數據規模超過常規等 2、設計割接方案，如集群雙跑涉及的工作步驟說明和風險點說明等 |
5.2.數據遷移
主要工作內容 | 內容描述 |
存量數據遷移 | 提供存量數據遷移、校驗支持 |
增量數據遷移 | 提供增量數據遷移、校驗支持 |
割接演練 | 協助進行割接方案設計，并進行割接演練確保割接方案可行 |
割接實話 | 協助進行最終割接實施上云 |
5.3.任務遷移
主要工作內容 | 內容描述 |
作業任務遷移支持 | 提供作業任務遷移、sql任務兼容性改造支持 |
數據一致性校驗支持 | 提供遷移過程中的數據一致性校驗技術支持 |
割接演練支持 | 協助進行割接方案設計，并進行割接演練確保割接方案可行 |
割接實施支持 | 協助進行最終割接實施上云 |
5.4.平臺巡檢
主要工作內容 | 詳細描述 |
現狀調研 | 調研客戶當前的大數據架構數據鏈路等，調研客戶大數據平臺巡檢的需求范圍和日常痛點 |
需求確認 | 理解客戶需求，梳理關鍵指標清單和巡檢目標，與客戶確認需求 |
巡檢實施 | 通過Prometheus、或自研工具等方式為部署巡檢采集服務，獲取需求階段的指標清單，如集群運行環境（cpu、內存、磁盤、網絡等），大數據服務運行信息（服務占用cpu、內存、中間目錄等） |
分析診斷 | 基于收集的指標和配置信息，輸出集群運行狀態巡檢報告，對集群資源使用異常、服務異常等情況進行診斷 |
產出報告 | 1、從環境配置、運行性能、存儲合理、安全等多維度評估巡檢產出，形成報告文檔 2、針對高頻可優先、或使用風險場景給出問題診斷和優化建議，如大數據集群配置任務消耗資源度、高頻低效運算、小文件堆積、分區異常等情 |
6.服務流程
6.1.大數據遷移服務流程
申請時間限制：客戶須至少應于本服務開始日之前提前15個自然日提出申請。
需求調研（鏈路、平臺架構、范圍梳理、計劃制定） -> 方案設計（數據遷移方案設計、任務遷移方案設計、數據校驗方案、割接方案設計等） -> 開發實施（環境搭建、方案驗證、數據遷移、任務遷移、雙跑驗證） -> 系統割接（監控告警、割接準備）-> 上線維保（正式上線、知識轉移、項目驗收）
請注意，以上為購買完整大數據遷移全套服務的服務流程，包括了方案設計、數據遷移、任務遷移支持等，而現實中的服務流程取決于客戶實際購買的服務內容項。
6.2.大數據平臺巡檢服務流程
申請時間限制：客戶須至少應于本服務開始日之前提前15個自然日提出申請。
項目準備 -> 需求調研 -> 系統巡檢 -> 產出報告
7.驗收標準
大數據遷移服務驗收時，乙方須根據客戶購買的具體服務子項（方案設計、數據遷移、任務遷移這三者其中之一），交付2.服務范圍和3.2服務項中約定的服務內容（主要是工作量，如約定的數據量、任務量的遷移，含增補服務量），或者約定規模下的遷移方案設計，并提交以下驗收交付物，由客戶確認。
交付內容 | 交付物 | 交付物類型 |
遷移方案設計服務 | 《大數據平臺遷移方案設計》，《大數據平臺數據遷移方案驗證問題清單》 | 文檔 |
數據遷移服務 | 《大數據平臺數據遷移實施報告》 | 文檔 |
任務遷移服務 | 《大數據平臺任務遷移實施支持報告》 | 文檔 |
大數據平臺巡檢服務時，乙方須按照服務范圍內約定，交付3.2中的服務項，并提交以下驗收交付物，由客戶確認。
交付內容 | 交付物 | 交付物類型 |
遷移方案設計 | 《大數據集群情況匯總表》、 《客戶需求清單》，《大數據指標清單及巡檢目標》 | 文檔 |
巡檢實施 | 《大數據集群指標巡檢大盤》 | 報表 |
產出報告 | 《大數據集群巡檢報告》 | 文檔 |
8.完成標志
實施結束并完成客戶驗收工作。