日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

文檔

外部表概述

MaxCompute支持使用外部表功能查詢和分析存儲于OSS等外部存儲系統(tǒng)的數(shù)據(jù)。該機(jī)制使得用戶可以無需將數(shù)據(jù)導(dǎo)入到MaxCompute內(nèi)部存儲,直接對外部數(shù)據(jù)進(jìn)行操作,從而提供了數(shù)據(jù)處理的靈活性和方便性。

背景信息

MaxCompute SQL作為分布式數(shù)據(jù)處理的主要入口,可實(shí)現(xiàn)EB級別離線數(shù)據(jù)的快速處理和存儲。隨著大數(shù)據(jù)業(yè)務(wù)的不斷擴(kuò)展,新的數(shù)據(jù)使用場景在不斷產(chǎn)生,MaxCompute計(jì)算框架也在不斷演化。MaxCompute原來主要面對內(nèi)部特殊格式數(shù)據(jù)的強(qiáng)大計(jì)算能力,正一步步地開放給不同的外部數(shù)據(jù)。

現(xiàn)階段MaxCompute SQL處理的主要是以cfile列格式存儲在內(nèi)部MaxCompute表格中的結(jié)構(gòu)化數(shù)據(jù)。對于MaxCompute表外的各種用戶數(shù)據(jù)(包括文本以及各種非結(jié)構(gòu)化的數(shù)據(jù)),您需要通過不同工具導(dǎo)入MaxCompute表再進(jìn)行計(jì)算。以O(shè)SS為例,如果您需要在MaxCompute中處理OSS上的數(shù)據(jù),通常有以下兩種方式:

  • 通過OSS SDK或者其他工具從OSS下載數(shù)據(jù),然后再通過MaxCompute Tunnel將數(shù)據(jù)導(dǎo)入表里。

  • 編寫UDF,在UDF里直接調(diào)用OSS SDK訪問OSS數(shù)據(jù)。

但這兩種方法都有不足之處:

  • 第一種方法需要在MaxCompute系統(tǒng)外部做一次中轉(zhuǎn),如果OSS數(shù)據(jù)量太大,還需要考慮如何并發(fā)來加速,無法充分利用MaxCompute的大規(guī)模計(jì)算能力。

  • 第二種方法通常需要申請UDF網(wǎng)絡(luò)訪問權(quán)限,還需要開發(fā)者自己控制作業(yè)并發(fā)數(shù),解決數(shù)據(jù)如何分片的問題。

因此,MaxCompute提供了外部表來解決上述問題。外部表的功能旨在提供除MaxCompute內(nèi)部表以外的其他數(shù)據(jù)的處理能力。通過一條簡單的DDL語句,即可在MaxCompute上創(chuàng)建一張外部表,建立MaxCompute表與外部數(shù)據(jù)源的關(guān)聯(lián),提供各種數(shù)據(jù)的接入和輸出能力。創(chuàng)建好的外部表可以像普通的MaxCompute表一樣使用(大部分場景),充分利用MaxCompute SQL的強(qiáng)大計(jì)算功能。

說明
  • 使用外部表功能時(shí),外部表的數(shù)據(jù)不會復(fù)制一份存在MaxCompute上并產(chǎn)生存儲費(fèi)用。

  • 外部表支持全量搜索。

  • Tunnel功能及Tunnel SDK當(dāng)前不支持外部表操作。您可以通過Tunnel直接上傳數(shù)據(jù)到MaxCompute內(nèi)部表,或者是通過OSS Python SDK上傳到OSS后,在MaxCompute使用外部表做映射。

  • 您可以通過DataWorks配合MaxCompute對外部表進(jìn)行可視化的創(chuàng)建、搜索、查詢、配置、加工和分析。詳情請參見外部表

  • 外部表在MaxCompute側(cè)只會產(chǎn)生計(jì)算費(fèi)用,遵循MaxCompute計(jì)算資源計(jì)費(fèi)規(guī)則。外部表的數(shù)據(jù)不會存儲在MaxCompute,所以在MaxCompute不會有存儲費(fèi)用,存儲費(fèi)用請關(guān)注數(shù)據(jù)源存儲側(cè)計(jì)費(fèi)規(guī)則。在使用公網(wǎng)MaxCompute Endpoint連接外部表時(shí),會產(chǎn)生公網(wǎng)流量費(fèi)和下載費(fèi)用。MaxCompute費(fèi)用詳情請參見計(jì)費(fèi)項(xiàng)與計(jì)費(fèi)方式概述

  • 使用MaxCompute外部表訪問外部數(shù)據(jù)源時(shí),外部數(shù)據(jù)源可能會產(chǎn)生計(jì)算、訪問、數(shù)據(jù)傳輸?shù)荣M(fèi)用,具體以外部數(shù)據(jù)源計(jì)費(fèi)方式為準(zhǔn),請關(guān)注相應(yīng)產(chǎn)品的說明。

外部表示例

您可以通過以下示例,深入了解通過MaxCompute外部表功能處理各種非結(jié)構(gòu)化數(shù)據(jù)的方法:

相關(guān)文檔