DataSchema

{
    "dataSource": <name_of_dataSource>,
    "parser": {
        "type": <>,
        "parseSpec": {
            "format": <>,
            "timestampSpec": {},
            "dimensionsSpec": {}
        }
    },
    "metricsSpec": {},
    "granularitySpec": {}
}

• parser

  parser部分決定了您的數據如何被正確地解析，metricsSpec定義了數據如何被聚集計算，granularitySpec定義了數據分片的粒度、查詢的粒度。

  對于parser，type有兩個選項：string和hadoopString，后者用于Hadoop索引的 job。parseSpec是數據格式解析的具體定義。

  鍵	格式	描述	是否必須
  type	字符串	數據格式，可以是 “json”、“jsonLowercase”、“csv”和“tsv”幾種格式。	是
  timestampSpec	JSON對象	時間戳和時間戳類型。	是
  dimensionsSpec	JSON對象	數據的維度（包含哪些列）。	是

  對于不同的數據格式，可能還有額外的parseSpec選項。

  timestampSpec表的描述如下。

  鍵	格式	描述	是否必須
  column	字符串	時間戳對應的列。	是
  format	字符串	時間戳類型，可選”iso”、 “millis”、 “posix”、“auto”和joda time支持的類型。	是

  dimensionsSpec表的描述如下。

  鍵	格式	描述	是否必須
  dimensions	JSON數組	數據包含的維度。每個維度可以只是個字符串，或者可以額外指明維度的屬性。例如 “dimensions”: [ “dimension1”, “dimension2”, “{“type”: “long”, “name”: “dimension3”} ]，默認是STRING類型。	是
  dimensionExclusions	JSON字符串數組	數據消費時要剔除的維度。	否
  spatialDimensions	JSON對象數組	空間維度。	否

• metricsSpec

  metricsSpec是一個JSON對象數組，定義了一些聚合器（aggregators）。聚合器通常有如下的結構。

  {
      "type": <type>,
      "name": <output_name>,
      "fieldName": <metric_name>
  }

  官方提供了以下常用的聚合器。

  類型	type 可選
  count	count
  sum	longSum、doubleSum、floatSum
  min/max	longMin/longMax、doubleMin/doubleMax、floatMin/floatMax
  first/last	longFirst/longLast、doubleFirst/doubleLast、floatFirst/floatLast
  javascript	javascript
  cardinality	cardinality
  hyperUnique	hyperUnique

  說明

  后三個屬于高級聚合器，詳情請參見Apache Druid官方文檔。

• granularitySpec

  聚合支持兩種聚合方式：uniform和arbitrary，前者以一個固定的時間間隔聚合數據，后者盡量保證每個segments大小一致，時間間隔是不固定的。目前uniform是默認選項。

  鍵	格式	描述	是否必須
  segmentGranularity	字符串	segments粒度。uniform 方式使用。默認為DAY。	否
  queryGranularity	字符串	可供查詢的最小數據聚合粒度，默認值為true。	否
  rollup	bool值	是否聚合。	否
  intervals	字符串	數據消費時間間隔。	batch：是 realtime：否

ioConfig

{
    "type": "hadoop",
    "inputSpec": {
        "type": "static",
        "paths": "hdfs://emr-header-1.cluster-6789:9000/druid/quickstart/wikiticker-2015-09-16-sampled.json"
    }
}

Tunning Config

Tuning Config是指一些額外的設置。

Tunning Config的內容依賴于您的數據來源。例如，Hadoop對批量數據創建索引，您可以指定MapReduce參數。