TensorFlow讀取OSS數據的方法：

• 低效的IO方式

  本地執行TensorFlow代碼和分布式云端執行TensorFlow的區別：

  • 本地讀取數據：Server端直接從Client端獲取Graph進行計算。

  • 云端服務：Server獲得Graph后，還需要將計算下發至各Worker處理。

  

  注意事項

  • 不建議使用Python本地讀取文件的方式。

    PAI支持Python自帶IO方式，但需要將數據源和代碼打包上傳。這種讀取方式是將數據寫入內存之后再計算，效率比較低，不建議使用。示例代碼如下。

    import csv
    csv_reader=csv.reader(open('csvtest.csv'))
    for row in csv_reader:
      print(row)

  • 不建議使用第三方庫讀取文件的方式。

    使用第三方庫（如TFLearn、Pandas）的數據IO方式讀取數據。通常，第三方庫是通過封裝Python的讀取方式實現，所以在PAI使用時也會造成效率低下的問題。

  • 不建議使用Preload讀取文件的方式。

    如果您發現GPU并沒有比本地的CPU速度快很多，則有可能是數據IO，導致性能浪費。Preload讀取方式先將數據全部都讀到內存中，然后再通過Session計算，例如Feed讀取方式。這樣會造成性能浪費，同時內存限制也無法計算大數據。

    例如，硬盤中有圖片數據集0001.jpg，0002.jpg，0003.jpg，…… 。先讀取數據后再計算，假設讀入用時0.1s，計算用時0.9s，這樣每過1s，GPU都會有0.1s空閑，降低了運算的效率。

    

• 高效的IO方式

  TensorFlow讀取方式是將數據讀取轉換成OP，通過Session.run的方式讀取數據。讀取線程將文件系統中的圖片讀入到一個內存的隊列中。計算是另一個線程，并直接從內存隊列中讀取進行計算。這樣解決了GPU因IO空閑而浪費性能的問題。

  

  在PAI通過OP的方式讀取數據的代碼如下。

  import argparse
  import tensorflow as tf
  import os
  FLAGS=None
  def main(_):
      dirname = os.path.join(FLAGS.buckets, "csvtest.csv")
      reader=tf.TextLineReader()
      filename_queue=tf.train.string_input_producer([dirname])
      key,value=reader.read(filename_queue)
      record_defaults=[[''],[''],[''],[''],['']]
      d1, d2, d3, d4, d5= tf.decode_csv(value, record_defaults, ',')
      init=tf.initialize_all_variables()
      with tf.Session() as sess:
          sess.run(init)
          coord = tf.train.Coordinator()
          threads = tf.train.start_queue_runners(sess=sess,coord=coord)
          for i in range(4):
              print(sess.run(d2))
          coord.request_stop()
          coord.join(threads)
  if __name__ == '__main__':
      parser = argparse.ArgumentParser()
      parser.add_argument('--buckets', type=str, default='',
                          help='input data path')
      parser.add_argument('--checkpointDir', type=str, default='',
                          help='output model path')
      FLAGS, _ = parser.parse_known_args()
      tf.app.run(main=main)

  其中：

  • dirname：OSS文件路徑，可以是數組。

  • reader：TensorFlow內置各種類型reader API，可以根據需求選用。

  • tf.train.string_input_producer：將文件生成隊列。

  • tf.decode_csv：是一個Splite功能的OP，可以獲取每一行的特定參數。

  • 通過OP獲取數據，在Session中需要tf.train.Coordinator()和tf.train.start_queue_runners(sess=sess,coord=coord)。

下文以iris數據集為例，為您介紹如何讀取MaxCompute數據。

pai_online_project.iris_data

PAI -name tensorflow180_ext -project algo_public -Doutputs="odps://${當前項目名}/tables/${輸出表名}" -DossHost="${OSS的host}" -Dtables="odps://${當前項目名}/tables/${輸入表名}" -DgpuRequired="${GPU卡數}" -Darn="${OSS訪問RoleARN}" -Dscript="${執行的代碼文件}";