it-swarm.com.ru

Как сохранить искровой DataFrame как csv на диске?

Например, результат этого:

df.filter("project = 'en'").select("title","count").groupBy("title").sum()

вернул бы массив.

Как сохранить искровой DataFrame в виде CSV-файла на диске?

8
Hello lad

Apache Spark не поддерживает собственный вывод CSV на диск. 

У вас есть четыре доступных решения:

  1. Вы можете преобразовать ваш Dataframe в RDD:

    def convertToReadableString(r : Row) = ???
    df.rdd.map{ convertToReadableString }.saveAsTextFile(filepath)
    

    Это создаст папку filepath. Под путем к файлу вы найдете файлы разделов (например, part-000 *)

    Что я обычно делаю, если хочу добавить все разделы в большой CSV, так это 

    cat filePath/part* > mycsvfile.csv
    

    Некоторые будут использовать coalesce(1,false) для создания одного раздела из RDD. Обычно это плохая практика, поскольку она может перегружать драйвер, вытягивая в него все данные, которые вы собираете.

    Обратите внимание, что df.rdd вернет RDD[Row].

  2. С Spark <2 вы можете использовать блоки данных spark-csv library :

    • Spark 1.4+:

      df.write.format("com.databricks.spark.csv").save(filepath)
      
    • Спарк 1.3:

      df.save(filepath,"com.databricks.spark.csv")
      
  3. В Spark 2.x пакет spark-csv не нужен, поскольку он включен в Spark.

    df.write.format("csv").save(filepath)
    
  4. Вы можете преобразовать в локальный фрейм данных Pandas и использовать метод to_csv (только PySpark).

Примечание: Решения 1, 2 и 3 приведут к файлам формата CSV (part-*), сгенерированным базовым Hadoop API, который Spark вызывает при вызове save. У вас будет один файл part- на раздел.

18
eliasah

У меня была похожая проблема, когда я должен был сохранить содержимое фрейма данных в CSV-файл с именем, которое я определил. df.write("csv").save("<my-path>") создавал каталог, а не файл. Поэтому приходится придумывать следующие решения. Большая часть кода взята из следующего dataframe-to-csv с небольшими изменениями в логике. 

def saveDfToCsv(df: DataFrame, tsvOutput: String, sep: String = ",", header: Boolean = false): Unit = {
    val tmpParquetDir = "Posts.tmp.parquet"

    df.repartition(1).write.
        format("com.databricks.spark.csv").
        option("header", header.toString).
        option("delimiter", sep).
        save(tmpParquetDir)

    val dir = new File(tmpParquetDir)
    val newFileRgex = tmpParquetDir + File.separatorChar + ".part-00000.*.csv"
    val tmpTsfFile = dir.listFiles.filter(_.toPath.toString.matches(newFileRgex))(0).toString
    (new File(tmpTsvFile)).renameTo(new File(tsvOutput))

    dir.listFiles.foreach( f => f.delete )
    dir.delete
    }
1
Jai Prakash

У меня была похожая проблема. Мне нужно было записать CSV-файл на драйвер, когда я был подключен к кластеру в режиме клиента.

Я хотел повторно использовать тот же код разбора CSV, что и Apache Spark, чтобы избежать потенциальных ошибок.

Я проверил код spark-csv и нашел код, отвечающий за преобразование кадра данных в raw csv RDD[String] в com.databricks.spark.csv.CsvSchemaRDD.

К сожалению, он жестко закодирован с помощью sc.textFile и конца соответствующего метода.

Я скопировал и вставил этот код, удалил последние строки с помощью sc.textFile и вместо этого возвратил RDD.

Мой код:

/*
  This is copypasta from com.databricks.spark.csv.CsvSchemaRDD
  Spark's code has perfect method converting Dataframe -> raw csv RDD[String]
  But in last lines of that method it's hardcoded against writing as text file -
  for our case we need RDD.
 */
object DataframeToRawCsvRDD {

  val defaultCsvFormat = com.databricks.spark.csv.defaultCsvFormat

  def apply(dataFrame: DataFrame, parameters: Map[String, String] = Map())
           (implicit ctx: ExecutionContext): RDD[String] = {
    val delimiter = parameters.getOrElse("delimiter", ",")
    val delimiterChar = if (delimiter.length == 1) {
      delimiter.charAt(0)
    } else {
      throw new Exception("Delimiter cannot be more than one character.")
    }

    val escape = parameters.getOrElse("escape", null)
    val escapeChar: Character = if (escape == null) {
      null
    } else if (escape.length == 1) {
      escape.charAt(0)
    } else {
      throw new Exception("Escape character cannot be more than one character.")
    }

    val quote = parameters.getOrElse("quote", "\"")
    val quoteChar: Character = if (quote == null) {
      null
    } else if (quote.length == 1) {
      quote.charAt(0)
    } else {
      throw new Exception("Quotation cannot be more than one character.")
    }

    val quoteModeString = parameters.getOrElse("quoteMode", "MINIMAL")
    val quoteMode: QuoteMode = if (quoteModeString == null) {
      null
    } else {
      QuoteMode.valueOf(quoteModeString.toUpperCase)
    }

    val nullValue = parameters.getOrElse("nullValue", "null")

    val csvFormat = defaultCsvFormat
      .withDelimiter(delimiterChar)
      .withQuote(quoteChar)
      .withEscape(escapeChar)
      .withQuoteMode(quoteMode)
      .withSkipHeaderRecord(false)
      .withNullString(nullValue)

    val generateHeader = parameters.getOrElse("header", "false").toBoolean
    val headerRdd = if (generateHeader) {
      ctx.sparkContext.parallelize(Seq(
        csvFormat.format(dataFrame.columns.map(_.asInstanceOf[AnyRef]): _*)
      ))
    } else {
      ctx.sparkContext.emptyRDD[String]
    }

    val rowsRdd = dataFrame.rdd.map(row => {
      csvFormat.format(row.toSeq.map(_.asInstanceOf[AnyRef]): _*)
    })

    headerRdd union rowsRdd
  }

}
0
Ajk