it-swarm.com.ru

Каковы возможные причины получения TimeoutException: тайм-аут фьючерса через [n секунд] при работе со Spark

Я работаю над программой Spark SQL и получаю следующее исключение:

16/11/07 15:58:25 ERROR yarn.ApplicationMaster: User class threw exception: Java.util.concurrent.TimeoutException: Futures timed out after [3000 seconds]
Java.util.concurrent.TimeoutException: Futures timed out after [3000 seconds]
    at scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:219)
    at scala.concurrent.impl.Promise$DefaultPromise.result(Promise.scala:223)
    at scala.concurrent.Await$$anonfun$result$1.apply(package.scala:190)
    at scala.concurrent.BlockContext$DefaultBlockContext$.blockOn(BlockContext.scala:53)
    at scala.concurrent.Await$.result(package.scala:190)
    at org.Apache.spark.sql.execution.joins.BroadcastHashJoin.doExecute(BroadcastHashJoin.scala:107)
    at org.Apache.spark.sql.execution.SparkPlan$$anonfun$execute$5.apply(SparkPlan.scala:132)
    at org.Apache.spark.sql.execution.SparkPlan$$anonfun$execute$5.apply(SparkPlan.scala:130)
    at org.Apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:150)
    at org.Apache.spark.sql.execution.SparkPlan.execute(SparkPlan.scala:130)
    at org.Apache.spark.sql.execution.Project.doExecute(basicOperators.scala:46)
    at org.Apache.spark.sql.execution.SparkPlan$$anonfun$execute$5.apply(SparkPlan.scala:132)
    at org.Apache.spark.sql.execution.SparkPlan$$anonfun$execute$5.apply(SparkPlan.scala:130)
    at org.Apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:150)
    at org.Apache.spark.sql.execution.SparkPlan.execute(SparkPlan.scala:130)
    at org.Apache.spark.sql.execution.Union$$anonfun$doExecute$1.apply(basicOperators.scala:144)
    at org.Apache.spark.sql.execution.Union$$anonfun$doExecute$1.apply(basicOperators.scala:144)
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245)
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245)
    at scala.collection.immutable.List.foreach(List.scala:381)
    at scala.collection.TraversableLike$class.map(TraversableLike.scala:245)
    at scala.collection.immutable.List.map(List.scala:285)
    at org.Apache.spark.sql.execution.Union.doExecute(basicOperators.scala:144)
    at org.Apache.spark.sql.execution.SparkPlan$$anonfun$execute$5.apply(SparkPlan.scala:132)
    at org.Apache.spark.sql.execution.SparkPlan$$anonfun$execute$5.apply(SparkPlan.scala:130)
    at org.Apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:150)
    at org.Apache.spark.sql.execution.SparkPlan.execute(SparkPlan.scala:130)
    at org.Apache.spark.sql.execution.columnar.InMemoryRelation.buildBuffers(InMemoryColumnarTableScan.scala:129)
    at org.Apache.spark.sql.execution.columnar.InMemoryRelation.<init>(InMemoryColumnarTableScan.scala:118)
    at org.Apache.spark.sql.execution.columnar.InMemoryRelation$.apply(InMemoryColumnarTableScan.scala:41)
    at org.Apache.spark.sql.execution.CacheManager$$anonfun$cacheQuery$1.apply(CacheManager.scala:93)
    at org.Apache.spark.sql.execution.CacheManager.writeLock(CacheManager.scala:60)
    at org.Apache.spark.sql.execution.CacheManager.cacheQuery(CacheManager.scala:84)
    at org.Apache.spark.sql.DataFrame.persist(DataFrame.scala:1581)
    at org.Apache.spark.sql.DataFrame.cache(DataFrame.scala:1590)
    at com.somecompany.ml.modeling.NewModel.getTrainingSet(FlowForNewModel.scala:56)
    at com.somecompany.ml.modeling.NewModel.generateArtifacts(FlowForNewModel.scala:32)
    at com.somecompany.ml.modeling.Flow$class.run(Flow.scala:52)
    at com.somecompany.ml.modeling.lowForNewModel.run(FlowForNewModel.scala:15)
    at com.somecompany.ml.Main$$anonfun$2.apply(Main.scala:54)
    at com.somecompany.ml.Main$$anonfun$2.apply(Main.scala:54)
    at scala.Option.getOrElse(Option.scala:121)
    at com.somecompany.ml.Main$.main(Main.scala:46)
    at com.somecompany.ml.Main.main(Main.scala)
    at Sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at Sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.Java:62)
    at Sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.Java:43)
    at Java.lang.reflect.Method.invoke(Method.Java:498)
    at org.Apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:542)
16/11/07 15:58:25 INFO yarn.ApplicationMaster: Final app status: FAILED, exitCode: 15, (reason: User class threw exception: Java.util.concurrent.TimeoutException: Futures timed out after [3000 seconds])

Последняя часть моего кода, которую я узнаю по трассировке стека, - это com.somecompany.ml.modeling.NewModel.getTrainingSet(FlowForNewModel.scala:56), которая возвращает меня к этой строке: profilesDF.cache() Перед кэшированием я выполняю объединение между двумя кадрами данных. Я видел ответ о сохранении обоих фреймов данных перед объединением здесь мне все еще нужно кэшировать объединенный фрейм данных, так как я использую его в нескольких своих преобразованиях

И мне было интересно, что может вызвать это исключение? Поиск его привел меня к ссылке, касающейся исключения тайм-аута rpc или некоторых проблем безопасности, которые не являются моей проблемой Если у вас также есть какие-либо идеи о том, как решить это, я, конечно, ценю это, но даже понимание проблемы поможет мне решить ее

Заранее спасибо

15
Gideon

Вопрос: мне было интересно, что может вызвать это исключение?

Ответ :

spark.sql.broadcastTimeout 300 Время ожидания в секундах для трансляции время ожидания в трансляции включается

spark.network.timeout 120 с Время ожидания по умолчанию для всех сетевых взаимодействий. spark.network.timeout (spark.rpc.askTimeout), spark.sql.broadcastTimeout, spark.kryoserializer.buffer.max (если вы используете kryo сериализацию) и т. д. настраиваются на значения, превышающие значения по умолчанию в Для обработки сложных запросов. Вы можете начать с этих значений и настроить в соответствии с вашими рабочими нагрузками SQL.

Примечание: Док говорит, что

Следующие параметры (см. Свойства spark.sql.) Также можно использовать для настройки производительности выполнения запроса. Вполне возможно, что в будущем выпуске эти параметры будут устаревшими, так как дополнительные оптимизации выполняются автоматически. * 

Также, для вашего лучшего понимания вы можете увидеть BroadCastHashJoin , где метод execute является точкой запуска для вышеупомянутой трассировки стека.

protected override def doExecute(): RDD[Row] = {
    val broadcastRelation = Await.result(broadcastFuture, timeout)

    streamedPlan.execute().mapPartitions { streamedIter =>
      hashJoin(streamedIter, broadcastRelation.value)
    }
  }
15
Ram Ghadiyaram

Приятно знать, что предложение от Рама работает в некоторых случаях. Я хотел бы упомянуть, что я наткнулся на это исключение пару раз (включая тот, который описан здесь ).

В большинстве случаев это происходило из-за почти бесшумной ООМ на каком-то исполнителе. Проверьте SparkUI на наличие неудачных задач, последний столбец этой таблицы:  task panel for a stage in SparkUI Вы можете заметить сообщения ООМ.

Если хорошо понимаете искры внутренних органов, транслируемые данные проходят через драйвер. Таким образом, у драйвера есть некоторый механизм потоков, который собирает данные от исполнителей и отправляет их всем. Если в какой-то момент исполнитель потерпит неудачу, у вас могут закончиться эти тайм-ауты.

1
mathieu

Если вы включили dynamicAllocation, попробуйте отключить эту конфигурацию (spark.dynamicAllocation.enabled = false). Вы можете установить эту конфигурацию spark в файле conf/spark-defaults.conf, как --conf или в коде.

Смотрите также: 

https://issues.Apache.org/jira/browse/SPARK-22618

https://issues.Apache.org/jira/browse/SPARK-23806

0
nemeth.io

Я установил master as local[n], когда отправлял работу Yarn-cluster.

Не устанавливайте мастер в коде при работе в кластере, вместо этого используйте --master.

0
Ketan Keshri