Setați valorile de configurare hadoop pe linia de comandă spark-submit (Programare, Apache Spark, Spark Submit)

StephenBoesch a intrebat.
a intrebat.

Vrem să setăm valorile aws parametrii care din cod s-ar face prin intermediul comenzii SparkContext:

sc.hadoopConfiguration.set("fs.s3a.access.key", vault.user)
sc.hadoopConfiguration.set("fs.s3a.secret.key", vault.key)

Cu toate acestea, avem un cadru de lansare Spark personalizat care necesită ca toate configurațiile Spark personalizate să fie efectuate prin intermediul --conf parametrii pentru spark-submit linie de comandă.

Există o modalitate de a „notifica” SparkContext pentru a seta --conf valorile la parametrii hadoopConfiguration și nu la valorile sale generale SparkConf ? Căutăm ceva de genul

spark-submit --conf hadoop.fs.s3a.access.key $vault.user --conf hadoop.fs.s3a.access.key $vault.key

sau

spark-submit --conf hadoopConfiguration.fs.s3a.access.key $vault.user --conf hadoopConfiguration.fs.s3a.access.key $vault.key

Comentarii

  • spark.hadoop.fs.s3a.access.key=value –  > Por vanza.
  • @vanza -Da! Încercam să-mi amintesc asta . Vă rugăm să adăugați ca răspuns –  > Por StephenBoesch.
1 răspunsuri
vanza

Trebuie să prefixați configurațiile Hadoop cu spark.hadoop. în linia de comandă (sau SparkConf obiect). De exemplu:

spark.hadoop.fs.s3a.access.key=value

Comentarii

  • Yay! Îl căutam! Funcționează! Pentru asta este SO (-: –  > Por matemaciek.
  • Și cu asta se termină 2 zile de căutări. Vă mulțumesc! –  > Por johnnyaug.