pyspark içinde KuduContext kullanma

oy
0

Ben pyspark ile kudu kullanmak istiyorum. Bunu kullanmak mümkün olmakla birlikte:

sc.read.format('org.apache.kudu.spark.kudu').option('kudu.master',hdp1:7051).option('kudu.table',impala::test.z_kudu_tab).load() 

Ben KuduContext aktarmak için bir yol bulamıyorum. Bir jupyter dizüstü çalışan ve onu aktarıyorum:

os.environ[PYSPARK_SUBMIT_ARGS] = --driver-memory 2g --packages com.ibm.spss.hive.serde2.xml:hivexmlserde:1.0.5.3 --packages org.apache.kudu:kudu-spark2_2.11:1.7.0 pyspark-shell

Benim çalışmıyor kod:

kudu_Context = KuduContext(es2-hdp1:7051, sc)

hata ile Dies:

NameError: name 'KuduContext' is not defined

Ben de denedim:

kudu_context = sc._jvm.org.apache.kudu.spark.kudu.KuduContext(hdp1:7051, sc.sparkContext)

bu hata ile kalıplar:

AttributeError: 'SparkContext' object has no attribute '_get_object_id'
Oluştur 08/11/2018 saat 11:20
kaynak kullanıcı
Diğer dillerde...                            

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more