Pyspark --py файлы не работают

Я использую это, поскольку документ предлагает http://spark.apache.org/docs/1.1.1/submitting-applications.html

spsark версия 1.1.0

./spark/bin/spark-submit --py-files /home/hadoop/loganalysis/parser-src.zip \
/home/hadoop/loganalysis/ship-test.py 

и conf в коде:

conf = (SparkConf()
        .setMaster("yarn-client")
        .setAppName("LogAnalysis")
        .set("spark.executor.memory", "1g")
        .set("spark.executor.cores", "4")
        .set("spark.executor.num", "2")
        .set("spark.driver.memory", "4g")
        .set("spark.kryoserializer.buffer.mb", "128"))

и подчиненный node жалобы ImportError

14/12/25 05:09:53 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, ip-172-31-10-8.cn-north-1.compute.internal): org.apache.spark.api.python.PythonException: Traceback (most recent call last):
  File "/home/hadoop/spark/python/pyspark/worker.py", line 75, in main
    command = pickleSer._read_with_length(infile)
  File "/home/hadoop/spark/python/pyspark/serializers.py", line 150, in _read_with_length
    return self.loads(obj)
ImportError: No module named parser

и parser-src.zip проверяется локально.

[[email protected] ~]$ python
Python 2.7.8 (default, Nov  3 2014, 10:17:30) 
[GCC 4.8.2 20140120 (Red Hat 4.8.2-16)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys.path.insert(1, '/home/hadoop/loganalysis/parser-src.zip')
>>> from parser import parser
>>> parser.parse
<function parse at 0x7fa5ef4c9848>
>>> 

Я пытаюсь получить информацию о дистанционном работнике. посмотрите, копирует ли файл файлы. Как выглядит sys.path.. и это сложно.

UPDATE: Я использую это, что файл zip был отправлен. и sys.path. все еще импортировать ошибку.

data = list(range(4))
disdata = sc.parallelize(data)
result = disdata.map(lambda x: "sys.path:  {0}\nDIR: {1}   \n FILES: {2} \n parser: {3}".format(sys.path, os.getcwd(), os.listdir('.'), str(parser)))
result.collect()
print(result.take(4))

Кажется, мне нужно копать в cloudpickle.which означает, что мне нужно понять, как облачно работает и сработает сперва.

: An error occurred while calling o40.collect.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 4 in stage 0.0 failed 4 times, most recent failure: Lost task 4.3 in stage 0.0 (TID 23, ip-172-31-10-8.cn-north-1.compute.internal): org.apache.spark.api.python.PythonException: Traceback (most recent call last):
  File "/home/hadoop/spark/python/pyspark/worker.py", line 75, in main
    command = pickleSer._read_with_length(infile)
  File "/home/hadoop/spark/python/pyspark/serializers.py", line 150, in _read_with_length
    return self.loads(obj)
  File "/home/hadoop/spark/python/pyspark/cloudpickle.py", line 811, in subimport
    __import__(name)
ImportError: ('No module named parser', <function subimport at 0x7f219ffad7d0>, ('parser.parser',))

UPDATE:

кто-то сталкивается с той же проблемой в искре 0,8 http://apache-spark-user-list.1001560.n3.nabble.com/pyspark-Importing-other-py-files-in-PYTHONPATH-td2301.html

но он поставил свою lib в python dist-packages и импортировал работы. который я пробовал и все еще получаю ошибку импорта.

UPDATE:

OH.gush.. Я думаю, что проблема вызвана не пониманием zip файла и поведения импорта python. Я передаю parser.py в -py файлы, он работает, жалуется на другую зависимость. и zip только файлы .py, не включая .pyc, тоже работают.

Но я не мог понять, почему.

Ответы

def parse_record(record):
    import parser
    p = parser.parse(record)
    return p

import parser
def parse_record(record):
    p = parser.parse(record)
    return p

sc.addPyFile(path)

    sc = SparkContext(conf=conf, pyFiles=["abc.zip"])