Python TypeError для загрузки объекта с использованием Dill
Попытка сделать большой и (возможно, очень) непривлекательный объект для файла для последующего использования.
Никаких жалоб на стороне dill.dump(file):
In [1]: import echonest.remix.audio as audio
In [2]: import dill
In [3]: audiofile = audio.LocalAudioFile("/Users/path/Track01.mp3")
en-ffmpeg -i "/Users/path/audio/Track01.mp3" -y -ac 2 -ar 44100 "/var/folders/X2/X2KGhecyG0aQhzRDohJqtU+++TI/-Tmp-/tmpWbonbH.wav"
Computed MD5 of file is b3820c166a014b7fb8abe15f42bbf26e
Probing for existing analysis
In [4]: with open('audio_object_dill.pkl', 'wb') as f:
...: dill.dump(audiofile, f)
...:
In [5]:
Но попытка загрузить файл .pkl:
In [1]: import dill
In [2]: with open('audio_object_dill.pkl', 'rb') as f:
...: audio_object = dill.load(f)
...:
Возвращает следующую ошибку:
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
<ipython-input-2-203b696a7d73> in <module>()
1 with open('audio_object_dill.pkl', 'rb') as f:
----> 2 audio_object = dill.load(f)
3
/Users/mikekilmer/Envs/GLITCH/lib/python2.7/site-packages/dill-0.2.2.dev-py2.7.egg/dill/dill.pyc in load(file)
185 pik = Unpickler(file)
186 pik._main_module = _main_module
--> 187 obj = pik.load()
188 if type(obj).__module__ == _main_module.__name__: # point obj class to main
189 try: obj.__class__ == getattr(pik._main_module, type(obj).__name__)
/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.pyc in load(self)
856 while 1:
857 key = read(1)
--> 858 dispatch[key](self)
859 except _Stop, stopinst:
860 return stopinst.value
/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.pyc in load_newobj(self)
1081 args = self.stack.pop()
1082 cls = self.stack[-1]
-> 1083 obj = cls.__new__(cls, *args)
1084 self.stack[-1] = obj
1085 dispatch[NEWOBJ] = load_newobj
TypeError: __new__() takes at least 2 arguments (1 given)
АудиоОбъект намного сложнее (и больше), чем class object, на которые сделаны вышеуказанные вызовы (из SO answer), и я неясен как нужно ли мне отправить второй аргумент через dill, и если да, то каким будет этот аргумент или как определить, является ли какой-либо подход к травлению жизнеспособным для этого конкретного объекта.
Изучение самого объекта немного:
In [4]: for k, v in vars(audiofile).items():
...: print k, v
...:
возвращает:
is_local False
defer False
numChannels 2
verbose True
endindex 13627008
analysis <echonest.remix.audio.AudioAnalysis object at 0x103c61bd0>
filename /Users/mikekilmer/Envs/GLITCH/glitcher/audio/Track01.mp3
convertedfile /var/folders/X2/X2KGhecyG0aQhzRDohJqtU+++TI/-Tmp-/tmp9ADD_Z.wav
sampleRate 44100
data [[0 0]
[0 0]
[0 0]
...,
[0 0]
[0 0]
[0 0]]
И audiofile.analysis, похоже, содержит атрибут с именем audiofile.analysis.source, который содержит (или, по-видимому, указывает на) audiofile.analysis.source.analysis
Ответы
Ответ 1
В этом случае ответ лежит внутри самого модуля.
Класс LocalAudioFile предоставляет (и каждый из его экземпляров может его использовать), он имеет собственный метод save, вызываемый через LocalAudioFile.save или, скорее всего, the_audio_object_instance.save.
В случае файла .mp3 экземпляр LocalAudioFile состоит из указателя на временный файл .wav, который является распакованной версией .mp3, а также целая группа данных анализа, которая возвращенный из исходного аудиофайла, после того, как он был сопряжен с (интернет-основанием) Echonest API.
LocalAudioFile.save вызывает shutil.copyfile(path_to_wave, wav_path), чтобы сохранить файл .wav с тем же именем и путем, что и исходный файл, связанный с аудио-объектом, и возвращает если файл уже существует. Он вызывает pickle.dump(self, f), чтобы сохранить данные анализа в файл также в каталоге, из которого был вызван исходный файл аудио объекта.
Объект LocalAudioFile можно повторно ввести просто через pickle.load().
Здесь iPython сеанс, в котором я использовал dill, который является очень полезной оболочкой или интерфейсом, который предлагает большинство стандартных методов pickle плюс еще больше:
audiofile = audio.LocalAudioFile("/Users/mikekilmer/Envs/GLITCH/glitcher/audio/Track01.mp3")
In [1]: import echonest.remix.audio as audio
In [2]: import dill
# create the audio_file object
In [3]: audiofile = audio.LocalAudioFile("/Users/mikekilmer/Envs/GLITCH/glitcher/audio/Track01.mp3")
en-ffmpeg -i "/Users/path/audio/Track01.mp3" -y -ac 2 -ar 44100 "/var/folders/X2/X2KGhecyG0aQhzRDohJqtU+++TI/-Tmp-/tmp_3Ei0_.wav"
Computed MD5 of file is b3820c166a014b7fb8abe15f42bbf26e
Probing for existing analysis
#call the LocalAudioFile save method
In [4]: audiofile.save()
Saving analysis to local file /Users/path/audio/Track01.mp3.analysis.en
#confirm the object is valid by calling it duration method
In [5]: audiofile.duration
Out[5]: 308.96
#delete the object - there probably a "correct" way to do this
in [6]: audiofile = 0
#confirm it no longer an audio_object
In [7]: audiofile.duration
---------------------------------------------------------------------------
AttributeError Traceback (most recent call last)
<ipython-input-12-04baaeda53a4> in <module>()
----> 1 audiofile2.duration
AttributeError: 'int' object has no attribute 'duration'
#open the pickled version (using dill)
In [8]: with open('/Users/path/audio/Track01.mp3.analysis.en') as f:
....: audiofile = dill.load(f)
....:
#confirm it a valid LocalAudioFile object
In [8]: audiofile.duration
Out[8]: 308.96
Echonest - очень надежный API, а ремикс-пакет предоставляет массу функций. Там небольшой список релевантных ссылок собрал здесь.
