В настоящее время я использую pandas для чтения файла Excel и представления его имен листов для пользователя, поэтому он может выбрать, какой лист он хотел бы использовать. Проблема в том, что файлы действительно большие (70 колонок х 65 тыс. Строк), занимая до 14 секунд для загрузки на ноутбук (те же данные в CSV файле занимают 3 с).
Мой код в panda выглядит примерно так:
xls = pandas.ExcelFile(path)
sheets = xls.sheet_names
Я попробовал xlrd раньше, но получил аналогичные результаты. Это был мой код с xlrd:
xls = xlrd.open_workbook(path)
sheets = xls.sheet_names
Итак, может ли кто-нибудь предложить более быстрый способ получить имена листов из файла Excel, чем чтение всего файла?
вы можете использовать библиотеку xlrd и открыть книгу с флагом "on_demand = True", чтобы листы не загружались автоматически.
Чем вы можете получить имена листов аналогично pandas:
import xlrd
xls = xlrd.open_workbook(r'<path_to_your_excel_file>', on_demand=True)
print xls.sheet_names() # <- remeber: xlrd sheet_names is a function, not a property
Поскольку pandas использует xlrd для чтения листов Excel и передает все аргументы ключевого слова от pandas.ExcelFile до xlrd.open_workbook, pd.ExcelFile принимает флаг on_demand. Поэтому нет необходимости отдельно загружать xlrd:
xls = pandas.ExcelFile(path, on_demand = True)
sheets = xls.sheet_names
Я пробовал xlrd, pandas, openpyxl и другие подобные библиотеки, и все они, кажется, занимают экспоненциальное время по мере увеличения размера файла, когда он читает весь файл. Другие решения, упомянутые выше, где они использовали on_demand, не помогли мне. Следующая функция работает для файлов xlsx.
def get_sheet_details(file_path):
sheets = []
file_name = os.path.splitext(os.path.split(file_path)[-1])[0]
# Make a temporary directory with the file name
directory_to_extract_to = os.path.join(settings.MEDIA_ROOT, file_name)
os.mkdir(directory_to_extract_to)
# Extract the xlsx file as it is just a zip file
zip_ref = zipfile.ZipFile(file_path, 'r')
zip_ref.extractall(directory_to_extract_to)
zip_ref.close()
# Open the workbook.xml which is very light and only has meta data, get sheets from it
path_to_workbook = os.path.join(directory_to_extract_to, 'xl', 'workbook.xml')
with open(path_to_workbook, 'r') as f:
xml = f.read()
dictionary = xmltodict.parse(xml)
for sheet in dictionary['workbook']['sheets']['sheet']:
sheet_details = {
'id': sheet['sheetId'], # can be @sheetId for some versions
'name': sheet['name'] # can be @name
}
sheets.append(sheet_details)
# Delete the extracted files directory
shutil.rmtree(directory_to_extract_to)
return sheets
Поскольку все xlsx являются в основном заархивированными файлами, мы извлекаем базовые данные xml и непосредственно читаем имена листов из книги, что занимает доли секунды по сравнению с функциями библиотеки.
Бенчмаркинг: (на файле 6 МБ xlsx с 4 листами)
Панды, xlrd: 12 секунд
openpyxl: 24 секунды
Предлагаемый метод: 0,4 секунды
Вы также можете использовать
data=pd.read_excel('demanddata.xlsx',sheet_name='oil&gas')
print(data)
Здесь requiredata - это имя вашего файла. Нефть и газ - это одно из названий вашего листа. Пусть в вашем рабочем листе может быть n номеров. Просто укажите название листа, который вы хотите получить, в поле Sheet_name = "Имя вашего требуемого листа"