Не могу прочитать data.h5

 
0
 
Python
ava
suvor | 13.12.2016, 19:45
Код:

import numpy as np
import pandas as pd
a=raw_input('import ok')
data = pd.read_hdf("D:/train.h5")
a=raw_input('read ok')

Импорт проходит, а на чтении файла выдает много чего, но в конце- MemoryError
Файл 700 метров, ОЗУ - 2 ГИГ..
Чтобы это значило и что можно сделать?
Спасибо..
Ответы (3)
ava
suvor | 14.12.2016, 00:45 #
Спасибо, похоже разобрался... ОЗУ не 2 ГИГа.. Врет Винда и не краснеет..
ava
suvor | 14.12.2016, 10:42 #
Нет.. я не прав.. оперативки таки 2 гига.. система 200 метров, памяти полно.. значит это сам Питон лопушится.. попробовал еще поставить пакет pyh5 - не встал..  питон 27.. ось-хр.. значит он не может работать с большими массивами в принципе!?.. тоже мне язык для научной работы!..
ava
Envy | 16.12.2016, 07:36 #
Может.
Хорошо бы посмотреть ошибку полностью, версию питона, версию pandas.
у read_hdf() есть параметр chuncksize, если его передать, то файл будет читаться кусками.
Зарегистрируйтесь или войдите, чтобы написать.
Фирма дня
Вы также можете добавить свою фирму в каталог IT-фирм, и публиковать статьи, новости, вакансии и другую информацию от имени фирмы.
Подробнее
Участники
  suvor ava  Envy
advanced
Отправить