[Python] 데이터를 빠르게 전처리 하는 방법 - (1) pandas 읽고 쓰기 비교 (pickle, npz, npy, feature, parquet)
다음과 같이 전처리 후, 생성된 데이터 프레임을 저장하는 방식은 여러가지가 있다. 이때 저장되는 타입별로 load하는 시간, 파일 용량이 각각 다르므로 가장 빠른것을 선택해 사용하는것을 추천한다. 1. npz, npy로 저장 dataframe에 있는 값들을 가져오고, key=value 값을 넣어준 후, npz형식으로 데이터 저장 import numpy as np # 저장 np.savez('test.npz',**{name:value for name,value in zip(list(df.columns), df.to_numpy().T)}) # data load (이후, 데이터프레임으로 변경하고 싶은 경우 allow_pickle True로 설정) data = np.load('test.npz', allow_pic..
2023. 4. 16.
