Deep learning 구현
-
excel, csv, data frame으로 torch dataloader 만들기(BERT용)Deep learning 구현 2022. 9. 22. 00:07
1. 통으로 바꾸기 csv, excel, parquet로 된 data를 data frame 으로 읽어오기 data_train = pd.read_parquet(train_file_path)[[source_var, target_var]] lab_encoder로 label column의 데이터를 숫자화 시킴 lab_encoder.fit(data_all[target_var]) data_train[target_var] = lab_encoder.transform(data_train[target_var]) dataset의 from_pandas 이용해서 위에서 만든 data frame으로 dataset 만들기 raw_train = Dataset.from_pandas(data_train) tokenizer 사용해서 da..