Об обработке CSV файлов
Не так давно перед нами стояла задача обработки данных из двух автоматизированных систем, в виде 11-ти файлов средним размером около 3 ГБ (в нашем случае это было ~3000000 строк) и одного файла ~36 ГБ (~242000000 строк).
Не так давно перед нами стояла задача обработки данных из двух автоматизированных систем, в виде 11-ти файлов средним размером около 3 ГБ (в нашем случае это было ~3000000 строк) и одного файла ~36 ГБ (~242000000 строк).
Попробуйте ImportExportDataSql, которая сможет загрузить большие csv файлы в Sql Server. Можно настроить поля, например, выбрать только ключевые поля и загрузить их в базу, потом сделать джойн в базе
ImportExportDataSql загружает Csv файл в базу порциями, чтобы память не переполнялась. Данные в базу загружаются очень быстро, так как используется класс SqlBulkInsert
Спасибо!