Импорт нескольких файлов CSV на SQL Server из папки

У меня есть папка под названием "Дамп". Эта папка состоит из различных файлов.CSV. Расположение папки 'C:\Dump'

Я хочу импортировать содержимое этих файлов в SQL Server. Я хочу грубый код вместе с правильными комментариями, чтобы я понял это.

Я попробовал несколько кодов, которые я нашел в сети. Но они не совсем сработали для меня по какой-то странной причине.

Шаги, которые я хотел бы сделать, это

Шаг 1. Скопируйте все имена файлов в папке в таблицу

Шаг 2: переберите таблицу и скопируйте данные из файлов, используя Bulk Insert.

Кто-нибудь, пожалуйста, помогите мне в этом. Заранее большое спасибо :)

Ответы

Ответ 1

    --BULK INSERT MULTIPLE FILES From a Folder 

    --a table to loop thru filenames drop table ALLFILENAMES
    CREATE TABLE ALLFILENAMES(WHICHPATH VARCHAR(255),WHICHFILE varchar(255))

    --some variables
    declare @filename varchar(255),
            @path     varchar(255),
            @sql      varchar(8000),
            @cmd      varchar(1000)


    --get the list of files to process:
    SET @path = 'C:\Dump\'
    SET @cmd = 'dir ' + @path + '*.csv /b'
    INSERT INTO  ALLFILENAMES(WHICHFILE)
    EXEC Master..xp_cmdShell @cmd
    UPDATE ALLFILENAMES SET WHICHPATH = @path where WHICHPATH is null


    --cursor loop
    declare c1 cursor for SELECT WHICHPATH,WHICHFILE FROM ALLFILENAMES where WHICHFILE like '%.csv%'
    open c1
    fetch next from c1 into @path,@filename
    While @@fetch_status <> -1
      begin
      --bulk insert won't take a variable name, so make a sql and execute it instead:
       set @sql = 'BULK INSERT Temp FROM ''' + @path + @filename + ''' '
           + '     WITH ( 
                   FIELDTERMINATOR = '','', 
                   ROWTERMINATOR = ''\n'', 
                   FIRSTROW = 2 
                ) '
    print @sql
    exec (@sql)

      fetch next from c1 into @path,@filename
      end
    close c1
    deallocate c1


    --Extras

    --delete from ALLFILENAMES where WHICHFILE is NULL
    --select * from ALLFILENAMES
    --drop table ALLFILENAMES

Ответ 3

Для решения шага 1 xp_dirtree также может быть использован для вывода списка всех файлов и папок.

Имейте в виду, что это недокументированная функция. Меры предосторожности должны быть рассмотрены. Преднамеренно созданные имена файлов могут быть вектором вторжения.

Ответ 4

В Python вы можете использовать d6tstack, что делает это простым

import d6tstack
import glob

c = d6tstack.combine_csv.CombinerCSV(glob.glob('*.csv'))
c.to_mssql_combine('mssql+pymssql://usr:[email protected]/db', 'tablename')

Смотрите примеры SQL. Он также имеет дело с изменениями схемы данных, создает таблицу и позволяет предварительно обрабатывать данные. Он использует BULK INSERT, поэтому должен быть таким же быстрым.

Ответ 5

чтобы расширить ответ SarangArd, вы можете заменить temp следующим, если имя вашего файла совпадает с именем таблицы.

' + Left(@filename, Len(@filename)-4) + '