SQL 批量插入制表符分隔文件的问题

问题描述

我在使用批量插入时遇到问题。问题是我正在处理的源文件（制表符分隔）包含以 cr/lf 结尾的行，而没有用制表符为行的其余部分填充空列的值。因此，当数据被拉入 sql Server 时，它会将这些缩短的行合并到前一行中。所以基本上它是将多行合并为一个，而不是将其写为两个单独的行，第一行末尾为空值。

举例说明问题：sample .txt 文件

column1 column2 column3 column4 column5
1   2   3   4   5
2   5   4   6
4   4   6   4   
4   5   6   4   6

sql 创建表和批量插入

CREATE TABLE test (
[column1] varchar(MAX) NULL,[column2] varchar(MAX) NULL,[column3] varchar(MAX) NULL,[column4] varchar(MAX) NULL,[column5] varchar(MAX) NULL
)

BULK INSERT test
FROM 'c:\temp\testimport.txt'
WITH
(
    FirsTROW = 2,FIELDTERMINATOR = '\t',ROWTERMINATOR = '\r'
);

真正奇怪的是，我可以使用数据导入向导，它可以完美地导入数据，没有任何问题，并且可以很好地处理缺少选项卡的列。但我不知道巫师在幕后做了什么来实现这一目标。我很想拥有它用来创建表并进行插入的代码，因为这可能会回答我的问题。归根结底，我无法使用该向导，因为这最终将成为自动化任务的一部分，我将针对 sql Server Express 数据库运行多个名称不同但列标题相同的文件。

也许批量插入不适合这里？或者有一些明显的我遗漏的东西，其他人可能知道他们的头顶。无论哪种方式，感谢所有帮助并提前致谢。

正如 Tim H 所建议的那样，我已经尝试了一些创建格式文件来容纳数据的尝试。目前的结果如下。

使用 bcp temp.dbo.test format nul -x -f test_format.xml -n -T

生产

<BCpformat xmlns="http://schemas.microsoft.com/sqlserver/2004/bulkload/format" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
 <RECORD>
  <FIELD ID="1" xsi:type="CharPrefix" PREFIX_LENGTH="2" MAX_LENGTH="100" COLLATION="sql_latin1_General_CP1_CI_AS"/>
  <FIELD ID="2" xsi:type="CharPrefix" PREFIX_LENGTH="2" MAX_LENGTH="100" COLLATION="sql_latin1_General_CP1_CI_AS"/>
  <FIELD ID="3" xsi:type="CharPrefix" PREFIX_LENGTH="2" MAX_LENGTH="100" COLLATION="sql_latin1_General_CP1_CI_AS"/>
  <FIELD ID="4" xsi:type="CharPrefix" PREFIX_LENGTH="2" MAX_LENGTH="100" COLLATION="sql_latin1_General_CP1_CI_AS"/>
  <FIELD ID="5" xsi:type="CharPrefix" PREFIX_LENGTH="2" MAX_LENGTH="100" COLLATION="sql_latin1_General_CP1_CI_AS"/>
 </RECORD>
 <ROW>
  <COLUMN SOURCE="1" NAME="column1" xsi:type="sqlvaryCHAR"/>
  <COLUMN SOURCE="2" NAME="column2" xsi:type="sqlvaryCHAR"/>
  <COLUMN SOURCE="3" NAME="column3" xsi:type="sqlvaryCHAR"/>
  <COLUMN SOURCE="4" NAME="column4" xsi:type="sqlvaryCHAR"/>
  <COLUMN SOURCE="5" NAME="column5" xsi:type="sqlvaryCHAR"/>
 </ROW>
</BCpformat>

按原样使用这个临时文件......

消息 4866，级别 16，状态 7，第 31 行批量加载失败。数据文件中第 1 行第 1 列的列太长。请验证是否正确指定了字段终止符和行终止符。

我尝试编辑 XML 以使其工作.....

<BCpformat xmlns="http://schemas.microsoft.com/sqlserver/2004/bulkload/format" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
 <RECORD>
  <FIELD ID="1" xsi:type="CharTerm" TERMINATOR="\t" MAX_LENGTH="100" COLLATION="sql_latin1_General_CP1_CI_AS"/>
  <FIELD ID="2" xsi:type="CharTerm" TERMINATOR="\t" MAX_LENGTH="100" COLLATION="sql_latin1_General_CP1_CI_AS"/>
  <FIELD ID="3" xsi:type="CharTerm" TERMINATOR="\t" MAX_LENGTH="100" COLLATION="sql_latin1_General_CP1_CI_AS"/>
  <FIELD ID="4" xsi:type="CharTerm" TERMINATOR="\t" MAX_LENGTH="100" COLLATION="sql_latin1_General_CP1_CI_AS"/>
  <FIELD ID="5" xsi:type="CharTerm" TERMINATOR="\r\n" MAX_LENGTH="100" COLLATION="sql_latin1_General_CP1_CI_AS"/>
 </RECORD>
 <ROW>
  <COLUMN SOURCE="1" NAME="column1" xsi:type="sqlvaryCHAR"/>
  <COLUMN SOURCE="2" NAME="column2" xsi:type="sqlvaryCHAR"/>
  <COLUMN SOURCE="3" NAME="column3" xsi:type="sqlvaryCHAR"/>
  <COLUMN SOURCE="4" NAME="column4" xsi:type="sqlvaryCHAR"/>
  <COLUMN SOURCE="5" NAME="column5" xsi:type="sqlvaryCHAR"/>
 </ROW>
</BCpformat>

哪个确实插入了数据，但不幸的是仍然会产生相同的混乱插入，在同一行中有重叠的行。

解决方法

您可以控制源文件吗？如果不是，每列的宽度是固定宽度还是可变宽度？我知道您的创建表示例使用 varchar(max)。 SQL Server 中的大容量插入功能允许您使用格式文件，该文件可以更好地定义预期输入的格式（按列），包括列是否可为空。 Microsoft 的批量插入文档实际上非常有用 (https://docs.microsoft.com/en-us/sql/t-sql/statements/bulk-insert-transact-sql?redirectedfrom=MSDN&view=sql-server-ver15)，尤其是页面末尾的用于格式化文件的链接。

这个页面（https://docs.microsoft.com/en-us/sql/relational-databases/import-export/keep-nulls-or-use-default-values-during-bulk-import-sql-server?view=sql-server-ver15）直接处理空值，这将是你的困境。

更好的答案是将以下内容添加到您的 BULK INSERT...WITH 语句中：KEEPNULLS。它按您的预期执行：它保留空值而不是扔掉它们。默认情况下，批量插入实用程序会抛出空值。

从未从 SQL express 中找到直接解决方案。我最终使用 PowerShell 脚本来解决这个问题。 Import-CSV 从文件中统一提取数据，没有问题。不知道为什么，但它处理数据的效果比 SQL 好得多。从那里我为每一行使用变量和 Invoke-SQLCmd 和一些 SQL 脚本将它们导入数据库。像魅力一样工作。由于此过程全部在本地服务器上，因此无需担心任何安全问题，因此这是一个可以接受的解决方案。再次感谢您提供的所有建议和帮助。

bulkinsert flat-file sql-server