问题描述
我经常获得具有1000个公司名称的excel文件,我需要在我们的系统中对其进行匹配以获取其内部ID和其他指标,是否有一种简便的方法来进行清理
我的样本初始列表
Dash Network Inc.
Presto LLC
Blue origin,Inc.
UPPER(CMP_NM) LIKE 'DASH%NETWORK%'
OR UPPER(CMP_NM) LIKE 'PRESTO%'
OR UPPER(CMP_NM) LIKE 'BLUE%ORIGIN%'
我执行以下步骤,因此,请采取任何简便的方法。
(1) convert the list to upper
(2) remove INC or LLC
(3) find and replace spaces with %
(4) find in regular expression (.+) and replace with '\1%' --> for before and after single quotes with %
解决方法
这里有两层:
- 对输入进行消毒以确保安全。
- 标准化查询模式的输入。
不要尝试#1
清理SQL输入是注定的任务。正确的过程是 隔离 将这些输入与SQL分开。完成此操作的机制是参数化查询或准备好的语句,具体取决于您选择的平台。
之所以提出这一点,是因为这些查询的SQL通配符还应包括前导和尾随%通配符。通过使第2部分更加简单,这也将有所帮助。
谈到第2部分,首先,在Notepad ++中,您可以对空间进行简单的查找/替换,以将%
通配符放到该位置。标点的类似操作也很容易。您可以使用regex选项将逗号,句点等放在单个字符类([,.;'/<>!@#$%^&*()]
)中,并将其替换为空的文本框。
使用此工具删除“ Inc”和“ LLC”比较棘手。主要问题是它们可能不是您唯一关心的片段。 LTD和AG是其他选择,而且还有更多选择。在某个时候,您将需要一个表格,这意味着计算机代码...至少是Excel宏。
下一步是使文本大写。相反,在这里我建议您依靠数据库的功能。默认情况下,大多数数据库平台已经不区分大小写,而那些通常不能强制特定排序规则的数据库平台。那就是你应该做的。
我们需要考虑OR
的条件。所提出的解决方案效率极低。您可以通过将table value constructor与JOIN结合使用来进行改进。我不知道您使用的是哪个数据库平台。该链接用于Sql Server,但是其他数据库具有类似的功能。这将使构建列表更加容易。如果将列表作为一系列INSERT语句运行到保持表中,则更好。然后,您无需任何特殊语法即可加入表。
最后,我需要谈谈前导%
通配符。这是表现的“绝对谋杀”。如果您希望该查询在合理的时间内完成,并且又希望运行该查询或类似的查询,我强烈建议您研究全文索引和CONTAINS运算符。