使用pyodbc的过滤器.in_list出现“最大参数数”错误

问题描述

我们在Python 2 + mxODBC中工作的查询之一在Python 3 + pyodbc中工作；它会在连接到sql Server时引发如下错误：Maximum number of parameters in the sql query is 2100.。由于两个打印的查询都具有3000个参数，因此我认为这在两种环境下均应失败，但显然情况并非如此。在Python 2环境中，MSODBC 11或MSODBC 17均可工作，因此我立即排除了与驱动程序有关的问题。

所以我的问题是：

在sqlAlchemy中将list作为多个参数发送是否正确，因为参数列表将与list的长度成比例？我认为这看起来有些奇怪。我宁愿将list连接到单个string中，因为DB无法理解list数据类型。
是否有任何暗示为什么它可以在mxODBC中运行但不能在pyodbc中运行？ mxODBC是否优化了pyodbc无法做到的事情？请让我知道是否有任何指针-我可以尝试在此处粘贴更多信息。（我还是调试sqlAlchemy的新手。）

脚注：我看到了很多建议，建议对数据进行分组，但是由于 1和2 ，我想知道我是否在做正确的事情第一名。

（由于它似乎与pyodbc有关，因此我在官方存储库中提出了internal issue。）

import sqlalchemy
import sqlalchemy.orm

from sqlalchemy import MetaData,Table
from sqlalchemy.ext.declarative import declarative_base

from  sqlalchemy.orm.session import Session

Base = declarative_base()

create_tables = """
CREATE TABLE products(
    idn NUMERIC(8) PRIMARY KEY
);
"""

check_tables = """   
SELECT * FROM products;
"""

insert_values = """
INSERT INTO products
(idn)
values
(1),(2);
"""

delete_tables = """
DROP TABLE products;
"""

engine = sqlalchemy.create_engine('mssql+pyodbc://user:password@dsn')
connection = engine.connect()
cursor = engine.raw_connection().cursor()
Session = sqlalchemy.orm.sessionmaker(bind=connection)
session = Session()

session.execute(create_tables)

Metadata = MetaData(connection)

class Products(Base):
   __table__ = Table('products',Metadata,autoload=True)

try:
    session.execute(check_tables)
    session.execute(insert_values)
    session.commit()
    query = session.query(Products).filter(
        Products.idn.in_(list(range(0,3000)))
    )
    query.all()
    f = open("query.sql","w")
    f.write(str(query))
    f.close()
finally:
    session.execute(delete_tables)
    session.commit()

解决方法

当您执行简单的.in_(list_of_values)时，SQLAlchemy会呈现以下SQL ...

SELECT team.prov AS team_prov,team.city AS team_city 
FROM team 
WHERE team.prov IN (?,?)

...，其中IN子句中的每个值都指定为单独的参数值。 pyodbc将其作为...发送给SQL Server。

exec sp_prepexec @p1 output,N'@P1 nvarchar(4),@P2 nvarchar(4)',N'SELECT team.prov AS team_prov,team.city AS team_city,team.team_name AS team_team_name 
FROM team 
WHERE team.prov IN (@P1,@P2)',N'AB',N'ON'

...因此如果列表很长，则会达到2100个参数的限制。大概是，mxODBC在将参数值发送到SQL Server（例如

）之前，已内联插入参数值

SELECT team.prov AS team_prov,team.city AS team_city 
FROM team 
WHERE team.prov IN ('AB','ON')

您可以使用SQLAlchemy通过

provinces = ["AB","ON"]
stmt = (
    session.query(Team)
    .filter(
        Team.prov.in_(sa.bindparam("p1",expanding=True,literal_execute=True))
    )
    .statement
)
result = list(session.query(Team).params(p1=provinces).from_statement(stmt))

pyodbc python sqlalchemy