使用Polybase加载Parquet文件时出错：无法将类java.lang.Integer强制转换为parquet.io.api.Binary类

问题描述

我有一个具有以下格式的snappy.parquet文件：

{
    "type": "struct","fields": [{
            "name": "MyTinyInt","type": "byte","nullable": true,"metadata": {}

        }
        ...
    ]
}

更新：镶木地板工具揭示了这一点：

############ Column(MyTinyInt) ############
name: MyTinyInt
path: MyTinyInt
max_definition_level: 1
max_repetition_level: 0
physical_type: INT32
logical_type: Int(bitWidth=8,isSigned=true)
converted_type (legacy): INT_8

当我尝试在Azure Data Studio中运行存储过程以将其加载到带有PolyBase的外部登台表中时，出现错误：

11:16:21Started executing query at Line 113
Msg 106000,Level 16,State 1,Line 1
HdfsBridge::recordReaderFillBuffer - Unexpected error encountered filling record reader buffer: ClassCastException: class java.lang.Integer cannot be cast to class parquet.io.api.Binary (java.lang.Integer is in module java.base of loader 'bootstrap'; parquet.io.api.Binary is in unnamed module of loader 'app')

仅使用varchars加载外部表即可正常工作

CREATE EXTERNAL TABLE [domain].[TempTable] 
    (
        ...
        MyTinyInt tinyint NULL,...
        
    )
    WITH
    (
        LOCATION = ''' + @Location + ''',DATA_SOURCE = datalake,FILE_FORMAT = parquet_snappy
    )

数据最终将合并到数据仓库Synapse表中。在该表中，该列的类型必须为tinyint。

解决方法

我在Azure中有相同的问题和良好的支持计划，所以我得到了微软的答复：

在此特定情况下，ADF中存在一个已知的错误：日期 镶木地板中的类型应映射为Sql服务器中的数据类型日期 但是，ADF错误地将此类型转换为Datetime2，这导致 在PolyBase中发生冲突。我已经确认了核心工程 小组将在11月底前修复此问题，并 将直接发布到ADF产品中。

与此同时，作为一种解决方法：

1. 创建数据类型为 DATE 而不是 DATETIME2
的目标表
2. 配置“复制活动接收器”设置以使用 Copy Command （而不是PolyBase）

但是即使 Copy命令对我也不起作用，所以只有一种解决方法是使用批量插入，但是批量处理非常慢，在大型数据集上一个问题