问题描述
我已经为我的数据训练了HuggingFace RoBERTa模型(这是一种非常特殊的用法-因此是小模型/词汇!),并在Python上成功进行了测试。我将跟踪模型导出到iOS的LibTorch,但是设备上的预测结果与Python中的预测结果不匹配(给出了不同的argmax令牌索引)。我的转换脚本:
# torch = 1.5.0
# transformers = 3.2.0
config = RobertaConfig(
vocab_size=858,max_position_embeddings=258,num_attention_heads=6,num_hidden_layers=4,type_vocab_size=1,torchscript=True,)
model = RobertaForMaskedLM(config=config).from_pretrained('./trained_RoBERTa')
model.cpu()
model.eval()
example_input = torch.LongTensor(1,256).random_(0,857).cpu()
traced_model = torch.jit.trace(model,example_input)
traced_model.save('./exports/trained_RoBERTa.pt')
过去,我遇到了另一个问题,该问题是我在Python + GPU中训练并转换为iOS的LibTorch的(视觉)模型,通过在我的map_location={'cuda:0': 'cpu'}
调用中添加torch.load()
来解决转换脚本。因此,我想知道是否:1)在这种情况下可以作为一种合理的解释?,以及2)在使用map_location
语法加载时如何添加.from_pretrained()
选项?
以防我对预测结果的Obj-C ++处理受到指责,以下是在设备上运行的Obj-C ++代码:
- (NSArray<NSArray<NSNumber*>*>*)predictText:(NSArray<NSNumber*>*)tokenIDs {
try {
long count = tokenIDs.count;
long* buffer = new long[count];
for(int i=0; i < count; i++) {
buffer[i] = tokenIDs[i].intValue;
}
at::Tensor tensor = torch::from_blob(buffer,{1,(int64_t)count},at::kLong);
torch::autograd::AutoGradMode guard(false);
at::AutoNonVariableTypeMode non_var_type_mode(true);
auto outputTuple = _impl.forward({tensor}).toTuple();
auto outputTensor = outputTuple->elements()[0].toTensor();
auto sizes = outputTensor.sizes();
// len will be tokens * vocab size -- sizes[1] * sizes[2] (sizes[0] is batch_size = 1)
auto positions = sizes[1];
auto tokens = sizes[2];
float* floatBuffer = outputTensor.data_ptr<float>();
if (!floatBuffer) {
return nil;
}
// MARK: This is probably a slow way to create this 2D NSArray
NSMutableArray* results = [[NSMutableArray alloc] initWithCapacity: positions];
for (int i = 0; i < positions; i++) {
NSMutableArray* weights = [[NSMutableArray alloc] initWithCapacity: tokens];
for (int j = 0; j < tokens; j++) {
[weights addobject:@(floatBuffer[i*positions + j])];
}
[results addobject:weights];
}
return [results copy];
} catch (const std::exception& exception) {
NSLog(@"%s",exception.what());
}
return nil;
}
请注意,我在iOS中的初始化代码确实在TorchScript模型上调用了eval()
。
更新:一项观察;当我在上面加载经过训练的模型时尝试使用config
的方式导致未设置torchscript
标志-我假设它完全忽略了我的config
并从预训练中获取它文件。因此,如文档所述,我已将其移至from_pretrained('./trained_RoBERTa',torchscript=True)
。请注意,iOS上的输出也存在同样的问题。
更新2:我想我会尝试在Python中测试跟踪模型。不确定是否可以正常工作,但是输出是否与原始模型中的相同测试相匹配:
traced_test = traced_model(input)
pred = torch.argmax(traced_test[0],dim=2).squeeze(0)
pred_str = tokenizer.decode(pred[1:-1].tolist())
print(pred_str)
这让我觉得iOS Obj-C ++执行中有一些问题。加载跟踪的模型/导出的代码确实在模型上调用.eval()
,btw(我意识到这可能是对不同输出的可能解释):
- (nullable instancetype)initWithFileAtPath:(Nsstring*)filePath {
self = [super init];
if (self) {
try {
auto qengines = at::globalContext().supportedQEngines();
if (std::find(qengines.begin(),qengines.end(),at::QEngine::QNNPACK) != qengines.end()) {
at::globalContext().setQEngine(at::QEngine::QNNPACK);
}
_impl = torch::jit::load(filePath.UTF8String);
_impl.eval();
} catch (const std::exception& exception) {
NSLog(@"%s",exception.what());
return nil;
}
}
return self;
}
更新3:Uhhhmmm ...这绝对是一个面对面的时刻(在一个浪费的周末之后)...我决定从Obj-C返回一个平坦的NSArray并在Swift中对2D数组进行整形,除了转移一个令牌(我认为这只是[CLS]),现在输出正确。我想我的Obj-C确实那生锈。遗憾的是,我仍然看不到该问题,但是它现在正在运行,所以我要投降。
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)