数据流作业-HTTP 400非空数据

问题描述

我启动了一个数据流批处理作业，以将csv数据从GCS加载到Pubsub。

数据流作业失败，并显示以下日志部分：

来自工作程序的错误消息：com.google.api.client.googleapis.json.GoogleJsonResponseException： 400错误的请求{“代码”：400，“错误”：[{“域”：“全局”，“ message”：“发布请求中的一个或多个消息为空。每个消息必须包含非空数据或至少一个属性。”，“ reason”：“ badRequest”}]，“ message”：“一个或发布请求中的更多邮件为空。每封邮件必须包含非空数据或至少一个属性。“，” status“：” INVALID_ARGUMENT“} com.google.api.client.googleapis.json .GoogleJsonResponseException.from（GoogleJsonResponseException.java:150）com.google.api.client.googleapis.services.json.AbstractGoogleJsonClientRequest.newExceptionOnError（AbstractGoogleJsonClientRequest.java:113）com.google.api.client.googleapis.services.json.AbstractGoogleJsonClientRequest .newExceptionOnError（AbstractGoogleJsonClientRequest.java:40）com.google.api.client.googleapis.services.AbstractGoogleClientRequest $ 1.inter ceptResponse（AbstractGoogleClientRequest.java:443）com.google.api.client.http.HttpRequest.execute（HttpRequest.java:1108）com.google.api.client.googleapis.services.AbstractGoogleClientRequest.executeUnparsed（AbstractGoogleClientRequest.java:541） com.google.api.client.googleapis.services.AbstractGoogleClientRequest.executeUnparsed（AbstractGoogleClientRequest.java:474）com.google.api.client.googleapis.services.AbstractGoogleClientRequest.execute（AbstractGoogleClientRequest.java:591）org.apache.beam。 sdk.io.gcp.pubsub.PubsubJsonClient.java（138）org.apache.beam.sdk.io.gcp.pubsub.PubsubIO $ Write $ PubsubBoundedWriter.publish（PubsubIO.java:1195）org.apache。 beam.sdk.io.gcp.pubsub.PubsubIO $ Write $ PubsubBoundedWriter.finishBundle（PubsubIO.java:1184）

所以基本上，这就是说至少有一行是空的，但是csv数据包含一些空字段，但没有完整的空行

下面是一个示例

2019-12-01 00:00:00 UTC，remove_from_cart，5712790,1487580005268456287，，f.o.x，6.27,576802932,51d85cb0-897f-48d2-918b-ad63965c12dc

2019-12-01 00:00:00 UTC，视图，5764655,1487580005411062629，，cnd，29.05,412120092,8adff31e-2051-4894-9758-224bfa8aec18

2019-12-01 00:00:02 UTC，购物车，4958,1487580009471148064，，runail，1.19,494077766，c99a50e8-2fac-4c4d-89ec-41c05f114554

2019-12-01 00:00:05 UTC，视图，5848413,1487580007675986893，freedecor，0.79,348405118,722ffea5-73c0-4924-8e8f-371ff8031af4

2019-12-01 00:00:07 UTC，视图，5824148,1487580005511725929,5.56,576005683,28172809-7e4a-45ce-bab0-5efa90117cd5

2019-12-01 00:00:09 UTC，视图，5773361,1487580005134238553，runail，2.62,560109803,38cf4ba1-4a0a-4c9e-b870-46685d105f95

2019-12-01 00:00:18 UTC，购物车，5629988,1487580009311764506,1.19,579966747,1512be50-d0fd-4a92-bcd8-3ea3943f2a3b

有帮助吗？

谢谢

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）