问题描述
我正在从Web api提取数据并实现了分页,其中需要提取200万行,并且一页的最大限制为最大5000行。因此,这会花费一些时间,并且获取后可能要花费一百万行才能获取超时。
我试图在下面的代码段中添加超时,但是超时不适用于web.contents方法中的相对路径内容。
如果有人遇到类似问题,请推荐解决方案
Source = Json.Document(
Web.Contents("https://api.abcxyz.com/",[RelativePath="v2/transactions",Query=[
request_key = request_key,limit="5000",startdate = "2018-01-01"
]
]
)),Source1 = Source{0},pagination = Source1[pagination],last1 = pagination[last],#"Split Text" = Text.Split(last1,"="),#"Split Text1" = #"Split Text"{1},#"Split Text2" = Text.Split(#"Split Text1","&"),#"Split Text3" = #"Split Text2"{0},//List = {0..10},//for testing
List = {0..Int64.From(#"Split Text2"{0})},// paging for actual
#"Converted to Table" = Table.FromList(List,Splitter.SplitBynothing(),null,ExtraValues.Error),#"Changed Type" = Table.TransformColumnTypes(#"Converted to Table",{{"Column1",type text}}),#"Invoked Custom Function" = Table.AddColumn(#"Changed Type","getTransactionsData",each getTransactionsData([Column1],request_key)),#"Expanded getTransactionsData" = Table.ExpandListColumn(#"Invoked Custom Function","getTransactionsData"),#"Expanded getTransactionsData1" = Table.ExpandRecordColumn(#"Expanded getTransactionsData",{"items"},{"items"})
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)