更改或更新DataFrame Spark中的嵌套数据

问题描述

我在spark中有一个非常奇怪的要求,其中我必须转换数据帧中存在的数据。 因此,我从s3存储桶中读取数据并将其转换为数据帧。一切都很好,下一步就是挑战所在。 读取数据后,需要对作为Json数据的数据进行转换,以使所有数据保持一致。

我拥有的样本数据

{"name": "John","age": 24,"object_data": {"tax_details":""}}
{"name": "nash","age": 26,"object_data": {"tax_details": {"Tax": "None"} } }

问题是在第一个文档中tax_details字段是字符串,而第二个文档中有一个对象。我想确定的是,每当我把它作为对象时,如果可以通过数据框操作来完成,那将是很好的。否则,任何指向它的指针都会很棒。 寻找任何帮助

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)