问题描述
作为用户，您可以获得被阻止 ip 的列表：from datetime import datetime
from pyspark.sql import SparkSession
from pyspark.sql.types import StructType,StringType,TimestampType
spark = SparkSession \
.builder \
.appName("SparkExample") \
.getorCreate()
spark_context = spark.sparkContext
spark_context._jsc.hadoopConfiguration().set("fs.s3a.access.key",'<KEY>')
spark_context._jsc.hadoopConfiguration().set("fs.s3a.secret.key",'SECRET_KEY')
spark.conf.set("spark.sql.parquet.outputTimestampType","TIMESTAMP_MILLIS")
schema = StructType().add("_id",StringType()) \
.add("employer",StringType()) \
.add("created_at",TimestampType()) \
.add("name",StringType())
employees = [{'_id': 1,'employer': 'Microsoft','created_at': datetime.Now(),'name': 'Noel'
},{'_id': 2,'employer': 'Apple','name': 'Steve'
},]
df = spark.createDataFrame(employees,schema=schema)
df.write \
.format("json") \
.mode("append") \
.save("s3a://<YOUR BUCKET>/employeesjson")
collect = spark.read.format("json").load(
"s3a://<YOUR BUCKET>/employeesjson").collect()
print(len(collect))
但是我们如何从这个列表中专门删除一个 ip？
除了将 ip 完全列入白名单之外，还有其他选择吗？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）