山pの楽しいお勉強生活

勉強の成果を垂れ流していきます

2021-12-17から1日間の記事一覧

PySparkでDataFrame.cacheはMEMORY_AND_DISKレベルキャッシュされる

概要 タイトルが全て MEMORY_ONLYだと勘違いしていたためメモ persistも引数なしで呼び出すとMEMORY_AND_DISKなので同じ https://spark.apache.org/docs/3.2.0/api/python/reference/api/pyspark.sql.DataFrame.cache.html https://spark.apache.org/docs/3.…