资讯动态

PySpark 单元测试为何慢到几分钟——databricks-connect 的隐形接管

发布时间:2026/10/24 7:03:27 来源:尧图企业网站定制
给跑在 Databricks 集群上的 PySpark 逻辑补单元测试时,一个常见的困惑是:测试数据只有两行五列,每个用例却要跑 3 到 5 分钟。把 SparkSession 精简到极致、关掉 UI、把 shuffle 分区压到 1,速度依然没有变化,本地和 CI 都一样慢。问题现象一个看起来已经"尽可能轻量"的 fixture:# conftest.pyimportpytestfrompyspark.sqlimportSparkSession@pytest.fixture(scope="session")

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑