如何计算Databricks文件系统S3API调用成本

学习计算Databricks文件系统S3API调用成本

写由亚当巴夫拉卡

2022年3月8日

DBFSS3桶成本主要受API调用数驱动,其次是存储费AWS云轨日志创建表计算API调用数并计算API请求的确切成本

  1. 获取下列信息可能需要联系您的AWS管理员获取它
    • API调用List、Put、Copte或Post成本
    • API调用电话费用涉及HeadGet或Sche
    • Databricks控制平面账号账号(以下41435177826)
  2. 云轨日志复制S3桶并使用下列Apachespark代码阅读日志并创建表
    %python    spark.read.json("s3://dbc-root-cloudwatch/*/*/*/*/*/*/*").createOrReplaceTempView("f_cloudwatch")
  3. 替代记账号API调用成本转接下查询查询取云轨结果特定时段,计自Databricks控制平面帐户调用API数并计算成本
    sql选择记录.user身份.countId.eclistem.eventNames.count(*)
  4. 运行查询生成表生成表显示API通话数和通话成本

API附加成本往往归因于流作业检查站目录databricks建议删除旧关卡目录


文章有帮助吗