问题

PyPML是一个PythonPML评分库

PyPML安装成数据键盘集群后失效Py4JERRER:找不到py4jjjjar报错

Py4JERRML错误:找不到py4jjjj

因果

出错是因为依赖默认 Py4J库

• 数据bricks运行时间5.0-6.6使用Py4J0.1.07
• Databricks运行时间7.0及以上使用Py4J0.10.9

默认Py4J库安装到不同于标准Py4J包的不同位置其结果是,当PyPML试图从默认路径中引用Py4J时,它失败

求解

搭建集群切入脚本复制Py4Jjar文件到预期位置

1. Pip安装版Py4J对称databricks Runtime
   举例说,DatabricksRuntime6.5运行Pip安装py4j0.10.7内装笔记本并安装集群上Py4J0.107
2. 运行查找/databricks/-name Py4jjar笔记本确认全路径 Py4Jjar文件通常定位于相似路径/databricks/python3/share/py4j/.
3. 手拷Py4Jjar文件从安装路径复制到DBFS路径/dbfs/py4j/.
4. 运行python笔记本下代码片段创建install-py4j-jar.shinit脚本确定Py4J版本序号与您的Databricks运行时版相匹配

   mkdir-p/share/py4j//cp/dbfs/py4j/py4j
               
                jar/share/py4j/cp/dbfs/py4j/py4j
                
                 .jar/当前释放/回声
                
               

5. 附加式install-py4j-jar.shinit脚本对集群配置集群切片脚本AWS系统|休眠|GCP)
6. 重开集群
7. 验证PyPML工作如预期