使用Python和R模块
本文描述了如何使用相对路径导入自定义Python和R模块存储在工作区文件与你的砖笔记本。工作区文件可以促进更严格的开发生命周期,允许您模块化代码,%运行命令转换为导入语句,重构Python轮子co-versioned模块。你也可以使用内置的砖网络终端测试你的代码。
请注意
工作区文件有不同的砖Python运行时需求和不同的默认路径和当前工作目录取决于你是否使用回购。看到工作区文件是什么?。
进口Python和R模块
重要的
在砖运行时的13.0及以上,目录添加到Pythonsys.path
自动分发到集群中的所有执行者。在砖运行时12.2 LTS下面,库添加到sys.path
必须显式地安装在执行器上。
当使用回购,回购和笔记本的当前工作目录是Python自动添加到路径。当你在回购工作,您可以导入模块从根回购目录及其所有子目录。
从另一个回购或进口模块回购外使用笔记本电脑时,您必须添加包含模块的目录sys.path
。例如:
进口syssys。路径。附加(”/工作区/回购/ <用户名> / < repo-name >”)#使用相对路径进口sys进口操作系统sys。路径。附加(操作系统。路径。abspath(“. .”))
你从一个模块存储在工作区文件导入功能就像从一个模块保存为集群库或notebook-scoped库:
从样本进口权力权力。powerOfTwo(3)
源(“sample.R”)power.powerOfTwo(3)
重要的
当您使用一个进口
声明中,砖遵循一组优先级如果多个图书馆存在的同名。看到Python库优先。
Autoreload Python模块的
在开发Python代码,如果您正在编辑多个文件,您可以使用以下命令在任何细胞力量重新加载所有模块。
%load_extautoreload%autoreload2
重构代码
代码开发的最佳实践是模块化的代码,所以它可以很容易地重用。您可以创建自定义Python文件工作区文件和提供这些文件中的代码使用了一个笔记本进口
声明。看到笔记本的例子。
重构笔记本到可重用的代码文件:
从回购UI,创建一个新的分支。
创建一个新的源代码文件的代码。
Python导入语句添加到笔记本,使你的新笔记本可用文件中的代码。
从运行%
命令
如果您使用的是运行%
命令提供Python或R函数定义在一个笔记本到另一个笔记本,或者安装定制.whl
文件在一个集群中,考虑包括自定义模块砖回购。通过这种方式,你可以保持你的笔记本和其他代码模块同步,确保你的笔记本总是使用正确的版本。
运行%
让你命令包括一个笔记本在另一个和通常用于制造支持Python或R代码可用一个笔记本。在这个例子中,一个笔记本power.py
包括下面的代码。
#这段代码是在一个名为“power.py”的笔记本。defn_to_mth(n,米):打印(n,“到”,米,“th权力”,n* *米)
然后您可以让函数中定义power.py
不同的笔记本运行%
命令:
#这个笔记本使用%运行命令来访问“power.py”中的代码。%运行。/权力n_to_mth(3,4)
使用文件回购协议,可以直接导入模块包含Python代码和运行功能。
从权力进口n_to_mthn_to_mth(3,4)
重构Python.whl
相对库文件
你可以安装自定义.whl
文件到一个集群,然后将它们导入到一个集群的笔记本上。对于频繁更新的代码,这个过程是繁琐且易出错。Python文件回购可以让你把这些文件在同一个回购的笔记本使用的代码,确保你的笔记本总是使用正确的版本。
关于包装Python项目的更多信息,请参阅教程。
使用砖网络终端进行测试
您可以使用砖网络终端的测试修改您的Python或R代码无需导入文件到一个笔记本和执行的笔记本。
开放网络终端。
改变回购目录:
cd/回购/ < path-to-repo > / /工作空间
。运行Python或R文件:
pythonfile_name.py
或Rscriptfile_name.r
。