自然语言处理

从sparknlp.base进口DocumentAssembler从sparknlp.annotator进口SentenceDetectorDLModel,MarianTransformer从pyspark.ml进口管道document_assembler=DocumentAssembler()。setInputCol(“文本”)。setOutputCol(“文档”)sentence_detector=SentenceDetectorDLModel。pretrained(“sentence_detector_dl”,“xx”)\。setInputCols(“文档”)。setOutputCol(“句子”)marian_transformer=MarianTransformer。pretrained()\。setInputCols(“句子”)。setOutputCol(“翻译”)管道=管道()。setStages([document_assembler,sentence_detector,marian_transformer])数据=火花。createDataFrame([[“你可以使用火花NLP翻译文本。”+\“这个例子管道翻译英语,法语”]])。toDF(“文本”)#创建一个管道模型,可以跨多个数据帧被重用模型=管道。适合(数据)#你可以使用模型在任何一个“文本”列的数据帧结果=模型。变换(数据)显示(结果。选择(“文本”,“translation.result”))