编程基础网 / 编程问答 / Python问题 / 正文

使用Pandas AWS Glue Python外壳作业

编程基础网 Python问题

2022-01-01

Using Pandas AWS Glue Python Shell Jobs(使用Pandas AWS Glue Python外壳作业)

本文介绍了使用Pandas AWS Glue Python外壳作业的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！

问题描述

AWS文档 https://docs.aws.amazon.com/glue/latest/dg/add-job-python.html

提到

运行Python外壳作业的环境支持以下各项库：
...
pandas (需要通过python setupTools安装配置，setup.py)

但没有提到如何进行安装。

如何在AWS Glue Python外壳作业中使用 pandas ？

推荐答案

转到https://docs.aws.amazon.com/glue/latest/dg/add-job-python.html#create-python-extra-library。检查部分 为"如何为Python外壳作业创建安装文件"创建一个Python.egg或.whl文件
在setup.py文件中，添加install_requires=['pandas==0.25.1']行：

setup(name="<module name>",
        version="0.1",
        packages=['<package name if any or ignore>'],
        install_requires=['pandas==0.25.1']
    )

我还编写了一个小的外壳脚本来部署Python外壳作业，而不需要手动创建鸡蛋文件，并通过CloudForms上传到S3和部署。脚本会自动完成所有操作。您可以在https://github.com/fatangare/aws-python-shell-deploy

找到代码

这篇关于使用Pandas AWS Glue Python外壳作业的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！

Python