怎么使用Python建立数据分析项目

这篇文章主要讲解了“怎么使用Python建立数据分析项目”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“怎么使用Python建立数据分析项目”吧！

这些网站在项目构建方面的思路大致如下：

一个连贯且组织良好的结构，以便于人们协作；你的分析应当可复现，而你的项目结构可以满足这个需求；不应该从原始数据作为出发点开始你的项目，而应当假设原始数据不变，创建其他派生的文件。

简略的项目结构如下所示：

example_project/

├── data/ <- The original, immutable data dump.

├── figures/ <- Figures saved by notebooks and scripts.

├── notebooks/ <- Jupyter notebooks.

├── output/ <- Processed data, models, logs, etc.

├── exampleproject/ <- Python package with source code.

│ └── __init__.py <-- Make the folder a package.

└── process.py <-- Example module.

├── tests/ <- Tests for your Python package.

└── test_process.py <-- Tests for process.py.

├── environment.yml <- Virtual environment definition.

├── README.md <- README with info of the project.

└── setup.py <- Install and distribute your module.

你可以在这里看到相关实例。

项目通常遵循另一种结构：

原始数据不变，存储在 data/ 中;

数据处理和相关输出图分别存储在不同的文件夹下，例如： figures/ 和 output/ ;

笔记文件存储在 notebooks/ ;

项目信息撰写在 README.md 中;

项目代码放置在独立的文件夹下。

实际上，你选择什么样的项目结构并不重要，只要它能符合你的工作流程，你也能坚持使用它。你应该尝试去理解何为项目，从而选择满足要求的项目结构。

虚拟环境

项目之间应当相互独立，你肯定不希望新的项目打乱了之前的工作成果。我们可以通过把不同项目的文件存储在不同的文件夹下实现独立性，但是不同项目之间也应当使用不同的 Python 环境。在此我向大家推荐一个大数据技术交流圈： 658558542 突破技术瓶颈，提升思维能力

虚拟环境依赖于不同的项目而相互独立，避免了包的冲突问题。每个虚拟环境都安装了特定版本的不同包。虚拟环境一中安装了版本为 1.11 的 numpy 库和版本为 0.18 的 pandas 库，而虚拟环境二中则仅仅安装了版本为 0.17 的 pandas 库。作者选取适用于数据科学的 conda 管理虚拟环境(可在 这里 看到选择它的原因)。

下列命令可以创建一个使用 Python 3.5 的新的 conda 虚拟环境，命名为 example_project ：

$ conda install --name example_project python=3.5

激活虚拟环境( Windows 系统下将 source 省去)：

$ source activate example_project

之后便可以安装所需的包了：

$ conda install pandas numpy jupyter scikit-learn

当你在不同的项目间跳转时，可以运行 source deactivate 命令取消激活，并激活新的项目虚拟环境。

一旦你熟练使用 activate 和 deactivate 命令，就会发现虚拟环境是一个很轻巧的工具来保证 Python 环境的独立。通过导出环境定义文件(例如，所有安装的包名和版本号)，你的项目就很容易得到复现了。如果你想查看更多细节，可在 Tim Hopper 的博文 中看到。

Git

每个项目都应该有自己的 Git 资源库。在每个项目创建一个资源库可以帮助你追踪每个项目的历史和解决在不同的项目间复杂的版本依赖问题。

又或者，你可以选择在一个资源库中包含多个项目，将所有内容存储在一个位置。这样做的缺点在于往往会因为合并冲突问题而告终(数据科学家通常并不能熟练使用 Git )。除了很多使用 Git 时出现的问题，这也会导致你的项目之间缺乏独立性。

创建 Git 资源库最简单的方法就是在你的 Git 远程主机托管服务(例如， Github 和 GitLab)上创建一个新的 Git 资源库，然后把它复制到本地：

$ git clone https://github.com/hgrif/example-project.git

你可以在这个空文件夹下构建你的项目结构。

如果你按照这个步骤执行，并准备在一个新文件夹下创建一些文件了。那么，你首先还需要在电脑上对 git 资源库进行初始化：

$ git init

然后在你的远程主机上创建一个新的 git 资源库，得到它的链接，并运行下列命令：

$ git remote add origin https://github.com/hgrif/example-project.git

该命令会添加链接为 https://github.com/hgrif/example-project.git 的远程资源库，并命令为 origin 。你可能需要把现有的 master 分支推送到 origin 上：

$ git push --set-upstream origin master

在你的项目目录下创建 .gitignore 文件可以避免将图或数据误填加进资源库中。作者一般使用 针对 Python 的 .gitignore 文件 ，并且在文件中加入 data/ 、 figures/ 和 output/ 文件夹，以便 Git 可以忽略它们。

既然 Git 已经设置好了，你就可以对核心内容使用 git add 和 git commit 命令了!

使用工具

使用一些工具可以帮助你摆脱那些重复性工作。

Python 中的 cookiecutter 包可根据模板自动创建项目文件夹。你可以使用现有的模板，例如， Cookiecutter Data Science 或者 作者的项目结构模板 ，或是创建你自己新的模板。

使用虚拟环境最好的方法就是选用支持它们的编辑器，比如： PyCharm 。你也可以使用 autoenv 或者 direnv 去激活虚拟环境，并设置环境的变量，如果你 cd 定位到一个工作目录下的话。

感谢各位的阅读，以上就是“怎么使用Python建立数据分析项目”的内容了，经过本文的学习后，相信大家对怎么使用Python建立数据分析项目这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是亿速云，小编将为大家推送更多相关知识点的文章，欢迎关注！