Excel Python飞速搞定数据分析与处理前言本系列笔记是博主学习 Python 数据分析的详细记录主要记录了在学习过程中遇到的各种实际问题与解决方法。相信小伙伴们跟随本系列笔记也一定能够成功复现《Excel Python飞速搞定数据分析与处理》书里的各个案例。本系列笔记将以章节的形式进行更新力求简短从而降低小伙伴们的学习压力做到持之以恒的学习细水长流。在此请对于 Python 数据分析抱有兴趣的小伙伴们不吝赐教在评论区多多发言交流讨论博主在闲暇之余会多多学习思考积极讨论回复。也请多多点赞收藏转发更快解锁本系列笔记前五章内容请移步博主 GitHub 主页https://teliduxingdimiao.github.io/Don’t be shy, dare to share!第一部分 Python 入门第一章 为什么要用 Python 为 Excel 编程1.1 Excel 作为一门编程语言1.1.2 编程最佳实践最重要的编程最佳实践涉及关注点分离、DRY 原则、测试和版本控制。1. 关注点分离编程最重要的设计原则之一就是关注点分离separation of concerns有时候也称作模块化modularity。一系列相关的功能应当被视作程序中一个独立的部分来处理从而可以在不影响应用程序其他部分的情况下轻松地替换这一部分.一个应用程序通常被分为如下3层:•表示层presentation layer这一层是你可以看到并与之交互的部分也就是所谓的用户界面。•业务层business layer这一层负责特定应用程序的逻辑。•数据层data layer这一层负责访问数据。2. DRY 原则意思是“不要自我重复”don’t repeat yourself没有重复的代码意味着代码行数更少错误也更少代码自然也就更容易维护。3. 测试专业软件开发人员测试代码会写单元测试unit test。 这是一种可以测试程序各个组件的机制。单元测试会确保程序中的每一个函数都正常工作。大部分编程语言会提供一种自动执行单元测试的方法。执行自动测试可以使代码库的可靠性大幅提升并且在一定程度上测试会确保在编辑代码时不会破坏当前正常工作的代码。通常程序员会对单元测试进行配置每当代码被提交到版本控制系统的时候它就会自动运行。4. 版本控制专业程序员会使用版本控制version control系统或者称为源代码控制source control系统。版本控制系统version control systemVCS会不断跟踪源代码的更改让你能够看到是谁进行了更改更改了什么什么时候更改的为什么更改 并且在任何时候都能还原到过去的版本。当今最受欢迎的版本控制系统是Git。通常专业程序员都会结合像GitHub、GitLab、Bitbucket 和Azure DevOps 这样的Web 平台来使用Git这些平台可以让你提出所谓的拉取请求 pull request和合并请求merge request。这些操作可以让开发者正式地请求负责人将他们的更改合并到主数据库中。一次拉取请求会提供如下信息• 更改的作者 • 更改发生的时间 • 在提交信息commit message中描述的更改目的 • 在diff 视图其中新代码以绿色高亮显示删掉的代码以红色高亮显示中展示的更改细节。1.1.3 现代 Excel1. Power Query 和 Power PivotPower Query 可以连接各种数据源包括 Excel 工作簿、CSV 文件、SQL 数据库等等。核心功能是处理一张工作表装不下的数据集。在加载数据之后你还可以通过额外的操作来清理、操作数据使之成为 Excel 可用的形式。Power Pivot 和 Power Query 联系密切利用 Power Query 获取和清理数据之后就该Power Pivot 上场了。Power Pivot 以一种引人入胜的方式直接在 Excel 中分析和呈现数据。可以把它视作一种传统意义上的数据透视表。和 Power Query 一样 它也可以处理大型数据集。Power Pivot 可以用关系和层次来定义形式上的数据模型 并且可以通过 DAX 公式语言添加计算列。2. Power BIPower BI 是在2015 年发布的一个独立应用程序。Power BI 通过在交互式仪表板中可视化巨大的数据集使其更容易理解。Power BI 的商业版可以让你在线和他人合作并共享仪表板。Power BI 自2018年起就支持 Python 脚本了。1.2 用在 Excel 上的 PythonExcel 的主要功能是存储数据、分析数据和可视化数据。而 Python 在科学计算方面也极其强大天生就适合搭配 Excel 工作。1.2.1 可读性和可维护性良好的可读性使得发现错误和维护代码更加容易Python 会强制将视觉缩进和代码逻辑对齐从而避免可读性问题。当你在 if 语句或 for 循环中使用代码块时Python 依靠缩进来定义代码块。使用缩进定义代码块的原因在于编程时大部分时间是花费在维护代码而不是现写新的代码上。可读性好的代码可以帮助新进程序员回顾过去、了解现状。1.2.2 标准库和包管理器Python 通过标准库提供了丰富的内置工具。Python 社群喜欢称之为“自带电池”。尽管 Python 标准库涵盖了大量的功能但还是有一些功能难以编写又或是使用标准库来实现效率很低。这个时候就该 PyPI 上场了。PyPI 代表 Python Package IndexPython 包目录它是任何人包括你都可以上传开源 Python 包的巨大仓库利用这些包可以扩展Python 的功能。如果想更方便地从互联网上获取数据可以安装 Requests 包来获取一系列强大又好用的命令。要安装一个包需要在命令提示符或者终端中使用 Python 的包管理器即 pip。pip 是 pip installs packages 的递归缩写。为什么包管理器如此重要。一个主要原因是任何优质的包可能不仅依赖于 Python 标准库还会依赖于 PyPI 上的其他开源包。而这些依赖项又可能会依赖其他的包层层递进。pip 会递归地检查一个包的依赖项和子依赖项并逐一下载安装。你还可以使用 pip 轻松地更新包以保持各个依赖项都是最新版本。pip 让你能够坚守 DRY 原则因为不用重新发明轮子或者复制粘贴 PyPI 上已有的包。有了 pip 和 PyPI你就有了一套统一的机制来分发和安装依赖项——这正是 Excel 的插件所欠缺的。1.2.3 科学计算诸如 NumPy、SciPy 和 pandas 之类的科学计算库提供了一种简洁的方式来表达数学问题。1.2.5 跨平台兼容性即便在一台运行着 Windows 或者 macOS 的本地计算机上开发在某个时候你也可能会想让代码在一台服务器或者云端上运行。服务器会通过其运算能力让代码按计划执行并使应用程序可以从任何地方访问。Windows 或者 macOS 的本地计算机上开发在某个时候你也可能会想让代码在一台服务器或者云端上运行。服务器会通过其运算能力让代码按计划执行并使应用程序可以从任何地方访问。