Python on 桃花岛种桃

用 Pyecharts 绘制足迹地图

Sun, 13 Aug 2023 12:11:33 +0000

之前上网发现一个好玩的在线工具：中国制霸生成器，可以标记去过的地方，制作自己的足迹地图。

但这个工具只能标记省级行政区，有些颗粒度太粗，比如去过郫县，在地图上就会体现为去过四川。于是想看看有其他工具没有。然后发现 Pyecharts 可以绘制地图，设置一下就能生成足迹地图，而且生成的是可以交互的地图 html 文件，不是图片。如果想要图片进行分享，截个图就 OK。

Pyecharts是个Python的绘图库，除了地图，还能绘制其他很多类型的可视化图像，具体可参考Pyechart官网。

用 seaborn 绘制数据分布统计图

Mon, 21 Nov 2022 14:09:10 +0000

数据文件为 Libreoffice 编制的 ods 类型，为了能直接读取 ods 文件生成 dataframe 格式数据，安装 pandas_ods_reader 包。

`1`	`pip install pandas_ods_reader`

然后导入相关库，读取数据。

1
2
3
4
5
6
7


import seaborn as sns
import pandas as pd
from pandas_ods_reader import read_ods
%matplotlib inline


ffftime = read_ods('dataset.ods', 1)

1
2
3


# 挑取目标列数据
thedata = ffftime.loc[ffftime['人种']=='黄', ['连续输出1']]
print(len(thedata))

目标列中一共有 195 个待分析数据。对这些数据绘制直方图，查看各数据段内的分布占比，图中柱宽为 2。

1
2
3
4
5
6
7
8
9


# 绘制密度分布图
rc = {'axes.unicode_minus': False}
sns.set(context='notebook', style='ticks', font='simhei', rc=rc)
ax = sns.histplot(data=thedata, x='连续输出1', binwidth=2, stat='proportion')
x = range(0, 50, 5)
ax.set_xticks(x)
ax.set_ylabel("占比", fontsize=14)
ax.set_xlabel("连续输出时间/min", fontsize=14)
ax.set_title('连续输出时间样本统计', fontsize=14)

从占比直方图可以看出，5~7min 为占比最多区间，大约的18.5%样本落在此区间。

设置 seaborn 绘图中的字体及字体大小

Wed, 24 Nov 2021 00:00:00 +0000

1 设置 seaborn 绘图中的字体

Seaborn 基于 Matplotlib，Matplotlib 基于 Python，Python 运行于电脑系统中。

因此，要在 Seaborn 中使用某款字体，该字体要满足以下条件：

字体已安装在系统中；
Python 能检索到此字体；
Matplotlib 字体缓存中能检索到此字体；
绘图时在 Seaborn 中设置使用该字体。

1.1 在电脑上安装字体

以「文泉驿微米黑」字体为例，下载到的字体安装包为「文泉驿微米黑.ttf」，双击会自动打开系统自带的字体管理器，点击安装既可。

学习 seaborn [07]: 绘制累积条形图

Mon, 08 Nov 2021 14:56:20 +0000

使用 seaborn 绘制累积条形图

最近想看下某地区近几年降雨量如何变化，获得的数据是分年分月的，打算绘制按年份累积每月降雨量的条形图。搜索教程，主要有以下几种方法。

方法1：使用 seaborn 的 barplot() 函数，在 x 相同位置，分别绘制1~~12月累积量、1~~11月累积量、1~10月累积量，以此类推直至1月降雨量。每次绘制使用颜色不同，后绘制的相当于把前绘制的条状遮住一部分。需要调用12次 barplot() 函数。参考文章点这里
方法2：使用 matplotlib 的 bar() 函数，按年分别绘制每月的降雨量条形图，通过参数bottom指定所绘制的月份条形图下方是哪个月的条形图，相当于一层一层的柱子码起来。需要调用12次 bar() 函数。参考文章点这里
方法3：使用 seaborn 的 histplot() 函数，设置 multiple 参数为 stack，weights 参数为需要累积的量，既可绘制累积条形图。只需条用1次 histplot() 函数。参考文章点这里。这篇文章另外还介绍了如何使用 matplotlib、pandas、plotnine、altair 绘制累积条形图。

前两种方法太繁琐，采用第3种方法。搜相关教程有个感悟，要想快速准确找到资料，搜英文文章，或者直接在 seaborn 官方教程找。

学习 pandas [02]: 二进制操作

Sat, 23 Jan 2021 08:53:12 +0000

title: 学习 pandas [02]: 二进制操作 slug: er-jin-zhi-cao-zuo date: 2021-1-23 tags:

Pandas
Jupyter
python category: 数据分析 link: description: type: text

二进制操作

Pandas数据结构之间执行二进制操作，要注意下列两个关键点：

DataFrame与Series之间的广播机制；
计算中的缺失值处理。

加、减、乘、除、取模

DataFrame支持以下运算操作中对Series进行广播：

add()：加
sub()：减
mul()：乘
div()：除
radd()
rsub()

在以上方法使用中，通过axis参数，指定沿index或columns广播。

学习 pandas [01]: 数据结构

Sun, 27 Dec 2020 08:50:57 +0000

title: 学习 pandas [01]: 数据结构 slug: series-and-dataframe date: 2020-12-27 tags:

Pandas
Jupyter
python category: 数据分析 link: description: type: text

数据结构

pandas的数据类型主要有：

Series，类似一维数组
DataFrame，类似二维数组

Series

创建Series

`1`	`pd.Series(data, index=index)`

data：可以是字典、一维数组、标量

index：索引列表，可以理解为行标签，根据Data的类型而不同。

通过字典创建Series

1
2
3
4
5
6
7


import numpy as np
import pandas as pd

# 通过字典创建，自动采用键值作为索引，若不指定index，则顺序同字典
d = {'b': 1, 'a': 0, 'c': 2}
s = pd.Series(d)
s

b 1
a 0
c 2
dtype: int64

1
2
3
4


# 通过字典创建，自动采用键值作为索引，若指定index（包含键值），则顺序同index
# index中若含有字典中不存在的键值，则Series中对应的值为NaN
s = pd.Series(d, index=['a', 'b', 'c', 'd'])
s

a 0.0
b 1.0
c 2.0
d NaN
dtype: float64

通过一维数组创建Series

1
2
3
4
5


l = np.random.randn(6)

# 若不指定index，则自动生成数值型索引
s = pd.Series(l)
s

0 0.215224
1 0.803700
2 1.141428
3 0.526450
4 0.577533
5 1.051918
dtype: float64

1
2
3


# 若指定index，则长度必须与数组相同
s = pd.Series(l, index=['a', 'b', 'c', 'd', 'e', 'f'])
s

a 0.215224
b 0.803700
c 1.141428
d 0.526450
e 0.577533
f 1.051918
dtype: float64

通过标量值创建Series

此方法创建出的Series，每行值都相同。

学习 seaborn [06]: 设置中文显示

Wed, 16 Dec 2020 08:22:42 +0000

学习 seaborn [05]: 调色板

Mon, 14 Dec 2020 08:20:53 +0000

title: 学习 seaborn [05]: 调色板 slug: color-seaborn date: 2020-12-14 tags:

seaborn
python category: 数据分析 link: description: type: text

选择调色板

调色板是一组颜色搭配方案，绘图时候程序从中选取颜色进行数据可视化。调色板中颜色之间的色相、饱和度、明度等差异，区别出不同系列的数据关系，因此调色板比其他元素更加影响绘图的视觉效果。

seaborn提供了一些现成的配色方案，也可以利用其提供的函数自定义调色板。

调色板分类

定性调色板：一组在视觉上有差异的颜色，用于区分不具有内在顺序的离散数据；
顺序调色板：一组视觉温度递增或递减的颜色，一般是单一色相，也可以是多种色相，用于当数据集的范围从相对低值(不感兴趣)到相对高值(很感兴趣)时；
发散调色板：一组颜色的中间位置颜色的视觉温度最亮或最暗，然后分别向两端递增或递减，用于当数据集的低值和高值都很重要，且数据集中有明确定义的中点时。

生成调色板的函数

可生成三种调色板的函数

color_palette()：生成调色盘，接受所有的seaborn调色板或者matplotlib Colormap或者Color Brewer库的配色方案，返回RGB元组的列表；
set_palette()：接受与color_palette()相同参数，设置所有图像的默认配色方案；
xkcd_rgb()：使用xkcd颜色名字设置单一颜色；
xkcd_palette()：使用xkcd颜色名字生成调色板，适用于各种调色板；
choose_colorbrewer_palette()：通过交互式组件辅助进行Color Brewer库的配色方案选择，适用于各种调色板，只能在Jupyter Notebook中使用；

用于生成定性调色板的函数

hls_palette()：使用hls颜色空间生成间距相等的颜色（色调变化，明度和饱和度不变），适用于定性调色板；
husl_palette()：使用HSLuv颜色空间生成间距相等的颜色，比上述hls更符合人眼视觉感受，适用于定性调色板；

用于生成顺序调色板的函数

cubehelix_palette()：使用cubehelix调色板系统生成配色方案，适合黑白打印，且对色盲友好，适用于顺序调色板；
choose_cubehelix_palette()：通过交互式组件辅助进行cubehelix调色板的配色方案选择，只能在Jupyter Notebook中使用；
light_palette()和dark_palette()：指定一个颜色，会由明向暗或由暗向明生成一组颜色，适用于顺序调色板；

用于生成发散调色板的函数

diverging_palette()：用来创建发散调色板；
choose_diverging_palette()：通过交互式组件辅助进行发散调色板的配色方案选择，使用HSLuv颜色空间，只能在Jupyter Notebook中使用；

生成调色板的方式

seaborn中生成调色板的方式大致有三种：

学习 seaborn [04]: 修改样式、移动座标轴

Fri, 11 Dec 2020 08:09:45 +0000

title: 学习 seaborn [04]: 修改样式、移动座标轴 slug: beautify-seaborn date: 2020-12-11 16:23:05 tags:

seaborn
python category: 数据分析 link: description: type: text

控制图像的美学样式

相比与matplotlib详细的样式设置，seaborn提供了成套的样式主题可供直接使用，同时提供高级设置接口供用户自定义主题。

以装修房子比喻，用matplotlib就像全部考自己装修，窗台、地砖、墙壁等细节都要自己考虑，费时费力但高度可定制化。而用seaborn相当于从装修公司已设计好的装修方案中挑选一个，然后还能在此基础进行部分的修改定制。

学习 seaborn [03]: 线性回归图

Wed, 09 Dec 2020 08:46:26 +0000

title: 学习 seaborn [03]: 线性回归图 slug: lmplot date: 2020-12-9 tags:

seaborn
python category: 数据分析 link: description: type: text

线性关系可视化

此线性可视化并非统计关系中的折线图，而是excel做图中的趋势线概念，对x、y关系进行线性拟合得到关系式，对关系式的绘图。

seaborn的线性可视化不直接提供拟合关系式的各具体参数，只绘制出趋势线和置信区间，从而引导和帮助进行数据关系探索。

主要用到两个函数：

lmplot()：FacetGrid级函数，可绘制多子图；将data作为必须参数，x和y变量必须被指定为字符串。
regplot()：轴级函数。x和y可以是简单的 numpy 数组，pandas Series对象，或者作为对传递给data的 pandas DataFrame对象。

1
2
3
4
5
6
7
8


import seaborn as sns
import pandas as pd
import numpy as np
%matplotlib inline

sns.set()
tips = pd.read_csv('seaborn-data-master/tips.csv')
display(tips)

	total_bill	tip	sex	smoker	day	time	size
0	16.99	1.01	Female	No	Sun	Dinner	2
1	10.34	1.66	Male	No	Sun	Dinner	3
2	21.01	3.50	Male	No	Sun	Dinner	3
3	23.68	3.31	Male	No	Sun	Dinner	2
4	24.59	3.61	Female	No	Sun	Dinner	4
...	...	...	...	...	...	...	...
239	29.03	5.92	Male	No	Sat	Dinner	3
240	27.18	2.00	Female	Yes	Sat	Dinner	2
241	22.67	2.00	Male	Yes	Sat	Dinner	2
242	17.82	1.75	Male	No	Sat	Dinner	2
243	18.78	3.00	Female	No	Thur	Dinner	2

244 rows × 7 columns

学习 seaborn [02]: 条形图、线箱图 & 分类散点图

Thu, 03 Dec 2020 06:06:00 +0000

可视化分类数据

可视化分类数据的统一FacetGrid图级接口为catplot()函数，通过kind参数，可以选择轴级函数有：

分类散点图:
- stripplot() (with kind=“strip”; the default)
- swarmplot() (with kind=“swarm”)
分类分布图:
- boxplot() (with kind=“box”)
- violinplot() (with kind=“violin”)
- boxenplot() (with kind=“boxen”)
分类估计图:
- pointplot() (with kind=“point”)
- barplot() (with kind=“bar”)
- countplot() (with kind=“count”)

条形图

绘制两种不同的条形图：

barplot() 或 catplot(kind=‘bar’)：x为分类，y为该分类下的数据的估计值；需要给x、y赋值。
countplot() 或 catplot(kind=‘count’)：x为分类，y为该分类下的数据的数量；只需给x赋值。

两种图形的其他参数使用方法一致。

学习 seaborn [01]: 散点图 & 线型图

Mon, 30 Nov 2020 08:58:29 +0000

title: 学习 seaborn [01]: 散点图 & 线型图 slug: seaborn-scatter-line date: 2020-11-30 tags:

seaborn
python category: 数据分析 link: description: type: text

可视化统计关系

表示统计关系的图分为散点图和线型图两类。统一的FacetGrid图级接口函数为relplot()。

散点图

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


import seaborn as sns
import pandas as pd
%matplotlib inline


# seaborn预设主题：darkgrid（默认），whitegrid，dark，white 以及 ticks
sns.set()
# 导入数据集。由于sns.load_dataset连接不上服务器，使用pandas导入本地下载的数据集
tips = pd.read_csv('seaborn-data-master/tips.csv')
display(tips)

	total_bill	tip	sex	smoker	day	time	size
0	16.99	1.01	Female	No	Sun	Dinner	2
1	10.34	1.66	Male	No	Sun	Dinner	3
2	21.01	3.50	Male	No	Sun	Dinner	3
3	23.68	3.31	Male	No	Sun	Dinner	2
4	24.59	3.61	Female	No	Sun	Dinner	4
...	...	...	...	...	...	...	...
239	29.03	5.92	Male	No	Sat	Dinner	3
240	27.18	2.00	Female	Yes	Sat	Dinner	2
241	22.67	2.00	Male	Yes	Sat	Dinner	2
242	17.82	1.75	Male	No	Sat	Dinner	2
243	18.78	3.00	Female	No	Thur	Dinner	2

244 rows × 7 columns

利用 Python 计算基金组合指数

Fri, 13 Nov 2020 07:20:22 +0000

练习Python，计算指数基金组合对应的指数，并绘制变化趋势。

基金组合信息

基金组合中一共有 7 支基金，分别为a,b,c,d,e,f,g。创建一个 Dataframe 用来存放各支基金在组合中的份额占比以及跟踪的指数。指数代码从新浪财经查找。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


import pandas as pd

data1 = {'rate': [0.2097, 0.0989, 0.0966, 0.0884, 0.2174, 0.1906, 0.0984],
 'indexname': ['上证指数',
 '中证500',
 '沪深300',
 '上证指数',
 '上证指数',
 '深证金融地产行业指数',
 '上证指数'],
 'indexnum': ['sh000001', 'sh000905', 'sh000300', 'sh000001', 'sh000001', 'sz399619', 'sh000001']
 }
df1 = pd.DataFrame(data1, index=list('abcdefg'))
display(df1)

	rate	indexname	indexnum
a	0.2097	上证指数	sh000001
b	0.0989	中证500	sh000905
c	0.0966	沪深300	sh000300
d	0.0884	上证指数	sh000001
e	0.2174	上证指数	sh000001
f	0.1906	深证金融地产行业指数	sz399619
g	0.0984	上证指数	sh000001

获取各指数历史数据

利用 AkShare 获取各指数的历史数据。因为股票基金是以收盘价定价，所以只需要各指数的收盘价来合成基金组合的对应指数。

kit，一个办公文档管理工具

Tue, 20 Oct 2020 11:08:43 +0000

项目背景

kit，一个用于管理工作文档版本的工具。项目地址：https://github.com/tsingkk/kit。

编写这个工具的目的有两个：

自学练习 Python 编程；
学以致用，试图解决自身工作中，文件和版本过多导致分不清文件版本的问题。

勘察设计行业的工作成果为设计文件，以 Word 文档和 CAD 图纸这类二进制文件为主，有别于 IT 行业常用文本文件。git 并不适合用于管理二进制文件，但非常喜欢 git 对版本的管理流程，因此就参考 git 的一般操作流程，写了 kit。对，名字也是模仿的。对 git 的模仿也仅限于操作流程和名字，原因是作为非专业人员看不懂 git 的代码和算法。对版本的管理流程也根据自己工作需要做了简化。

练手 Matplotlib | 西咸地区总人口变化趋势

Thu, 31 Oct 2019 08:02:35 +0000

起因

之前分析过近年来西安市和陕西省的人口变化趋势，发现西安市人口不断在增长，陕西省人口数量基本持平。

昨天无意中看到一个说法，西安市和咸阳市总人口数量近年来基本没变化，于是想验证下是否如此，顺便练手 matplotlib 做图。

采用常住人口数据，2018年之前数据来自《陕西区域统计年鉴2018》，2018年数据来自相应省市的《2018年国民经济和社会发展统计公报》。

做图

人口数据保存在 .csv 文件里，所以先读取。

解决 VS Code 中找不到 pep8

Fri, 18 Oct 2019 11:04:35 +0000

之前在VS Code配制好了pep8，今天忽然发现自动纠错没有提示。在 Python: 选择 linter 插件选项中，找不到pep8了。

搜了下，在这篇文章找到解决办法：rename pep8 linter to pycodestyle。

就是说， vscode-python 项目中，pep8 改名字叫 pycodestyle。于是在 Python: 选择 linter 插件中选择 pycodestyle，就OK。

利用 Python 批量获取县镇运输距离

Sat, 28 Sep 2019 13:04:46 +0000

起因

最近做规划项目，领导让查出某几个市的所有乡镇级行政区域，距离所在县级行政中心的交通运输距离。想着也不是啥难事儿，高德地图一搜就有。

当我把各市行政区划统计完，发现一共有五百多个乡镇，意味着要在地图上搜索五百多次，立马脑仁疼。

于是我把任务分工给了其他同事，几个人同时查，能快点。

看看，思维就是这么僵化，没有立刻意识到重复劳动也许可以借助计算机来自动完成。

边查数据边想，以后还会有此类任务，到时候没同事帮忙可咋办，虽然不费脑力，却消耗大量时间。忽然意识到，我会基本的 Python 啊，搜搜网上有没有自动查距离的教程。

练手 Matplotlib | 西安人口数量变化

Tue, 30 Jul 2019 13:41:25 +0000

Matplotlib练手1

用Matplotlib做图，可视化近几年西安常住人口数量变化。

数据来源

所用数据来自《陕西区域统计年检 2018》（2000 年~2017年数据）、2018 年陕西省国民经济和社会发展统计公报（2018年数据）、2018 年西安市国民经济和社会发展统计公报（2018年数据）。

绘图

先采用折线图看下西安市与陕西省近几年的常住人口数量变化。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


%matplotlib inline
import matplotlib.pyplot as plt
from pylab import mpl

mpl.rcParams['font.sans-serif'] = ['simhei'] # 指定默认字体
mpl.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显示为方块的问题
mpl.rcParams['figure.figsize'] = (8.0, 6.0)

y = [2000, 2005, 2006, 2007, 2008, 2009, 2010, 2011, 2012, 2013, 2014, 2015, 2016, 2017, 2018]
people_xian = [688.01, 806.81, 822.52, 830.54, 837.52, 843.46, 847.41, 851.34, 855.29, 858.81, 862.75,
 870.56, 883.21, 961.67, 1000.37]
people_shanxi = [3644, 3690, 3699, 3708, 3718, 3727, 3735, 3743, 3753, 3764, 3775, 3793, 3813, 3835, 3864.40]
p1, = plt.plot(y, people_xian)
p2, = plt.plot(y, people_shanxi)
plt.xlabel('年份')
plt.ylabel('常住人口数/万人')
plt.xticks(range(2000, 2019, 1), rotation=60)
plt.legend([p1, p2], ["西安市", "陕西省"], loc=0)
plt.show()

用 python 转换博客文章，从 Farbox 到 Nikola

Sun, 21 Oct 2018 10:13:56 +0000

起因

大概是年初，发现一款 Python 驱动的静态博客生成工具 Nikola。因为一直想学 Python，而且 Nikola 能够直接支持 Jupyter 格式的博文，不像其他博客系统需要额外插件和配置，所以就开始用 Nikola 写博客，同时可以倒逼自己学习 Python。恩，虽然那时 Python 也没咋学，更别提做数据分析，逼格反正先装到位了。

之前几年一直用 Farbox 博客，而后用 Typecho 做了几个月博客。改用 Nikola 后，虽然依然支持 Markdown 写的文章，但要求的文章的 front-matter 格式不同于 Farbox，也无法显示直接在 Typecho 中插入的图片。因此需要把用 Nikola 之前的所有博客文章做适当修改，转换为 Nikola 要求的格式。

配置 atom 的 python 环境

Thu, 07 Jun 2018 13:05:53 +0000

安装Atom

官方网站直接下载安装包：https://atom.io/。

#配置Atom的安装源

由于Atom自带扩展安装源可能国内连接不上，做如下配置：

~/.atom文件夹下新建.apmrc 的文本文件，添加淘宝源：

1
2
3
4



registry=https://registry.npm.taobao.org/

strict-ssl=false

若电脑商安装有npm，则再运行如下命令：

1
2

npm config set registry https://registry.npm.taobao.org

最后运行：

1
2

apm install --check

若显示：

Checking for native build tools done

则问题解决，可放心安装扩展了。

安装支持Python的相关扩展

可以从Atom的扩展管理器搜索安装，不过直接用apm install xxx（扩展名）命令比较快。

64位windows7下安装ipython

Fri, 09 May 2014 00:00:00 +0000

系统： Windows 7，64位

步骤：

安装python环境。有很多打包好的版本可以选择。这里下载的是Anaconda，包括了python以及常用的科学计算python库，并将所有python文件放在一个文件夹中。下载完后点击安装。

安装setuptools。点击进入下载页面，下载Windows版的。用python运行安装。安装好后还不能用，存在错误，据说是python2.7的bug。使用时出现的错误如下：命令行中运行
```
easy_install pyreadline
```
最后一行显示
```
UnicodeDecodeError: 'ascii' codec can't decode byte
```
解决办法：参考《Python 2.7安装setuptools时的UnicodeDecodeError解决办法》，将作者修改好的mimetypes.py文件替换电脑中～/Anaconda/lib下同名文件，并删除该文件夹下mimetypes.pyc文件。

学习Python(1)

Wed, 01 Jan 2014 00:00:00 +0000

半年前就打算学习python，目的是科学计算。虽然纯属兴趣，但也花了一下午查找有关的python的资料。从起源，到发展历史，再到现今使用状况，还对比了下python和时下很火的ruby，发现两者有着截然相反的设计哲学。网络上大侠们说ruby是一种魔法语言，一个问题可以有多种方法去解决，而python简洁严格，解决问题的方法往往明了单一。虽然没接触过ruby，但本着大道至简的想法，以及丰富的有关科学计算及绘图的函数包，投向python的怀抱。而且由于本身系统内就集成了python包，在linux下使用python感觉就像在食堂吃饭，虽无浪漫新意，但却天经地义。