把 Excel 公式、表格操作和 Python 写法并排放在一起,先建立映射,再补细节。
示例点“运行”即可执行,不用装 Python。首次运行需联网加载运行时。
每题即时反馈;每章可标记完成,进度保存在浏览器本地,下次接着学。
Chapter 01 · Excel basics
先认识 Excel:表格、公式和函数
没学过 Excel 也没关系。这一章先不要求你写 Python,只把四件事讲清楚: 表格怎么存数据、公式怎么算、函数怎么用、填充柄怎么重复。 最后用一段代码演示对应关系,让你先建立直觉。
1.1 一张表由什么组成
打开 Excel,你看到的是一个工作簿,也就是一个文件,后缀通常是 .xlsx。
工作簿里可以有多张工作表,底部标签上写着 Sheet1、Sheet2。
每张表由列和行组成:列用字母 A、B、C 表示,行用数字 1、2、3 表示。
行列交叉的格子叫单元格,它的地址就是“列字母 + 行号”,例如 A1、B2、C10。
| 名称 | 是什么 | 例子 |
|---|---|---|
| 工作簿 Workbook | 整个文件 | 成绩单.xlsx |
| 工作表 Sheet | 文件里的一页 | Sheet1、期末 |
| 列 Column | 从上到下的一竖排 | A、B、C |
| 行 Row | 从左到右的一横排 | 1、2、3 |
| 单元格 Cell | 行与列的交叉点 | B2 |
做数据分析时,最好让第一行是列名(表头),下面每一行是一条完整记录, 中间不要插空行、不要合并单元格。这样 Excel 能排序筛选,Python 也能直接读懂。
“姓名、专业、成绩”各占一列,每个学生占一行。这种“长表”看起来朴素,却是最容易被程序处理的格式。
1.2 公式:让单元格自己算
在单元格里先输入等号 =,Excel 就知道这是公式,而不是一段文字。
公式里可以写数字、单元格地址和运算符。下面假设 B2 是 84,C2 是 91。
| 公式 | 含义 | 结果 |
|---|---|---|
=B2+C2 | 相加 | 175 |
=B2*0.6+C2*0.4 | 按比例加权 | 86.8 |
=C2/B2 | 相除 | 约 1.08 |
=B2^2 | 平方 | 7056 |
=(B2+C2)/2 | 括号里先算 | 87.5 |
关键在“引用”:公式写的是 B2,不是 84。改动 B2 的值,公式结果会自动更新。 这让 B2 很像一个有名字的存储位置——也就是后面要讲的“变量”的雏形。
1.3 函数:打包好的公式
函数是 Excel 预先写好的公式,有名字、有参数、有返回值。
写法是 =函数名(参数),多个参数用逗号隔开。
参数可以是一个数字、一个单元格,也可以是一段区域,例如 B2:B10 表示从 B2 到 B10 的一整列。
| 函数 | 写法 | 作用 |
|---|---|---|
SUM | =SUM(B2:B10) | 把区域里的数字相加 |
AVERAGE | =AVERAGE(B2:B10) | 求平均值 |
MAX / MIN | =MAX(B2:B10) | 找最大值 / 最小值 |
COUNT | =COUNT(B2:B10) | 数一数区域里有几个数字 |
IF | =IF(B2>=60,"及格","不及格") | 条件成立返回第一个值,否则返回第二个 |
COUNTIF | =COUNTIF(C2:C10,"中文") | 统计满足条件的单元格个数 |
VLOOKUP | =VLOOKUP(A2,表2!A:C,3,0) | 按一个值去另一张表里查对应信息 |
函数的意义是复用:SUM 的逻辑别人已经写好了,你只要提供“对哪块区域算”。
Python 里的 sum()、len()、round() 是同一个思路,
只不过参数和返回值的写法不同。
1.4 填充柄:重复操作的雏形
选中一个单元格,右下角会出现一个小方块,叫填充柄。
按住它向下拖动,公式会按行复制:B2 里的公式拖到下一行就变成 B3,再下一行变成 B4。
如果 B2 写的是 =A2*1.1,拖十行就等于对十个数据做了同样的计算。
这其实就是“对每一项重复同一件事”。数据少的时候拖动很方便; 但如果有一万行,或者要处理的不是一张表而是几十个文件,手工拖动就不现实了。 程序里的“循环”就是把这个动作写成一句话,让电脑自己重复。
1.5 变量:给数据起个名字
Excel 用地址 B2 指代一个格子,但 B2 只说明位置,不说明含义。
Excel 也允许给单元格或区域起名字:选中 B2,在左上角的名称框里输入 usual,
以后就可以直接写 =usual*0.6。名字比地址更容易读懂。
这就是“变量”的思想:用一个有意义的名字保存一个值,之后通过名字使用它。
Python 里写 usual = 84,和 Excel 把 B2 命名为 usual,本质上是一回事。
| Excel | Python | 共同点 |
|---|---|---|
单元格 B2 | 变量 score | 有名字的存储位置 |
名称框命名为 usual | usual = 84 | 给值起一个有意义的名字 |
公式 =usual*0.6 | usual * 0.6 | 用名字参与计算 |
函数 =SUM(B2:B10) | sum(scores) | 打包好的操作,传入数据、得到结果 |
| 向下拖动填充柄 | for 循环 | 对每一项重复同一件事 |
1.6 先跑一次:填充柄变成循环
下面这段代码先不用完全看懂,只要注意它和 Excel 的对应关系:
列表 scores 相当于一列数据,for 循环相当于向下拖动填充柄。
输出正好三行,对应三行数据。把 scores 改成四个数,程序会自动多处理一行,
不需要再拖一次填充柄——这就是“写一次、反复用”的好处。
=SUM(B2:B10) 的作用是?
B2:B10 包含 B2、B3 …… B10 共 9 个格子。SUM 把它们全部相加;求平均用 AVERAGE,数格子用 COUNT。
Chapter 02 · Mindset
从“会用软件”到“会写步骤”
Excel 让你点一下、得一个结果;Python 让你写几条命令、处理一整批数据。 Python 做的是同一件事,只是把操作写成可以反复运行、可以检查的步骤。
2.1 你已经会的,其实都能映射过来
不必把 Python 当成一门全新的东西。你在 Excel 里形成的直觉, 大部分都能找到对应的写法,只是名字和形式不同。
| 你熟悉的操作 | 在 Python 里对应什么 |
|---|---|
Excel 的单元格 A2 | 有名字的变量,例如 score |
公式 =B2*0.6+C2*0.4 | 表达式 usual * 0.6 + final * 0.4 |
| 向下拖动填充柄 | for 循环或列表推导式 |
VLOOKUP 查表 | 字典 .get();表格用 pandas merge |
COUNTIF / SUMIF | 条件计数 sum(...);pandas value_counts() |
| 数据透视表 | groupby / pivot_table |
| 插入柱状图、折线图 | Matplotlib |
| Excel 的工作表、行、列 | pandas 的 DataFrame、行、列 |
| 对每一行重复同样的操作 | 遍历列表或 DataFrame |
| “筛选” + “排序” | 布尔筛选 + sort_values() |
2.2 三个需要转变的观念
- 从“点一次”到“写一次”:Excel 里改完公式要重新拖一遍;Python 脚本写好后,换一份数据再运行一次就行。
- 从“单元格地址”到“有名字的变量”:
B2只说明位置,score说明含义。名字起得好,代码就是一份能执行的说明书。 - 从“记住菜单”到“查文档 + 试错”:没有人背得完所有函数。会查、会改、会看报错,比背语法重要得多。
报错不是“你不行”,而是 Python 在告诉你哪一行没看懂。先读最后一行,通常就能知道是拼写错误、少了冒号,还是数据类型不对。
2.3 Python 能替你做什么
- 批量处理:一次清洗几十份问卷、几百个文本文件,而不是逐个打开。
- 可重复:论文附录里的数据清洗过程可以写成脚本,换数据后一键重跑。
- 能处理文本:统计词频、提取关键词、清理标点和空格,这些 Excel 做起来很费劲。
- 能连接更多工具:Excel 文件、CSV、网页、数据库,都可以用同一套代码读取和分析。
2.4 这本教程怎么用
- 先看对照表,把旧经验映射到新写法,不必从零背概念。
- 每段可运行的代码都点一次“运行”,再改一两个数字或文字,观察输出变化。
- 每章末尾的小测用来校准直觉;做错没关系,解析里会说明原因。
Excel 里“写好一个公式后向下填充”的操作,最接近 Python 的哪种写法?
for 循环或列表推导式表达同一件事,而且能处理任意长度的数据。
Chapter 03 · Basics
基础语法:把 Excel 公式写成程序
变量、数字、字符串、输出。你熟悉的“单元格 + 公式”在这里变成“变量 + 表达式”, 写法不同,思路几乎一样。
3.1 第一个程序:变量与 f-string
变量就是一个有名字的盒子,把数据放进去,后面用名字取出来。 Python 不需要提前声明类型,数字、文字、真假值都可以直接赋值。
f"..." 叫 f-string:字符串前面加 f,里面用 {变量} 插入值。
它相当于 Excel 的 CONCATENATE,但不用把一段文字拆成很多小格子。
3.2 数字与运算符
Python 的数字类型主要有整数 int 和小数 float。
运算符和 Excel 公式非常接近,但有两个地方要特别注意:幂是 **,
判断相等是 ==。
| Excel 写法 | Python 写法 | 说明 |
|---|---|---|
=A2+B2 | a + b | 加减乘除同理 |
=A2^2 | a ** 2 | ^ 在 Python 里是位运算,不是幂 |
=MOD(A2,3) | a % 3 | 取余数 |
=INT(A2/3) | a // 3 | 整除,向下取整 |
=ROUND(A2,1) | round(a, 1) | 四舍五入到 1 位小数 |
=IF(A2>=60,"及格","不及格") | "及格" if a >= 60 else "不及格" | 条件表达式 |
=LEN(A2) | len(a) | 字符个数 |
=UPPER(A2) | a.upper() | 转大写 |
=TEXT(A2,"0.0%") | f"{a:.1%}" | 格式化成百分比 |
/永远得到小数:7 / 2是3.5,不是3。//才是整除:7 // 2是3;对负数是向下取整。- 比较运算返回
True或False,例如85 >= 60、"A" == "A"。 - Excel 的
TRUE/FALSE在 Python 里写作True/False,首字母大写。
3.3 字符串:处理姓名、专业和问卷答案
字符串用单引号或双引号都可以:"中文"、'中文'。
方括号用来取其中一段,位置从 0 开始数。注意这和 Excel 的 MID() 不同:
Excel 从 1 开始数,Python 从 0 开始。
text = "社会工作"
print(text[0]) # 社:第一个字符
print(text[-1]) # 作:最后一个字符
print(text[0:2]) # 社会:从 0 开始,取到 2 之前
print(len(text)) # 4:字符个数
print(text + "专业") # 拼接
print(text * 2) # 重复
print(f"{text},你好") # f-string
| Excel | Python | 作用 |
|---|---|---|
TRIM() | s.strip() | 去掉两端空格 |
UPPER() / LOWER() | s.upper() / s.lower() | 转大写 / 小写 |
MID() | s[start:end] | 取子串 |
SUBSTITUTE() | s.replace(old, new) | 替换文字 |
FIND() | s.find(sub) | 查找位置,找不到返回 −1 |
| “分列” | s.split(",") | 按分隔符切成列表 |
+ 连接文字 | sep.join(items) | 用分隔符把多段文字连起来 |
3.4 输出与格式:让结果能直接放进报告
print() 可以一次输出多个值,默认用空格隔开。
需要控制小数位、百分比、宽度时,用 f-string 的格式说明符。
| 写法 | 输出示例 | 用途 |
|---|---|---|
f"{3.14159:.2f}" | 3.14 | 保留 2 位小数 |
f"{0.8734:.1%}" | 87.3% | 百分比 |
f"{1234567:,}" | 1,234,567 | 千分位 |
f"{42:08.2f}" | 00042.00 | 总宽 8,补零 |
f"{'py':^7}|" | py | | 居中对齐 |
3.5 注释、命名与代码块
- 注释:
#后面的内容不会执行,用来解释“为什么这样做”。 - 命名:变量用英文小写加下划线,例如
total_score;不要用a1、b2这种看不出含义的名字。 - 缩进:Python 用缩进表示“哪些行属于同一个代码块”。同一块必须对齐,推荐 4 个空格。
- 大小写:
Score和score是两个不同的名字。 - 保存:源文件用
.py后缀,默认使用 UTF-8 编码,中文可以直接写。
# Excel: =B2*0.6+C2*0.4
usual, final = 84, 91
total = usual * 0.6 + final * 0.4
# Excel: =IF(D2>=60,"及格","不及格")
result = "及格" if total >= 60 else "不及格"
# Excel: =TEXT(D2,"0.0")
print(f"总评 {total:.1f},{result}")
7 / 2 的结果是什么?
/ 是真除法,结果一定是浮点数,所以是 3.5。想要整数商用 7 // 2,结果是 3。
Chapter 04 · Containers
列表与字典:一列数据、一条记录
Excel 的一列、表格里的一行,在 Python 里分别对应列表和字典。 先把这两种容器用熟,后面处理整张表就顺了。
4.1 列表:可以装很多值的一列
列表用方括号写:scores = [88, 92, 79]。
它相当于 Excel 的一列。位置从 0 开始,-1 表示最后一个。
| 操作 | Python 写法 | Excel 里的感觉 |
|---|---|---|
| 取第 1 个 | scores[0] | 选第一格 |
| 取最后 1 个 | scores[-1] | 拉到最下面 |
| 取前 3 个 | scores[:3] | 选中前 3 格 |
| 追加一个 | scores.append(73) | 在末尾插入一行 |
| 个数 / 总和 | len(scores) / sum(scores) | COUNT / SUM |
| 最大 / 最小 | max(scores) / min(scores) | MAX / MIN |
| 排序 | sorted(scores) | 升序排列 |
| 是否存在 | 88 in scores | 查找某个值 |
sorted() 返回一个新列表,原来的列表不变;scores.sort() 则直接修改原列表。
刚开始建议优先用 sorted(),不容易把原数据弄乱。
4.2 字典:列名到值的一行记录
字典用花括号写,每一对是“键: 值”。它最像表格里的一行:
姓名 是列名,"小林" 是这一行的值。
用键取值比用位置取值更清楚,也不怕以后加列打乱顺序。
student = {
"姓名": "小林",
"专业": "汉语言文学",
"成绩": 88,
}
print(student["姓名"]) # 小林
print(student.get("籍贯", "未填写")) # 没有这一列时给默认值
student["成绩"] = 92 # 修改一个列的值
student["年级"] = "大二" # 新增一列
print(student)
在 Excel 里,一行记录有哪些字段由表头决定;在 Python 里,字典的键就扮演表头的角色。用 d.get(key) 或 key in d 判断字段是否存在,比记住“第几列”更可靠。
4.3 把多条记录放进一个列表
一张表就是“字典的列表”:列表表示很多行,字典表示一行里的各个列。 pandas 的 DataFrame 本质上也是这个结构,只是功能更强。
students = [
{"姓名": "小林", "专业": "中文", "成绩": 88},
{"姓名": "小周", "专业": "历史", "成绩": 92},
{"姓名": "小陈", "专业": "哲学", "成绩": 79},
]
for row in students:
print(row["姓名"], row["成绩"])
注意 scores[5] 会报 IndexError,因为 5 个元素的下标是 0 到 4。
拿不准时先用 len() 看一眼长度,或者用 scores[-1] 取最后一个。
列表 scores = [88, 92, 79],要取最后一个值 79,写法是?
-1 是最后一个。列表长度为 3 时,合法下标是 0、1、2,所以 scores[3] 会越界。
Chapter 05 · Control flow
条件与循环:让程序替你逐行处理
Excel 的 IF、筛选和填充柄,
在 Python 里就是 if、for、while。掌握这三件事,就能批量处理数据。
5.1 if / elif / else:把条件写清楚
条件后面必须跟冒号,下一行缩进表示“条件成立时执行什么”。
Python 没有 End If,缩进结束,条件块就结束了。
score = 86
if score >= 90:
level = "优秀"
elif score >= 80:
level = "良好"
elif score >= 60:
level = "合格"
else:
level = "不合格"
print(level) # 良好
elif是 else if 的缩写,可以写多个。- 判断顺序:从上往下,命中一个就不再检查后面的分支。所以范围要从大到小或从小到大排好。
- 比较运算符:
>、>=、<、<=、==、!=。 - 不要写成
=:=是赋值,==才是“是否相等”。
5.2 for:填充柄的自动化版本
for 的意思是“对集合里的每个元素,做一遍下面的事”。
它相当于把 Excel 的填充柄一次拖到底,只是不依赖“当前选中哪一格”这种隐藏状态。
scores = [88, 92, 79, 95]
for score in scores:
print(score, "分")
# 需要序号时用 enumerate,从 1 开始更符合报告习惯
for i, score in enumerate(scores, start=1):
print(f"第 {i} 位:{score} 分")
# range 生成一串数字:1、2、3、4
for n in range(1, 5):
print(n)
填充柄一次只能处理一列;for 循环把每个元素直接交给你,可以做更复杂的判断。读取整张表时,pandas 更鼓励“整列计算”,而不是逐行修改。
5.3 while 与 break / continue
while 在条件成立时反复执行,适合“不知道要循环几次”的场景。
break 立刻跳出循环,continue 跳过本次、进入下一次。
如果条件永远不变成假,程序会卡住,所以循环体里一定要有让条件改变的语句。
count = 0
while count < 3:
count += 1
print("第", count, "次")
# 在列表里找第一个不及格的分数
for score in [88, 92, 58, 79]:
if score < 60:
print("找到不及格:", score)
break
5.4 列表推导式:一行完成“整列计算”
格式是 [表达式 for 变量 in 列表 if 条件],读作“对每个元素,满足条件就计算一次”。
它相当于 Excel 里整列套用同一个公式,但更灵活。
scores = [88, 92, 79, 95, 61]
# 每人加 5 分
bonus = [s + 5 for s in scores]
# 只保留及格分数
passed = [s for s in scores if s >= 60]
print(bonus) # [93, 97, 84, 100, 66]
print(passed) # [88, 92, 79, 95, 61]
list(range(1, 5)) 得到什么?
range(start, stop) 包含起点、不包含终点,所以从 1 到 4。想要 1 到 5 应写 range(1, 6)。
if / elif 判断时,如果第一个条件已经成立,后面的条件还会检查吗?
if/elif/else 是一组互斥分支,从上往下检查,命中后其余分支都不再执行。这就是为什么范围判断要注意先后顺序。
Chapter 06 · Functions
函数:把常用操作打包成一个名字
你在 Excel 里用 SUM、AVERAGE,本质就是“给一段操作起个名字”。
Python 用 def 做同样的事,只是规则由你自己定义。
6.1 def 与 return
函数接收参数、执行一段代码、用 return 把结果交回来。
没有 return 的函数返回 None,表示“没有结果”。
def level(score):
"""把百分制成绩转成五级制。"""
if score >= 90:
return "优秀"
if score >= 80:
return "良好"
if score >= 60:
return "合格"
return "不合格"
print(level(86)) # 良好
print(level(58)) # 不合格
三引号里的文字叫文档字符串,用 help(level) 可以查看。
它相当于给函数写一句说明书,别人(包括三个月后的你)会感谢你。
6.2 默认参数与关键字参数
参数可以带默认值,调用时省略就用默认值。
调用时写 average(scores, digits=2) 叫关键字参数,意思更清楚,也不怕参数顺序记错。
def average(values, digits=1):
return round(sum(values) / len(values), digits)
scores = [88, 92, 79, 95, 85]
print(average(scores)) # 87.8
print(average(scores, digits=2)) # 87.8
print(average(scores, 0)) # 88.0
6.3 函数也是“规则”,可以传给排序
sorted() 和 list.sort() 都接受 key= 参数,用来指定“按什么排序”。
lambda 是只写一行的临时函数,适合这种小规则。
students = [("小林", 88), ("小周", 95), ("小陈", 79)]
# 按分数从高到低
students.sort(key=lambda item: item[1], reverse=True)
print(students)
# 按姓名排序
print(sorted(students, key=lambda item: item[0]))
6.4 作用域:函数内部的变量外面看不到
- 函数里定义的变量是局部变量,函数执行完就消失。
- 函数可以读取外面的变量,但修改它需要谨慎;优先通过参数传入、通过返回值传出。
- 少用
global。它会让数据流向变得难以追踪,也让调试变难。
一个函数执行了 print(),但没有写 return,调用它会返回什么?
return 时,Python 自动返回 None。打印和返回是两件事:print() 把内容显示到屏幕,return 把值交给调用者。
Chapter 07 · Text
文本处理:清洗问卷与文章
文科生处理的数据,很多不是数字,而是姓名、答案、段落和文件名。 Python 的字符串方法就是一把把剪刀和胶水,能把杂乱的文字整理成可统计的形式。
7.1 清洗三件套:strip、split、join
s.strip():去掉两端空格、换行和制表符。问卷答案里最常见的“看不见的字符”就是它们。s.split(分隔符):按分隔符切开,得到列表。Excel 的“分列”就是这件事。分隔符.join(列表):把多段文字用同一个分隔符连起来,是split的反操作。
raw = " 非常满意; 满意; 一般; 满意 "
answers = raw.strip().split(";")
print(answers) # ['非常满意', ' 满意', ' 一般', ' 满意']
answers = [a.strip() for a in answers]
print(answers) # ['非常满意', '满意', '一般', '满意']
print(" / ".join(answers)) # 非常满意 / 满意 / 一般 / 满意
先 strip() 再 split(),是清洗文本的固定顺序。
如果先切分,每个片段两端的空格还在,后面统计时就会把 "满意" 和 " 满意" 当成两个不同的答案。
7.2 查找、替换与判断
| 需求 | Python 写法 | 结果 |
|---|---|---|
| 是否包含某词 | "数据" in text | True / False |
| 替换文字 | text.replace("旧", "新") | 返回新字符串 |
| 查找位置 | text.find("数据") | 下标;找不到返回 −1 |
| 出现次数 | text.count("数据") | 整数 |
| 是否以某词开头 | text.startswith("第") | True / False |
| 是否以某词结尾 | name.endswith(".csv") | True / False |
字符串是不可变的:replace() 不会改动原来的字符串,
而是返回一个新字符串。所以必须写 text = text.replace(...),否则结果就丢了。
7.3 正则表达式:按“模式”找文字
当要找的不是固定文字,而是“连续 8 个数字”“像邮箱的片段”时,用 re 模块。
正则表达式写起来像密码,但最常用的只有几个符号:
\d 数字、\w 字母数字下划线、+ 一个或多个、* 零个或多个。
import re
text = "联系电话:010-12345678,邮箱:teacher@example.com"
phones = re.findall(r"\d{3}-\d{8}", text)
emails = re.findall(r"[\w.]+@[\w.]+", text)
print(phones) # ['010-12345678']
print(emails) # ['teacher@example.com']
字符串前面的 r 表示“原始字符串”,里面的反斜杠不当作转义。
写正则时建议总是加 r,可以少踩很多坑。
7.4 中文文本要额外注意什么
- 编码:读文件时统一用
encoding="utf-8",否则中文可能变成乱码。 - 标点:中文的逗号、句号、引号和英文不同,统计前通常要统一替换成空格。
- 分词:英文按空格切分就行;中文没有空格,正式分析通常用 jieba 等分词工具。本教程的示例先按空格和标点切分,重点理解流程。
- 停顿词: “的、了、是、在”等高频词通常不承载主题信息,统计词频时可以考虑过滤。
"甲,乙,丙".split(",") 的结果是?
split() 按分隔符把字符串切成列表,逗号本身不会保留。反过来,",".join(['甲', '乙', '丙']) 可以把列表重新连成字符串。
Chapter 08 · pandas
pandas:把 Excel 的活搬到代码里
pandas 是 Python 里处理表格的主力。它把整张表读进内存, 让你用一行代码完成筛选、排序、分组、透视和 VLOOKUP。
8.1 从表格到 DataFrame
DataFrame 就是一张带列名的表:每一列是一个 Series,
每一行是一条记录。可以把它理解成“不会限制 104 万行、可以写进版本控制的 Excel 工作表”。
| Excel 操作 | pandas 写法 |
|---|---|
| 选中 A 到 D 列 | df[["姓名", "专业", "成绩"]] |
| 筛选成绩大于 85 | df[df["成绩"] > 85] |
| 按成绩降序 | df.sort_values("成绩", ascending=False) |
| 新增一列公式 | df["新列"] = ... |
COUNTIF | (df["专业"] == "中文").sum() |
SUMIF | df.loc[df["专业"] == "中文", "成绩"].sum() |
| 删除重复行 | df.drop_duplicates() |
| 数据透视表 | df.pivot_table(...) |
| VLOOKUP | df.merge(另一张表, on="学号") |
| 填充空值 | df["列"].fillna(值) |
8.2 分组统计与数据透视表
Excel 的数据透视表做三件事:按行分组、按列分组、对值做汇总。
pandas 里对应的是 groupby() 和 pivot_table()。
区别是 pandas 的每一步都可以继续接方法,形成一条可读的处理链。
import pandas as pd
df = pd.read_csv("scores.csv", encoding="utf-8")
# 每个专业的平均分、最高分、人数
summary = df.groupby("专业").agg(
平均分=("成绩", "mean"),
最高分=("成绩", "max"),
人数=("学号", "count"),
)
print(summary.round(1))
# 行=专业,列=性别,值=平均分
pivot = df.pivot_table(
index="专业", columns="性别", values="成绩", aggfunc="mean"
)
print(pivot.round(1))
value_counts() 是“单列频数表”,相当于 Excel 里对一列做透视、只保留计数。
统计问卷单选题时,它往往是最快的一步。
8.3 VLOOKUP 与多表连接
VLOOKUP 的本质是“按一个共同的键,把另一张表的值匹配过来”。
pandas 用 merge():指定 on="学号",它会自动对齐两张表。
比 VLOOKUP 更安全的地方是:不需要数第几列,列的顺序变了也不影响。
8.4 读写 CSV 与 Excel
- CSV:
pd.read_csv("data.csv", encoding="utf-8")读,df.to_csv("out.csv", index=False)写。 - Excel:
pd.read_excel("data.xlsx")/df.to_excel("out.xlsx", index=False),需要额外安装openpyxl。 - 编码:Windows 上导出的 CSV 有时是 GBK;读出来乱码时试试
encoding="gbk"。 - 浏览器限制:网页示例不能直接读本地路径,所以演示时用
io.StringIO包住一段 CSV 文本。
import io
import pandas as pd
csv_text = """学号,专业,成绩
S01,中文,88
S02,历史,92
S03,中文,79
"""
df = pd.read_csv(io.StringIO(csv_text))
print(df)
print(df.groupby("专业")["成绩"].mean())
要筛选 df 中成绩大于 85 的行,正确写法是?
df["成绩"] > 85 会生成一列 True/False,再用它去筛选整张表。列名要加引号,条件要作用在列上。
df.groupby("专业")["成绩"].mean() 得到什么?
groupby("专业") 按专业分组,["成绩"] 选中成绩列,.mean() 对每组求平均,结果是一张“专业 → 平均分”的小表。
Chapter 09 · Visualization
数据可视化:让报告里有一张会说话的图
Excel 里点“插入图表”,在 Python 里是 Matplotlib。 图的类型、坐标轴、标题、颜色都能用代码控制,做好一次就能重复生成。
9.1 第一张图:柱状图
plt.subplots() 返回画布 fig 和坐标轴 ax。
之后所有绘图操作都作用在 ax 上:ax.bar() 画柱状图,
ax.set_title() 加标题,ax.set_ylabel() 加纵轴说明。
9.2 什么数据用什么图
| 想说明什么 | 用什么图 | Matplotlib 写法 |
|---|---|---|
| 不同类别的数量对比 | 柱状图 | ax.bar(labels, values) |
| 横向比较、类别名较长 | 条形图 | ax.barh(labels, values) |
| 随时间变化的趋势 | 折线图 | ax.plot(x, y) |
| 一组数值的分布 | 直方图 | ax.hist(values, bins=10) |
| 占比(类别很少时) | 饼图 | ax.pie(values, labels=labels) |
类别超过 5 个时,饼图通常很难读,柱状图或条形图更清楚。 想展示“分布形状”,直方图比柱状图合适,因为直方图会先把数值分段再计数。
9.3 让图适合放进报告
- 标题:一句话说明结论,而不只是“图 1”。例如 “Satisfaction rose in 2026”。
- 坐标轴:写清单位,不要让人猜。人数、百分比、分数要区分。
- 颜色:同一含义用同一颜色;突出某一项时再单独换色,不要七彩斑斓。
- 标注:在柱子上直接写数值,读者不用去对照坐标轴。
- 导出:
fig.savefig("chart.png", dpi=200, bbox_inches="tight"),高分辨率适合打印。
import matplotlib.pyplot as plt
# 折线图:看趋势
years = [2020, 2021, 2022, 2023, 2024]
enrollment = [120, 135, 128, 150, 162]
fig, ax = plt.subplots(figsize=(7, 3.4))
ax.plot(years, enrollment, marker="o")
ax.set_title("Enrollment over time")
ax.set_xlabel("Year")
ax.set_ylabel("Students")
ax.grid(alpha=0.3)
plt.tight_layout()
# 直方图:看分布
scores = [88, 92, 79, 95, 85, 61, 73, 100, 58, 84]
fig2, ax2 = plt.subplots(figsize=(7, 3.4))
ax2.hist(scores, bins=5, color="#4f9c7b", edgecolor="white")
ax2.set_title("Distribution of scores")
ax2.set_xlabel("Score")
ax2.set_ylabel("Count")
plt.tight_layout()
9.4 中文标题显示成方框怎么办
Matplotlib 默认字体不含中文字形,直接写中文标题可能出现一排方框。 本地运行时可以指定系统里的中文字体:
import matplotlib.pyplot as plt
# Windows 常见字体;macOS 可换成 "PingFang SC",Linux 可换成 "Noto Sans CJK SC"
plt.rcParams["font.sans-serif"] = ["Microsoft YaHei", "SimHei"]
plt.rcParams["axes.unicode_minus"] = False # 正常显示负号
plt.plot([1, 2, 3], [2, 4, 3])
plt.title("中文标题示例")
plt.show()
浏览器内的 Pyodide 环境没有预装中文字体,所以本页示例统一用英文标签。 真实项目在本地运行,按上面的方式设置字体即可。
想展示一组学生成绩的“分布形状”,最合适的图是?
Chapter 10 · Files
文件、异常与自动化
真实的数据放在文件里,真实的环境也总会出点小问题。 学会读写文件、处理报错、批量处理,才算真正把 Python 用起来。
10.1 用 pathlib 处理路径
pathlib.Path 把路径当成对象,取文件名、扩展名、父目录都很直观。
不要自己拼接字符串,也不要把 C:\Users\... 写死在代码里——换一台电脑就失效了。
| 需求 | 写法 | 结果示例 |
|---|---|---|
| 当前目录 | Path(".") | . |
| 拼接路径 | Path("data") / "scores.csv" | data/scores.csv |
| 文件名 | path.name | scores.csv |
| 主文件名 | path.stem | scores |
| 扩展名 | path.suffix | .csv |
| 父目录 | path.parent | data |
| 列出文件 | Path("data").glob("*.csv") | 所有 CSV 文件 |
10.2 读写 CSV:最通用的数据交换格式
CSV 就是“用逗号分隔的纯文本表格”,Excel、pandas 和大多数统计软件都能读写。
用 with open(...) 打开文件,代码块结束后会自动关闭,不需要手动 close()。
import csv
# 读:每行是一个列表
with open("scores.csv", encoding="utf-8", newline="") as f:
reader = csv.reader(f)
rows = list(reader)
print(rows[0]) # 表头
print(rows[1]) # 第一条数据
# 写:newline="" 可以避免 Windows 上多出空行
with open("result.csv", "w", encoding="utf-8", newline="") as f:
writer = csv.writer(f)
writer.writerow(["专业", "人数"])
writer.writerow(["中文", 42])
writer.writerow(["历史", 31])
需要按列名取值时,用 csv.DictReader:每一行变成字典,row["专业"] 就能直接读。
这比记住“第 3 列”可靠得多。
10.3 try / except:出错时给出提示,而不是直接崩溃
程序运行时可能遇到文件不存在、数字格式不对、除数为零等情况。
try 里放“可能出错的代码”,except 里放“出错后怎么办”。
try:
score = int("八十八")
except ValueError:
print("这不是一个整数,请检查输入。")
score = 0
try:
with open("missing.csv", encoding="utf-8") as f:
text = f.read()
except FileNotFoundError:
print("文件不存在,先检查路径和文件名。")
text = ""
print("程序继续运行,score =", score)
只捕获你预期会发生的错误,例如 FileNotFoundError、ValueError。直接写一个空的 except: 会把真正的 bug 也藏起来,之后更难排查。
注意输出里的 '成绩': '88':CSV 读进来默认都是字符串,
要参与计算得先转换,例如 int(row["成绩"])。
用 pandas 的 read_csv() 时它会自动推断数字类型,省掉这一步。
10.4 批量处理:一次改一百个文件
这是 Python 最实用的能力之一。下面的代码会把 photos 目录里所有
IMG_ 开头的图片改成中文名。它必须在本地运行,
浏览器示例不能直接访问磁盘。
from pathlib import Path
folder = Path("photos")
for old in folder.glob("*.jpg"):
new_name = old.stem.replace("IMG_", "旅行_") + old.suffix
new = old.with_name(new_name)
old.rename(new)
print(old.name, "->", new.name)
批量改名前,先复制一份文件夹,或者先把“旧名 → 新名”打印出来检查一遍。这类脚本一旦写错,很难一键撤回。
读取 CSV 时加上 try / except FileNotFoundError,主要作用是什么?
try/except 是错误处理,不会改变文件是否存在。它让程序在遇到预期错误时走备用方案,而不是直接中断。
Chapter 11 · Case studies
综合案例:从原始问卷到一页报告
六个由浅入深的小案例,覆盖频数、多选、成绩、文本、交叉分析和图表。 每个都能直接运行,末尾的“改一改”建议可以用来练手。
案例 1 · 单选题频数与百分比
把问卷答案放进列表,用字典计数,再用 f-string 输出百分比和简易条形图。 这是最基础、也最常用的一步:把一列文字变成一张频数表。
改一改:把 answers 换成你自己的问卷答案,或增加一个“说不清”选项,
观察百分比总和是否仍为 100%。四舍五入后各项相加可能略多于或略少于 100%,这是正常的。
案例 2 · 多选题拆分统计
多选题的每个答案通常用分号或逗号隔开。先按分隔符拆开,再对每个选项分别计数。 这是 Excel 里最麻烦、而 Python 最擅长的清洗任务之一。
改一改:把分隔符换成逗号,或在数据里加入空格,看看 strip() 是否必要。
案例 3 · 成绩分布与及格率
用标准库 statistics 算均值、中位数、标准差,再按分数段计数。
这比在 Excel 里写一列 IF 再拖拽要快,而且换数据只需重跑。
改一改:把分数线改成 70 分,或加入一个 0 分和一个 100 分,观察均值和中位数的变化。
案例 4 · 文本词频与常用词
collections.Counter 是统计词频的快捷工具。
先去掉中文标点,再按空格切分,就能得到一份粗略的词频表。
正式的中文分词需要 jieba 等工具,但流程是一样的。
改一改:把 most_common(5) 改成 most_common(10);再试着过滤掉“的、是、在”等停顿词。
案例 5 · 交叉分析:性别 × 满意度
交叉表是问卷分析的核心:同时按两个变量分组,看不同人群的答案是否有差异。
pandas 的 crosstab() 一行就能生成,groupby() 则适合继续算平均分。
改一改:把 crosstab 的第一个参数换成“年级”,看不同年级的满意度分布;再用 normalize="index" 输出行百分比。
案例 6 · 生成报告里的横向条形图
类别名称较长时,横向条形图比纵向柱状图更容易读。
bar_label() 会把数值标在条形末端,读者不用去对照坐标轴。
改一改:把 counts 改成你的问卷频数;再试试把颜色换成 "#4f9c7b",或按人数从多到少排序。
统计多选题时,为什么要先对每条记录做 split(";")?
pd.crosstab(df["性别"], df["满意度"]) 得到什么?
Chapter 12 · Reference
速查表、常见坑与下一步
最后把 Excel 的高频操作压成对照表,列出最容易踩的坑, 再给你一条继续自学的路线。这一页适合收藏,随用随查。
12.1 Excel → Python 速查
| 任务 | Excel | Python |
|---|---|---|
| 求和 | =SUM(B2:B10) | sum(scores) / df["成绩"].sum() |
| 平均 | =AVERAGE(B2:B10) | sum(xs) / len(xs) / df["成绩"].mean() |
| 条件计数 | =COUNTIF(A:A,"中文") | (df["专业"] == "中文").sum() |
| 条件求和 | =SUMIF(A:A,"中文",B:B) | df.loc[df["专业"] == "中文", "成绩"].sum() |
| 条件判断 | =IF(B2>=60,"及格","不及格") | "及格" if x >= 60 else "不及格" |
| 查找匹配 | =VLOOKUP(A2,Sheet2!A:C,3,0) | df.merge(other, on="学号") |
| 数据透视表 | 插入 → 数据透视表 | df.pivot_table(...) |
| 排序 | 数据 → 排序 | df.sort_values("成绩", ascending=False) |
| 筛选 | 数据 → 筛选 | df[df["成绩"] >= 60] |
| 分列 | 数据 → 分列 | s.split(",") |
| 删除重复 | 数据 → 删除重复值 | df.drop_duplicates() |
| 图表 | 插入 → 图表 | ax.bar(...) / ax.plot(...) |
12.2 十个最容易踩的坑
- 把
=当比较:判断相等要用==。 - 忘了冒号或缩进:
if、for、def行尾要有:,下一行要缩进。 - 下标从 0 开始:第一个元素是
[0],最后一个是[-1]。 - 把
^当幂:Python 的幂是**,^是位运算。 - 字符串方法忘了接回来:
replace()、strip()返回新字符串,必须重新赋值。 - 列表循环时删除元素:一边遍历一边删会跳过元素;先构造新列表再替换。
- 把 Excel 的“合并单元格”思路带进来:数据分析喜欢“一行一条记录、一列一个变量”的长表,尽量不要合并单元格。
- 直接改原始数据:清洗前先复制一份
df.copy(),保留可回溯的原始版本。 - 忽略编码:读中文 CSV 时先试
utf-8,乱码再试gbk。 - 用空
except吞掉错误:只捕获预期错误,其他错误让它暴露出来。
12.3 现在就可以做的五个练习
- 把自己的成绩单做成列表,计算总分、平均分、最高分,并按分数段统计人数。
- 找一份班级问卷(哪怕只有 10 份),统计每道单选题的频数和百分比。
- 把一段新闻或作文按标点切分,统计出现最多的 10 个词,并尝试过滤停顿词。
- 用 pandas 读入一份 CSV,按专业分组求平均分,再导出结果。
- 把上面的分组结果画成柱状图,加上标题、坐标轴说明和数值标注。
12.4 下一步学什么
- Jupyter Notebook:边写代码边看结果,适合数据分析和写报告。
- openpyxl:直接读写
.xlsx文件,保留格式和多个工作表。 - python-docx:把分析结果自动写进 Word 报告。
- requests + BeautifulSoup:采集网页上的公开数据(注意遵守网站规则)。
- jieba:中文分词;配合
wordcloud可以做词云。 - seaborn:在 Matplotlib 之上做更漂亮的统计图。
不要等“学完 Python”再开始做项目。挑一个你本来就要做的表格任务,用刚学的 pandas 重做一遍,卡住的地方再回去查——这比按顺序刷完所有语法有效得多。
Excel 的 VLOOKUP 在 pandas 里最接近哪个操作?
merge()。指定 on="学号" 即可,不必数“第几列”。