Python 速成 · 文科版Interactive tutorial

Python for humanities · 数据处理速成

从 Excel 表格
平滑切换到 Python

不管你是只会用 Excel 整理表格,还是连公式都还没写过——缺的只是把这些操作写成可重复的步骤。 第 1 章从表格、公式和函数讲起,之后用对照表、可运行代码和随堂小测, 把 Excel 里的经验迁移到 Python。

从零认识 Excel 问卷与文本数据 文科 / 社科背景 无需安装环境

12 章 · 约 4 小时 · 代码可在浏览器内运行 · 进度自动保存

01 对照学
从熟悉的操作出发

把 Excel 公式、表格操作和 Python 写法并排放在一起,先建立映射,再补细节。

02 直接跑
浏览器就是解释器

示例点“运行”即可执行,不用装 Python。首次运行需联网加载运行时。

03 马上测
用小测校准直觉

每题即时反馈;每章可标记完成,进度保存在浏览器本地,下次接着学。

关于运行环境:页面使用 Pyodide 在浏览器内运行 CPython 与 NumPy。首次点击“运行”会从 CDN 下载运行时(约 10–20 MB,通常 5–15 秒);pandas / Matplotlib 示例首次运行会再加载对应包。离线时正文、代码与解析仍可正常阅读。

Chapter 01 · Excel basics

先认识 Excel:表格、公式和函数

没学过 Excel 也没关系。这一章先不要求你写 Python,只把四件事讲清楚: 表格怎么存数据、公式怎么算、函数怎么用、填充柄怎么重复。 最后用一段代码演示对应关系,让你先建立直觉。

1.1 一张表由什么组成

打开 Excel,你看到的是一个工作簿,也就是一个文件,后缀通常是 .xlsx。 工作簿里可以有多张工作表,底部标签上写着 Sheet1、Sheet2。 每张表由列和行组成:列用字母 A、B、C 表示,行用数字 1、2、3 表示。 行列交叉的格子叫单元格,它的地址就是“列字母 + 行号”,例如 A1、B2、C10。

名称是什么例子
工作簿 Workbook整个文件成绩单.xlsx
工作表 Sheet文件里的一页Sheet1、期末
列 Column从上到下的一竖排A、B、C
行 Row从左到右的一横排1、2、3
单元格 Cell行与列的交叉点B2

做数据分析时,最好让第一行是列名(表头),下面每一行是一条完整记录, 中间不要插空行、不要合并单元格。这样 Excel 能排序筛选,Python 也能直接读懂。

一行一条记录

“姓名、专业、成绩”各占一列,每个学生占一行。这种“长表”看起来朴素,却是最容易被程序处理的格式。

1.2 公式:让单元格自己算

在单元格里先输入等号 =,Excel 就知道这是公式,而不是一段文字。 公式里可以写数字、单元格地址和运算符。下面假设 B2 是 84,C2 是 91。

公式含义结果
=B2+C2相加175
=B2*0.6+C2*0.4按比例加权86.8
=C2/B2相除约 1.08
=B2^2平方7056
=(B2+C2)/2括号里先算87.5

关键在“引用”:公式写的是 B2,不是 84。改动 B2 的值,公式结果会自动更新。 这让 B2 很像一个有名字的存储位置——也就是后面要讲的“变量”的雏形。

1.3 函数:打包好的公式

函数是 Excel 预先写好的公式,有名字、有参数、有返回值。 写法是 =函数名(参数),多个参数用逗号隔开。 参数可以是一个数字、一个单元格,也可以是一段区域,例如 B2:B10 表示从 B2 到 B10 的一整列。

函数写法作用
SUM=SUM(B2:B10)把区域里的数字相加
AVERAGE=AVERAGE(B2:B10)求平均值
MAX / MIN=MAX(B2:B10)找最大值 / 最小值
COUNT=COUNT(B2:B10)数一数区域里有几个数字
IF=IF(B2>=60,"及格","不及格")条件成立返回第一个值,否则返回第二个
COUNTIF=COUNTIF(C2:C10,"中文")统计满足条件的单元格个数
VLOOKUP=VLOOKUP(A2,表2!A:C,3,0)按一个值去另一张表里查对应信息

函数的意义是复用:SUM 的逻辑别人已经写好了,你只要提供“对哪块区域算”。 Python 里的 sum()、len()、round() 是同一个思路, 只不过参数和返回值的写法不同。

1.4 填充柄:重复操作的雏形

选中一个单元格,右下角会出现一个小方块,叫填充柄。 按住它向下拖动,公式会按行复制:B2 里的公式拖到下一行就变成 B3,再下一行变成 B4。 如果 B2 写的是 =A2*1.1,拖十行就等于对十个数据做了同样的计算。

这其实就是“对每一项重复同一件事”。数据少的时候拖动很方便; 但如果有一万行,或者要处理的不是一张表而是几十个文件,手工拖动就不现实了。 程序里的“循环”就是把这个动作写成一句话,让电脑自己重复。

1.5 变量:给数据起个名字

Excel 用地址 B2 指代一个格子,但 B2 只说明位置,不说明含义。 Excel 也允许给单元格或区域起名字:选中 B2,在左上角的名称框里输入 usual, 以后就可以直接写 =usual*0.6。名字比地址更容易读懂。

这就是“变量”的思想:用一个有意义的名字保存一个值,之后通过名字使用它。 Python 里写 usual = 84,和 Excel 把 B2 命名为 usual,本质上是一回事。

ExcelPython共同点
单元格 B2变量 score有名字的存储位置
名称框命名为 usualusual = 84给值起一个有意义的名字
公式 =usual*0.6usual * 0.6用名字参与计算
函数 =SUM(B2:B10)sum(scores)打包好的操作,传入数据、得到结果
向下拖动填充柄for 循环对每一项重复同一件事

1.6 先跑一次:填充柄变成循环

下面这段代码先不用完全看懂,只要注意它和 Excel 的对应关系: 列表 scores 相当于一列数据,for 循环相当于向下拖动填充柄。

excel_to_loop.py ⌘/Ctrl + Enter

输出正好三行,对应三行数据。把 scores 改成四个数,程序会自动多处理一行, 不需要再拖一次填充柄——这就是“写一次、反复用”的好处。

随堂小测

=SUM(B2:B10) 的作用是?

学完这一章了吗?

Chapter 02 · Mindset

从“会用软件”到“会写步骤”

Excel 让你点一下、得一个结果;Python 让你写几条命令、处理一整批数据。 Python 做的是同一件事,只是把操作写成可以反复运行、可以检查的步骤。

2.1 你已经会的,其实都能映射过来

不必把 Python 当成一门全新的东西。你在 Excel 里形成的直觉, 大部分都能找到对应的写法,只是名字和形式不同。

你熟悉的操作在 Python 里对应什么
Excel 的单元格 A2有名字的变量,例如 score
公式 =B2*0.6+C2*0.4表达式 usual * 0.6 + final * 0.4
向下拖动填充柄for 循环或列表推导式
VLOOKUP 查表字典 .get();表格用 pandas merge
COUNTIF / SUMIF条件计数 sum(...);pandas value_counts()
数据透视表groupby / pivot_table
插入柱状图、折线图Matplotlib
Excel 的工作表、行、列pandas 的 DataFrame、行、列
对每一行重复同样的操作遍历列表或 DataFrame
“筛选” + “排序”布尔筛选 + sort_values()

2.2 三个需要转变的观念

  • 从“点一次”到“写一次”:Excel 里改完公式要重新拖一遍;Python 脚本写好后,换一份数据再运行一次就行。
  • 从“单元格地址”到“有名字的变量”:B2 只说明位置,score 说明含义。名字起得好,代码就是一份能执行的说明书。
  • 从“记住菜单”到“查文档 + 试错”:没有人背得完所有函数。会查、会改、会看报错,比背语法重要得多。
别怕报错

报错不是“你不行”,而是 Python 在告诉你哪一行没看懂。先读最后一行,通常就能知道是拼写错误、少了冒号,还是数据类型不对。

2.3 Python 能替你做什么

  • 批量处理:一次清洗几十份问卷、几百个文本文件,而不是逐个打开。
  • 可重复:论文附录里的数据清洗过程可以写成脚本,换数据后一键重跑。
  • 能处理文本:统计词频、提取关键词、清理标点和空格,这些 Excel 做起来很费劲。
  • 能连接更多工具:Excel 文件、CSV、网页、数据库,都可以用同一套代码读取和分析。

2.4 这本教程怎么用

  1. 先看对照表,把旧经验映射到新写法,不必从零背概念。
  2. 每段可运行的代码都点一次“运行”,再改一两个数字或文字,观察输出变化。
  3. 每章末尾的小测用来校准直觉;做错没关系,解析里会说明原因。
随堂小测

Excel 里“写好一个公式后向下填充”的操作,最接近 Python 的哪种写法?

学完这一章了吗?

Chapter 03 · Basics

基础语法:把 Excel 公式写成程序

变量、数字、字符串、输出。你熟悉的“单元格 + 公式”在这里变成“变量 + 表达式”, 写法不同,思路几乎一样。

3.1 第一个程序:变量与 f-string

变量就是一个有名字的盒子,把数据放进去,后面用名字取出来。 Python 不需要提前声明类型,数字、文字、真假值都可以直接赋值。

first_steps.py ⌘/Ctrl + Enter

f"..." 叫 f-string:字符串前面加 f,里面用 {变量} 插入值。 它相当于 Excel 的 CONCATENATE,但不用把一段文字拆成很多小格子。

3.2 数字与运算符

Python 的数字类型主要有整数 int 和小数 float。 运算符和 Excel 公式非常接近,但有两个地方要特别注意:幂是 **, 判断相等是 ==。

Excel 写法Python 写法说明
=A2+B2a + b加减乘除同理
=A2^2a ** 2^ 在 Python 里是位运算,不是幂
=MOD(A2,3)a % 3取余数
=INT(A2/3)a // 3整除,向下取整
=ROUND(A2,1)round(a, 1)四舍五入到 1 位小数
=IF(A2>=60,"及格","不及格")"及格" if a >= 60 else "不及格"条件表达式
=LEN(A2)len(a)字符个数
=UPPER(A2)a.upper()转大写
=TEXT(A2,"0.0%")f"{a:.1%}"格式化成百分比
  • / 永远得到小数:7 / 2 是 3.5,不是 3。
  • // 才是整除:7 // 2 是 3;对负数是向下取整。
  • 比较运算返回 True 或 False,例如 85 >= 60、"A" == "A"。
  • Excel 的 TRUE/FALSE 在 Python 里写作 True/False,首字母大写。

3.3 字符串:处理姓名、专业和问卷答案

字符串用单引号或双引号都可以:"中文"、'中文'。 方括号用来取其中一段,位置从 0 开始数。注意这和 Excel 的 MID() 不同: Excel 从 1 开始数,Python 从 0 开始。

text = "社会工作"

print(text[0])          # 社:第一个字符
print(text[-1])         # 作:最后一个字符
print(text[0:2])        # 社会:从 0 开始,取到 2 之前
print(len(text))        # 4:字符个数

print(text + "专业")     # 拼接
print(text * 2)         # 重复
print(f"{text},你好")   # f-string
ExcelPython作用
TRIM()s.strip()去掉两端空格
UPPER() / LOWER()s.upper() / s.lower()转大写 / 小写
MID()s[start:end]取子串
SUBSTITUTE()s.replace(old, new)替换文字
FIND()s.find(sub)查找位置,找不到返回 −1
“分列”s.split(",")按分隔符切成列表
+ 连接文字sep.join(items)用分隔符把多段文字连起来

3.4 输出与格式:让结果能直接放进报告

print() 可以一次输出多个值,默认用空格隔开。 需要控制小数位、百分比、宽度时,用 f-string 的格式说明符。

写法输出示例用途
f"{3.14159:.2f}"3.14保留 2 位小数
f"{0.8734:.1%}"87.3%百分比
f"{1234567:,}"1,234,567千分位
f"{42:08.2f}"00042.00总宽 8,补零
f"{'py':^7}|" py |居中对齐

3.5 注释、命名与代码块

  • 注释:# 后面的内容不会执行,用来解释“为什么这样做”。
  • 命名:变量用英文小写加下划线,例如 total_score;不要用 a1、b2 这种看不出含义的名字。
  • 缩进:Python 用缩进表示“哪些行属于同一个代码块”。同一块必须对齐,推荐 4 个空格。
  • 大小写:Score 和 score 是两个不同的名字。
  • 保存:源文件用 .py 后缀,默认使用 UTF-8 编码,中文可以直接写。
# Excel: =B2*0.6+C2*0.4
usual, final = 84, 91
total = usual * 0.6 + final * 0.4

# Excel: =IF(D2>=60,"及格","不及格")
result = "及格" if total >= 60 else "不及格"

# Excel: =TEXT(D2,"0.0")
print(f"总评 {total:.1f},{result}")
随堂小测

7 / 2 的结果是什么?

学完这一章了吗?

Chapter 04 · Containers

列表与字典:一列数据、一条记录

Excel 的一列、表格里的一行,在 Python 里分别对应列表和字典。 先把这两种容器用熟,后面处理整张表就顺了。

4.1 列表:可以装很多值的一列

列表用方括号写:scores = [88, 92, 79]。 它相当于 Excel 的一列。位置从 0 开始,-1 表示最后一个。

操作Python 写法Excel 里的感觉
取第 1 个scores[0]选第一格
取最后 1 个scores[-1]拉到最下面
取前 3 个scores[:3]选中前 3 格
追加一个scores.append(73)在末尾插入一行
个数 / 总和len(scores) / sum(scores)COUNT / SUM
最大 / 最小max(scores) / min(scores)MAX / MIN
排序sorted(scores)升序排列
是否存在88 in scores查找某个值

sorted() 返回一个新列表,原来的列表不变;scores.sort() 则直接修改原列表。 刚开始建议优先用 sorted(),不容易把原数据弄乱。

4.2 字典:列名到值的一行记录

字典用花括号写,每一对是“键: 值”。它最像表格里的一行: 姓名 是列名,"小林" 是这一行的值。 用键取值比用位置取值更清楚,也不怕以后加列打乱顺序。

student = {
    "姓名": "小林",
    "专业": "汉语言文学",
    "成绩": 88,
}

print(student["姓名"])          # 小林
print(student.get("籍贯", "未填写"))  # 没有这一列时给默认值
student["成绩"] = 92            # 修改一个列的值
student["年级"] = "大二"         # 新增一列
print(student)
字典与行记录

在 Excel 里,一行记录有哪些字段由表头决定;在 Python 里,字典的键就扮演表头的角色。用 d.get(key) 或 key in d 判断字段是否存在,比记住“第几列”更可靠。

4.3 把多条记录放进一个列表

一张表就是“字典的列表”:列表表示很多行,字典表示一行里的各个列。 pandas 的 DataFrame 本质上也是这个结构,只是功能更强。

students = [
    {"姓名": "小林", "专业": "中文", "成绩": 88},
    {"姓名": "小周", "专业": "历史", "成绩": 92},
    {"姓名": "小陈", "专业": "哲学", "成绩": 79},
]

for row in students:
    print(row["姓名"], row["成绩"])
containers.py ⌘/Ctrl + Enter

注意 scores[5] 会报 IndexError,因为 5 个元素的下标是 0 到 4。 拿不准时先用 len() 看一眼长度,或者用 scores[-1] 取最后一个。

随堂小测

列表 scores = [88, 92, 79],要取最后一个值 79,写法是?

学完这一章了吗?

Chapter 05 · Control flow

条件与循环:让程序替你逐行处理

Excel 的 IF、筛选和填充柄, 在 Python 里就是 if、for、while。掌握这三件事,就能批量处理数据。

5.1 if / elif / else:把条件写清楚

条件后面必须跟冒号,下一行缩进表示“条件成立时执行什么”。 Python 没有 End If,缩进结束,条件块就结束了。

score = 86

if score >= 90:
    level = "优秀"
elif score >= 80:
    level = "良好"
elif score >= 60:
    level = "合格"
else:
    level = "不合格"

print(level)  # 良好
  • elif 是 else if 的缩写,可以写多个。
  • 判断顺序:从上往下,命中一个就不再检查后面的分支。所以范围要从大到小或从小到大排好。
  • 比较运算符:>、>=、<、<=、==、!=。
  • 不要写成 =:= 是赋值,== 才是“是否相等”。

5.2 for:填充柄的自动化版本

for 的意思是“对集合里的每个元素,做一遍下面的事”。 它相当于把 Excel 的填充柄一次拖到底,只是不依赖“当前选中哪一格”这种隐藏状态。

scores = [88, 92, 79, 95]

for score in scores:
    print(score, "分")

# 需要序号时用 enumerate,从 1 开始更符合报告习惯
for i, score in enumerate(scores, start=1):
    print(f"第 {i} 位:{score} 分")

# range 生成一串数字:1、2、3、4
for n in range(1, 5):
    print(n)
循环与整列计算

填充柄一次只能处理一列;for 循环把每个元素直接交给你,可以做更复杂的判断。读取整张表时,pandas 更鼓励“整列计算”,而不是逐行修改。

5.3 while 与 break / continue

while 在条件成立时反复执行,适合“不知道要循环几次”的场景。 break 立刻跳出循环,continue 跳过本次、进入下一次。 如果条件永远不变成假,程序会卡住,所以循环体里一定要有让条件改变的语句。

count = 0
while count < 3:
    count += 1
    print("第", count, "次")

# 在列表里找第一个不及格的分数
for score in [88, 92, 58, 79]:
    if score < 60:
        print("找到不及格:", score)
        break

5.4 列表推导式:一行完成“整列计算”

格式是 [表达式 for 变量 in 列表 if 条件],读作“对每个元素,满足条件就计算一次”。 它相当于 Excel 里整列套用同一个公式,但更灵活。

scores = [88, 92, 79, 95, 61]

# 每人加 5 分
bonus = [s + 5 for s in scores]

# 只保留及格分数
passed = [s for s in scores if s >= 60]

print(bonus)   # [93, 97, 84, 100, 66]
print(passed)  # [88, 92, 79, 95, 61]
loops.py ⌘/Ctrl + Enter
随堂小测

list(range(1, 5)) 得到什么?

随堂小测

if / elif 判断时,如果第一个条件已经成立,后面的条件还会检查吗?

学完这一章了吗?

Chapter 06 · Functions

函数:把常用操作打包成一个名字

你在 Excel 里用 SUM、AVERAGE,本质就是“给一段操作起个名字”。 Python 用 def 做同样的事,只是规则由你自己定义。

6.1 def 与 return

函数接收参数、执行一段代码、用 return 把结果交回来。 没有 return 的函数返回 None,表示“没有结果”。

def level(score):
    """把百分制成绩转成五级制。"""
    if score >= 90:
        return "优秀"
    if score >= 80:
        return "良好"
    if score >= 60:
        return "合格"
    return "不合格"

print(level(86))  # 良好
print(level(58))  # 不合格

三引号里的文字叫文档字符串,用 help(level) 可以查看。 它相当于给函数写一句说明书,别人(包括三个月后的你)会感谢你。

6.2 默认参数与关键字参数

参数可以带默认值,调用时省略就用默认值。 调用时写 average(scores, digits=2) 叫关键字参数,意思更清楚,也不怕参数顺序记错。

def average(values, digits=1):
    return round(sum(values) / len(values), digits)

scores = [88, 92, 79, 95, 85]
print(average(scores))             # 87.8
print(average(scores, digits=2))   # 87.8
print(average(scores, 0))          # 88.0

6.3 函数也是“规则”,可以传给排序

sorted() 和 list.sort() 都接受 key= 参数,用来指定“按什么排序”。 lambda 是只写一行的临时函数,适合这种小规则。

students = [("小林", 88), ("小周", 95), ("小陈", 79)]

# 按分数从高到低
students.sort(key=lambda item: item[1], reverse=True)
print(students)

# 按姓名排序
print(sorted(students, key=lambda item: item[0]))

6.4 作用域:函数内部的变量外面看不到

  • 函数里定义的变量是局部变量,函数执行完就消失。
  • 函数可以读取外面的变量,但修改它需要谨慎;优先通过参数传入、通过返回值传出。
  • 少用 global。它会让数据流向变得难以追踪,也让调试变难。
functions.py ⌘/Ctrl + Enter
随堂小测

一个函数执行了 print(),但没有写 return,调用它会返回什么?

学完这一章了吗?

Chapter 07 · Text

文本处理:清洗问卷与文章

文科生处理的数据,很多不是数字,而是姓名、答案、段落和文件名。 Python 的字符串方法就是一把把剪刀和胶水,能把杂乱的文字整理成可统计的形式。

7.1 清洗三件套:strip、split、join

  • s.strip():去掉两端空格、换行和制表符。问卷答案里最常见的“看不见的字符”就是它们。
  • s.split(分隔符):按分隔符切开,得到列表。Excel 的“分列”就是这件事。
  • 分隔符.join(列表):把多段文字用同一个分隔符连起来,是 split 的反操作。
raw = "  非常满意; 满意; 一般; 满意  "

answers = raw.strip().split(";")
print(answers)                 # ['非常满意', ' 满意', ' 一般', ' 满意']

answers = [a.strip() for a in answers]
print(answers)                 # ['非常满意', '满意', '一般', '满意']

print(" / ".join(answers))     # 非常满意 / 满意 / 一般 / 满意

先 strip() 再 split(),是清洗文本的固定顺序。 如果先切分,每个片段两端的空格还在,后面统计时就会把 "满意" 和 " 满意" 当成两个不同的答案。

7.2 查找、替换与判断

需求Python 写法结果
是否包含某词"数据" in textTrue / False
替换文字text.replace("旧", "新")返回新字符串
查找位置text.find("数据")下标;找不到返回 −1
出现次数text.count("数据")整数
是否以某词开头text.startswith("第")True / False
是否以某词结尾name.endswith(".csv")True / False

字符串是不可变的:replace() 不会改动原来的字符串, 而是返回一个新字符串。所以必须写 text = text.replace(...),否则结果就丢了。

7.3 正则表达式:按“模式”找文字

当要找的不是固定文字,而是“连续 8 个数字”“像邮箱的片段”时,用 re 模块。 正则表达式写起来像密码,但最常用的只有几个符号: \d 数字、\w 字母数字下划线、+ 一个或多个、* 零个或多个。

import re

text = "联系电话:010-12345678,邮箱:teacher@example.com"
phones = re.findall(r"\d{3}-\d{8}", text)
emails = re.findall(r"[\w.]+@[\w.]+", text)

print(phones)  # ['010-12345678']
print(emails)  # ['teacher@example.com']

字符串前面的 r 表示“原始字符串”,里面的反斜杠不当作转义。 写正则时建议总是加 r,可以少踩很多坑。

7.4 中文文本要额外注意什么

  • 编码:读文件时统一用 encoding="utf-8",否则中文可能变成乱码。
  • 标点:中文的逗号、句号、引号和英文不同,统计前通常要统一替换成空格。
  • 分词:英文按空格切分就行;中文没有空格,正式分析通常用 jieba 等分词工具。本教程的示例先按空格和标点切分,重点理解流程。
  • 停顿词: “的、了、是、在”等高频词通常不承载主题信息,统计词频时可以考虑过滤。
text_clean.py ⌘/Ctrl + Enter
随堂小测

"甲,乙,丙".split(",") 的结果是?

学完这一章了吗?

Chapter 08 · pandas

pandas:把 Excel 的活搬到代码里

pandas 是 Python 里处理表格的主力。它把整张表读进内存, 让你用一行代码完成筛选、排序、分组、透视和 VLOOKUP。

8.1 从表格到 DataFrame

DataFrame 就是一张带列名的表:每一列是一个 Series, 每一行是一条记录。可以把它理解成“不会限制 104 万行、可以写进版本控制的 Excel 工作表”。

Excel 操作pandas 写法
选中 A 到 D 列df[["姓名", "专业", "成绩"]]
筛选成绩大于 85df[df["成绩"] > 85]
按成绩降序df.sort_values("成绩", ascending=False)
新增一列公式df["新列"] = ...
COUNTIF(df["专业"] == "中文").sum()
SUMIFdf.loc[df["专业"] == "中文", "成绩"].sum()
删除重复行df.drop_duplicates()
数据透视表df.pivot_table(...)
VLOOKUPdf.merge(另一张表, on="学号")
填充空值df["列"].fillna(值)
pandas_basic.py 首次运行需加载 pandas

8.2 分组统计与数据透视表

Excel 的数据透视表做三件事:按行分组、按列分组、对值做汇总。 pandas 里对应的是 groupby() 和 pivot_table()。 区别是 pandas 的每一步都可以继续接方法,形成一条可读的处理链。

import pandas as pd

df = pd.read_csv("scores.csv", encoding="utf-8")

# 每个专业的平均分、最高分、人数
summary = df.groupby("专业").agg(
    平均分=("成绩", "mean"),
    最高分=("成绩", "max"),
    人数=("学号", "count"),
)
print(summary.round(1))

# 行=专业,列=性别,值=平均分
pivot = df.pivot_table(
    index="专业", columns="性别", values="成绩", aggfunc="mean"
)
print(pivot.round(1))

value_counts() 是“单列频数表”,相当于 Excel 里对一列做透视、只保留计数。 统计问卷单选题时,它往往是最快的一步。

8.3 VLOOKUP 与多表连接

VLOOKUP 的本质是“按一个共同的键,把另一张表的值匹配过来”。 pandas 用 merge():指定 on="学号",它会自动对齐两张表。 比 VLOOKUP 更安全的地方是:不需要数第几列,列的顺序变了也不影响。

lookup_pivot.py 首次运行需加载 pandas

8.4 读写 CSV 与 Excel

  • CSV:pd.read_csv("data.csv", encoding="utf-8") 读,df.to_csv("out.csv", index=False) 写。
  • Excel:pd.read_excel("data.xlsx") / df.to_excel("out.xlsx", index=False),需要额外安装 openpyxl。
  • 编码:Windows 上导出的 CSV 有时是 GBK;读出来乱码时试试 encoding="gbk"。
  • 浏览器限制:网页示例不能直接读本地路径,所以演示时用 io.StringIO 包住一段 CSV 文本。
import io
import pandas as pd

csv_text = """学号,专业,成绩
S01,中文,88
S02,历史,92
S03,中文,79
"""

df = pd.read_csv(io.StringIO(csv_text))
print(df)
print(df.groupby("专业")["成绩"].mean())
随堂小测

要筛选 df 中成绩大于 85 的行,正确写法是?

随堂小测

df.groupby("专业")["成绩"].mean() 得到什么?

学完这一章了吗?

Chapter 09 · Visualization

数据可视化:让报告里有一张会说话的图

Excel 里点“插入图表”,在 Python 里是 Matplotlib。 图的类型、坐标轴、标题、颜色都能用代码控制,做好一次就能重复生成。

9.1 第一张图:柱状图

plt.subplots() 返回画布 fig 和坐标轴 ax。 之后所有绘图操作都作用在 ax 上:ax.bar() 画柱状图, ax.set_title() 加标题,ax.set_ylabel() 加纵轴说明。

chart.py 首次运行需加载 Matplotlib
Matplotlib 生成的图表
由 Matplotlib 在浏览器内生成

9.2 什么数据用什么图

想说明什么用什么图Matplotlib 写法
不同类别的数量对比柱状图ax.bar(labels, values)
横向比较、类别名较长条形图ax.barh(labels, values)
随时间变化的趋势折线图ax.plot(x, y)
一组数值的分布直方图ax.hist(values, bins=10)
占比(类别很少时)饼图ax.pie(values, labels=labels)

类别超过 5 个时,饼图通常很难读,柱状图或条形图更清楚。 想展示“分布形状”,直方图比柱状图合适,因为直方图会先把数值分段再计数。

9.3 让图适合放进报告

  • 标题:一句话说明结论,而不只是“图 1”。例如 “Satisfaction rose in 2026”。
  • 坐标轴:写清单位,不要让人猜。人数、百分比、分数要区分。
  • 颜色:同一含义用同一颜色;突出某一项时再单独换色,不要七彩斑斓。
  • 标注:在柱子上直接写数值,读者不用去对照坐标轴。
  • 导出:fig.savefig("chart.png", dpi=200, bbox_inches="tight"),高分辨率适合打印。
import matplotlib.pyplot as plt

# 折线图:看趋势
years = [2020, 2021, 2022, 2023, 2024]
enrollment = [120, 135, 128, 150, 162]

fig, ax = plt.subplots(figsize=(7, 3.4))
ax.plot(years, enrollment, marker="o")
ax.set_title("Enrollment over time")
ax.set_xlabel("Year")
ax.set_ylabel("Students")
ax.grid(alpha=0.3)
plt.tight_layout()

# 直方图:看分布
scores = [88, 92, 79, 95, 85, 61, 73, 100, 58, 84]
fig2, ax2 = plt.subplots(figsize=(7, 3.4))
ax2.hist(scores, bins=5, color="#4f9c7b", edgecolor="white")
ax2.set_title("Distribution of scores")
ax2.set_xlabel("Score")
ax2.set_ylabel("Count")
plt.tight_layout()

9.4 中文标题显示成方框怎么办

Matplotlib 默认字体不含中文字形,直接写中文标题可能出现一排方框。 本地运行时可以指定系统里的中文字体:

import matplotlib.pyplot as plt

# Windows 常见字体;macOS 可换成 "PingFang SC",Linux 可换成 "Noto Sans CJK SC"
plt.rcParams["font.sans-serif"] = ["Microsoft YaHei", "SimHei"]
plt.rcParams["axes.unicode_minus"] = False  # 正常显示负号

plt.plot([1, 2, 3], [2, 4, 3])
plt.title("中文标题示例")
plt.show()

浏览器内的 Pyodide 环境没有预装中文字体,所以本页示例统一用英文标签。 真实项目在本地运行,按上面的方式设置字体即可。

随堂小测

想展示一组学生成绩的“分布形状”,最合适的图是?

学完这一章了吗?

Chapter 10 · Files

文件、异常与自动化

真实的数据放在文件里,真实的环境也总会出点小问题。 学会读写文件、处理报错、批量处理,才算真正把 Python 用起来。

10.1 用 pathlib 处理路径

pathlib.Path 把路径当成对象,取文件名、扩展名、父目录都很直观。 不要自己拼接字符串,也不要把 C:\Users\... 写死在代码里——换一台电脑就失效了。

需求写法结果示例
当前目录Path(".").
拼接路径Path("data") / "scores.csv"data/scores.csv
文件名path.namescores.csv
主文件名path.stemscores
扩展名path.suffix.csv
父目录path.parentdata
列出文件Path("data").glob("*.csv")所有 CSV 文件

10.2 读写 CSV:最通用的数据交换格式

CSV 就是“用逗号分隔的纯文本表格”,Excel、pandas 和大多数统计软件都能读写。 用 with open(...) 打开文件,代码块结束后会自动关闭,不需要手动 close()。

import csv

# 读:每行是一个列表
with open("scores.csv", encoding="utf-8", newline="") as f:
    reader = csv.reader(f)
    rows = list(reader)

print(rows[0])   # 表头
print(rows[1])   # 第一条数据

# 写:newline="" 可以避免 Windows 上多出空行
with open("result.csv", "w", encoding="utf-8", newline="") as f:
    writer = csv.writer(f)
    writer.writerow(["专业", "人数"])
    writer.writerow(["中文", 42])
    writer.writerow(["历史", 31])

需要按列名取值时,用 csv.DictReader:每一行变成字典,row["专业"] 就能直接读。 这比记住“第 3 列”可靠得多。

10.3 try / except:出错时给出提示,而不是直接崩溃

程序运行时可能遇到文件不存在、数字格式不对、除数为零等情况。 try 里放“可能出错的代码”,except 里放“出错后怎么办”。

try:
    score = int("八十八")
except ValueError:
    print("这不是一个整数,请检查输入。")
    score = 0

try:
    with open("missing.csv", encoding="utf-8") as f:
        text = f.read()
except FileNotFoundError:
    print("文件不存在,先检查路径和文件名。")
    text = ""

print("程序继续运行,score =", score)
不要吞掉所有错误

只捕获你预期会发生的错误,例如 FileNotFoundError、ValueError。直接写一个空的 except: 会把真正的 bug 也藏起来,之后更难排查。

files.py ⌘/Ctrl + Enter

注意输出里的 '成绩': '88':CSV 读进来默认都是字符串, 要参与计算得先转换,例如 int(row["成绩"])。 用 pandas 的 read_csv() 时它会自动推断数字类型,省掉这一步。

10.4 批量处理:一次改一百个文件

这是 Python 最实用的能力之一。下面的代码会把 photos 目录里所有 IMG_ 开头的图片改成中文名。它必须在本地运行, 浏览器示例不能直接访问磁盘。

from pathlib import Path

folder = Path("photos")

for old in folder.glob("*.jpg"):
    new_name = old.stem.replace("IMG_", "旅行_") + old.suffix
    new = old.with_name(new_name)
    old.rename(new)
    print(old.name, "->", new.name)
先备份,再批量操作

批量改名前,先复制一份文件夹,或者先把“旧名 → 新名”打印出来检查一遍。这类脚本一旦写错,很难一键撤回。

随堂小测

读取 CSV 时加上 try / except FileNotFoundError,主要作用是什么?

学完这一章了吗?

Chapter 11 · Case studies

综合案例:从原始问卷到一页报告

六个由浅入深的小案例,覆盖频数、多选、成绩、文本、交叉分析和图表。 每个都能直接运行,末尾的“改一改”建议可以用来练手。

案例 1 · 单选题频数与百分比

把问卷答案放进列表,用字典计数,再用 f-string 输出百分比和简易条形图。 这是最基础、也最常用的一步:把一列文字变成一张频数表。

case_01_frequency.py ⌘/Ctrl + Enter

改一改:把 answers 换成你自己的问卷答案,或增加一个“说不清”选项, 观察百分比总和是否仍为 100%。四舍五入后各项相加可能略多于或略少于 100%,这是正常的。

案例 2 · 多选题拆分统计

多选题的每个答案通常用分号或逗号隔开。先按分隔符拆开,再对每个选项分别计数。 这是 Excel 里最麻烦、而 Python 最擅长的清洗任务之一。

case_02_multiselect.py ⌘/Ctrl + Enter

改一改:把分隔符换成逗号,或在数据里加入空格,看看 strip() 是否必要。

案例 3 · 成绩分布与及格率

用标准库 statistics 算均值、中位数、标准差,再按分数段计数。 这比在 Excel 里写一列 IF 再拖拽要快,而且换数据只需重跑。

case_03_scores.py ⌘/Ctrl + Enter

改一改:把分数线改成 70 分,或加入一个 0 分和一个 100 分,观察均值和中位数的变化。

案例 4 · 文本词频与常用词

collections.Counter 是统计词频的快捷工具。 先去掉中文标点,再按空格切分,就能得到一份粗略的词频表。 正式的中文分词需要 jieba 等工具,但流程是一样的。

case_04_wordfreq.py ⌘/Ctrl + Enter

改一改:把 most_common(5) 改成 most_common(10);再试着过滤掉“的、是、在”等停顿词。

案例 5 · 交叉分析:性别 × 满意度

交叉表是问卷分析的核心:同时按两个变量分组,看不同人群的答案是否有差异。 pandas 的 crosstab() 一行就能生成,groupby() 则适合继续算平均分。

case_05_crosstab.py 首次运行需加载 pandas

改一改:把 crosstab 的第一个参数换成“年级”,看不同年级的满意度分布;再用 normalize="index" 输出行百分比。

案例 6 · 生成报告里的横向条形图

类别名称较长时,横向条形图比纵向柱状图更容易读。 bar_label() 会把数值标在条形末端,读者不用去对照坐标轴。

case_06_chart.py 首次运行需加载 Matplotlib
Matplotlib 生成的图表
由 Matplotlib 在浏览器内生成

改一改:把 counts 改成你的问卷频数;再试试把颜色换成 "#4f9c7b",或按人数从多到少排序。

随堂小测

统计多选题时,为什么要先对每条记录做 split(";")?

随堂小测

pd.crosstab(df["性别"], df["满意度"]) 得到什么?

学完这一章了吗?

Chapter 12 · Reference

速查表、常见坑与下一步

最后把 Excel 的高频操作压成对照表,列出最容易踩的坑, 再给你一条继续自学的路线。这一页适合收藏,随用随查。

12.1 Excel → Python 速查

任务ExcelPython
求和=SUM(B2:B10)sum(scores) / df["成绩"].sum()
平均=AVERAGE(B2:B10)sum(xs) / len(xs) / df["成绩"].mean()
条件计数=COUNTIF(A:A,"中文")(df["专业"] == "中文").sum()
条件求和=SUMIF(A:A,"中文",B:B)df.loc[df["专业"] == "中文", "成绩"].sum()
条件判断=IF(B2>=60,"及格","不及格")"及格" if x >= 60 else "不及格"
查找匹配=VLOOKUP(A2,Sheet2!A:C,3,0)df.merge(other, on="学号")
数据透视表插入 → 数据透视表df.pivot_table(...)
排序数据 → 排序df.sort_values("成绩", ascending=False)
筛选数据 → 筛选df[df["成绩"] >= 60]
分列数据 → 分列s.split(",")
删除重复数据 → 删除重复值df.drop_duplicates()
图表插入 → 图表ax.bar(...) / ax.plot(...)

12.2 十个最容易踩的坑

  1. 把 = 当比较:判断相等要用 ==。
  2. 忘了冒号或缩进:if、for、def 行尾要有 :,下一行要缩进。
  3. 下标从 0 开始:第一个元素是 [0],最后一个是 [-1]。
  4. 把 ^ 当幂:Python 的幂是 **,^ 是位运算。
  5. 字符串方法忘了接回来:replace()、strip() 返回新字符串,必须重新赋值。
  6. 列表循环时删除元素:一边遍历一边删会跳过元素;先构造新列表再替换。
  7. 把 Excel 的“合并单元格”思路带进来:数据分析喜欢“一行一条记录、一列一个变量”的长表,尽量不要合并单元格。
  8. 直接改原始数据:清洗前先复制一份 df.copy(),保留可回溯的原始版本。
  9. 忽略编码:读中文 CSV 时先试 utf-8,乱码再试 gbk。
  10. 用空 except 吞掉错误:只捕获预期错误,其他错误让它暴露出来。

12.3 现在就可以做的五个练习

  1. 把自己的成绩单做成列表,计算总分、平均分、最高分,并按分数段统计人数。
  2. 找一份班级问卷(哪怕只有 10 份),统计每道单选题的频数和百分比。
  3. 把一段新闻或作文按标点切分,统计出现最多的 10 个词,并尝试过滤停顿词。
  4. 用 pandas 读入一份 CSV,按专业分组求平均分,再导出结果。
  5. 把上面的分组结果画成柱状图,加上标题、坐标轴说明和数值标注。

12.4 下一步学什么

  • Jupyter Notebook:边写代码边看结果,适合数据分析和写报告。
  • openpyxl:直接读写 .xlsx 文件,保留格式和多个工作表。
  • python-docx:把分析结果自动写进 Word 报告。
  • requests + BeautifulSoup:采集网页上的公开数据(注意遵守网站规则)。
  • jieba:中文分词;配合 wordcloud 可以做词云。
  • seaborn:在 Matplotlib 之上做更漂亮的统计图。
学习建议

不要等“学完 Python”再开始做项目。挑一个你本来就要做的表格任务,用刚学的 pandas 重做一遍,卡住的地方再回去查——这比按顺序刷完所有语法有效得多。

随堂小测

Excel 的 VLOOKUP 在 pandas 里最接近哪个操作?

全部章节结束,恭喜!