
1. 内容整体设计与思路拆解1.1 核心需求解析作业编号里只有作业三个字看起来平淡无奇但做过这门课的人都知道这绝不是一次简单的课后练习。前面五次作业分别练了 Python 基础语法、NumPy 数组操作、Pandas 数据切片、Matplotlib 基础绘图而这份第6次作业是把前面所有技能串起来的一次完整数据分析实战。我记得拿到题目的时候第一反应是就这第二反应才是真正的压力——题目越是开放越考验你自己的判断力。要求其实只有一句话基于一份电影相关数据集完成从数据清洗到可视化呈现的完整分析并给出业务层面的结论与建议。这里面的核心考点有三个数据处理能力缺失值怎么处理、重复值怎么识别、异常值怎么判定每一步都要有依据不能凭感觉。可视化表达能力图表不是画出来就行要能通过图讲清楚一个观点。结论落地能力很多同学图表做得挺漂亮但最后写结论只会写票房和评分存在正相关关系这种正确的废话拿不到高分。所以拿到这种作业第一件事不是打开编辑器写代码而是先坐下来想清楚这场分析到底要回答什么问题。我把题目拆成了四个子问题——数据长什么样、票房分布有什么规律、什么因素在显著影响票房、这些规律能否转化为可执行的建议。后面所有的操作都围绕这四个问题展开。1.2 方案选型为什么是 Python Pandas Seaborn工具选型这一步很多人不在乎觉得能用就行但工具选错了真的会拖累效率。先说我为什么没用 Excel。Excel 做数据透视表和简单图表确实方便但这份作业要求可复现——数据清洗的每一步都得留下痕迹Excel 点几下鼠标是快可三天后你自己都记不清当时点了什么更别说答辩时老师问起来你只能回答我手动调的。Python 脚本就不一样每一步处理都写成了代码跑一遍就有完整记录改一个参数重新运行就能更新全部分析结果。再说 R 语言。R 的 ggplot2 画图确实漂亮但既然课程全程用的 Python作业突然切到 R 属于给自己找麻烦知识点之间没法形成连贯性。我的最终组合是Pandas负责数据读取、清洗、聚合这是整个分析的地基。Matplotlib负责底层绘图控制比如画布尺寸、坐标轴格式、中文显示这些细节。Seaborn基于 Matplotlib 的高级封装画统计图特别省事一行代码就能带出回归线和置信区间。开发环境用的 Jupyter Notebook。我建议你也用这个原因很实际分块执行能随时看到中间结果清洗一步检查一步不容易翻车而且最后可以直接导出 HTML 或 PDF 提交代码、图表、结论在同一个文档里按顺序排列老师看起来省力你的印象分自然高。1.3 任务清单拆解开工之前我列了一份检查清单把模糊的作业要求拆成了可以直接执行的任务项数据理解读取数据、查看行列数、字段类型、缺失值概览。数据清洗处理缺失值、重复值、异常值统一字段格式。探索性分析票房分布特征、评分与票房的关系、不同类型电影的票房差异、年份维度的趋势变化。可视化呈现完成四张核心图表每张图都要有明确的分析目的。结论输出基于分析结果给出可落地的结论与建议。清单的作用是防止做着做着迷失方向尤其数据一多很容易陷入为了分析而分析的状态看到哪个字段有趣就挖一下最后出来一堆图表却连不成一条线。有了清单每完成一项就标记一次心里始终有数。2. 核心细节解析与实操要点2.1 数据清洗缺失值、重复值、异常值数据清洗是整个作业里最枯燥但最不能跳过的环节。所谓数据分析其实八成时间都在处理脏数据这份作业用的数据集有 2800 多行、11 个字段看起来体量不大但脏数据的种类一点不少。缺失值处理。拿到的第一时间我先跑了一遍df.isnull().sum()发现两个字段存在缺失票房字段缺失了 127 条评分字段缺失了 86 条。缺失比例都在 5% 左右不算严重但处理方式还是得分情况讨论。评分字段缺失我直接删掉了对应行——因为后面要做评分与票房的关系分析评分是核心变量缺失了没法用合理值替代。票房字段缺失我用的中位数填充而不是均值填充原因在于票房的分布是严重右偏的少数几部大片把均值拉得很高用均值填充会让普通电影的票房数据整体偏高而中位数更能代表大多数电影的水平。这里给新手一个通用原则判断用均值还是中位数填充先看数据分布。数据接近正态用均值偏态明显用中位数不要无脑 fillna。重复值处理。df.duplicated().sum()查出来 23 行完全重复的记录这种直接删。但要注意一个细节有些电影同名但不同年份它们不是重复数据删除之前一定要先按关键字段确认。我就是先用df[df[电影名称].duplicated(keepFalse)]筛出所有同名记录人工确认了一下有几部翻拍电影确实年份不同、票房也不同保留了下来。异常值处理。我用的是箱线图法IQR 法先算出票房字段的第一四分位数 Q1 和第三四分位数 Q3IQR 等于两者之差上限是 Q3 1.5 × IQR下限是 Q1 − 1.5 × IQR超过这个范围的就是异常值。算下来上限是 13.8 亿下限是负数——下限是负数说明下限本身没有意义主要关注上限之外的电影。这里要考虑业务合理性票房特别高的电影比如 50 亿以上的现象级大片统计上确实是异常值但它们不是错误数据而是真实存在的极端值。分析时不能粗暴删掉我先单独跑了一遍含极端值和剔除极端值两个版本发现结论方向一致只是数值幅度有变化于是决定全部保留只在分析时单独标注。这比直接删掉更严谨也是作业里能加分的细节。2.2 数据类型的坑数据清洗还有个特别容易忽略的环节——检查每个字段的数据类型。我查了一遍df.dtypes发现了两个坑第一个坑是票房字段读进来是字符串类型数据里带万和亿这样的单位后缀。比如3.2亿这种文本直接没法做数值计算。我写了一个转换函数先判断字符串末尾的单位是亿就乘 10000 转成万是万就直接取数值部分最后统一转成 float。转完之后顺手把单位统一成万元后面所有图表和结论都基于这个统一单位避免自己绕晕。第二个坑是上映日期字段是 object 类型需要转成 datetime 才能做年份趋势分析。用pd.to_datetime()转换之后再提取年份列。另外评分字段里有 86 条是暂无评分这种文本我先把它替换成 NaN然后按照前面说的缺失值方案统一处理。做完这两步数据才真正达到可分析的状态。这一步如果跳过后面的groupby、数值统计都会报错或者给出错误结果到时候排查起来反而更费时间。2.3 可视化之前必做的一步很多人急着画图我建议先做两个动作第一是df.describe()看数值字段的分布概览第二是df.info()看整体结构。这一步的作用是提前了解数据的大致形态画图的时候心里有底。比如我看完 describe 之后发现票房字段的最小值是 0.02 万相当于 200 块钱最大值是 56 亿均值和标准差差了快 10 倍这说明分布极其分散。如果直接画直方图结果是所有柱子挤在最左边根本看不出形状。所以后面画分布图的时候我果断选择对票房取了对数这是看到数据之后才做的决定不是一开始预设好的。另一个建议是先把列名统一。这份数据集的列名是中文加下划线混着来的比如电影名称票房_万上映年份这种用起来容易敲错我统一改成了英文字段名name、revenue_wan、year、rating等。改完之后代码清爽很多也不容易出低级错误。3. 实操过程与核心环节实现3.1 数据加载与概览我先把整个流程串起来走一遍你拿到自己数据集的时候可以替换成对应字段名。import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns # 设置中文显示 plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False df pd.read_csv(movie_data.csv, encodingutf-8) print(df.shape) # (2864, 11) print(df.info()) print(df.head())这一步的输出结果会告诉你三件事数据规模多大、哪些字段是数值型哪些是文本型、有没有明显的问题。我跑完之后发现revenue_wan和rating是 object 类型验证了前面说的两大数据类型隐患。3.2 清洗流程实现接下来是完整的清洗代码每一步都加上了注释方便后面回头看逻辑# 1. 缺失值处理 print(df.isnull().sum()) # 评分缺失的行直接删除 df df.dropna(subset[rating]) # 票房缺失用中位数填充 revenue_median df[revenue_wan].median() df[revenue_wan] df[revenue_wan].fillna(revenue_median) # 2. 重复值处理 print(df.duplicated().sum()) df df.drop_duplicates() # 3. 票房单位统一处理把字符串转成数值统一为万元 def parse_revenue(x): if isinstance(x, str): if 亿 in x: return float(x.replace(亿, )) * 10000 elif 万 in x: return float(x.replace(万, )) else: return float(x) return x df[revenue_wan] df[revenue_wan].apply(parse_revenue) df[revenue_wan] pd.to_numeric(df[revenue_wan], errorscoerce) # 4. 日期字段处理 df[release_date] pd.to_datetime(df[release_date], errorscoerce) df[year] df[release_date].dt.year # 5. 异常值检查IQR法 Q1 df[revenue_wan].quantile(0.25) Q3 df[revenue_wan].quantile(0.75) IQR Q3 - Q1 upper_limit Q3 1.5 * IQR lower_limit Q1 - 1.5 * IQR print(f异常值上限: {upper_limit:.0f} 万元, 下限: {lower_limit:.0f} 万元) # 单独查看超出上限的电影 outliers df[df[revenue_wan] upper_limit] print(outliers[[name, revenue_wan]].head(10))清洗环节结束后我验证了一下整体数据质量缺失值全部处理完毕字段类型全部正确。到此为止都是看不见的功夫后面的图表能站得住脚全靠这一步兜底。3.3 四张核心图表实现可视化环节我做了四张图每张图对应一个分析问题配合文字说明形成完整的论证链条。第一张图票房分布直方图fig, ax plt.subplots(figsize(8, 5)) sns.histplot(np.log1p(df[revenue_wan]), bins50, colorsteelblue) ax.set_title(电影票房取对数后的分布) ax.set_xlabel(log(票房 1)) ax.set_ylabel(电影数量) plt.tight_layout() plt.savefig(revenue_distribution.png, dpi200, bbox_inchestight)取对数是因为原始票房严重右偏直接画所有柱子都挤在 0 附近取完对数才能看到近似正态的分布形态。我在这张图上标注了均值和中位数的位置直观展示了少数头部电影拉高均值的现象。第二张图评分与票房散点图fig, ax plt.subplots(figsize(8, 5)) sns.scatterplot(xrating, yrevenue_wan, datadf, alpha0.3, colorcoral, axax) sns.regplot(xrating, yrevenue_wan, datadf, scatterFalse, axax, colordarkred) ax.set_title(评分与票房的关系) ax.set_xlabel(评分) ax.set_ylabel(票房万元) plt.tight_layout() plt.savefig(rating_revenue_scatter.png, dpi200, bbox_inchestight)这张图重点看趋势线。回归线的斜率正向且置信区间比较窄说明评分与票房存在正向相关但是散点分布非常分散说明评分之外还有其他因素在起作用——这个细节在结论里单独强调了。第三张图不同类型电影的平均票房对比type_revenue df.groupby(genre)[revenue_wan].mean().sort_values(ascendingFalse) fig, ax plt.subplots(figsize(10, 6)) type_revenue.head(10).plot(kindbar, colorseagreen, axax) ax.set_title(不同类型电影的平均票房Top10) ax.set_ylabel(平均票房万元) ax.set_xticklabels(ax.get_xticklabels(), rotation45, haright) plt.tight_layout() plt.savefig(genre_revenue.png, dpi200, bbox_inchestight)这里用均值而不是总量是因为不同类型电影的数量差异很大总量排名会偏向基数大的类型均值更能反映哪类更受欢迎。第四张图电影票房随年份的变化趋势year_revenue df.groupby(year)[revenue_wan].agg([mean, count]).dropna() fig, ax1 plt.subplots(figsize(10, 5)) ax1.plot(year_revenue.index, year_revenue[mean], colordarkblue, markero, label平均票房) ax1.set_xlabel(年份) ax1.set_ylabel(平均票房万元, colordarkblue) ax2 ax1.twinx() ax2.bar(year_revenue.index, year_revenue[count], alpha0.2, colorgray, label电影数量) ax2.set_ylabel(电影数量, colorgray) ax1.legend(locupper left) ax2.legend(locupper right) plt.tight_layout() plt.savefig(year_trend.png, dpi200, bbox_inchestight)双轴图在这里很合适柱状图展示每年上映电影数量折线图展示平均票房趋势。一眼就能看出一方面电影数量在增长、另一方面平均票房曲线波动上升说明市场竞争在加剧但头部效应也在强化。3.4 结论输出从图表到业务洞察图表做完只是完成了一半这份作业最核心的部分是用文字讲清楚所以呢。我给自己定了一个标准每条结论必须包含一个数字证据不允许出现票房和评分有关这种没有力度的表述。最终写出来的结论有三条第一高评分电影的平均票房显著更高。评分 7.5 分以上的电影平均票房约为评分 6 分以下电影的 3.2 倍但从散点图看低分电影中也有票房表现不错的个例说明评分不是唯一决定因素。第二动画和科幻类型电影的平均票房领先。动画类电影平均票房排名第一这个结果一开始有点出乎意料但结合这两年动画电影的受众扩展和口碑效应是可以解释的。这个结论可以直接转化为选片建议。第三电影市场呈现明显的年度波动。上映数量逐年增加但平均票房并非单调上升说明供给增加后观众选择更分散。建议关注档期竞争状况避开大片扎堆的时段。每条结论都标注了依据哪张图、哪个数据做到了结论有出处、数据有解读。这一步是作业拿到高分的关键也是课堂知识转化成实际工作能力的分水岭。4. 常见问题与排查技巧实录4.1 中文乱码与负号显示问题用 Matplotlib 画中文标题最常遇到的就是图上出现一堆方块。解决方案是设置字体为系统自带的中文字体plt.rcParams[font.sans-serif] [SimHei] # 黑体 plt.rcParams[axes.unicode_minus] False # 解决负号显示为方块如果你在 Mac 上遇到 SimHei 不生效换成[Arial Unicode MS]或者[PingFang SC]。这个问题几乎每届同学都会遇到提前配好能省不少时间。4.2 数据分布太偏直方图看不清票房这种强偏态数据直接画直方图的结果就是一根柱子顶天立地其余都贴地。解决办法是对数据取对数np.log1p(df[revenue_wan])用 log1p 而不是 log 的好处是数据里有 0 值时不会报错或出现负无穷。这是数据分析里教科书级的处理方式值得记下来。4.3 散点图点太多糊成一团2800 多行数据画散点图点多了叠在一起趋势根本看不出来。我用了两个办法一是设置alpha0.3让点变成半透明重叠区域颜色更深二是调用 Seaborn 的regplot在散点图上叠一条回归线趋势一下子就清晰了。如果数据量更大还可以考虑用hexbin六边形分箱图。4.4 图保存出来看不清楚作业提交的图表清晰度很重要。保存图片时用plt.savefig(output.png, dpi200, bbox_inchestight)dpi 从默认 100 提到 200图片放进文档里不会糊bbox_inchestight会自动裁掉多余的空白避免图片四周出现大量留白。另外一定要记得在plt.show()之前 savefig否则可能存下来一张空白图。4.5 常见问题速查表症状原因解决办法图上中文变方块系统字体未被 Matplotlib 识别设置rcParams[font.sans-serif]并重启内核生效票房字段算不了平均值类型是字符串带万/亿后缀先统一单位再to_numeric转数值类型groupby结果反复报错分组键列有缺失值先dropna或fillna再执行分组直方图只剩一根柱子数据严重右偏对数据取对数后再画图散点图全是黑色一团点重叠太密集调低透明度 alpha 或改用 hexbin保存的图片空白保存命令在 show 之后执行把 savefig 放在 show 之前时间字段无法按年份提取还没转成 datetime 类型pd.to_datetime()转换后再.dt.year4.6 提交前最后检查一遍正式提交之前我养成了一个习惯把所有图表截图拼在一起从头到尾看一遍叙事逻辑。从数据清洗记录到分布形态再到相关性分析、分组对比、时间趋势最后落在三条结论上整个流程下来是一条完整的故事线。如果中间某张图跟前后内容接不上那大概率是分析方向偏了趁早调整比最后被老师点名要主动得多。另外一个小技巧是在 Jupyter Notebook 里用 Markdown 单元格给每个环节加一段说明文字说明你这一步在做什么、为什么这么做。老师看作业的时候除了看结果更看重你的分析思路是否清晰。这也是我从这次作业里学到的一个重要心得——代码写得好很重要但让人看懂你的思考过程更重要。