Data Science For Beginners 实战用数据科学场景分析法拆解真实业务流程【免费下载链接】Data-Science-For-Beginners10 Weeks, 20 Lessons, Data Science for All!项目地址: https://gitcode.com/GitHub_Trending/da/Data-Science-For-Beginners导读本文围绕《Data Science For Beginners》课程第一课《Defining Data Science》的课后作业作业解答版系统讲解如何用数据科学方法论审视真实业务流程从能收集什么数据、如何收集、如何存储、能得出什么洞察与决策四个核心问题出发针对教育、疫苗接种、工作效率等不同问题域完成场景化拆解。读完本文你将掌握一套可直接套用的数据科学场景分析框架并能结合课程仓库中的源码、数据集与后续课程统计概率、关系型/非关系型数据库、数据科学生命周期深入验证每一个分析结论。作业背景为什么第一课就要做场景分析在 1-Introduction/01-defining-data-science/README.md 中课程给出了数据科学的定义使用科学方法从结构化与非结构化数据中提取知识与洞察并跨广泛的应用领域应用这些知识与可执行的洞察。这个定义突出了几个关键点数据科学的首要目标是从数据中提取知识即理解数据、发现隐藏关系并构建模型它依赖科学方法如概率与统计获得的知识必须转化为可操作的洞察actionable insights即能应用到真实业务场景的实用结论它必须同时处理结构化与非结构化数据应用领域application domain是重要概念数据科学家通常需要对问题域有一定专业度如金融、医疗、营销。因此第一课作业 assignment.md 的目的就是让学习者把抽象的数据科学流程落地到具体的业务问题上给定一个真实的过程或问题用四个递进的问题把数据方案想清楚。作业解答版 solution/assignment.md 则给出了一份教育场景的完整示例答案并配套评价标准Rúbrica。场景分析的四问框架作业要求对每个问题域逐一回答以下四个问题这正是数据科学流程的浓缩问题对应数据科学环节1. 可以收集哪些数据数据采集Data Acquisition2. 如何收集这些数据数据采集手段与数据源3. 如何存储数据数据规模大概多大数据存储Data Storage与容量预估4. 从这些数据中能获得哪些信息能做出哪些决策数据处理、可视化/人类洞察、预测模型对照 1-Introduction/01-defining-data-science/README.md 中列出的数据旅程Data Journey这四个问题实际上覆盖了完整链条的骨架数据采集 → 数据存储 → 数据处理 → 可视化/人类洞察 → 训练预测模型。其中第 4 问又分两层短期的信息洞察描述性分析和长期的决策行动如激励措施、预测建模后者会与本课程的机器学习内容衔接。示例解答逐段精读教育场景出勤率提升作业解答版给出的教育场景示例是理解整个作业标准的锚点原文以表格形式呈现逐格拆解如下列示例解答内容问题域教育Educación问题陈述大学课堂普遍出勤率低假设平均而言坚持出勤的学生考试成绩更好。目标是激励出勤并检验该假设。收集什么数据通过教室监控摄像头拍照记录出勤或通过追踪学生手机在教室内的蓝牙/WiFi 地址记录出勤。考试成绩数据已存在于大学数据库中。如何存储若采用监控摄像头图像方案需在课堂上保存若干张5–10 张照片非结构化数据随后用 AI 识别学生人脸将数据转换为结构化形式。可获得的信息/决策计算每名学生的平均出勤数据检验其与考试成绩的相关性为激励出勤可在学校门户发布每周出勤排行并向出勤率最高者抽奖。这个示例的价值在于展示了从原始非结构化数据到结构化洞察再到业务决策的完整链路其中蕴含三个值得展开的技术点。技术点一数据形态的转换非结构化 → 结构化示例中摄像头照片 → AI 人脸识别 → 结构化记录的思路直接呼应课程对数据类型的划分。在 1-Introduction/01-defining-data-science/README.md 中数据被分为三类结构化数据以表格或多张表呈现如带电话号码的人员名单建筑内每间房过去 20 年每分钟的温度半结构化数据具有一定结构但差异较大如带链接的维基百科页面、JSON 格式的学术论文集合非结构化数据文件的集合如《大英百科全书》全文、企业共享文件夹中的文档、监控摄像头的原始视频流。示例中的监控照片属于非结构化数据通过 AI 特征提取人脸识别转化为结构化记录——这正是 1-Introduction/01-defining-data-science/README.md 中数据处理Data Processing环节的典型手法处理文本或图像等非结构化数据时我们可能需要使用一些 AI 技术从数据中提取特征从而将其转换为结构化形式。另外示例中追踪手机蓝牙/WiFi 地址属于物联网IoT传感器类数据源课程在哪里获取数据一节中明确将 IoT 列为典型的结构化数据来源。隐私提示示例方案涉及摄像头人脸识别与手机 MAC 地址追踪属于高敏感数据。本课程的 02-ethics 章节 专门讨论了数据科学中的伦理问题。在实际落地时需要评估知情同意、数据最小化、加密存储与访问控制等合规要求示例仅用于教学演示分析思路。技术点二存储方案的权衡示例给出的存储思路少量非结构化照片 转换为结构化后的关系型记录体现了课程对存储决策的指导在决定如何存储数据时应预见未来查询数据的方式出自 01 课 README。课程梳理了三种主要存储形态关系型数据库以 SQL 查询表按 schema 组织通常需要将数据从原始形态转换为符合表结构的形式NoSQL 数据库如 CosmosDB不对数据强制 schema可存储层级化 JSON 文档或图数据但查询能力不如 SQL 丰富且无法强制引用完整性数据湖Data Lake用于大规模原始非结构化数据常与大数据集群配合Apache Parquet 是常用格式。示例方案正好展示了非结构化存储 结构化存储的组合原始照片用文件/对象存储数据湖形态人脸识别结果写入关系型数据库以便按学生聚合查询。关于关系型与非关系型存储的深入实操可分别参考 05-relational-databases 课程表、行、列、schema、SQL与 06-non-relational 课程电子表格、键值、文档、图、列式存储。技术点三相关性检验与决策闭环示例中计算每名学生平均出勤率检验其与考试成绩的相关性指向了 04-stats-and-probability 课程。该课程指出现实数据往往并非严格的随机变量但我们仍可对其应用均值、中位数、方差等数学概念并通过假设检验与置信区间来验证关系是否统计显著。出勤率与成绩的相关性分析正是这类应用的典型先绘制散点图/箱线图观察分布再以统计方法检验假设避免仅凭直觉下结论。而发布每周出勤排行 向高出勤者抽奖则是基于洞察的业务决策形成了数据 → 洞察 → 行动的闭环这正是数据科学区别于纯统计的核心价值洞察必须能驱动现实决策。两个留白问题域的补全思路作业解答版刻意将接种疫苗Vacunación和工作效率Productividad两个问题域留白仅给出教育示例作为参照。下面依据课程框架给出两种补全思路示例基于课程概念与方法论的推演供学习对照并非官方答案补全思路疫情期间的疫苗接种控制列补全思路问题域公共卫生 / 疫苗接种问题陈述疫情期间如何科学规划、控制并评估疫苗接种进度优先保障高风险人群。收集什么数据接种者信息年龄、地区、职业、基础疾病、接种记录剂次、时间、疫苗品牌、人口统计学数据、各区域疫情感染/住院数据。如何存储接种记录按一人多剂的规范化结构存入关系型数据库参考 05-relational-databases 中避免单表重复的表设计思想疫情时间序列属于典型的结构化表格数据仓库 data/COVID/ 目录下提供了time_series_covid19_confirmed_global.csv、time_series_covid19_deaths_global.csv等按国家/地区、按日期组织的累计时间序列数据可作为同类数据的真实样例。可获得的信息/决策计算各人群/地区的接种覆盖率与接种速率识别接种洼地将接种率与感染/住院率做相关性分析方法同 04 课用于动态调配疫苗资源、调整优先接种顺序并向公众发布进度。补全思路基于数据的个人/团队工作效率管理列补全思路问题域工作效率 / 生产力问题陈述如何用数据客观了解自己或团队的时间分配与产出找出效率瓶颈并做出改进决策。收集什么数据任务清单与完成时间记录、代码提交/文档产出量、会议时长与频率、专注时间段可借助软件自动记录、主观自评每日反思评分。如何存储量化的结构化记录存入关系型数据库或电子表格参考 06-non-relational 中电子表格部分若包含自由文本反思或日志可作为半结构化/非结构化数据另行存储再用关键词或情感分析提取特征。可获得的信息/决策统计各类型任务的耗时分布、寻找高产时段与低效时段的规律检验某类干扰事件是否显著拖低当日产出等假设据此调整日程安排、削减低价值会议、制定更合理的目标。提示作业说明Instrucciones明确允许学习者用自己的问题域替换建议的三个问题域因此以上两个补全只是演示同一套四问框架如何在截然不同的领域复用——这也正是应用领域application domain概念在课程定义中被反复强调的原因。评价标准Rúbrica好答案的四个特征作业解答版附带了评分标准它是检验自己分析是否达标的直接工具优秀Excepcional合格Adecuado需改进Necesita Mejorar为所有问题域识别出合理的数据源、数据存储方式以及可能的决策/洞察解决方案的某些方面不够详细未讨论数据存储至少描述了2 个问题域只描述了数据方案的部分内容只考虑 1 个问题域从中可以提炼出四条可操作的自检规则完整性每个问题域都必须覆盖数据源—存储—洞察/决策三段缺一不可尤其是存储环节最容易被遗漏合格标准专门点名覆盖广度至少分析 2 个问题域才能达到合格3 个才能达到优秀数据源合理性数据来源要具体、可落地如摄像头、蓝牙/WiFi、数据库既有记录而不是笼统说收集数据决策可执行洞察必须落到我们据此能做什么如发布排行、抽奖激励、调整资源分配而不是停留在得出结论。从作业到完整数据科学生命周期场景分析作业是第一课的思维热身但它的四问框架与整个课程体系一脉相承。在 4-Data-Science-Lifecycle/14-Introduction/README.md 中数据科学生命周期被划分为五个阶段捕获Capturing→ 处理Processing→ 分析Analysis→ 沟通Communication→ 维护Maintenance。对照可见作业四问中的收集什么、如何收集对应捕获阶段该阶段还要求定义项目目标、评估数据数量与质量如何存储、规模多大对应维护阶段的存储管理该章节讨论了本地/云端、冷/热数据分层、加密与访问控制等能获得什么信息对应处理与分析阶段统计方法与机器学习建模包括分类、聚类、回归能做出什么决策则贯穿沟通阶段把洞察传达给利益相关者。因此这份作业的本质是让学习者用最小成本提前走一遍完整生命周期从业务问题出发倒推数据方案再回到业务行动。完成三个问题域的表格后你可以继续在 notebook.ipynb 中实践用 Python 处理真实数据如从维基百科抓取文本、构建词云或在 04 课 notebook 中体验用统计工具检验相关性假设把这里的思路变成可运行的结果。小结本文以作业解答版为核心完整梳理了数据科学场景分析的四问框架收集什么、如何收集、如何存储、获得什么洞察与决策逐格拆解了教育场景示例中的数据形态转换、存储方案权衡、相关性检验与决策闭环三大技术点并依据课程框架补全了疫苗接种与工作效率两个留白问题域的参考思路最后对照评分标准给出了可操作的自检清单。你可以将这套框架直接用于任何领域的问题——这正是 Data Science For Beginners 课程在第一课就想教会你的能力。【免费下载链接】Data-Science-For-Beginners10 Weeks, 20 Lessons, Data Science for All!项目地址: https://gitcode.com/GitHub_Trending/da/Data-Science-For-Beginners创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考