且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

《数据科学R语言实践:面向计算推理与问题求解的案例研究法》一一导读

更新时间:2021-10-29 01:15:48

前  言
我们编写本书有两重目的:一是想让学生能够阅读到计算推理方面的内容以及真实世界中数据分析的细节;二是希望提供有趣而且有用的资料,帮助统计学教师为新型的统计学和数据科学专业的学生讲授一门新拓展课程的重要方面。这门强化型课程是为了揭示数据分析和计算推理方法,而不是注重统计方法学。我们的目标不是提供简短的答案和方案,而是探索在数据科学项目中涉及的各种问题、各种可能的方案以及思维过程。
本书目标
有很多种常用于数据分析和数据科学的编程语言。我们在本书中重点使用R语言,但也会使用其他类型的领域专用语言(DSL),甚至还会用到UNIX shell语言和C语言。本书不打算讲授包括R语言在内的任何语言的文法或语义,也不会罗列大量数据科学家常用的R语言程序包和函数。本书的编写是为了使读者能够体验数据分析中真实计算问题的思维过程。有很多书籍讲解程序设计,所采用的方法是用一个章节介绍重要概念,再用其他章节介绍一些示例。这种方式是非常有用的,可以作为学习的基本出发点。但是,本书中作为示例的程序代码是由专家编写的最终精良版本,我们不会专门为读者说明编写代码的实际过程,而是直接给出最终结果代码。我们的目的是要举例说明这样的过程:程序员如何着手处理问题,以及如何考虑采取各种方式实现解决方案。这个过程具有高度的动态性和可重复性。我们首先编写一部分代码,然后测试代码、修改代码、精化代码、扩展代码和概化代码。经常出现的情况是,当从第一次尝试或原型中学到经验后,我们会“从头再来”,重新开发一个更简洁、清晰的版本。在这个过程中,我们需要在简洁性、效率、通用性、可重用性、正确的近似结果等各种要求之间做出折中。我们试图找到的方法是,最小化代码修改,但使得代码执行得更快,也更灵活。本书中,我们想要示范说明这个整体过程,以及成熟的程序员经常会根据丰富的经验做出的那些决定。希望本书能对普通教材做出补充,能为学生、研究者(甚至是教师)简要地展示专业数据科学家如何思考日常计算任务。
案例研究在统计计算课程中的应用
为统计计算(或任何)专业开设一门新的课程,对教师来讲是一项非常耗时的任务。我们常常必须去学习一些新的主题,或起码的基本细节,对它们进行优选和排序,确定哪些主题必须放在课程里,以及按照什么次序排放。我们必须准备大量的作业,以便年复一年地轮换使用。我们还可以布置一些综合性程序设计作业以帮助学生学习,比如矢量化、循环、正则表达式等内容。这些可怕的入门练习对于刚刚接触基本概念的初学者来说是必需的,但这些入门练习不一定要被扩展为大作业或小型项目。我们比较赞成的方法是,在统计计算课程中给学生安排真实的实际数据分析项目,这些项目将新概念紧密结合到常规的数据科学工作流中。我们想为学生揭示数据科学家的日常活动,我们认为学生会对这些内容感兴趣,而且这也有助于他们了解广泛的数据分析应用。进而,我们想要与计算主题一起介绍一些统计方法和概念,这些主题在其他课程中是没有的。基于这些理由,我们的统计计算课程起到了“百宝箱”的作用,囊括数据科学家为了日常工作必须掌握的许多“真实世界”中的主题。
在记住了这些目标后,找到教学上有趣的项目和作业是一项极其有挑战性的任务。要求这些项目和作业能够让学生实际完成并能激发他们的兴趣,还要能够示范专门的主题。在加州大学伯克利分校和戴维斯分校讲授计算课程时,我们花费了数日乃至数周的时间来开发作业,对可能的数据集和数据源产生了许多想法。我们往往需要对4~5个相关问题进行“面试”,然后从中筛选出其一并转化为作业。有些问题虽然有趣,但是过于简单或者过于复杂,因而不得不放弃。在进行完数据处理后,有些问题确实成为有趣的统计问题或数据分析问题,而有些问题则不适宜用来讲解那些我们希望学生关注的与计算和统计相关的主题。我们希望本书及其案例研究在将有趣的问题整合到面向数据科学技能的统计课程和计算课程的过程中,为教师扫清障碍。
在当今数据科学时代,我们拥有众多丰富而有趣的数据集可用于研究和教学。Debby Swayne、Paul Murrell和Hadley Wickham等人组织的Data Expo竞赛就是一个很好的数据来源,可提供各种有趣的、具有挑战性的、可管理的问题。数据仓储(如加州大学欧文分校(UCI)数据仓储)在数量和多样性方面也在不断增长。一些网站(如Kaggle.com)也能提供有趣的问题和数据。本书的关注点与它们稍微有所区别。我们尝试从原始数据开始,鉴别和探索有趣的潜在问题,而不是使用规定好的问题或预处理过的数据。让学生既体验如何获取和处理结构化或半结构化数据,也体验如何限定和构造关于这些数据的有趣问题,我们觉得这些是非常重要的。这个动机源自于我们在工业研究实验室(IBM和贝尔实验室)、暑期学校(如统计学研究中的探索(ESR)暑期学校)以及加州大学伯克利分校和戴维斯分校所进行的教学而积累的经验。
广泛的主题。

目录

第1章 基于室内定位系统的位置预测
1.1 引言
1.2 原始数据
1.3 数据清洗和建立用于分析的数据表示
1.4 信号强度的分析
1.5 预测位置的最近邻方法
1.6 练习题
第2章 樱花公路赛参赛选手比赛时间建模
2.1引言
2.2 将比赛结果表读入R中
2.3 数据清洗和变量格式化
2.4 探索所有男选手的跑步时间
2.5 为跨年度的个人参赛选手构造记录
2.6 对个人跑步时间的变化进行建模
2.7 从网上抓取比赛结果
2.8 练习题