斯坦福大学卫生研究与政策副教授 Kristin Sainani 的一节线上研讨 How to Be a Statistical Detective(如何成为一名统计侦探:用简单方法侦测统计错误),面对医学领域的 再现性危机 介绍了几个避免统计错误的工具。节省时间的话,也可以直接阅读她去年底发的一篇题目相同的 文章,不过研讨中结合了更多案例,并结合每个案例介绍工具。
第一个案例是 2006 年的一篇发在 Nature Medicine 上的 研究,其声称可以识别基因特征,以预测特定癌症药物敏感性,从而为病患匹配最有效的药物。该篇文章最终因一系列问题被撤下。 其中在使用 2003 年 Lancet 上一篇对多西他赛的 研究 相同数据时,犯下指定 0 和 1 时弄反了两种数据这一简单错误。
- 常识
- 简单计算
第二个案例为一项健身运动后的食物摄取补偿机制的 研究,即进行相同的身体活动,作为运动的感知要比娱乐更容易产生享乐心理,摄入更多食物。对实验数据的统计结果中,出现简单的四则运算错误。而为了令 p 值小于 0.5,仅采单尾 p 值,即恶劣的「p 值操纵」(p-hacking)。
- Statcheck,自动抽取文中统计信息、自由度、p 值,检查其一致性。
- GRIM,对小于 100 样本量的数据检测其平均值的合理性。
第三个 案例 并不存在学术不端问题,不过其中相关系数或受强影响点作用,需进一步解释。
- WebPlotDigitizer,抽取图表数据,或自行绘制,以重新分析数据。
最后也对论文作者、评议者、一般读者给建议。研究过程中,最重要的是分析数据之前,对数据进行整理与理解,许多失误往往忽略此步。对于论著中的研究设计、统计数据,许多时候以常识也可以分辨错误。不过这一点对于专业「挑刺」的她显得容易,就像伯恩斯坦在年轻人音乐会上的 音乐测验 一样,毫无乐理知识的人甚至分辨不出这些简单的问题。
第一个案例是 2006 年的一篇发在 Nature Medicine 上的 研究,其声称可以识别基因特征,以预测特定癌症药物敏感性,从而为病患匹配最有效的药物。该篇文章最终因一系列问题被撤下。 其中在使用 2003 年 Lancet 上一篇对多西他赛的 研究 相同数据时,犯下指定 0 和 1 时弄反了两种数据这一简单错误。
- 常识
- 简单计算
第二个案例为一项健身运动后的食物摄取补偿机制的 研究,即进行相同的身体活动,作为运动的感知要比娱乐更容易产生享乐心理,摄入更多食物。对实验数据的统计结果中,出现简单的四则运算错误。而为了令 p 值小于 0.5,仅采单尾 p 值,即恶劣的「p 值操纵」(p-hacking)。
- Statcheck,自动抽取文中统计信息、自由度、p 值,检查其一致性。
- GRIM,对小于 100 样本量的数据检测其平均值的合理性。
第三个 案例 并不存在学术不端问题,不过其中相关系数或受强影响点作用,需进一步解释。
- WebPlotDigitizer,抽取图表数据,或自行绘制,以重新分析数据。
最后也对论文作者、评议者、一般读者给建议。研究过程中,最重要的是分析数据之前,对数据进行整理与理解,许多失误往往忽略此步。对于论著中的研究设计、统计数据,许多时候以常识也可以分辨错误。不过这一点对于专业「挑刺」的她显得容易,就像伯恩斯坦在年轻人音乐会上的 音乐测验 一样,毫无乐理知识的人甚至分辨不出这些简单的问题。
YouTube
Stanford Webinar: How to Be a Statistical Detective
Statistical errors are all too common in medical literature, and contribute to the reproducibility crisis currently plaguing science. Fortunately, you don’t need a degree in statistics to catch these errors. While some errors are impossible to spot without…
The Sociologist
法国经济学家 Thomas Piketty 的去年的新书 Capital et Idéologie (资本论与意识形态) * 最近出了英文版**,延续他此前一本畅销书《二十一世纪资本论》对于欧美新自由主义的收入不平等问题的阐述,而且是从更长时段下统计学观测,批评精英阶层对不平等的维持。 数据到底能不能用来准确反应社会变化,即使今天数据的精确和开放远胜以往,也依然 难以 准确记录和避免误读。The Economist 也批评了这一点,并认为 Piketty 为社会主义辩护。The Guardian 则指,…
Thomas Piketty 接受哈佛大学出版社 采访,谈了 Capital and Ideology 的研究与写作的心得与想法。此前他的 Capital in the Twenty-First Century 一书饱受批评的一点在于其西方中心视角,而 Piketty 在其出版后的交流中拓宽视野,拓展论述了不同国家及时期的社会制度中的不平等。
对于各式意识形态,Piketty 认为它们其实很脆弱,对作为政治结构的不平等不断被冠以各种看似合理的叙事。人们对「不平等」的认知充满宗教性,认为当今的不平等是功绩制的、动态的、开放的,而过往则是威权与不公平带来的必然结果。
长时段的视角也有助于理解看似今天坚固的体系并非不可撼动。Piketty 以瑞典为例,人们以为其社会民主社会模式来自维京文化,实际上瑞典曾长期极度不平等,改变 并没有多久。
对于为何八十年代后的不平等不断加剧之下的左翼政党毫无作为,Piketty 也作出解释。二战之后的各种左翼政党多由教育程度低、社会阶层低的成员组成,而当今的各国民主党、工党、社会民主党可以被称为「左翼婆罗门」,普遍受过高等教育且处于富裕阶层,社会弱势群体也因此不再投票支持(e.g. Jeremy Corbyn)。
对于各式意识形态,Piketty 认为它们其实很脆弱,对作为政治结构的不平等不断被冠以各种看似合理的叙事。人们对「不平等」的认知充满宗教性,认为当今的不平等是功绩制的、动态的、开放的,而过往则是威权与不公平带来的必然结果。
长时段的视角也有助于理解看似今天坚固的体系并非不可撼动。Piketty 以瑞典为例,人们以为其社会民主社会模式来自维京文化,实际上瑞典曾长期极度不平等,改变 并没有多久。
对于为何八十年代后的不平等不断加剧之下的左翼政党毫无作为,Piketty 也作出解释。二战之后的各种左翼政党多由教育程度低、社会阶层低的成员组成,而当今的各国民主党、工党、社会民主党可以被称为「左翼婆罗门」,普遍受过高等教育且处于富裕阶层,社会弱势群体也因此不再投票支持(e.g. Jeremy Corbyn)。
刚刚 Apple Inc. 在其官网宣布将发售 iPhone SE。与此前提及美联社 格式变更、英语中一词缀的 地域差异 等一样,语言与社会密不可分。在 iPhone SE 一例中,中国大陆、香港、台湾 三地都使用中文,而除了一眼就能分辨出来的繁简差异,字体、字形、排印也存在细微差别,用词的不同也在历年频频被提及(Mivansaka 在其博客也做了 整理,中港台外也包含日文,不过对我来说除了文本性,其物质性的差异也不可忽视,故对比中保留呈现于网页中的状态)。社会语言学的视角来看,作为跨国公司的 Apple,在地广告宣传中可见其文字的差异,口语化如「咱们」、「波鞋」、「沒在怕」,受宗教影响如「願光、影、輪廓,全歸世人」等,本地语言与商业活动之间持续互动变化(Bellak 2014, Tietze et al 2016, Gao 2017)。
用数据可视化的方式讲述观点、描述事件愈加普遍,我在年初整理了新型冠状病毒爆发之初的学术机构与新闻媒体的可视化项目,北京大学可视化与可视分析研究小组做了一系列图表,GIJN 收集了中文媒体和全球媒体的数据报道,澎湃对中国各类媒体对数据报道也做了汇总。
以视觉方式呈现信息随着近年技术进步和数字设备普及而井喷,给人以产生时间不长之感,实际上自史前时代开始早有萌芽。
Google 交互设计高级主管 Manuel Lima 前两天在 Crowdcast 上直播一场对话,A conversation on historical data visualization,对谈者有 Michael Friendly 和 Sandra Rendgen,这两位最近都有相关新书上架。Friendly 是约克大学心理学教授,七十年代开始应用量化与计算机方法,九十年代开始研究可视化统计,因此闻名。Rendgen 有艺术史与文化研究的学术背景,现为 Infographics Group 的设计主管。 Lima 之后在 Twitter 上给出了直播提及的一些材料。
Friendly 在去年的芝加哥人文节(Chicago Humanities Festival)上讲了类似的主题,更为详细,也在 Handbook of Data Visualization 的一个章节论述过(Friendly 2008)。
稍稍调查收集一下一两百年前的图表,就会令人惊讶,其实许多今天看起来很花哨的图表早就出现了,甚至在系统性、严谨性上还不如过去。中世纪的耶西之树、拉蒙·柳利的 L'arbre de ciència(科学树)、达尔文的生命树深刻影响后世的谱系关系视觉表达。
Lima 引述了美国作家鲍德温的一句话,「History is not the past. It is the present. We carry our history with us. We are our history.」对于许多事物的理解缺乏历史脉络的认识,也缺少跨学科、跨领域的研究。
以视觉方式呈现信息随着近年技术进步和数字设备普及而井喷,给人以产生时间不长之感,实际上自史前时代开始早有萌芽。
Google 交互设计高级主管 Manuel Lima 前两天在 Crowdcast 上直播一场对话,A conversation on historical data visualization,对谈者有 Michael Friendly 和 Sandra Rendgen,这两位最近都有相关新书上架。Friendly 是约克大学心理学教授,七十年代开始应用量化与计算机方法,九十年代开始研究可视化统计,因此闻名。Rendgen 有艺术史与文化研究的学术背景,现为 Infographics Group 的设计主管。 Lima 之后在 Twitter 上给出了直播提及的一些材料。
Friendly 在去年的芝加哥人文节(Chicago Humanities Festival)上讲了类似的主题,更为详细,也在 Handbook of Data Visualization 的一个章节论述过(Friendly 2008)。
稍稍调查收集一下一两百年前的图表,就会令人惊讶,其实许多今天看起来很花哨的图表早就出现了,甚至在系统性、严谨性上还不如过去。中世纪的耶西之树、拉蒙·柳利的 L'arbre de ciència(科学树)、达尔文的生命树深刻影响后世的谱系关系视觉表达。
Lima 引述了美国作家鲍德温的一句话,「History is not the past. It is the present. We carry our history with us. We are our history.」对于许多事物的理解缺乏历史脉络的认识,也缺少跨学科、跨领域的研究。
Reuters Institute 前两天发布了一篇报告,通过 YouGov 的线上问卷,对来自🇦🇷🇩🇪🇰🇷🇪🇸🇬🇧🇺🇸六个国家的共八千余人,调查了其在新型冠状病毒的全球流行早期(3 月 31 日至 4 月 7 日)获取新闻资讯、评价来源可信度、遭遇错误资讯、对病毒的认知反应,即「信息流行病」(infodemic)。
数据分析可见,新闻依然是这些国家大多数人获取新型冠状病毒资讯的来源,对新闻机构的信任程度也较高。但受教育程度低的人往往不太相信新闻报道和新闻机构。特别是在🇺🇸,不同政治立场和信仰的人对新闻和政府的信任存在明显差异。统计截止至 4 月 7 日,政治立场偏共和党的人群对专家和科研人员的信任已经很低,而在这之后特朗普持续抨击国内专家和世界卫生组织,这一人群对专业知识来源的信任度或持续下降。🇺🇸🇰🇷🇪🇸许多受访者也认为个别政治人物制造了大量自上而下的错误咨询,🇪🇸🇦🇷的社交媒体和即时通讯上的错误与误导资讯比例较高。
新闻机构确实发挥了关键作用,即使在🇨🇳,许多人在疫情爆发初期也通过财新之类的「半独立媒体」获得了许多重要资讯。
数据分析可见,新闻依然是这些国家大多数人获取新型冠状病毒资讯的来源,对新闻机构的信任程度也较高。但受教育程度低的人往往不太相信新闻报道和新闻机构。特别是在🇺🇸,不同政治立场和信仰的人对新闻和政府的信任存在明显差异。统计截止至 4 月 7 日,政治立场偏共和党的人群对专家和科研人员的信任已经很低,而在这之后特朗普持续抨击国内专家和世界卫生组织,这一人群对专业知识来源的信任度或持续下降。🇺🇸🇰🇷🇪🇸许多受访者也认为个别政治人物制造了大量自上而下的错误咨询,🇪🇸🇦🇷的社交媒体和即时通讯上的错误与误导资讯比例较高。
新闻机构确实发挥了关键作用,即使在🇨🇳,许多人在疫情爆发初期也通过财新之类的「半独立媒体」获得了许多重要资讯。
Reuters Institute for the Study of Journalism
Navigating the ‘infodemic’: how people in six countries access and rate news and information about coronavirus
A report on news consumption and trust in news during the pandemic
对上一条中提及的美国存在党派分歧,不仅存在于对资讯来源的偏好、信任和认知层面,已经产生实际的应对流行病风险的行动上的差异。来自微软研究实验室、纽约大学、斯坦福和哈佛的几位经济学家通过 SafeGraph 提供的智能手机 GPS 定位数据,分析社交疏离行动、政党分歧的地理差异之间的关系,得出政治信仰的党派差异与应对疫情之间存在关联显著(Allcott 2020)。
皮尤研究中心前日发布新型冠状病毒期间🇺🇸美国人对🇨🇳中国态度调查报告(Pew 2020),去年底发布的一次🌍全球态度调查已经显示全球多国对中持负面态度。而此前美国总统特朗普发起的贸易摩擦及与此相关的言论影响,加之疫病当下两国口水战愈演愈烈,美国人对中国及中国领导人习近平的评价跌至历史最低。其调查数据中有几点值得关注:
- 对中态度依然存在党派分歧,但长期以来相对持正面观感的民主党也发生变化。
- 以往三十岁以下年轻人对中国持积极态度,近期倾向负面。
- 中国早期处理疫情相较美国更有成效,但起到并未改变对中负面态度作用。
- 九成美国人视中国实力增长为威胁,其中六成视作主要威胁。
- 去年香港逃犯条例事件带来中港关系紧张,但美国人鲜少关心。虽然对人权问题的关注有所增长,但并非主要担忧,生态环境与网络攻击才是最关心的议题。
- 虽然近期美国金融市场急剧动荡,反而美国人视本国为全球最大经济体的看法显著增强。不同年龄、经济阶层、政治立场的人存在对中美国际地位的认知矛盾。
还有一点挺有趣,昨天中国外交部例行记者会上,法新社记者提到了这一数据,耿爽以无意义套话回应。
- 对中态度依然存在党派分歧,但长期以来相对持正面观感的民主党也发生变化。
- 以往三十岁以下年轻人对中国持积极态度,近期倾向负面。
- 中国早期处理疫情相较美国更有成效,但起到并未改变对中负面态度作用。
- 九成美国人视中国实力增长为威胁,其中六成视作主要威胁。
- 去年香港逃犯条例事件带来中港关系紧张,但美国人鲜少关心。虽然对人权问题的关注有所增长,但并非主要担忧,生态环境与网络攻击才是最关心的议题。
- 虽然近期美国金融市场急剧动荡,反而美国人视本国为全球最大经济体的看法显著增强。不同年龄、经济阶层、政治立场的人存在对中美国际地位的认知矛盾。
还有一点挺有趣,昨天中国外交部例行记者会上,法新社记者提到了这一数据,耿爽以无意义套话回应。