描述
开 本: 32开纸 张: 轻型纸包 装: 精装是否套装: 否国际标准书号ISBN: 9787508692067
大学排名和身体质量指数（BMI）竟然是一场骗局？
在数据经济时代，我们不仅是数据巨头的用户，也成为它们的商品？
为什么说“一般人公式”会带来更多的间接损害与不公？
数据安全和数据正义该如何维护？
未来20年，算法和大数据将席卷世界，接管我们的生活、社会和经济。我们生活中的很多方面都将落入自动化的数据分析之下。确保算法和大数据的公平性将是一项重大的任务，数据伦理的价值和意义将不断凸显出来。在这本书的作者凯西•奥尼尔看来，黑盒里，大数据的规模、伤害和隐秘共存，她在书中引用了大量发生在美国当下的、基于大数据和算法的、改变个人生活的案例，并对影响这些城市生活经验的算法做了特别的观察和研究。作者认为，数据和算法的关系就像枪械和军火，数据没有价值观，是中立的，但来自人类行为的输入，难免隐含偏向，而算法创造的数据又对人类行为产生反作用，从而导致更多的不公。凯西在书中指出：算法模型一旦运转，执法行为就会增多，产生的新数据又会进一步证明加强执法的必要性。形象地说，就是哪里“前科”越多，哪里就越受算法“关照”，*终形成一个失真甚至有害的回环。因此，建模者应该对自己的算法承担更多责任，政策制定者要对模型的使用进行管理，让更多的人受益，维护社会的公平与民主。
我们生活在算法的时代。我们去哪个学校上学，是否能够获得车贷、需要为健康保险支付多少钱，这些对我们的生活有着重大影响的决定越来越由不得人类自己，而是被各种数学模型所操控。从理论上来说，模型可以更好地促进公平，因为每个人适用于同等的规则，不存在偏袒。
但凯西•奥尼尔这本迫切而且必要的书却告诉我们，事实刚好相反。如今，被广泛使用的算法模型，即使其本身充斥着错误，也依旧不受管束、不被质疑。其中，“强化歧视”的问题特别值得反思：如果一个穷学生因为被借贷模型认定为风险过高（仅仅是根据该学生所生活的街区就得出此判断）而贷不了款，那么接下来，他就会被剥夺能够帮他摆脱贫困的接受优质教育机会，继而陷入一系列的恶性循环。
通过追踪一个人的生命轨迹，凯西•奥尼尔试图在书中揭露数学杀伤性武器对塑造个人和社会未来的影响。这些数学杀伤性武器给教师和学生评分，筛选简历，批准贷款或拒绝贷款，评估员工，甚至监督我们的健康状况，因此凯西•奥尼尔呼吁建模者，要对自己的算法承担更多责任，并且呼吁政策制定者对模型的使用进行监督管理。她指出，对模型的掌控*终取决于我们自己。这本重要的书迫使我们直面问题，揭示真理，要求改变。
目录
引文
章 盲点炸弹
不透明、规模化和毁灭性
第二章 操纵与恐吓
弹震症患者的醒悟
第三章 恶意循环
排名模型的焦虑与特权
第四章 数据经济
掠夺式广告的赢家
第五章 效率权衡与逻辑漏洞
大数据时代的正义
第六章 筛选
颅相学的偏见强化
第七章 反馈
辛普森悖论的噪声
第八章 替代变量和间接损害
信用数据的陷阱
第九章
“一般人”公式
沉溺与歧视
第十章 正面的力量
微目标的出发点
结束语
注释
索引
奥尼尔已经成为大数据领域的揭发人……在她这本重要的新书中……她提出了特别发人深省的观点，即算法的错误决定是如何产生滚雪球般令人难以置信的破坏力的。——《时代周刊》
奥尼尔的这本书使我们恐慌地看到，算法是如何日益掌控我们的……她在数学和数学模型风险方面的知识，加上她擅长类比的天赋，使她成为数学杀伤性武器的观察员之一……她很好地解释了掌控着我们生活的算法其实无处不在，危机四伏。——《纽约时报》
《算法霸权》讲述的是硅谷支持者不会外传的故事……这本书简洁有力地揭露出使用数据信息评估信用、警务战术等所有事情的弊端……这本书对于总是倾向于认为数据不会撒谎的人来说，振聋发聩。——路透社
这本书是21世纪公民的手册，它胜出其他大数据相关书籍的地方在于：内容浅显易懂，具有批判性，切合当下。——《金融时报》
这本书微妙地提醒，大数据只有在为人类所掌控时才是好的数学工具。——《连线》
一本发人深省的好书。
——尤瓦尔•赫拉利，《人类简史》《未来简史》《今日简史》作者
凯西•奥尼尔看透大数据的本质，形势并不那么美好。《算法霸权》揭开了算法的面纱，算法剥削人类，存在偏见，是一种中性的数学工具。这本书智慧、凶猛，非常必要。
——乔丹•艾伦伯格 美国威斯康星大学数学教授 《魔鬼数学》作者
小时候，我常常盯着车窗外的车流，研究车牌号。我会把每个车牌号分解成素数，如：45=3*3*5。这叫做因式分解，是我喜欢的研究消遣。我这个小数学迷对素数问题特别感兴趣。
我对数学的爱好终发展成热爱。14岁时我参加数学大本营，带回来一个心爱的魔方。数学使我彻底逃脱现实世界的混乱。经过一步步证明，数学不断发展，知识领域不断扩大。我也加入到数学领域中，上大学时主修数学，后来取得博士学位。我的论文研究代数理论，这一领域根源于我小时候爱做的因式分解。后，我成为巴纳德学院的终身教授，该学院与哥伦比亚大学联合培养数学系。
后来，我做了一个重大的改变。我从大学离职，到对冲基金D.E.Shaw担任数学分析专家。我离开学术界进入到金融领域，把抽象的数学理论应用到实践中。我们所做的数据分析为一个又一个账户变现数万亿美元。起初，在这新研究室研究全球经济我感到兴奋又震撼。但是，我在那儿工作一年多以后，2008年的秋天，全球金融危机爆发。
很明显，金融危机使得我曾经的庇护所数学不仅卷入了世界问题中，还助推了其中的许多问题。房地产危机，重大金融机构倒闭，失业率上升，数学家通过运用神奇的公式成为这些问题的帮凶。而且，数学的功能特别强大，这一点我非常喜欢，一旦数学与科技结合，系统的效率会提高，规模扩大，混乱和不幸就会倍增，我现在意识到这是一种缺陷。
要是我们当时头脑清醒的话，就会后退一步思考，数学是怎么被我们误用的，我们该如何防止未来发生同样的灾祸？但是，金融危机以后，数学新技术比以往更热门，甚至延伸到更多领域，每时每刻都在搅动着海量信息，大多数数据都是由社交媒体或者电子商务网站搜刮而来。而且，数学逐渐不再关注全球金融市场动态，而是关注我们人类。数学家和统计学家一直在研究我们的欲望、行动和消能费力。他们一直在预测我们的信用，评估学生、职员、情人以及罪犯的潜力。
这是大数据经济，收益前景非常可观。一个电脑程序可以在1-2秒内快速扫描成千上万份简历或是贷款申请，然后整理成清晰的列表，有潜力的求职者位居前列。这不仅节约时间，而且还公平客观。毕竟，电脑程序不像人类带有个人偏见，而只是一种处理无情数字的机器。到2010年左右，数学破天荒地介入人类事物，公众热烈欢迎数学这一工具。
但是，我看到了麻烦。数学应用助推数据经济，但这些应用的建立是基于不可靠的人类所做的选择。有些选择无疑是出于好意。但是，其中有许多模型把人类偏见、误解和偏爱编入软件系统，这些系统日益操控我们的生活。这些数学模型像上帝一样模糊不清，只有该领域的牧师即数学家和计算机科学家才能明白模型是如何运作的。人们对模型得出的结论毫无争议，从不上诉，即使结论是错误的或是有害的。而且模型往往会惩罚社会中的穷人和受压迫的人，而富人因此更加富有。
我为这些有害模型提出了一个名称：数学毁灭武器，或者简写成WMD。接下来我将用一个例子向你们阐明这种模型的破坏特点。
这个案例和很多案例一样，出发点是好的。2007年，华盛顿特区新上任市长艾德里安•芬提（Adrian Fenty）下定决心改善本市教学质量不佳的学校。当时，几乎每两个中学生中就有一个九年级学生勉强才能毕业，只有8%的八年级学生在数学上的表现达标。市长芬提聘用教育改革者李阳熙（Michelle Rhee）担任华盛顿市教育总督。
当时流行的理论是学生学得不够好是因为老师教得不好。所以，在2009年，教育总督李阳熙落实开除教学表现差的教师的计划。这是全美教学质量差的地区的一种趋势，而且从系统工程的角度看，这种想法非常有意义：评估教师。开除差的教师，把好的老师调到有用武之地的地方发挥他们的才干。用数据专家的话来说就是，“优化”学校系统，尽可能保证提供给孩子好的教育。除了“差”教师，谁还能与此争论？教育总督李阳熙开发了一个叫作IMPACT的教师评估工具，在2009-2010学年底，华盛顿特区开除了得分垫底的2%的教师。第二年年底，又开除5%，也就是206名教师。
华盛顿特区五年级教师萨拉•韦索基（Sarah Wysocki）似乎没有任何理由担心。她在麦克法兰中学仅任教两年就得到校长和学生家长的好评。校长表扬她对孩子专心，学生家长称她是“我接触过的老师中好的一个”。
但是在2010-2011年年底，韦索基得到IMPACT的评分很惨。她的问题来自一个叫作增值模型的新评分系统，该系统用于评估数学和语言技能教学的效果。这个系统算法得出的分数占她总评分的一半，并且重要性超过学校领导和社区的好评。华盛顿特区别无选择只好开除她，以及IMPACT得分在限度之下的另外205名教师。
这看起来不像是政治破坏或者分数定论。该学区的这一评估办法确实有点逻辑。毕竟学校领导有可能是糟糕教师的朋友。他们可能喜欢他们的个性或是表面上的尽心尽力。糟糕教师看起来“挺好”。所以，像许多其他学校系统一样，华盛顿特区愿意减少人为偏差，更加注重分数，因为分数是根据实实在在的结果即数学和阅读成绩得出的。华盛顿特区官员承诺，分数可以清楚说明问题。分数更能体现公平。
韦索基当然觉得这些数字极其不公平，她想知道这些分数怎么得来的。她后来告诉我说：“我认为没有人能理解这些分数。”一个优秀的教师怎么会得到如此低的分数呢？增值模型评估的到底是什么？
她熟知，评估模型很复杂。华盛顿特区聘用麦斯迈提卡政策研究机构（Mathematica Policy Research），该机构提出这套评估体系。该机构遇到的难题是测量特区学生的进步，然后计算学生的进步或退步多少能够归因于他们的老师。这当然不容易。研究人员知道，许多变量包括学生的社会经济背景、学习障碍影响等，都能影响学生学习成绩。评估算法必须要考虑到这些差异，这就是复杂的一个原因。
企图减少人类行为、表现以及在算法方面的潜力确实不是一件容易的事情。如果你想要理解麦斯迈提卡政策研究机构处理的是什么问题，你想象一个住在华盛顿特区东南部贫民区里的10岁小女孩。一学期以后，她要参加五年级标准化测试。然后她的生活继续。她可能有家庭矛盾或是家庭经济困难。也许她正在搬家或是在担心触犯了法律的哥哥。也许她不满意自己的体重或是在学校被欺辱。无论她的生活经历了什么，下一学年她要参加六年级学生的标准化测试。
6页
如果你比较这两次测试的结果，分数应该会持平，或者希望是提高了。但是如果分数下降，很容易计算她和那些优秀学生之间的分数差距。
但是，老师该为这一差距负多大责任呢？这很难知道，而且麦斯迈提卡政策研究机构的教学评估模型只有少许数字可以比较。相反，像谷歌这样的大数据公司，研究人员不断测试，监测成千上万个变量。他们可以把任一广告的字体从蓝色改为红色，每版都投放给一千万观众，然后追踪哪一版本获得的点击率更高。他们根据受众的反馈微调算法和操作。虽然我对谷歌公司有许多意见，接下来我们将会在本书中探讨，但谷歌的这种不断测试是对数据的有效利用。
想要计算一个人在一个学年内对另一个人的影响更加复杂。韦索基表示：“学习和教学中有太多的因素，很难一一评估。”而且，试图通过分析二三十个学生的考试成绩去评估一名教师的教学水平，从统计学上来说是不可靠的，甚至很可笑。一切皆会出错，数字太渺小。如果我们要用搜索引擎的严格数据分析教师的话，必须随机挑选几千个甚至数百万个学生参加考试。统计师需要大量的数据平衡例外和反常情况。（我们将会看到，数学毁灭武器惩罚的个体往往是多数人中的例外。）
同样重要的是，数据系统需要反馈，保证系统出差错时能意识到。统计师不断试错训练模型，使之更加智能。若亚马逊的推荐模型相关性出错，给十几岁女孩推荐草坪修剪的工具书，网站的点击量必定骤降，亚马逊公司就会不断调整模型，直到用户相关性推荐正常为止。但是，如果没有错误反馈，大数据模型就会持续输出错误结果，无法改进。
7页
我将要在本书中探讨的许多数学毁灭武器都是这样运作的，包括华盛顿学区的增值模型。许多数学毁灭武器定义自己的功能然后证明其输出结果的合理性。这种模型自我巩固，极具破坏力，生活中很常见。
麦斯迈提卡政策研究机构的评分系统给予韦索基和其他205名教师差评之后，华盛顿特区开除了这些教师。但是该评分系统如何知道自己是否正确呢？无从知道。评分系统确定这些教师是失败者，那么别人就会认为他们是失败者。206名“差”教师走了。这一事实仅仅能表明该增值模型的效果。该模型正在清理华盛顿特区不合格的教师。
这是数学毁灭武器反馈回路的一个例子。我们将会在本书中看到许多这样的例子。比如说，雇主逐渐开始使用信用评分系统来评估求职者。雇主的想法是，及时支付账单的人更可能准时到岗和遵守规则。但其实，信用评分低的人中也有很多有责任感的人和优秀的雇员。但是，雇主认为信用低和工作表现差正相关，导致信用评分低的人很难找到工作。失业导致他们贫穷，而这又进一步降低了他们的得分，因此他们找工作难上加难。这是一个恶性循环。而雇主永远也不会知道，他们因为只关注信用评分而错过了多少优秀的雇员。在数学毁灭武器中存在许多有害的假设，这些模型包裹着数学的外衣，流行于市场，未经检测，人们对此却毫无争议。
8页
这突出了数学毁灭武器的另一个常见特征，即往往惩罚穷人。部分原因是数学模型是用来评估数量多的人群。数学毁灭武器擅长巨量，成本低，这也是它们的吸引力所在。相反，富人通常受益于个人投入。高档律所或者专享预科学校会比快餐连锁店或者资金短缺的城市学区更依赖推荐和当面交流。我们以后会经常看到，特权阶级更多与人打交道，而群众则由机器操控。
没有人能给韦索基解释为什么她得了这么低的分数，这已经可以说明问题了。算法就像上帝，数学毁灭武器的裁决就是他的指令。数学毁灭武器像是一个黑盒子，里面的东西是严格保护的公司机密，Mathematica这样的顾问因此可以收取更多的费用，但它也有另一个目的：如果被评估的人被蒙在鼓里，他们将不太可能找到系统的漏洞。他们反而只是会努力工作，遵守规则，祈祷模型记录和感激他们的努力。但是，如果人们不能了解模型具体运作方式，就很难对分数提出质疑或者抗议。
多年来，华盛顿教师抱怨他们得到系统武断的评分，强烈要求知道分数的由来。他们被告知这是算法的结果，很难解释。很多教师因此望而却步不再追究。不幸的是，很多教师被数学吓到了。但有一个叫作莎拉•拜克丝（Sarah Bax）的数学老师不停地向学区领导、以前的同事詹森•卡姆拉斯问个究竟。反复几个月之后，卡姆拉斯让她等一份即将发表的技术报告。拜克丝说：“如果一种标准你自己都无法解释，你怎么能保证用它评估人的正当性呢？”但是这就是数学毁灭武器的本质。分析外包给程序员和统计师。通常来说，机器说了算。
9页
即便如此，萨拉•韦索基深知她的学生标准化测试分数主要是根据公式计算的。她对此有一些疑问。她在麦克法兰中学任教后一年开学之前，她看到五年级新生在四年级期末考试中取得惊人的好成绩。巴纳德小学29%的学生位列“高级阅读水平”，这一数字是该学区平均数的5倍。萨拉的很多学生都来自这个小学。
但是，开学后，她发现很多学生连简单的句子都读不好。很久之后，《华盛顿邮报》和《今日美国》调查揭示，该学区41所学校标准化测试有大量涂擦痕迹，包括巴纳德小学。大范围纠正答案表明作弊的可能性很大。有些学校多达70%的考场被怀疑。
这和数学毁灭武器有什么关系？有多方面关系。，教师评估算法是一种改善教学的强大工具，这是算法的目的，华盛顿学校都施行“胡萝卜加大棒”政策。教师知道如果他们的学生考试不好，他们也会面临失业风险。教师因此想方设法确保学生通过考试，尤其是在大萧条期间劳动力市场需求疲软的时候。与此同时，如果他们的学生表现好于其他学校学生的话，教师和校领导可以得到高达8000美元的奖金。如果你认为这些强有力的激励政策可以证明试卷被大量涂改和反常高分，就有理由怀疑四年级教师出于害怕或是贪婪修改过学生的试卷。
那么可想而知，萨拉•韦索基班级的五年级新生入学高分是造假的。如果是这样的话，来年的成绩就会对他们不利，他们的老师也会成为表现不佳者。而韦索基认为这正是她现在的遭遇。这种解释与家长、同事和校领导的观察相符，即她确实是一个好教师，也可以澄清事实。
但是，你不能状告一个数学毁灭武器。这也是数学毁灭武器可怕破坏力的原因之一。模型不会倾听，也不会屈服，对吸引力、威胁和哄骗以及逻辑通通充耳不闻，即使有充足的理由怀疑得出结论的数据。没错，如果自动化系统明显出错或者系统整体出错，程序师会修改算法。但多半情况下，程序的裁决不容置疑，而操作程序的人只能耸耸肩，好像在说，“嘿，你能怎么样？”
这正是萨拉•韦索基终得到的学校回复。詹森•卡姆拉斯后来对《华盛顿邮报》表示，涂擦是“暗示性的”，五年级学生的考分也许是错误的。但是这不是结论性的证据。他说对韦索基老师的处理是公正的。
你看出矛盾了吗？一个算法处理大量数据，提出一种可能性即某人可能是糟糕的HR、有风险的借款人、恐怖主义者或者是糟糕的老师。这种可能性换算出的分数能摧毁一个人的生活。但是当有人反击的时候，作为抗衡证据的“暗示性”涂擦又起不到作用了。以后我们将不断发现，数学毁灭武器的受害人所需要的证据标准要比算法自身还高。
萨拉•韦索基没几天就从被解雇的冲击中走了出来。很多人包括校长都担保她是个好老师，她很快在北弗吉利亚富人区的一个学校入了职。所以，由于一个特别可疑的模型，穷学校失去了一个好老师，而不会根据学生考试成绩开除教师的富学校得到了一个好老师。
11页
房产危机发生之后，我意识到数学毁灭武器已经扩散到银行业并对经济造成危害。2011年初，我从对冲基金离职。后来我在一家电子商务创业公司担任数据分析师。因为这个职业关系，我发现大量数学毁灭武器已经波及到我们能想到的任何一个行业，加剧社会不公平，压榨弱势群体。这些数学毁灭武器是如火如荼数据经济的核心。
为了传播数学毁灭武器这个名词，我注册了一个博客，叫数学宝贝。我的目的是动员同行数学家反对使用草率的数据和带有偏见的模型，这样的模型会导致恶性循环。我的博客尤其吸引数据专家，他们提醒我要将数学毁灭武器传播到新的领域。但是2011年中期，“占领华尔街”事件在下曼哈顿地区突然涌现，我意识到我们该为更广大的民众做点事情。上万民众聚集，要求经济正义和经济问责。但是当我听到对占领者的采访时，我发现他们似乎对经济方面的基本问题一无所知。他们明显没有读过我的博客。（这里我要多说一句，了解一个系统的失败，并不是要求你对这个系统了如指掌。）
我意识到，我要么批评他们要么加入他们，所以我选择加入他们。不久，我推动哥伦比亚大学交替银行集团每周开例会，我们在会上讨论经济改革。在这个过程中我意识到，不当大学老师之后的两次职业冒险，一次是在经济领域，另一次是在数据科学，给了我绝好的便利接触推动数学毁灭武器的科技和文化。
如今，不严谨的数学模型掌控着广告业、监狱等领域的经济。这些数学毁灭武器和迫使萨拉•韦索基结束华盛顿公立学校职业生涯的增值模型有很多相同特点：不透明，不被质疑，解释不通，这些模型按一定规模分类，定位或者“化利用”数百万人。大多数数学毁灭武器把运算结果和实际情况混淆，导致恶性循环。
但是学区增值模型和寻找高额发薪日贷款潜在客户的数学毁灭武器之间有一个重要的区别。这二者有不同的结果。学区得到的是一种政治货币，即教师评估得以完成；企业得到的是本位货币：钞票。对于许多运用数学毁灭武器的公司来说，热钱涌入似乎证明模型奏效了。站在公司的角度，这是有意义的。当公司构建模型寻找客户或者操控绝望的借款人时，越来越多的盈利表明他们走对路了。问题是利润后成了真理的象征。认为赚钱就是真理，这样危险的混淆我们以后还会多次看到。
13页
这是因为数据学家经常忽视交易接收端的民众。他们当然明白数学毁灭武器必然会误解民众一段时间，把人群归错类，剥夺他们找到工作或者买房的机会。但是一般来说，数学模型操作者不会思考那些错误。他们的反馈是金钱，这也是他们的动机。他们设计的模型就是要吸收更多的数据，微调分析，让更多的热钱涌入。投资者当然尽享收益，继续将更多的钱投入到数学模型公司。
那么受害者呢？内行数据学家也许会说，没有数学模型是完美的。那些民众是附带受损。像萨拉•韦索基这样的人常常会被认为没有价值，不值得惋惜。他们也许会说，暂时忘记这些人，主要看那些从推荐引擎上获得有益建议的人群，或是在潘多拉上找到自己热爱的音乐的人，或者那些在领英上找到理想工作的人，还有在婚恋交友网站Match.com上找到爱情的人。想想这令人惊讶的方面，忽略那些不完美。
大数据有很多福音传播者，但我不在其中。本书将透视数学毁灭武器导致的危害和不公正。我们将探讨影响人们人生关键时期（如上大学，借钱，入狱，或者是找工作和保住工作）的有害例证。人类生活各个方面越来越多地被数学毁灭武器控制。
欢迎进入大数据的阴暗面。
评论
还没有评论。