本文来自微信公众号“计算机世界”。
2017年，《经济学人》杂志宣布，数据而非石油已成为世界上最有价值的资源。从那时起，这句话就一直在重复。各行各业的组织已经并将继续在数据和分析方面投入巨资。但与石油一样，数据和分析也有其阴暗面。
根据CIO网站发布的《2023年CIO状况》报告，34%的IT领导者表示，数据和业务分析将成为他们所在企业今年最大的IT投资驱动力。而26%的IT领导者表示，机器学习/人工智能将推动最多的IT投资。从分析中获得的洞察力和机器学习算法驱动的行动可以为企业带来竞争优势，但失误可能会在声誉、收入甚至生命方面造成巨大损失。
了解你的数据和它告诉你的信息固然重要，但同样重要的是掌握你的工具、了解你的数据，并牢记组织的价值观。
以下这些在过去十年中发生的备受瞩目的统计分析和人工智能方面的失误，提示我们可能出现的问题。
01|
Gannett AI弄错高中体育文章
2023年8月，连锁报业集团Gannett宣布将暂停使用一款名为LedeAI的人工智能工具，因为该人工智能撰写的几篇文章因重复、文笔差和缺乏关键细节而走红网络。
美国有线电视新闻网（CNN）指出了互联网档案馆Wayback Machine保存的一个例子，它的开篇是这样写的：“周六，在俄亥俄州的一场男子足球比赛中，Worthington Christian队[WINNING_TEAM_MASCOT]以2-1的比分击败了Westerville North队[LOSING_TEAM_MASCOT]。”
CNN在其他地区的Gannett集团所属的报纸上也发现了由LedeAI撰写的类似报道，包括《路易斯维尔信使报》、《亚利桑那中央报》、《今日佛罗里达》和《密尔沃基哨兵报》。
这些报道的行文在社交媒体上遭到广泛嘲讽后，Gannett选择在所有使用LedeAI服务的地方媒体上暂停使用该服务。
在给CNN的一份声明中，LedeAI首席执行官Jay Allred表示遗憾，并承诺将尽早改正这些问题。
02|
iTutorGroup的招聘人工智能以年龄为由拒绝应聘者
2023年8月，家教公司iTutorGroup同意支付36.5万美元，以解决美国平等就业机会委员会（EEOC）提起的诉讼。联邦机构称，这家为中国学生提供远程辅导服务的公司使用人工智能驱动的招聘软件，自动拒绝55岁及以上的女性申请人和60岁及以上的男性申请人。
平等就业机会委员会称，该软件自动拒绝了200多名合格的求职者。
EEOC主席Charlotte A.Burrows在一份声明中说：“年龄歧视是不公正和非法的。即使是由于技术实现歧视的自动化，雇主仍应承担责任。”
iTutorGroup否认有任何不当行为，但决定就诉讼达成和解。作为和解和同意令的一部分，iTutorGroup同意采取新的反歧视政策。
03|
ChatGPT幻化法庭案例
大型语言模型（LLM）在2023年取得的进展激发了人们对生成式人工智能在几乎所有行业的变革潜力的广泛兴趣。OpenAI的ChatGPT是这股热潮的中心，它预示着生成式人工智能将如何在几乎所有商业领域颠覆工作的本质。
但这项技术要想可靠地接管大多数业务流程还有很长的路要走，正如Steven A.Schwartz律师在2023年发现自己与美国地区法官P.Kevin Castel发生争执时所了解到的那样，他在起诉哥伦比亚航空公司Avianca时使用了ChatGPT来研究先例。
Schwartz是Levidow,Levidow&Oberman律师事务所的律师，他使用OpenAI生成式人工智能聊天机器人查找以前的案例，以支持Avianca航空公司雇员Roberto Mata就其在2019年所受伤害提起的诉讼。你一定会关心问题是什么？问题是辩护状中提交的案例中至少有6个是不存在的。在5月份提交的一份文件中，Castel法官指出，Schwartz提交的案件包括虚假的名称和备审案件号，以及虚假的内部引用和引文。Schwartz的合伙人Peter LoDuca是Mata的注册律师，并在辩护状上签了名，这也让他自己陷入了危险之中。
Schwartz在一份宣誓书中告诉法庭，这是他第一次使用ChatGPT作为法律研究来源，他“没有意识到其内容可能是虚假的”。他承认自己没有确认人工智能聊天机器人提供的信息来源。他还说，他“非常后悔利用生成式人工智能来补充在此进行的法律研究，承诺今后在没有绝对核实其真实性的情况下绝不会这样做”。
2023年6月，Castel法官对Schwartz和LoDuca处以5000美元的罚款。在今年6月的另一项裁决中，Castel法官驳回了Mata对Avianca航空公司的诉讼。
04|
人工智能算法可识别除COVID-19以外的所有病毒
自COVID-19大流行开始以来，许多机构都在寻求应用机器学习（ML）算法来帮助医院更快地诊断或分流病人。但据英国Turing Institute（英国的国家数据科学与人工智能研究机构）称，这些预测工具几乎没有起到任何作用。
《MIT Technology Review》记录了一系列失败案例，其中大部分源于工具训练或测试方法的错误。使用标记错误的数据或来源不明的数据是常见的罪魁祸首。
剑桥大学的机器学习研究员Derek Driggs及其同事在《Nature Machine Intelligence》杂志上发表了一篇论文，探讨了使用深度学习模型诊断病毒的问题。论文认为该技术不适合临床使用。例如，Driggs的研究小组发现，他们自己的模型存在缺陷，因为该模型是在一个数据集上训练的，该数据集包括躺姿扫描的病人和站姿扫描的病人。躺着的病人更有可能患重病，因此算法学会了根据扫描过程中人的姿势来识别COVID风险。
类似的例子还包括使用数据集训练算法，该数据集包括健康儿童的胸部扫描结果。该算法学会了识别儿童，而不是高风险患者。
05|
Zillow因算法购房灾难减记数百万美元并裁员
2021年11月，在线房地产市场Zillow向股东表示，将在接下来的几个季度里关闭Zillow Offers业务，并裁员25%，约2000人。旧屋翻新部门的困境是其用于预测房价的机器学习算法的错误率造成的。
Zillow Offers是该公司根据机器学习算法Zestimate对房屋估价后对房产进行现金收购的项目。他们的设想是翻新这些房产，然后迅速出售。但Zillow发言人告诉CNN，该算法的中位误差率为1.9%，而那些未公开出售房屋资源的误差率可能更是高达6.9%。
CNN报道称，自2018年4月推出Zillow Offers以来，Zillow通过该平台购买了2.7万套房屋，但截至2021年9月底仅售出1.7万套。COVID-19大流行和房屋装修劳动力短缺等黑天鹅事件导致了该算法的准确性出现问题。
Zillow表示，该算法导致其无意中以高于目前对未来售价估计的价格购买了房屋，导致2021年第三季度的库存减记达3.04亿美元。
Zillow联合创始人兼首席执行官Rich Barton在声明发布后的投资者电话会议上表示，也许可以调整算法，但无论如何承担风险太大。
06|
医疗保险算法将黑人患者排除
2019年，发表在《科学》（Science）杂志上的一项研究显示，美国各地的医院和保险公司用来识别需要“高风险护理管理”项目的患者的医疗预测算法，不太可能将黑人患者纳入其中。
高风险护理管理计划为慢性病患者提供训练有素的护理人员和初级保健监测，以预防严重并发症的发生。但与黑人患者相比，该算法更倾向于推荐白人患者参加这些项目。
研究发现，该算法将医疗支出作为确定个人医疗需求的替代指标。但据《科学美国人》报道，病情较重的黑人患者的医疗费用与较健康的白人患者的费用相当，这意味着即使他们的需求更大，他们得到的风险评分也较低。
该研究的研究人员认为，可能有几个因素造成了这种情况。首先，有色人种更有可能收入较低，这可能使他们即使有保险也不太容易获得医疗服务。隐性偏见也可能导致有色人种获得较低质量的医疗服务。
虽然这项研究没有指出算法或开发者的名字，但研究人员告诉《科学美国人》，他们正在与开发者合作解决这一问题。
07|
数据集训练微软聊天机器人发表种族主义推文
2016年3月，微软了解到，使用Twitter互动作为机器学习算法的训练数据可能会产生令人沮丧的结果。
微软在社交媒体平台上发布了人工智能聊天机器人Tay。该公司将其描述为“对话理解”实验。当时的设想是，这个聊天机器人将假扮成一个十几岁的女孩，利用机器学习和自然语言处理相结合的方法，通过Twitter与个人互动。微软将匿名的公共数据和一些喜剧演员预先写好的材料作为种子，然后让它在社交网络的互动中学习和发展。
在16个小时内，聊天机器人发布了95,000多条推文，这些推文迅速变成了明显的种族主义、歧视女性和反犹太言论。微软迅速暂停该服务进行调整，并最终拔掉了插头。
事件发生后，微软研究与孵化部门企业副总裁（时任微软医疗保健部门企业副总裁）Peter Lee在微软官方博客上发文写道：“我们对Tay无意中发出的攻击性和伤害性推文深表歉意。这些推文并不代表我们的身份和立场，也不代表我们设计Tay的方式。”
Lee指出，2014年微软在中国发布的Tay的前身“小冰”，并在Tay发布前的两年里成功地与4000多万人进行了对话。微软没有考虑到的是，一群推特用户会立即开始在推特上向Tay发表种族主义和厌女主义的评论。该机器人迅速从这些材料中学习，并将这些素材融入自己的推特。
Lee写道：“尽管我们已经为许多类型的系统滥用做好了准备，但在这次特定的攻击中，我们还是出现了严重的疏忽。结果，Tay在推特上发布了大量不恰当且应受谴责的文字和图片。”
08|
Amazon公司人工智能招聘工具只推荐男性
与许多大公司一样，Amazon也渴望获得能帮助其人力资源部门筛选最佳人选的工具。2014年，Amazon开始研发人工智能驱动的招聘软件来实现这一目标。问题只有一个：该系统极度偏爱男性求职者。2018年，Reuters爆料称，Amazon已经取消了该项目。
Amazon的系统会给应聘者打1到5分的星级，但系统核心的机器学习模型是根据10年来向Amazon提交的简历训练出来的，其中大部分来自男性。训练数据的结果是，该系统开始惩罚简历中包含“女性”一词的短语，甚至给来自全女子学院的应聘者降级。
当时，Amazon表示，Amazon的招聘人员从未使用过该工具来评估应聘者。
该公司试图编辑该工具，使其保持中立，但最终决定不能保证它不会学到其他歧视性的应聘者排序方法，因此终止了该项目。
09|
Target分析侵犯隐私
2012年，零售巨头Target的一个分析项目展示了公司可以从数据中了解到多少关于客户的信息。据《纽约时报》报道，2002年，Target的营销部门开始琢磨如何判断顾客是否怀孕。这个问题引发了一个预测分析项目，导致该零售商无意中向一位少女的家人透露了她怀孕的消息。这反过来又导致各种文章和营销博客引用这一事件，作为避免“网络恐怖”的建议的一部分。
Target公司的市场营销部门希望识别出怀孕的人，因为在人生的某些时期，人们最有可能彻底改变自己的购买习惯，怀孕就是其中之一。如果Target能在这个时期接触到顾客，就可以培养这些顾客的新行为，让他们到Target购买日用品、服装或其他商品。
与所有其他大型零售商一样，Target一直在通过购物代码、信用卡、调查等方式收集顾客数据。它将这些数据与人口统计数据和购买的第三方数据进行了整合。Target的分析团队通过对所有数据的分析，确定了Target销售的约25种产品可以通过综合分析得出“怀孕预测”分数。市场营销部门就可以针对高分顾客提供优惠券和营销信息。
进一步的研究表明，研究客户的生育状况可能会让一些客户感到毛骨悚然。据《泰晤士报》报道，该公司并没有放弃有针对性的营销，但确实开始将他们知道孕妇不会购买的东西的广告混合在一起以便让客户感觉广告组合并非有意而为，比如在尿布广告旁插入割草机广告。
