Fork me on GitHub

普林斯顿计算机教授炮轰“伪AI”:精心炮制的随机数生成器罢了

  鱼羊 发自 凹非寺
  量子位 报道 公众号 QbitAI

  AI 时代,以 AI 之名行骗的“伪 AI”产品屡见不鲜,甚至影响越来越广泛。

  有位名叫阿文德·纳拉亚南(Arvind Narayanan)的普林斯顿 CS 副教授坐不住了。他炮轰道:

某些公司为了卖货,利用公众的不了解,不管卖的是什么通通贴上“AI”的标签。

  更可怕的是,像 AlphaGo 这样优秀的 AI 们吸引来了大量的投资者。光环之下,“伪 AI”产品同样能募集到巨额资金,甚至在资本的推动之下,成为趋势,影响越来越多的人。

  阿文德以 AI 面试举例。现在,全球已有百万求职者经历过或正在经历 AI 面试官的“凝视”。

  提供这类产品的公司非只一家,其中最知名的 HireVue,声称全球有超过 700 家公司使用他们的产品,其中不乏世界 500 强企业。目前,这家公司已募集资金 9300 万美元(约合 6.55 亿元人民币)。


康奈尔大学调研结果

  阿文德指出:

没有经过同行评审的证据能够表明,这些东西真的可以预测工作绩效。数百万求职者面对的不过是精心设计的随机数生成器。

  令人怀疑的,还远不只是这一种产品。

  为了让大家不被这样的最新“智商税”收割,阿文德决心教会大家如何识别这些 AI 界的骗子们。

  他的这份“防骗指南”登场数小时,就已经在推特上收获了 1500 赞。

  AI 骗子长什么样

  首先,阿文德认为,现在的 AI 应用可以分成三类:

  • 真正卓有成效的项目
  • 不完美但进展明显的项目
  • 根本不靠谱的项目

  总结起来,在人脸识别这样的感知任务,和推荐算法这样的自动判断任务上,AI 的表现都比较靠谱。

  而“伪 AI”嫌疑人所做的,是预测和人有关的“未来”。

人们无法预测未来本来应该是常识,但遇上 AI,常识总是被抛到脑后。

  当然,口说无凭,阿文德引用了普莱斯顿大学脆弱家庭和儿童福祉研究的一项研究结果(地址见文末)。

  这项研究旨在探明孩子们的表现到底是不是可以预测的。

  流程是这样:先通过深入访谈和家庭观察收集大量孩子及其家庭的数据。然后,用这些数据训练预测模型。输入的变量有近 13000 个,输出结果将预测这些孩子在 15 岁时 6 种表现。

  如果模型能够完美预测出结果,R^2=1,如果模型啥也没学会,R^2=0。

  但训练的结果,却让参与研究的研究人员们大跌眼镜。

  即使是表现最好的模型,也并没有哪一项预测结果是让人信服的,甚至不如用 4 个变量线性回归拟合出来模型靠谱。


绿线:4 变量线性回归结果

  这一结果并非个例。在一项再犯罪率的预测研究中(论文链接见文末),AI 的预测准确率只比随机结果好一点点,还是比逻辑回归的结果低了 2 个百分点。

  并且,不止是预测结果不靠谱,这样的预测 AI,还暗含着更多风险。

  首先,训练这样的 AI 需要收集大量个人隐私数据。谁都没有办法保证,这些数据会绝对安全。

  其次,人们对这类 AI 的盲目信任,会使得一个领域的话语权,从领域专家和从业人员身上,大规模转移到掌握 AI 的科技公司。

  更重要的是,AI 的黑盒子属性使得它给出的结果缺乏解释性。

  就像是一开始举的 AI 面试的例子,AI 面试官给你打了个低分,谁也没法儿解释,到底是因为你表现不够自信,还是你身边的噪声影响了它的判断。

  不是每一只 AI 都叫 AlphaGo。阿文德承认,人工智能在某些任务上表现得十分出色,但如果有人把 AI 当成了万金油,只为了分得 AI 风口上的一杯羹,那么,就要擦亮双眼,该反对反对,该抵制抵制。

  一石激起千层浪

  天下苦“伪 AI”久矣。阿文德的“防骗指南”一经公布,就在社交网络上引发了热烈的讨论。

  有人指责“人工智能”一词本就带有营销色彩,如果要讨论技术,就应该换一个词。

  有人提及,连 Facebook、Google 这样的科技巨头都在 AI 方面造假。

  注:谷歌能够自动打电话、被称赞通过图灵测试的 AI Duplex,被《纽约时报》曝出 4 次成功完成的任务中,有 3 次靠的是人工。

  有人认为,真正的 AI 会改变游戏规则,让人无法忽视,也无需大肆宣传。

  还有人对“防骗指南”做出了补充:

我曾经采访过这样一家 AI 初创公司。领英显示,他们对开发人员不屑一顾,但对“培训师”却颇为关注。

我很怀疑他们到底是不是真的在造 AI。

  自 AlphaGo 一鸣惊人,震惊世界以来,人工智能逐渐被推上高地,吸引了大量的资金、人才,也吸引了大众的瞩目。风口之中,真正的硬核技术光芒四射,而这样的光芒之中,也掩映着投机者的身影。

  但滥竽充数者终会露出马脚。你觉得呢?

  以及,有什么 AI 项目是你觉得“伪 AI”的吗?

  传送门

  PPT 地址:

  https://www.cs.princeton.edu/~arvindn/talks/MIT-STS-AI-snakeoil.pdf

  Hacker News 讨论:

  https://news.ycombinator.com/item?id=21577156

  普莱斯顿大学脆弱家庭和儿童福祉研究:

  https://fragilefamilies.princeton.edu/about

  累犯预测:

  https://advances.sciencemag.org/content/4/1/eaao5580

  作者系网易新闻·网易号“各有态度”签约作者

来自:
量子位(ID:QbitAI)

作者:Johnson
原创文章,版权所有,转载请保留原文链接。