将互联网上的色情、毒品、暴力和其它不适当的内容过滤并不是一件容易的事。Facebook在全球的内容审核员从2017年的4500名增长至现在的7500名。而且在今年4月份，谷歌YouTube表示，在去年的10月份到12月份之间，他们已经下架了超过800万个与其政策相违背的视频，其中20%的视频是由上千名员工组成的团队标记的。
纽约初创公司Clarifai认为，AI能够帮助减轻工作负担。该公司今天宣布了一个端到端的审核解决方案，即使用了计算机视觉来分析用户生成的图片和视频，并且当检测到有攻击性或者不适当的内容时，会立刻对其进行标记。该解决方案将于本周发布公开测试版本。
“在Clarifai，我们会承诺继续完善AI，为用户带来好处，并且我们为新端到端的审核解决方案所开发的工具也展现了用户对这类工具迫切的市场需求，”Clarifai的创始人兼首席执行官Matt Zeiler说道：“当用户在浏览他们喜爱的社交平台时，内容审核在避免用户浏览到不喜爱或者不想看到的内容方面至关重要。”
Clarifai的审核解决方案利用了公司现有的机器学习模型，通过一些预先配置的过滤器标签，如“明确性”、“建议性”、“暴力”、“毒品”、“NSFW”、“SFW”和自定义的标签来对比用户生成的内容。用户先将图片发送给Clarifai，然后该系统会将分析数据的方式进行可视化。经过分析的每条内容都会生成指示匹配可能性的概率分数。
注：NSFW（not safe for work）是工作时不能看的内容；SFW（safe for work）是工作时可以看的内容。
将AI应用到内容审核并不是一个新的概念。Microsoft Azure的Content Moderator（内容审核器）是一个自动的审核服务，结合了AI和人工审核来检测具有潜在攻击性的图片、文本和视频。Alibaba Cloud也有和Content Moderation相类似的产品，即使用了深度学习来寻找用户生成的图片和视频中的暴力、恐怖和钓鱼内容，Amazon也在其AI驱动的内容检测服务Rekognition中使用了深度学习技术。
在投入使用阶段，这些系统并不能保证万无一失。例如，Facebook算法就标记了包含性裸露的历史雕像图片，并自动删除了讽刺越南战争的图片。YouTube也在无意中将合法的广告标记为钓鱼信息。
但是Clarifai表示他们正在采取措施来缓解潜在的问题。
Web仪表盘提供的控制权限允许用户将内容认定和否定过程自动化，并且当内容无法达到具体的置信度阈值时，会为人工审核员提供完整的支持。Zeiler表示，这很像“人在回路”方法——Moderator UI利用了团队来验证模型的准确性，并且经过审核和标记的每一项内容都会被用于训练系统来不断提高准确度。
注：“人在回路”也可称为人机闭环系统，或者人机互助系统，指操作员在经过第一次指令输入后，仍有机会进行第二次或不间断的指令更正。
“用户要关注的应该是将金钱和资源用在重要的地方，即扩大业务规模。”他说道。
与审核解决方案一同发布的还有增强版的General Model，并且Moderation、Celebrity、Face Detection、Textures & Patterns、General Embedding和Faceb Embedding系统也将开放使用。该公司表示在图片和视频识别方面的准确率将高达99%。
General Model是Clarifai时间最久产品，能够识别超过11000个物品，还有情绪和主题。在10月初，General Model升级到了1.5版本，有更高的准确率，部分原因是训练数据是由机器标记的而不是人工标记。
在今年早期，Zeiler在和VentureBeat的电话采访中表示：“它也能够帮助用户在我们的平台上构建自定义模型，以及在平台上回拥有更好的视觉搜索，因为General Model可以说是这种技术的基础，这不仅仅是现成的概念，而且提高了我们平台上其它工具的准确率。”
Clarifai成立于2013年，重要的客户包括West Elm、OpenTable、Trivago和9Gag等。公司提供的服务每个月都能够对超过30亿的照片和视频进行分类和预测。
截止到目前，Clarifai已经筹集了4000万美元。
原文作者：KYLE WIGGERS
