防止种族、性别或对个人的不公平待遇一直是文明社会长期关注的问题。然而，检测由决策引起的这种歧视，无论对于人类决策者还是自动化人工智能系统都带来了挑战性。尤其人工智能系统的广泛运用在警务、消费金融、高等教育和商业领域上的决策自动化，也进一步提升了挑战的难度。
例如：如果一家公司在历史上从未雇佣过一名女性从事某一类工作，那么接受过该历史数据训练的人工智能系统就不会推荐女性从事新工作。机器学习算法本身没有任何问题，其只是根据某些理想的特征确定好的求职者。但由于它是根据历史的、有偏见的数据进行培训，因此有可能提出不公平的建议。
因此宾州大学和哥伦比亚大学的研究人员创建了一种用于检测不公平歧视的新型人工智能工具，透过分析美国成人收入数据，发现了基于性别的工资歧视的证据，在每年工资超过5万美元的女性的机率仅为男性的三分之一。这表示雇主应该纠正工资中的性别偏见。此方法除了可防止性别歧视外，也可用于防止种族歧视。
随着数据驱动的人工智能系统越来越多地被企业应用于消费者定位广告、警察机关如何监控个人或团体的犯罪活动、银行如何决定谁获得贷款、雇主决定雇用谁、以及大学如何决定谁被录取或获得奖学金资助，皆需要确保这些系统不会成为歧视工具、平等障碍和对社会公义的威胁和不公平的来源。此项研究获得美国国家卫生研究院和国家科学基金会的支持。
