本文来自微信公众号“twt企业IT社区”。
如何考虑大模型与数据仓库结合过程中的数据安全和隐私保护？
大模式如何与原有架构（如数据湖、湖仓一体、数据仓库）相结合，成为了企业架构中需要考虑的问题。企业需要对现有的数据架构进行全面的评估，了解其功能、数据处理能力、存储容量、查询性能等，有助于确定大模型与原有架构结合的方式和可行性。企业还需定义统一的集成接口标准，使大模型与原有架构能够顺利地交换数据和信息，降低集成难度和复杂性。
对于大模型与数据仓库结合过程中的数据安全，包括数据加密、访问控制、审计机制等方面的技术和管理措施，大家认为该如何考虑？
问题来自社区会员 xuyy秦皇岛银行数据架构师，以下内容来自社区同行探讨
catalinaspring金融副处长：
几乎所有在线服务都在收集我们的个人数据，并可能将这些数据用于训练LLM。然而，模型会如何使用这些用于训练的数据则是难以确定的。如果在模型的训练中使用了诸如地理位置、健康记录、身份信息等敏感数据，那么针对模型中隐私数据的提取攻击（Data extraction attack）将会造成大量的用户隐私泄漏。「Are Large Pre-Trained Language Models Leaking Your Personal Information?」一文中证明，由于LLM对于训练数据的记忆，LLM在对话过程中确实存在泄露个人信息的风险，且其风险随着示例数量的增加而增加。
模型泄漏信息的原因有多种。其中一些是结构性的，与构建模型的方式有关；而另一些是由于泛化能力差、对敏感数据的记忆等因素造成的。
可以考虑通过在数据的存储和传输环节引入加密算法进行处理，并加强访问控制，同时，建立有效的审计机制。
haidixipan算法工程师：
在结合大模型与数据仓库时，确保数据安全和隐私的关键措施包括实施端到端的数据加密、严格的访问控制和身份验证机制，以及对数据进行匿名化或去标识化处理以保护个人隐私。此外，应采用最小权限原则限制数据访问，确保合规性并遵循数据保护法规如GDPR。对模型进行隐私保护的技术，比如差分隐私，可以在训练过程中限制敏感信息的泄露。定期进行安全审计和隐私影响评估也是必要的，以及在设计系统时采用隐私保护设计原则，确保整个数据处理流程的透明性和可审计性。
soap申万宏源证券有限公司人工智能算法工程师：
结合提问者的的问题，我个人认为金融行业中的数据应该进行严格的隔离，不管在大模型应用过程中还是整个数据建设的过程中，数据安全应该放在核心。对相关数据进行脱敏和隔离是很有必要的。可从数据加密、身份验证与授权、安全访问控制、模型隐私保护、定期安全审计和员工培训与意识等多个角度进行工作开展。这样才可以更好的在大模型与原有架构（如数据湖、数据仓库、湖仓一体）结合过程中保证数据安全和隐私保护。会是企业架构中需要考虑的重要问题。
