6.供应商的人工智能/机器学习实施有多灵活？

Omernik建议询问这些问题以确定实施的灵活性：供应商的人工智能/机器学习实现是否可以处理不同类型的数据，例如日志、音频、视频、事务等？如果是这样，数据集可以一起工作，还是必须分开？

7.人工智能/机器学习解决方案的更新情况如何？

组织希望知道是否需要逐步支付或购买新版本的安全应用程序以获取更新。还要询问供应商如何向客户分发此类改进，以及集成它们的难度。

8.供应商的解决方案是否会成为组织安全团队的“黑盒”？

供应商的解决方案就像是一个“黑盒”，其结果并不是直截了当的。但是组织需要知道它是否支持应用最新的人工智能/机器学习工具包以及其团队如何使用它。“该工具是否可以帮助从业者了解数据的工作原理，并帮助他们扩展对数据工程和数据科学的理解？还是一种迫使客户依赖供应商进行更改的黑盒解决方案？供应商应该解答这些问题。”Omernik说。

Chuvakin说，“对于许多客户来说，黑盒比开放式工具包要好得多。”

9.人工智能将如何整合到组织的产品中？

Koulopoulos说，“它是从内部获得的或构建的，还是从一开始就是使用的软件的一部分？这是对于人工智能持怀疑态度的组织的警告，如果组织只是使用谷歌的TensorFlow技术，那么并不合格。”

10.组织的系统如何检测新的攻击类型？

Kostman说，“组织如何应对所谓的冷启动问题？机器学习算法需要数据，就像鱼需要水一样。那么，供应商基于人工智能的系统如何识别不同于以前遇到过的任何威胁呢？”

11.谁拥有这些数据？

Browne说，“组织需要十分关注自己的数据。人工智能供应商目前的主要目标不是出售，而是要获得尽可能多的数据来测试和改进他们的模型和算法。组织了解自己的数据和系统的访问级别，以及谁拥有最终的人工智能元数据非常重要。”

Koulopoulos也同意这一观点，并提出了类似的观点，“最大的争议之一涉及培训数据的所有权，这些数据会随着时间的推移而累积。”

对首席信息安全官的建议

“衡量基于人工智能的解决方案的有效性是组织所做的最重要的事情之一。但要做到这一点，需要这方面的专业知识。”Fuller 说，”每个公司都应该有数据科学家在工作，如果首席信息安全官计划广泛采用机器学习解决方案，则应考虑同时聘用数据科学家和数据工程师。”

Omernik建议，“当组织评价员工时，如果其技术人员具备帮助组织评估基于人工智能的安全产品的知识和培训，请相信他们。在一些组织中，高管们需要找到一种方法来信任他们的技术人员，他们会与试图销售产品的供应商进行沟通.”

他补充说，“组织需要找到或雇佣一个有经验的人员对于供应商在产品的宣传进行判断与分析。人工智能/机器学习的人才需求可能会造成经验丰富的技术人员严重短缺。因此组织需要考虑如何吸引人才，如何为技术人员提供支持等问题。”

Koulopoulos说，“很多组织可能没有意识到这一点，将会面临技术落后的风险。在接下来的3到5年内，如果组织在人工智能和机器学习用于防御和打击网络犯罪方面的知识和经验不足，那么将面临业务损失的风险。”