2017年10月，浙江绍兴警方通报称，打掉了一条从撞库盗号、破解验证码到贩卖公民个人信息、实施网络诈骗的黑色产业链。该案的特殊之处在于，黑产运用人工智能（以下简称AI）技术训练识别验证码的机器，识别成功率达到83%，2017年一季度提供了高达259亿次的破解验证码的服务。
这是AI的身影首次曝光在侵犯公民个人信息犯罪中。有民间说法称2016年为中国的“AI元年”，2017年为“AI应用元年”，但或许很多人没有想到的是，AI的双刃剑效应显现得如此之快——智能软硬件百花齐放、社会生活更加便利的同时，AI也成为黑产的武器，带来了各种新型的安全问题。
安全业界一方面要用AI提升安全防御能力，一方面又须警惕黑产借助AI发动更高级的攻击。如何扬长避短？在昨天（10日）的中国互联网大会“人工智能移动安全高峰论坛”上，多位业内顶尖专家就此进行了探讨。
避短
AI系统可能被攻击者欺骗
普通人会把大美女李冰冰认成喜剧演员赵本山吗？恐怕很难。正在被广泛应用的 AI人脸识别系统却有可能犯下这样的错误，只要别有用心的人在李冰冰的图片上做一点手脚。在AI研究的专业术语中，这叫做数据污染与投毒，被更改的数据输入叫做对抗样本。攻击者在源数据上增加人类难以辨识的细微改变，却可以让AI模型做出错误的分类决定。
360AI安全研究院院长李康做主题发言时分享了相关的研究成果。他指出，人们往往假定AI应用的场景都是封闭的、善意的，例如，语音识别输入的都是自然采集的声音，图片识别输入的都是正常拍摄的图片。但在现实中，应用处理的输入数据不仅来源于正常用户，也可能来自黑产等恶意用户。程序设计人员需要考虑输入数据是否可控，并验证程序执行结果是否真实反映应用的本来目的。
数据污染与投毒的潜在威胁，并不是危言耸听。论坛嘉宾、阿里巴巴安全部资深总监路全曾用无人车作为例子：攻击者可以用受污染的数据“喂养”AI 系统，使其偏离正常的运算目标，改变交通标志的识别结果。换言之，在攻击者的干扰下，无人车可能会把红灯看成绿灯，或是完全无视前方行人的存在。
加州大学伯克利分销的研究人员已经进行了实验。他们在停车标志牌上贴了若干标签，便成功骗过了AI探测器。截图左侧可以看到，探测器通过玻璃中的部分倒影识别出了停车标志牌，对真正的标志牌却视而不见，只识别出了标签上的“bottle”字样和拿着标志牌的人。
除了注意避免数据污染，李康认为，对人工智能模型的保护同样值得关注。他透露，现在一些厂商的AI应用，在用户端没有任何保护，如果恶意用户通过应用程序调取其模型和数据，甚至不用源代码，就可以直接复制出同样的应用。
在李康看来，现在社会上关于AI的讨论存在“安全盲点”，即聚焦于前景展望，缺少安全考虑。事实上，越复杂的系统，越容易存在漏洞。AI系统非常复杂，很多潜在的安全问题还没有被研究者注意到。“人工智能系统的风险不局限于对抗样本攻击。攻击者使用的攻击手段，可能是你意料之外的。”他说。
避短
AI应用深入私密场景增加风险
百度AI安全负责人刘焱做主题发言时，放出了家中智能音箱的照片。“经过简单调试后，智能手机都不愿意用的老父亲，已经学会使用音箱在电视上看电影，不到三岁的闺女也学会用智能音箱听小猪佩琪。” 刘焱感叹，这样一个方便好用的智能音箱，打折时仅需49元，AI设备已经“润物细无声”地走进大众生活。
但是，一次偶然的机会，刘焱发现自己可以在城铁上远程管理智能音箱。他突然意识到，AI家居设备时刻与云联通，同时与家里其他的网络终端共享一个局域网。如果存在安全问题，黑客也可以远程控制它们，时刻监听家里发生的一切。
刘焱认为，对于AI安全的研究，要着眼于真实世界，而不是仅仅停留在实验室的理想场景下。他特别关注AI训练中的对抗样本，目前和团队做出了开源工具箱 AdvBox，以帮助开发者和研究者更高效地构造对抗样本数据集，利用生成的对抗样本加固业务AI模型。
泰尔终端实验室移动安全负责人杨正军在主题发言中强调了物联网与AI的安全问题。“人工智能及大数据场景下无所不在的数据收集技术、专业化多样化的数据处理技术，使得信息主体难以控制个人信息的收集情境和应用情境。”他说，“随着机器学习等人工智能技术在物联网终端的应用，网络犯罪分子可以利用机器学习加快数据和用户习惯的分析。”
杨正军指出，物联网终端面临芯片漏洞、系统漏洞、网络协议漏洞、权限滥用等传统安全风险，AI技术的应用将进一步放大这些风险。物联网终端的安全防护必须基于应用场景进行分级分类处理，例如可穿戴设备、智能家居设备、物流跟踪，应着重防隐私泄露。智能水表、路灯、窖井盖，应注重抗篡改。环境报警、电梯监控，则要注意时效性。一些物联网应用须兼顾多种需求，如老人小孩的监护，既要重隐私，又要重时效。
扬长
AI助力传统安全技术
在座专家都对AI应用中的安全隐患进行了提醒，百度安全实验室负责人韦韬更是直呼“有很强的紧迫感”。值得庆幸的是，攻防双方的对抗总是在持续升级，“道高一尺魔高一丈”的较量中，AI技术同样可以为我所用。
据媒体报道，AI技术在安全领域的常见分类问题上已经取得不错的进展，比如垃圾邮件，恶意网址，病毒检测等。2016年国家网络安全宣传周期间，百度等企业就重点介绍了利用 AI和大数据优势打击网络黑产的工作情况，包括挖掘网站漏洞、鉴别骚扰电话、筛查钓鱼代码等。
刘焱说，传统安全技术往往以经验积累的静态检测规则和黑白名单为基础，在攻防中处于“被动挨打”的境地，AI却在这方面展现出巨大的潜力。以恶意APK为例，随着移动互联网的发展，安卓恶意应用迎来井喷式爆发，传统的检测技术已经无法覆盖如此大的体量。百度安全近年来尝试使用深度学习识别恶意应用，准确率达到99%，召回率达到80%。
腾讯安全技术专家王佳斌也提到了 AI 在移动安全方面的应用。他认为，AI 技术还不能取代传统的安全检测，但可以在一些特别精准的场景中发挥作用，如安卓病毒查杀。传统反病毒引擎通常存在响应窗口期，病毒可利用这段时期作恶，腾讯研发的AI反病毒引擎则能实现终端行为的实时不间断监控，迅速、精准地查杀病毒。同时，AI模型的训练过程完全自动化，使得运营成本大大降低。
