原标题：机器学习不是万灵丹，用对才有效，趋势资料科学家揭露网络威胁分析更聪明的关键架构

图片来源:

摄影＿洪政伟

AlphaGo战胜琪王，让AI声势创新高，许多应用纷纷都看到了机器学习的身影，但是，机器学习真的什幺问题都能解决吗？棋步可用输赢机率来断定优劣，AlphaGo有效运用蒙地卡罗树状搜寻演算法（Monte Carlo Tree Search，MCTS）就能找出致胜下法，但趋势科技研究开发部资料科学家张佳彦认为：「资安威胁是一种複杂问题，」无法用一套标準或制式定义来衡量，因此，在资安分析中，「侦测的档案，没有确切的真实数值（Ground Truth），不能单靠机器学习，还得搭配其他技术才能解决複杂问题！」他说。像是趋势科技就利用了杂讯消除（Noise Cancellation）技术，将威胁分析简化到机器学习有能力处理的维度。

导入机器学习技术，解决分类误判是首要任务

张佳彦表示，想靠机器学习做到自动侦测网路威胁的关键是如何降低误判率，在机器学习术语来说，就是要降低FA比率（False Alarm,简称FA，意指出现问题程式的警告?）。传统威胁侦测利用特徵值来分辨，误判率是千分之一，也就是说扫描了1000个档案后，将一个正常档案标记为恶意档案，就算出现一次误判。张佳彦表示，目前机器学习分析能力来看，误判率介于千分之一到万分之一之间，也就是扫描1万个档案，最多可能出现10次误判。因为电脑内部系统档案多，且恶意程式罕见，得扫描数万个档案才会找到1个恶意程式，以这个机器学习模型的误判程度来看，也会同时找到最多20个误判的正常档案。但若用同样的机器学习模型，来侦测从网页下载的档案，只要扫描几百个档案就可能会找出一个恶意程式，这时的误判比例只有0.1～0.01（扫描100个档案x原始0.0001的误判率=0.01）。张佳彦认为：「对企业来说，这才算是有意义的分析结果，而不是找出一堆的正常的档案却都通报成恶意程式。」

张佳彦指出，同样机器学习模型，放在不一样的场景会有不同的结果，越可疑的环境越有效果。如何将机器学习应用在恶意程式出现频率高的环境，才是成功找出威胁的关键。不过，就算是靠专家人为威胁分析，也会有失準的时候，甚至得从可疑档案执行后是否进一步下载恶意程式，才能断定，「要能自动侦测恶意程式，又要期望没有误判是不可能的。」他说。所以，张佳彦运用机器学习技术的策略是，第一是得避免误判结果伤害到用户，第二则是出现误判时能快速修正。

另外，想要优化机器学习需模型，要快速地收集大量的数据，机器学习模型才有有能力继续辨识最新的病毒，对使用者来说，至少每个月要更新一次资料，他也补充说明，趋势科技策略是不断地训练不同的机器学习模型，再评估是否比既有模型更好，训练模型约几个小时，一天其实可以训练出好几个新模型，但真正费时的是评估新模型的效果。除此之外，「模型的可见度（Model Visibility）也是很重要的」，张佳彦表示，例如突然发现大量FA误报时，可能是新的模型失真所致，资料科学家得即时发现问题来修正。

趋势採用杂讯消除技术，助机器学习提高侦测效果

为了改善机器学习自动侦测的品质，张佳彦表示，趋势科技搭配了3种杂讯消除（Noise Cancellation）的作法。他解释，包含了通道（Channel）、普查（Census）和签章（Signer）。Channel是只用机器学习预测扫描可疑的来源，像是网页或是电子邮件下载的档案，而非所有档案都侦测。其次是建立普查纪录系统（Census），将已经分析过的档案建档，再遇到同样的威胁特徵就能自动筛选，而不用透过机器学习模型分析，也在此系统增加更多细节资讯，像是第一次出现的时间，来进行长期比较。第三个消除杂讯的方法是利用签章作为标籤，待分析的目标档案若没有签章，或是档案提供来源不是系统信任的来源，代表这个档案的可疑性较高，才作为机器学习模型的分析目标，其余可信任的档案则可排除。「透过杂讯消除方法，才能将机器学习应用在对的地方」，张佳彦表示。

漏斗型分层式防护架构，整合机器学习与云端威胁分析

不过，机器学习只是趋势防护架构的其中一环，张佳彦表示，趋势採用了漏斗式的分层式防护架构，分为4层，上两层是用于还未执行的静态档案，下两层则针对档案执行的行为来判断。第一层是利用现有的技术，包括网页和档案评价防护系统、漏洞防护系统（Exploit Prevention）和应用控制（Application Control）等，来过滤出已知的正常档案或恶意档案。未知档案的处理则要再进入第二层处理，趋势正是利用机器学习搭配杂讯消除作法来分析未知的档案威胁。为了能够快速地更新和改善模型，在这一层的分析都送到云端平台处理。如果目标档案通过了前两层分析，就会送到第三层执行并监控后续的行为，在第三层分析中，趋势利用了大量专家规则（Expert Rule），来产生一套可疑行为的判断规则，也用来来侦测目标档案是否具有恶意的倾向，若发现了可疑行为的程式，再将该档案送到第四层，在利用机器学习分析这个档案的行为，来判定这样的行为是否具有威胁，若是，就可以将这个档案判断为恶意程式。

tags：揭露   架构   科学家   网路   灵丹

上一篇  下一篇

相关：

艾滋带原性交不揭露为重罪 加州有争论

（中央社记者曹宇帆洛杉矶17日专电）几位加州议员拟提案修法，主张如果发生没保护措施的性交、又没告诉伴侣自己是HIV带原者，拟不再视为重罪，但反对者仍主张绝对不可。“洛杉矶时报”（LA Times）报道，北加州旧金山

美国科学家发表报告称找到中国雾霾恶化的真正原因

【环球时报综合报道】美国《科学进展》杂志15日发表佐治亚理工学院研究人员的一项报告称，2013年1月，包括北京在内的中国东部持续近一个月的空气污染与2012年秋季北极海冰融化有关。英国广播公司(BBC)16日称，中国近

Gigamon：全观式资安防护架构，不能只看到网络7层

图片来源: 摄影_何维涓 去年，骇客针对银行SWIFT系统的攻击，震惊了金融产业。网路监控服务Gigamon全球资安议题专家Ian Farquhar表示，随着全球的金融交易走向即时性，金融业资讯安全防护的时间间距，也从1～2天的因

雾霾与冰川融化有关 美国科学家这样说你信吗

雾霾恶化的原因一直为科学家所困扰，美国《科学进展》杂志发表佐治亚理工学院研究人员的一项报告称，2013年1月，包括北京在内的中国东部持续近一个月的空气污染与2012年秋季北极海冰融化有关。该报告表示，全球气候变

蛙类发荧光 阿根廷科学家发现首例

有种蛙类真的会使满室生光。美国全国公共电台(NPR)16日报道，南美圆点纹树蛙(polka-dot tree frog)看起来似乎没什么特别，但阿根廷研究人员最近拿紫外线照射它时却获得大惊喜。他们发现，这种生物其实会发出亮蓝绿色