我想赶在 AI 替代我之前,先替代我自己
一位二进制漏洞研究员做 Treasure Map 的经过:从一本书到一张地图,再到一层标注和一次补丁对比。
事情的起因
一切源于对 AI 深深的恐惧,和对未来的迷茫。
我是一名二进制漏洞研究员。今年五月,我用 agent 加上 Ghidra MCP,轻易地挖到了 IoT 设备里的漏洞,并在自己的设备上成功利用。那一刻,我觉得我和我的岗位都要被 AI 替代了。
我陷入了迷茫和不安,一个想法在脑海里慢慢成形:
与其被动地让 AI 替代我,我不如主动构建一个工具,先把我自己替代了。
模型会越来越强,与之对应的,大模型厂商的 harness 和 agent 也会越来越完善。跟模型比推理、跟大模型厂商比 harness 的安全工具,迟早会被下一版 agent 取代。所以我做了一个不推理、不下判断的 MCP 工具:Treasure Map。
第一次尝试
说干就干。结合平时做漏洞研究的流程,我有了一个想法:把固件抽象成一本书,每一页是一个二进制程序,把这本书交给 AI 去读,让它告诉我哪里有未修补的漏洞、固件里用了什么加密算法,等等。
具体的步骤如下:
- 全量扫描固件解包后的文件系统,找出里面所有的二进制程序。
- 利用 Ghidra 全量逆向每一个二进制,将伪代码、AI 生成的函数概要以及函数的调用关系保存在数据库当中。
- 由 AI 读取数据库,概括每个二进制及对应函数的功能,并列出可能存在的漏洞以及对应的伪代码。每个二进制以及函数都保存为一个 Markdown 文档。
- 通过 Obsidian,将全量的文档封装为一个仓库,利用反向链接保存函数和二进制之间的调用关系。打开后可以像读书一样,看每个二进制的功能和可能存在的漏洞,还能在关系图谱里查看调用关系。
- 构建一个对话 agent,查询数据库中对应的数据并回答提问。
我花了不到一个月就把它做了出来。看着 agent 报出一堆可能存在的漏洞,Obsidian 里列满了分析结果,我很兴奋。但这份兴奋很快就被现实浇灭了:几乎全是误报。
逐个复核下来,它们大多只是看起来有问题:不是输入被过滤了,就是入口根本不可达,此外还有大量幻觉。这绝不是我想要的,我又一次陷入了迷茫。
反思后的重试
我反思了之前设计不合理的地方:
- 建立在不准确判断之上的结论,一定不可信。
- 事实数据只有是或否,没有诚实的未知选项。
- 这么大量的数据,给人看的知识库除了满足虚荣心,似乎没有其他用处。
- 大模型厂商做出的 agent 越来越好用,应该站在巨人的肩膀上。
于是我换了思路,开始做一个面向 agent 的 MCP 工具,Treasure Map 就这样诞生了。
一开始,我还是把固件做成一本书,按危险程度排序,排名越靠前,越可能是真漏洞。但很快我就发现,排在前面的几乎都是误报,真正的漏洞反而埋在一堆未知里,agent 根本找不到。要保证数据真实,就必然会有大量未知;未知一多,也就无从排序了。
改了很多版都解决不了这个问题时,是项目的名字提醒了我。对啊!这是一张地图,不是一本书。
书是一维线性的,有唯一的目录顺序,AI 按顺序从第一页读到最后一页。地图是多维的,没有内在顺序:测绘员看等高线,司机看路网,军官看制高点,水文学家看河流……同一张图,各自选各自的视角。
于是我给 agent 设计了多个视角来筛选候选,让它自己选要看哪个:按危险调用是否可达?按参数是否可控?还是按路上有没有过滤?既然 AI 已经足够聪明,那就让它自己决定吧。
当然,真正落地时,很多数据没办法直接拿到,必须靠动态推理和计算才能得到。可这样得来的数据,准确性和可靠性都没法保证,所以我最后没有这么做。结果是很多视角都停留在未知状态,候选过多的问题仍然没有解决。
灵光乍现时
正当我苦恼怎么减少候选数量时,思绪突然回到了小时候。我想起了当年最爱看的《冒险小虎队》,印象最深的是书里附的解密卡:把它放在书页上,摆对角度,就能解开谜题。
等等,解密卡盖在书页上,既不改动原来的内容,又能读出新的内容,这不正是我要的、能筛选候选的东西吗?
就这样,覆盖在事实层之上的标注层诞生了。AI 把分析得出的判断写进这一层,之前拿不到的数据,现在可以通过推理补上;AI 的判断也能积累下来,换一个 agent 照样能用。两层数据完全隔离,标注层怎么改都不会影响只读的事实层。每条判断随时都能拿事实层的数据来核对,分析、判断、核验就这样连成了一个闭环。
最后一块拼图
有了标注层,确实能滤掉很多噪音,但候选的数量依然庞大。让 agent 把所有候选都过一遍、每个都给出结论,既不现实,成本也极高。
于是我想到了以前复现 1day 漏洞时常用的方法:补丁对比。把两张固件地图放在一起比,agent 只需要关注变化的部分,就能找出修补了哪些漏洞。又因为地图里保留了危险调用的过滤、可达性等信息,还能判断补丁有没有修完整、有没有被绕过的可能。工具一下子好用了很多,最后一块拼图也找到了。
我在多款不同架构的设备上做了审计,效果让我惊喜:它不仅能找到补丁公开修补的漏洞,还能定位那些没有公开、却被悄悄修掉的漏洞,甚至能发现新功能、新代码引入的漏洞和攻击面。
我本想造一个替代自己的工具,最后造出来的,是一个让我比以前更强的工具。
致谢
我很清楚,Treasure Map 现在还有很多问题,所以每一位用户的反馈我都会认真看。使用中遇到问题或有任何建议,欢迎到 GitHub Issues 提交。
谢谢你能看到这里。如果觉得有帮助,就在 GitHub 上给它点个 star 吧。