鱼服、腰佩绣春刀、武艺高强的天子亲军，而且还大多都是反面形象，而对其地位和执掌的认知，基本都是一个词：特务。
通常的说法是：锦衣卫是一个特务机构，是作威作福、欺压百姓的东厂鹰犬。然而事实上，这些印象只有很少一部分是事实，大多数反而都与史上锦衣卫的实际情况相去甚远。
锦衣卫中真正负责“特务”工作的人，在整个锦衣卫机构当中，大概只占百分之五，以“缇骑”为主，由北镇抚司掌握。
这些缇骑人数其实并不算多，譬如宪宗成化年间，锦衣卫掌卫官所统缇骑就只有一百人，专门负责监察京师的不轨、亡命、盗奸、机密大事；巡捕官所统缇骑也只有二百人，专职捕贼。这些缇骑的来源主要是“大侠或贾人子”。
另外就是，东厂也在锦衣卫中选取了八十人，多是“捷悍利牙爪者”，专门“钩察出人帷簿间”，太监汪直专宠时又曾开设西厂，缇骑人数比东厂要多一倍，职权更在东厂之上，能够“纠察中外文武大小及民间事”。
这些缇骑（有侦缉职权的锦衣卫校尉），才算得上“特务”，人数一般不超过六百人，占锦衣卫总人数的比例不到百分之五（注：一个所满编是1120人，锦衣卫有17个所）。而且缇骑是从民间挑选，和一般卫所人员是父子世代承袭的规定不同。
简而言之，大多数父死子继的锦衣卫，其实不算什么特务，只是单纯的“天子亲军”，也没有什么缉拿不法的职权。锦衣卫真正令官员们警惕、畏惧而又反感的权力，其实掌握在北镇抚司手中。
而且，即便北镇抚司拥有这些“特务”权限，他们的工作也并非侦缉寻常百姓，而是监督侦缉官员。虽然欺压百姓的事情有时也在所难免，但毕竟不是主要的，后世之所以把北镇抚司渲染得犹如十八层地狱，说到底问题还是出在它的执掌——对付官员。
笔杆子掌握在文官手里，锦衣卫北镇抚司作为对付文官的暴力特务机构，还能指望有多少好名声不成？哪怕锦衣卫抓的官员里面，一百个被抓的有九十九个都是罪有应得，但只要抓错了一个，或者抓了一个名声不错的，那就是洗都洗不掉的污点，只能被文官集团反复渲染放大，最后一叶障目，成为锦衣卫的罪证。
这三人既然