不过，唐代这些书画中间商人被称作“书侩”，尚未被称为“牙人”。直至北宋，文献中才出现称代理寻购书画的中间人为“牙”、“驵”。米芾《书史》云：“姑苏衣冠万家，每岁荒及迫节，往往使老妇驵携书画出售。余昔居苏，书画遂加多。”接着又说驸马都尉王诜命某“管军苗履长子”寻购法书，米芾笑其为“太尉书驵”。“老妇驵”即牙婆，“书驵”则是专门从事书画寻购业务的牙侩。

北宋以后，“书驵”及“牙侩”仍有零星记载散见于文献。如南宋法书鉴藏家、岳飞的孙子岳珂在《宝真斋法书赞》中两次提到“书驵”。南宋庆元六年（1200年），未及弱冠的岳珂自苏州某“书驵仲宜家”购得黄庭坚的《一笑帖》；10年后的南宋嘉定三年（1210年）正月初五，他又在临安自某“书驵高仲处”购得杨凝式《烟柳诗帖》。明人陈达甚至写过一首叫《题买臣负薪图》的诗：“敲门忽见东溪氏，手持一幅鹅溪纸。……岂徒不入驵侩眼，何当更被糟糠嗤。”这说明很多书画经纪人眼力有问题。清初刘廷玑在《在园杂志》中说：“看字画，经纪不如士夫。”

正因为眼力有问题，所以书画经纪人主要充当交易中介人，为藏家代购或代销书画。宋代收藏家米芾曾委托一位叫“鼎承”的经纪人，向苏州宝月大师求购翟院深的山水画。当时，宝月大师收藏有2帧翟院深山水，其中一帧以五千文售出。米芾向鼎承交代，如果宝月大师肯卖剩下的一帧，可以在五千之上再加数千文。明朝朱希孝曾委托陈海泉出售字画。陈海泉携带卢鸿《草堂图》、虞世南庙堂真迹、宋拓《定武兰亭序》、怀素《自叙帖》真迹等9卷，专程到嘉兴售与项元汴，以800两银成交。项元汴去世后，他的三子项德新又委托戴景阳出售家藏字画。崇祯三年（1630年）春，戴景阳携带项元汴旧藏宋拓《定武兰亭序》，到北京卖给了收藏家韩逢禧。