邢君牙是瀛州乐寿县人。年轻时到幽蓟、平卢等军镇当兵。凭战功历任果毅、折冲郎将。安禄山反叛，跟随侯希逸渡海进入青州。田神功任兖郓节度使，派邢君牙领兵驻扎好田寺保卫边境秋收。
吐蕃侵犯京城，代宗皇帝流亡陕州，因为护驾有功，多次提升，封为河间郡公。
建中初年，李晟随马燧征讨田悦，用君牙任都将，在武安、襄国间共五次作战，斩杀的功劳最多。德宗流亡奉天，李晟率领君牙用比平常快一倍的行军速度奔赴国难。迁移驻地到渭桥，军中应办的事务，只有君牙预先有准备。李晟在凤翔，多次巡视边防，常用君牙留守凤翔。李晟回朝任职后，君牙代理凤翔观察使，不久，兼任节度使、检校尚书右仆射。吐蕃每年侵犯边境，邢君牙奖励耕种，训练军队备战，吐蕃军不能侵入边塞。又在陇州平戎川筑城，名叫永信城。
死在任上，追封为司徒。
当初，没做官的读书人张汾，没有谁介绍就去求见君牙，并高高地坐在客位上。碰到部下小官因贪污酒宴钱丢弃了账簿，君牙因被欺骗而发怒，张汾不致谢就离去，说：“我在京城，听说邢君牙是当世豪杰，今天竟为部下的小官计较钱财，这怎么说呢？”君牙觉得惭愧，很快释放了小官，把张汾待为上宾，挽留一个多月，用五百匹细绢作为赠送的礼品。他降低身份喜欢读书人到了这种程度。