高崇的儿子高谦之，字道让。少小时侍奉后母李氏，孝名远扬，李氏抚养他所耗费的心血也过于自己亲生孩子，以致旁人难以辨别他们兄弟所出的同异差别。时人把他们一样看重。等到长大，摒绝人事，专攻经史，天文历法、算学图纬之类书籍，广泛涉猎，每天诵读几千字，喜好文章，留心《老》、《易》。继承父亲爵位，脱下布衣，接受朝廷任职，朝廷加授他为宣威将军，转任奉车都尉、廷尉丞。
正光年间(520～525)，尚书左丞元孚慰劳蠕蠕，反被拘留。等到蠕蠕大肆掠抢而还，安排元孚回国。此事交廷尉处置，廷尉卿及监以下官员都称元孚无罪，只有高谦之认为元孚有辱使命，应处以流放之罪。尚书同卿与之争执不下，皇帝下诏同意高谦之所奏。
孝昌初年(525)，代河阴县令。这以前，有人在袋子里装上瓦砾，称是钱物，诈骗别人马匹，得手后逃走。皇帝下诏追捕，并要求把结果上报。高谦之于是用枷锁绑着一名假囚徒置于马市，声称这人就是以前在马市上诈取马匹的贼，今天就要行刑了。暗地里派心腹窥探集市看客中议论的人。有两人看到这种情景高兴地说：“我们不用担惊受怕了。”这两人立即被抓了起来，进行审问，他们都承认了骗取马匹的罪行，他们的同伙也被挖了出来。这次连带查出他们前后盗窃的案子，搜出很多赃物，很久以前失去自家物件的人，都各自来领取被盗物品。这一切，高谦之写成奏本，上表皇帝去了。不久，皇帝下诏升任他为宁远将军，正式任河阴县令。在河阴两年，增益减损，政体昭然，所办的事情，多成为治事典范。他的弟弟高道穆任御史，在公事上也颇有干才，世人以他们父子兄弟为官都著名而在当时传为美谈。
旧制，两个县的县令可以在朝面陈得失，而当时奸佞侥幸的人憎恨他掌握了某些情况，于是一起上书请求罢免他的官职。高谦之于是上疏说：“臣以平庸之才，忝居神邑县令之位，臣心中确实想执法严明，秉公办事，以答谢朝廷浩荡之恩，竭尽人臣忠直之节。然而豪贵之家，支属广布，六亲七戚，够上判罪者，比比皆是，他们对我都起憎恨之色，对皇上皆起怨怒之心。而县令职位轻弱，哪能尽数纠正。先帝过去发布明诏，让县令们可以在圣上那里面陈掌握的情况。臣先父高崇任洛阳令时，经常能够进入朝廷面陈是非，所以能使朝中显贵敛手旁立，不敢违逆政体所禁。最近以来，这项制度渐渐废止，致使县令威轻，下情不能上达。今日二圣远遵尧舜，效法高祖。愚臣希望效其鲁钝蹇慢之才，早立功名。臣请求更新旧典彰明往制。以期奸诈豪纵之徒知禁难犯，收敛贼心。”诏书称：“这个奏启与朕意深相符合，立即交付执行。”
高谦之又上疏说：
“臣听说夏朝德运衰败，少康成为克复之主；周道将要废弃，宣王立下中兴之功。由此可知，国家没有恒常的安宁，世事也无永久的弊端，只是在于英明的君主以行之有效的办法改变现状，化弊有道有术而已。
“自从正光年间以来，边城屡遭侵扰，将帅出师，相继于路，军费戎资，输送不绝。至于弓格赏募，都有出身；杀敌斩首，又蒙恩赐。所以四方之士，愿意应征的人数很多，各自为己，公私两利。如果军中统帅选准其人，犒赏功勋不失其实，那么什么样的贼不能平，什么征战不能大捷而还！诸守帅也许不是那类人才，多派亲近进入军中，另请他人拉弓引驽，虚受征官。自己身不赴阵，只派奴客之类入军中领战，对寇临敌，手不弯弓，兵不血刃。像这样则会导致王爵之赏虚加其人，征夫也无参军的积极性，那贼虏怎能被剿灭，拿什么来劝诫人们的忠诚贞节？况且近臣、侍臣、亲戚、朝士，纷纷托求官衙，擅作威福。如果清廉贞节执法不二的人，也会一同遭到诬陷，无端受到惩罚。朝臣顾望，谁肯诉说实际情况？这样下去，就会导致圣上被蒙蔽，坏人被纵容，亏损皇风，破坏政体。使谄谀小人意气洋洋，忠谠之言，不复鼓耳。
“况且连年以来，国家多有征战，民不堪命，动不动流离失所，保全妻子儿女，竞争地逃王家兵役，不再顾及其桑蚕粮田，害怕国家刑律。这正是由于还家必有困顿之理，归来没有自安之路所致。假如朝廷听任百姓归其本业，微征徭役，那么归家还田者人数必定很多，他们定会垦田辟土，数年之后，朝廷一定会大获税民。而今官府不做以理召还流民的工作，只管严令强迫，这样下去，臣担心数年之后，逃离家园者更多，安居乐业者无人了。
“所以有国有家者，不操心百姓不归顺自己，只担心政策得不到落实执行，不侥幸敌人不侵犯我，只依赖自己不可侮犯的信心。这个道理乃是千年共遵，百王一致的普遍真理。而且琴瑟之声不协调，知音的人便改弦更张；拉车的马匹脚步不一，善于驾驶的便要调整缰索。谚语说：‘迷途知返，得道不远。’这话虽不起眼，但道理极深。陛下日理万机，事情难以全面掌握，元、凯无言，不肯直陈。臣谦之虽平庸无才，但世代蒙受圣上荣禄，窃自向往前贤尽忠不惜身的义举，不怕身遭刀斧之刑，只要有一句有益于皇上，义不辞死。只求圣上略垂览察，微加推寻采纳，使朝章重新振举，军威更而复振，四海之内响起维新之歌，天下之人见到大禹之绩，那么臣上奏之后，便可含笑九泉而无丝毫遗憾了。”
灵太后得到高谦之的疏章，责问左右近臣，追问怎么回事。这些得宠显要的人由此记恨高谦之，于是有人向太后建议：“高谦之有学识艺才，适宜在国学任职，以训导王公贵戚的后代。”下诏任命，除授国子博士。
高谦之到了国子学，与袁翻、常景、郦道元、温子升等人，重温旧情。高谦之喜欢赡养孤老、抚恤贫弱，答应的从不失言。对待家中仆僮奴隶，当着他们子女的面从不鞭打其父母，奴仆中若有人生有三个儿子，他便免除其中一子做奴仆的义务，他家中从来没有受过刑的奴婢。他常说，奴仆也是人的血肉之躯，怎能忍心残害。高谦之因父舅氏沮渠蒙逊曾经据占凉州，国史缺漏，他于是编《凉书》十卷，流行于世。凉国佛道兴盛，谦之作论贬抑，称佛教是九流之中的一家。惹得当世名士，竞相以佛理前来诘难，谦之也以佛教义理对答，名士们终不能使谦之心悦诚服。高谦之又因当时实行的历法，许多地方不完备，于是便改元修订，成为一家之法，虽然他订的历法没有被采用，评论的人却叹服其多才多艺。
在这个时候，朝廷议论铸造钱币的事情，任命高谦之为铸钱都将长史。他上书请求铸造三铢钱说：
“大凡钱货之立，本意是互通有无，便利交易。所以钱的重量，世代不同。姜太公为周朝置九府圆法，到景王时更而铸造大号钱币。秦朝统一海内，钱重半两。汉兴，因秦朝钱重，改造榆荚钱。到了汉文帝五年(前175)，又变为四铢钱。孝武帝时，全部销毁，改造三铢钱，到了元狩年间，又变为五铢钱。又造赤仄钱，以一当五个五铢钱。王莽摄政，钱有六等，大钱重十二铢，次九铢，次七铢，次五铢，次三铢，次一铢。魏文帝罢除五铢钱。到了明帝又恢复了。孙权立国江左，铸造大钱，一当五百。孙权在位的赤乌年间，又造大钱，以一当千。由此可见，钱币规制大小轻重，无不随时变化。
“臣认为财政经济的重要，在食、货、祀、司空、司徒、司寇、宾、师八政之中列在首位；聚集财物的可贵，典籍之中，论述俯拾皆是。所以古来帝王，乘着天地的丰饶，临着海内的富足，无不广集粮食于太仓，富藏钱币于府库，储备既多，民免困穷，朝廷便可以让天下四方安宁下来，就如驱使身体伸出胳膊那样容易。过去汉代的孝武皇帝，虽然地广财丰，但连年征战戎敌，于是国库空虚。这时，民间富绅，献财助国；兴利之计，纳税朝廷。市场之上，设立收税之官；邑里乡间，置有催赋之令。盐铁经营既然方兴未艾，朝廷便屡改钱币，少府于是充实起来，上林也变得十分富足。尽管国家拓疆辟土，但国内却不加赋税，这都是计利的缘故啊。而今群妖未息，四方多存壁垒，征税既已麻烦，而千金却一日尽完，官仓府库储备渐渐耗尽，财货度用也将枯竭，诚是当初杨代献策之秋，桑、儿言利之日。而且以当初西京的兴盛，钱币犹且屡次改动，大小货币并行于世，子母之钱相权不悖，更何况今日寇难未除，州郡沦败，民物凋零，军队国家缺少日用，另外铸造小钱，可以有益于国家富足，那里会损害政体，妨害百姓呢？而且政事兴旺不因为钱大，政体衰落也不因为钱小，而只重在公私得失与否，政治教化亏损与否，改铸钱币之事既已有古人所做在先，今天我们也当效法啊。过去禹遭大水，用历山之金铸钱，拯救民困。汤遭大旱，拿庄山之金铸钱，赎回百姓卖掉的子女。今天百姓穷困憔悴，过于往日，英明之主哪能够袖手旁观呢？
“臣今日所铸之钱，是用来接济流通的贫乏，五铢之钱，任其使用并行，流通无损，只会国家受益，穆公之言在这一点上应验了。微臣我虽然理钱之术不如计然，识非心算，暂且充当钱官，也对其道理有些理解。只要此举利于国家，我便不能沉默。如有疑虑，请求公卿大臣广为议论。如果大家都认为公平允当，即请求施行。”
皇帝下诏准备按他的意见办，事情未成，他便死了。
当初，高谦之弟弟高道穆，正光年间任御史，纠察相州刺史李世哲的案子，大加凌辱，世哲家人深深记恨。到这时，李世哲弟李神轨被灵太后深为宠爱，恰逢谦之家僮控告主人，神轨操纵了这名家僮，并与尚书说了此事，于是判定禁囚高谦之于廷尉。准备释放他时，李神轨启奏灵太后，请求发布诏书，在狱中赐死，死时，高谦之才四十二岁。朝中人士无不叹惜哀痛。高谦之所著文章百余篇，别有集录。永安年间，朝廷赠他征虏将军、营州刺史，谥曰康，又授一个儿子出身为官，以此昭明谦之冤屈。高谦之的妻子中山张氏，是有见识的妇女。教育子女，从师学授业。经常告诫他们说：“自从我成为你们家主妇，从未看见你父亲一天不读书。你们应该各自发奋努力，不要废弃祖宗之业。”
高谦之长子子儒，字孝礼。元颢入洛阳，他的叔叔高道穆跟随皇驾北巡，高子儒随后渡河到了皇帝行宫，庄帝见到他，仔细询问洛阳的情况，子儒详细陈述元颢败在旦夕。皇帝对道穆说：“卿初来时，为什么不与子儒一起？”道穆说：“臣家百口在洛阳，必须他维持经营。而且要他今天来此，也可通报京师后来发生的事情。”皇帝说：“子儒不但不负爱卿你的期待，也大慰朕意。”于是授予他秘书郎中，转授通直郎。后来又升任安东将军、光禄大夫、司徒中兵参军、兼任祭酒，袭任父爵。兴和初年，除授兼殿中侍御史。当时四方多有流民，子儒为梁州、北豫、西兖三州检户使，所获流民很多。后来因为公事离职。武定六年(548)死，当时四十一岁。
子儒弟弟高绪，字叔宗，聪明捷悟，勤奋好学。高谦之常对人说：“兴我门庭的，当是此儿。”等到他长大，涉猎书传，喜好文咏。任司空行参军、转任长流参军，升任镇远将军、冀州仪同府中兵参军，被府主封隆之所赏识。隆之到梁州、济州，让他跟随左右，总是让其管理数郡。武定三年(545)死，年仅三十二岁。
高绪弟孝贞，武定年间，任司徒司曹参军。孝贞弟孝干，任司空东..祭酒。