北魏太和十七年，于谨出生，河南洛阳人。
少年时代的他性情深沉，颇有见识，而且度量过人。
喜好读经史书籍，尤其爱好《孙子兵法》。
他早年隐居在乡里，没有做官出仕的志向。
“北魏正光四年，破六韩拔陵在北部边境起事，引柔然作为应援，大行台仆射元纂率军讨伐他。”
“元纂一向听说过于谨的名声，就征召他任鉴曹参军事，让他从军北伐破六韩拔陵。”
“柔然听说北魏军逼近，就逃出边塞。”
“元纂命于谨率两千骑兵追赶柔然，追到郁对原，前后交战十七次，把柔然的兵众全都招降。”
“后来他率轻装骑兵出塞窥视柔然军，碰上铁勒的几千骑兵突然来到，于谨认为寡不敌众，如要退军必然走不脱。”
“于是分散他的骑兵，让他们躲藏在草木丛生的地方，又派人登山指挥，好像布置兵马的模样。”
“铁勒兵看见了，虽疑心有伏兵，但仗恃着人多势众，并不恐惧，就进兵逼近于谨。”
“于谨因为常常骑一匹紫色和一匹黑嘴黄色的骏马，敌兵先前都认识，于谨就派两个人各骑一匹，冲出敌阵而去。”
““敌兵以为是于谨，都争着追赶。”
“于谨于是率领其余的人马杀过去，追赶的骑兵就逃走了，于谨因此得以进入边塞。”
“正光五年，行台广阳王元深出兵北伐，引荐于谨为长流参军，对他特别礼遇。”
“所有的谋议，都和于谨商量。”
“元深还让自己的儿子元佛陀拜见于谨，如此亲密地对待他。于谨和元深打败了敌军首领斛律野谷禄等人。”
“当时已是北魏末年动乱时候，群盗蜂拥而起，于是派于谨前去招抚。”
“于谨同时懂得几族的语言，就单骑进入敌军当中，向他们宣示恩信。”
“于是西部铁勒的酋长乜列河等人，率领三万多户人家一起归附，相随着往南迁徙。元深准备和于谨去折敦岭迎接他们。”
“破六韩拔陵果然前来拦击，在岭上把乜列河打败，乜列河的部众都被他掠走。”
“于谨的伏兵冲出来，叛军就此大败，全部将乜列河的部众收降过来。”
“孝明帝元诩嘉赏于谨，任命他为积射将军。”
“孝昌二年，于谨又随广阳王元深征讨鲜于修礼。”
“大军停驻在白牛逻，正逢章武王元融被鲜于修礼杀害，于是将军队停驻在中山。”
“于谨详细地诉说了元深的忠诚，并陈述了停驻军队的情况。”
“胡太后的怒意逐渐缓解，于是放了他。不久他被加授为别将。”
“当时，南朝梁将领曹义宗据守穰城，多次在北魏边境侵扰。”
“孝明帝就命于谨和行台尚书辛纂率兵征讨。相持数年，经历了几十决战斗。”
“于谨升任为都督、宣威将军、冗从仆射。”
“武泰元年，孝庄帝元子攸即位，任命于谨为镇远将军，不久改任直寝。”
“又跟随太宰元天穆征讨葛荣，平定邢杲，拜为征虏将军。”
“跟随尔朱天光打败万俟丑奴，被封为石城县伯，食邑五百户。”
“普泰元年，任征北大将军、金紫光禄大夫、散骑常侍。”
“又跟随尔朱天光平定宿勤明达，另外再讨伐夏州贼寇贺遂有伐等人，将他们平定，授任大都督。”
“他跟随尔朱天光同高欢在韩陵山作战，尔朱天光战败后，于谨就进入潼关。”
“贺拔岳上表将于谨留下镇守，任命他为卫将军、咸阳郡守。”
苏轼：宇文泰到了夏州，任命于谨为防城大都督。兼任夏州长史。
永熙三年，贺拔岳被杀害，宇文泰前往平凉。
正好孝武帝元修敕令将于谨调回任阁内大都督，于谨趁机献上迁都关中的计策，北魏孝武帝采纳了他的意见。
不久，高欢听说孝武帝有西迁的打算后率军进逼洛阳，于谨随北魏孝武帝西迁。
接着他又跟随宇文泰出征潼关，攻下回洛城，被任命为使持节、车骑大将军、仪同三司、北雍州刺史，晋爵为蓝田县公，食邑一千户。
大统元年，于谨被授任骠骑大将军、开府仪同三司。
大统三年，夏阳人王游浪聚众占据杨氏壁叛乱，于谨出兵讨伐并擒获了他。
同年，西魏军东出征讨东魏，于谨充当前锋，进军到盘豆。
东魏将领高叔礼据守险要城池与西魏对峙，于谨击败了他，俘虏兵众一千人。
趁此又攻下弘农，擒获东魏陕州刺史李徽伯。
大统三年十月，高欢抵达沙苑，沙苑之战爆发。
于谨随宇文泰和将领们奋力作战，打败了高欢，晋爵为常山郡公，增加食邑一千户。
大统四年八月，于谨又随宇文泰在河桥作战，任大丞相府长史，兼任大行台尚书。
稽胡帅夏州刺史刘平叛乱，于谨率兵讨伐平定了他。
因功任大都督、恒并燕肆云五州诸军事、大将军、恒州刺史，入任太子太师。
大统九年，于谨又跟宇文泰东出征讨，进攻柏谷坞，大胜。
同年，东西魏爆发邙山之战，西魏军失利，于谨率领他手下的兵马假装投降东魏，站在路旁。
高欢的军队乘胜追击逃兵，不曾戒备。
等追击的骑兵过完了，于谨就从后面攻击他们，东魏军惊慌失措。
独孤信又聚集兵士在后奋力冲杀，高欢的军队就乱了起来，因此西魏军得以保全。
大统十二年，于谨任尚书左仆射，领司农卿。
到侯景归附西魏时，请求西魏派兵作为支援，宇文泰命李弼带兵接应他。
不久宇文泰又让于谨兼任大行台尚书、丞相府长史，带兵镇守潼关，加授华州刺史。
不久任司空，增加食邑四百户。