陶谦幼年时父亲去世，少年时以性格放浪闻名县里，陶谦的父亲，曾经担任过馀姚县长，陶谦十四岁时以布作为战旗，骑着竹马与乡里小孩子一起嬉戏。
他的同乡、曾任苍梧太守的甘公出门时遇见陶谦，见到陶谦的外貌不凡，于是叫上车来与他交谈，感到非常高兴，把自己的女儿嫁给了陶谦。
甘公的妻子对此非常愤怒，但是甘公对其妻说：
“这个孩子外貌奇特，长大后必成大器。”
陶谦后来喜欢学习，先是考上诸生，在州郡为官，后被举为茂才，拜尚书郎，先后出任舒县令、卢县令。
其后迁幽州刺史，被征拜为议郎。
中平二年（185年）三月，北宫伯玉等率领羌胡进犯三辅，灵帝派遣左车骑将军皇甫嵩率军讨伐，皇甫嵩表请武将随行，召拜陶谦为扬武都尉一同出征，将叛军击败。七月，皇甫嵩因先前得罪中常侍赵忠、张让，在他们的诽谤下被贬官削爵。
朝廷另委派司空张温为车骑将军前往讨伐，张温请陶谦为参军，接遇甚厚，但陶谦素来轻蔑张温的作为，心怀不服。后大军回朝，陶谦在百官宴会上公然羞辱张温，张温大怒，意图将陶谦迁往边关，在别人的劝说下才将陶谦追回。张温于宫门迎接陶谦，陶谦并不领情，但张温对陶谦还是像以前一样好。
中平五年（188年）十月，青、徐两州黄巾复起，攻打郡县。
朝廷任命陶谦为徐州刺史，镇压黄巾军。陶谦一到徐州就任用亡命东海的泰山人臧霸及其同乡孙观等为将。结果一战便大破黄巾军，剩下的黄巾军也被迫逃出徐州境内。
黄巾败走后，陶谦上表拜臧霸、孙观为骑都尉，令其屯琅玡郡治开阳，驻守徐州北面。
在此之后，陶谦在徐州推行屯田。表荐下邳人陈登为典农校尉，在徐州境内实行屯田。陈登上任便“巡土田之宜，尽凿溉之利”，在陶谦、陈登的努力下，徐州农业生产得到恢复和发展，收获“粳稻丰积”。
此时北面的青州、兖州黄巾此起彼伏，徐州却相对太平无事，百姓富足，谷米屯满粮仓，青州、豫州等地的流民（如郑玄、许劭等）也纷纷涌向徐州。
同时，他还在徐州宣扬佛教。特别是下邳郡，陶谦任命与自己同郡的下邳相笮融督管广陵、下邳、彭城运粮。笮融利用手中掌握的粮食，起大浮屠寺，可容三千余人，悉课读佛经；又以信佛免役作号召，招致人户五千余，“每浴佛，多设酒饭，布席于路，经数十里，民人来观及就食者且万人”（笮融此举或出于陶谦的默许）。
而且陶谦任用地方豪族。
任用琅玡人赵昱、东海人王朗为别驾及治中从事。
任用徐州富商糜阳（糜竺族弟，糜竺一家搬往冀州后，余留家资留给糜阳打理，在糜竺支持下，糜阳亦成为徐州富商）为从事；
任命徐州曹家曹豹为都尉；
任用同乡曹宏为主簿；
任用陈家陈珪为治中、陈登为广陵太守；
任命与自己同郡的笮融督管广陵、下邳、彭城运粮；
由此可见，陶谦既用贤人、亦用小人。
但是，如此下来，“背道任情，广陵太守琅邪赵昱，徐方名士也，以忠直见疏，曹宏等谗匿小人也，谦亲任之，刑政失和，良善多被其害，由是渐乱”。
初平元年（190年）正月，关东州牧、郡守拥立袁绍为盟主，矛头直指在洛阳的董卓。当时天下郡县响应，大兴义兵，陶谦亲领兵五千丹阳精兵会盟。
初平三年（192年），王允、吕布谋杀董卓，后李傕、郭汜等反，攻陷长安，把持朝政。