从前刘向上奏说：‘决策犹豫不决的人，为一般小人大开方便之门；养成了优柔寡断习惯的人，招来谄媚诽谤的坏家伙。’刚刚听到一点善政，转眼之间就变了卦。枉使天下百姓猜测朝政，莫衷一是。应当追定八使，揭发不法的人和事，另选忠诚清白的人任职，赏罚严明。到了年终，要对三公评定好坏。让百官知道奉公守法就是福，营私舞弊就是祸。这样，灾害的来源，也行就可以堵塞了。
臣听说古时铨选官吏，一定要诸侯三年推举一人，叫做岁贡。孝武皇帝时，郡里除选举孝廉外，还要选拔贤良、文学之士。因此名臣一个接一个地出现，文事武功盛极一时。大汉的得人，只此数路而已。至于书画辞赋，只算得小才，治理国家，就不见得有能力。陛下刚刚即位时，最先讲求经术，处理政事的余暇，看看文学作品，用以休息。如今走棋的游戏，不是推行教化，挑选人才之本。而诸生唯利是图，作文章的人很多。稍为高明一点的，也引用一些经训劝喻的话；下等的凑合一些俗话俚语，与倡优调笑取乐差不多；有的剽窃他人的作品，假冒名姓。臣每每在盛化门奉诏，录取比较好的，没有被录取的，也跟着安排工作。已经给了恩惠，不好回收，让他们保住俸禄，已经够意思了。不可再使他们治人和在州郡做官，从前孝宣皇帝在石渠阁会集诸儒生，孝章皇帝在白虎观召集众学士，通经释义，这是伟大的事业文武之道，应该遵守奉行。至于一般的小能小善，虽说也有可取之处，孔子认为如果以之办大事就会滞碍不通。所以君子应当立志办大事。
县长的职务是治理百姓，都应当勤谨工作。给百姓办了好事，这才算有功绩。赏罚应该分明，而如今在位没有什么才能退下来的，大多被授以议郎、郎中的职务。如果才华好，不应让其列入冗散人员，如果有罪过，自然应当判罪。难道认罪怕审讯，反要求调离，互相仿效，好歹没有个标准之理？先帝典章制度，没有这个规定。应该查验真伪废除干净。
臣看见许多人以宣陵孝子为名被任命为太子舍人。臣听说孝文皇帝下诏丧服三十六日，虽说是继承皇位的君王，父子至亲，公卿列臣，受恩至重都要控制自己的感情，服从诏令，不敢逾越。如今虚伪小人，本不是骨肉之亲，也没有什么特别的恩情，又没有真正的禄仕，却表现哀痛思念，这种哀情根据什么产生的呢？他们聚集陵墓之旁，假称奉孝，行为既掩饰不了他们的心迹，在义上又没有根据。
甚至还有不法分子藏在里面。桓思皇***祭和升柩的时候，东郡有盗人妻的逃在孝中，原籍追捕，才服了罪。虚伪杂乱污秽，说也说不完。而且，先到的可以授官了，后来则被遣归；有的常年在陵地，因暂时回去漏掉了；有的用人代理，也得到宠荣。纷争怨恨，在大路上吵吵嚷嚷，不成体统。太子的官员，应挑选有德行的人，难道只用一些坟墓丑恶的人？没有比这还不吉祥的事。应该把他们送归田里，揭发他们虚伪诈骗。”
奏书送上后，灵帝于是亲自在北郊迎祥气，举行辟雍礼仪。又下诏把那些以宣陵孝子为名被任命为太子舍人的，统统改任丞尉。
同年七月，护乌桓校尉夏育上疏请求讨伐鲜卑，而犯罪被处罚的护羌校尉田晏则通过中常侍王甫请求灵帝命自己为将讨伐鲜卑，以此来赎罪，王甫也同意出兵。蔡邕上疏劝阻，但灵帝不听。八月，灵帝派夏育、田晏、臧旻及南匈奴屠特若尸逐就单于等各率一万多骑兵出击，被鲜卑首领檀石槐下属三部的大人打得大败，损失惨重。
公元178年（光和元年），灵帝设置鸿都门学，在其中画有孔子及其七十二弟子像。下诏州郡三公推举征召诸生。有的出任刺史、太守，有的入朝任尚书、侍中，有的竟封侯赐爵，士人们都认为与他们在一起是可耻的。当时，妖异的现象常有发生，人人惊恐。七月，灵帝下诏召蔡邕与光禄大夫杨赐、谏议大夫马日磾、议郎张华、太史令单飏至金商门，入崇德殿，让中常侍曹节、王甫问他们关于灾异及消除变故所应当采取的办法，蔡邕用心答复。
灵帝又特诏询问蔡邕：“近来灾异变故的发生，不知是什么罪咎引起的。朝廷焦急，朕心里也害怕。访问群公卿士，想听到一些忠言，他们都守口如瓶，不肯尽心。因为你经学功底深厚，所以朕特地问你，你应该阐明得失，指出为政的要点，不要唯唯否否，或者怀疑恐惧。全按经述对答，为了保密，要用皂囊封上。”
蔡邕于是上奏认为妇人、宦官干预政事，是怪异发生的原因之一，并弹劾太尉劾张颢、光禄勋玮璋、长水校尉赵玹、屯骑校尉盖升等人贪赃枉法，又举荐廷尉郭禧、光禄大夫桥玄、前任太尉刘宠，认为可以向他们咨议朝政。灵帝在看了奏章后很是叹息，在起身如厕时，奏章被曹节在后面偷看了，就向左右的人泄露了全部内容，致使事情泄漏。蔡邕奏章上认为应该废黜的人，都非常恨他，企图打击报复。
之前，蔡邕与司徒刘郃不和，蔡邕的叔父卫尉蔡质，又与将作大匠阳球关系不好，阳球是中常侍程璜的女婿。程璜让人写匿名诬告蔡邕、蔡质几次因私事请托于刘郃，刘郃没有答应，蔡邕于是怀恨在心。决心要陷害蔡邕，灵帝因此下诏给尚书，召蔡邕质问。蔡邕上疏为自己辩白，但他与蔡质还是被送入洛阳狱，有关部门认为应该将二人弃市。中常侍吕强怜悯蔡邕无辜，于是替他向灵帝求情，灵帝也想起了蔡邕之前奏章的话，于是下诏将他免死，与家属被流放至朔方，不得因赦令而免罪。阳球打发刺客刺杀蔡邕，刺客被蔡邕的正义感动了，不为阳球所用。阳球又贿赂有关官员毒害蔡邕，受赂的人反而把消息告诉了蔡邕，要他提高警惕。蔡邕因此平安无事，居住在五原安阳县。
蔡邕之前在东观，与卢植、韩说等修撰《东观汉记》，正遭流放，所以没有来得及写成。他因此上书所著的十意，分别首目，附在书尾（《邕别传》记载有《律历意》、《礼意》、《乐意》、《郊祀意》、《天文意》、《车服意》）。灵帝爱怜蔡邕的才高，正好在第二年大赦，于是赦免蔡邕，准许他返回原籍，蔡邕自从放逐到被赦免，历时九个月。
蔡邕正准备启程回郡的时候，五原太守王智为他送行。酒喝足后，王智起舞劝蔡邕，蔡邕不理他。王智是中常侍王甫的弟弟，本来很骄贵，丢了面子为宾客所嘲笑，就破口骂蔡邕说：“罪犯也敢轻侮我！”蔡邕振衣而去。王智非常恨他，于是密告蔡邕心放怀怨，诽谤朝廷。灵帝宠幸的人也都诬陷他，蔡邕害怕无法幸免，于是逃命江海，远走吴会之地，往来依靠泰山羊氏，在吴地共待了十二年。
公元189年（中平六年），灵帝去世，董卓任司空，专擅朝政，听说蔡邕的名气，于是征召他，蔡邕推说有病不能去。董卓大怒，骂道：“我有灭人三族的权力，蔡邕就算骄傲，也是不过转足之间的事而已。”又急令州郡征召蔡邕到府。蔡邕不得已只好应命，被任命为代理祭酒，很受董卓敬重。 又被举为高第，历任侍御史、治书御史、尚书，三天之内，遍历三台。又升任巴郡太守，被留任侍中。
公元190年（初平元年），蔡邕被拜为左中郎将，跟随献帝迁都长安，被封为高阳乡侯。董卓的宾客部属想让朝廷尊崇董卓与太公相比，称尚父。董卓询问蔡邕的意见，蔡邕说：“太公辅周，奉命灭商，所以特号为太公。现在您的威德虽高，但相比尚父，我以为还不行。等到关东平定，陛下返还旧京，然后再讨论此事。”董卓听了他的话。