如同众多的天才一样，小时候徐渭就展露了他非比常人的才学，据当时明朝的媒体报道说是少年时天才超逸，入徐氏私塾读书，“六岁受《大学》，日诵千余言”“书一授数百字，不再目，立诵师听。”。年纪轻轻就能够过目不忘，历史上也是寥寥几人，武侠里也只有黄蓉的母亲而已。 十岁仿扬雄《解嘲》作了一篇《释毁》，性格豪放，“指掌之间，万言可就。”二十岁时成为生员，嘉靖二十年（1541年）娶同县潘克敬女为妻，接下来八次应试不中，“再试有司，皆以不合规寸，摈斥于时。”
虽然天资聪颖，但是徐渭总是考试不过，郁闷之下，徐渭人家不考了，直接云游四方，其实，徐渭的文章在科举中那个状元是不成问题的，只是他写的文章有些反动，有些不符合阅卷老师的口味，所以，阅卷老师自然不会给徐渭太高的分数了。为此，在最后一次科举的时候，愤世嫉俗的徐渭专门将答题纸写的满满的，倒不是什么标准答案，而是对监考官的一番羞辱，写完之后，徐渭扬长大笑，从此漂泊于江湖之中。徐渭也认清了走科举的这条路是行不通的，于是，他后来跟了胡宗宪。
在胡宗宪这里，他大展抱负，先后与倭寇在东南沿海战斗数十次，当然，不是他亲自上阵，是他出谋划策，就连当时威震中外的大汉奸徐海也被他出奇计降服。他在帮助胡宗宪的同时，为了避免朝廷的官僚斗争，对严嵩的行为只能是睁一只眼闭一只眼，为了讨好嘉靖皇帝，在胡宗宪于舟山捕获白鹿时，徐渭撰《进白鹿表》、《再进白鹿表》、《再进白鹿赐一品俸谢表》等并献于朝中，视为祥物，“上又留心文字，凡俪语奇丽处，皆以御笔点出，别令小臣录为一册”，学士姚汾等对徐渭文章大为赏识。又代作《贺严公生日启》，吹捧奸相严嵩。这些的行为不是对严嵩真实的赞赏，而是为了剿灭倭寇，委曲求全。虽然外人都骂他是趋炎附势的小人，但是在徐渭的内心是心系天下的，这点委屈又能算得了什么呢？就这样，徐渭背负着被人辱骂的名声，在沿海一带，拯救了成千上万的老百姓。笔者个人感觉，徐渭的这一辈子，胡宗宪是他的最为重要知己。当徐渭在考场上屡战屡败的时候，是胡宗南慧眼识人，将他重用为军师，人生得一知己，夫复何求？然而好景不长，在嘉靖四十三年（1564年）胡宗宪以“党严嵩及奸欺贪淫十大罪”被捕，狱中自杀，知己自杀，身为好友的徐渭作《十白赋》哀之。没想到，因为发表一篇文章，让李春芳严查胡宗宪一案时，将徐渭也带了进去。徐渭一度因此发狂，作《自为墓志铭》，以至三次自杀，“引巨锥刺耳，深数寸；又以椎碎肾囊，皆不死。精神几近失常，几近癫狂。这段历史描述的有些夸张，看样子，徐渭相当于是疯了。
当然，身为明代第一才子的徐渭不会这么容易就挂，但是牵涉到胡宗南之案又是死罪。千方百计之下，唯一能够欺骗世人的方法就是成为精神病患者，所以就有了以上徐渭怎么自杀都死不了的故事。但是连自己的老婆都杀，这个本钱下的还是大了，考虑到当时社会重男轻女的状况，我们还是要理解徐渭的。嘉靖四十五年（1566年）在发病时杀死继妻张氏，下狱七年。狱中完成《周易参同契》注释，揣摩书画艺术。万历元年（1573年）大赦天下，为状元张元忭等所救出狱，出狱后已53岁。历尽磨难的徐渭终究是保住了一条性命，当年为了拯救天下苍生而背负骂名的天才，晚年过的是穷困潦倒的生活啊。
经历了如此多的磨难，徐文长已不再有什么政治上的雄心，但他对国事的关注却老而未衰。出狱后，他先在江浙一带游历，登山临水，并交结了许多诗画之友。万历四年（1576）夏，徐文长年轻时代的朋友，这时已经做到宣化巡抚、担负北部边防重任的吴兑邀他北上，他便欣然前往。徐文长在宣化幕府的时间不到一年，但留下了不少描写北地风光、民俗和军旅生活的诗文。在写给许多官员的赠序中，他都喜欢议论政事，尤其是关于边防的策略。当时张居正主持国政，对蒙古采取抚和的方针，徐文长对此表示赞赏。他在吴兑那里受到敬重，无奈身体不好，只得于次年春经北京回到家乡。
六十岁时，徐文长应张元忭之招去北京，但不久两人的关系就恶化了。据张岱的记叙，张元忭是个性格严峻、恪守礼教的人，而徐文长却生性放纵，不愿受传统礼法的束缚。张元忭常常以封建礼教约制徐文长，这使徐文长大为恼火。他曾对张元忭说：我杀人当死，也不过是颈上一刀，你现在竟要把我剁成肉糜！由于和老朋友的交恶，加上与官僚们交往受到不平等的对待，使徐文长情绪郁愤，旧病复发，便于居京三载后重归家乡。此后，徐文长就再没有离开过山阴。
晚年乡居的日子里，徐文长越发厌恶富贵者与礼法之士，所交游的大都是过去的朋友和追随他的门生。据说有人来访，徐文长不愿见，便手推柴门大呼：“徐渭不在！”他一生不治产业，钱财随手散尽，此时只得靠卖字画度日。但手头稍为宽裕，便不肯再作。倒是一班门生和晚辈的朋友，或骗或抢，常常得到他的杰作。徐文长似乎特别嗜蟹，许多题画诗记载了朋友们用活蟹来换他画蟹的经过。最后几年，徐文长身患多种疾病，大约画也不能常作，生活更为贫苦。《徐文长文集》中有《卖貂》、《卖磬》、《卖画》、《卖书》诸诗，显示出这位大文学家艺术家凄凉的晚境。1593年，徐文长去世，年七十三。
有人认为：徐文长先生一直命途多艰，坎坷不断，致使他激愤成狂疾。狂病的不断发作，又导致他被投入监狱，从古至今文人的牢骚怨愤和遭受到的困难苦痛，再没有能超过徐文长先生的了。但虽然如此，胡公是旷世豪杰，世宗是英明帝王赏识他。徐文长在胡公幕中受到特殊礼遇，这说明胡公认识到了他的价值。奏表送上以后，世宗很高兴，这表明皇帝是知道他的价值的。文长先生唯一欠缺的，只是未能致身显贵而已。文长先生诗文的崛起，一扫近代文坛庞杂卑陋的习气，百世之后，自会有公正的定论，又怎么能说他生不逢时呢？不错，在百世之后，历史学家以及很多研究明史的人都很敬重这位才子，包括当年明月先生以及笔者我都从内心尊敬这个曾经的抗倭英雄。
在岁月的长河中，徐渭无疑是一颗耀眼的明星，他的诗书画被奉为国宝，他的才气让无数的后人为之瞻仰。人们永远不会忘记徐文长那无人超越的书画作品，那满腔报国为民的热血，这一切，都将铭记于世人的心里，镌刻在历史的长廊中。