李贽在麻城时,住在龙湖寺芝佛院中。
在那里幽居,李贽的思想是苦恼而矛盾的,他对世事有火热心肠,却过着隐居生活;他住在僧院,读经谈佛,却供奉孔子;他自称和尚,但酒肉皆入。其实,他既不信孔,也不信佛,这样做不过是表示“玩世不恭”罢了。闲着无事时,他就在芝佛院著书讲学,“儒释从之者,几千万人”(沈瓒《近事丛残》),以至“一境如狂”(顾炎武《日知录》)。李贽喜欢引见求学者,不论谁请教他,提出什么疑难问题,他都耐心尽力解答,因此,他的声名和影响遍及麻城和黄安之间。有时,也有一些名门妇女来听讲就学。有人说:“女人见识短浅,不能学道呀!”李贽立即说:“讲人有男女性别之分,可以;讲见识有男女之分,哪行?讲见识有长有短,可以;但讲男子见识都长,女子见识都短,可以吗?况且那些为学法而来的女子,甚至比男子还强啊!”他愈说愈激昂,使大家都很惊讶。李贽说的“男子不如”者,是指梅国桢(曾任兵部右侍郎、总督宣大山西军务)的女儿谵然,她寡而信佛,归依李贽,李贽把她比作男子,为她著《观音问》等书。
由于李贽主张学道不分男女,因此,麻、黄间的士大夫们大哗,流言蜚语铺天盖地,他们攻击李贽,诋毁他“左道(偏道)惑众”,想驱逐他。李贽对此却付之轻蔑一笑,说:“我左道吗?那给加冠好啦!”于是,他穿起旧日的官服,以示反抗。