但是，一部分佛教徒把“歡喜天”的男像當作佛的化身，把女像作爲妖魔與俘虜的化身。另一部分佛教徒則不承認這種解釋，他們說女像是佛的化身，男像原先是異教的魔王，後來投降佛教，充當了佛教的“護法金剛”——這種說法不僅爲西密和臺密中的一部分佛教徒所堅持，更在東密的日本所流傳。
對此，經典上也有記述，《四部毗那夜迦法》中說：
觀世音菩薩大悲薰心，以慈善根力化爲毗那夜迦身，往歡喜王所，於時彼王見此婦女，欲心熾盛，欲觸彼那夜迦女，而抱其身。於是，障女形不肯受之，彼那王即憂作敬，於是彼女言，我雖似障女，自昔以來，能憂佛教，得袈裟，汝若實欲觸我身者，可隨我教，即如我至盡未來世，能爲護法不？可從我護諸行人，莫作障礙不？又依我已後莫作毒心不耶？汝受如如敬者，爲我親友。時毗那夜王（即歡喜王）言，我依緣今值汝等，從今已後，隨汝等語，守護法。於是毗那夜迦女含笑，而相抱時彼作歡喜言，善哉，善哉，我等今者依汝敕語，至於未來護持佛法，不作障礙而已。乃可知女，觀自在菩薩也。是則如經所說，應以婦女身得度者，即現婦女身而爲說法。
以上也是佛教密宗時“歡喜天”來歷的附會之說。
西密和臺密的傳說是：本尊（即指那個兇惡的男佛像）爲大自在天神，即有權勢的婆羅門教徒，久惱害教（危害佛教），殺業重重，衆生多苦。佛（指釋迦牟尼）派十一面觀世音收服，遂列入佛教護法天神之一爲佛教捍衛。
上述傳說還比較隱諱，而東密（日本密宗）的傳說則更爲明顯地包含了性成分。他們認爲雙體“歡喜天”中那個男像名叫“毗那夜迦”，是崇信婆羅門教的國王，手下兵多勢大，常常殘害佛教徒，釋迦牟尼派觀世音化成美女，去和毗那夜迦結爲夫妻，後來這個毗那夜迦因醉於女色而投降佛教，充當了佛壇（即曼荼羅）上衆金剛中的主尊（領袖）。後世主持男女戀愛之神，就是這個毗那夜迦。當然，也有不少佛教徒不同意這種說法，因爲施用“美人計”，實在太違反佛教的教規，太荒唐了。
在我國，佛教密宗古已有之。密宗在唐朝盛行時，密宗佛像較多地供奉於中國各地的寺廟之內。日本傳入這種佛像，就是始自中國的唐朝。可是唐末大亂，密宗教門遭受破壞，密宗佛像也幾乎被摧毀無遺。
到了元朝，喇嘛教興起。喇嘛教是佛教的一支，主要傳播於我國的藏族、蒙古族等地區。喇嘛是藏語“上師”的意思。公元7世紀，吐蕃贊普松贊干布在他的兩個妻子尼泊爾公主墀尊和唐文成公主的影響下，信奉了佛教。公元8世紀時，天竺僧人寂護、蓮華生等到吐蕃來傳播顯、密兩系佛教。可是到了公元9世紀，贊普朗達瑪卻禁止佛教流傳。到了公元10世紀後期，在吐蕃新興封建領主階級的扶植下，佛教以喇嘛教的形式得到復興。到了13世紀中期，元太祖（成吉思汗）鐵木真和元世祖忽必烈先後兩次出征西藏，大力提倡佛教密宗，密宗佛像也就隨之而傳入蒙古。忽必烈入主中原後，佛教密宗又隨之傳入華北各地，以山西五臺山爲佛教密宗總禪林。明、清兩朝，全都利用喇嘛以懷柔蒙、藏，於是密宗佛像也就普遍地供奉於許多喇嘛寺廟之中。目前我國還保存着的“歡喜天”大都是元代及元代以後的遺留。如甘肅敦煌莫高窟第465窟所保存的許多“歡喜天”壁畫（都是元代遺留下來的。