威徳院は平安時代の八二二年（弘仁一二年）に弘法大師空海により創建されました。中興の祖は一一四六年（久安二年）に住職となった浄賢といわれますが、その後栄枯盛衰。
安土桃山時代になると生駒親正が入府し真言宗寺院を保護して「讃岐十五箇院」を定めた時に、その一つに数えられました。さらに生駒一正の書状が伝存するように生駒一正の帰依を受けて隆盛をみます。