茅渟宫遗址是与泉佐野市所流传的古老传说“衣通姬传说”有关的地方。衣通姬是《古事记》和《日本书纪》中登场的一位女性，因“其美貌之光辉甚至透过衣服闪耀”而得名，被视为绝世美女。江户时代，衣通姬被誉为本朝三美人（衣通姬、光明皇后、藤原道纲之母）之一。虽然关于衣通姬的传说有两种版本，但在《日本书纪》中，她被认为是5世纪前半叶，第19代允恭天皇的皇后忍坂大中姬的妹妹。

允恭天皇7年，天皇在庆祝建造新宫殿的宴会上看到献舞的衣通姬，于是派遣使者前往衣通姬居住的近江国坂田。衣通姬出于对姐姐的顾虑，虽持续拒绝天皇的邀请，但最终在使者的计策下来到了京都。因惧怕皇后的嫉妒，天皇将衣通姬安置在藤原宫中相会。但遭到皇后嫉妒的衣通姬主动提出要住在远离京城的茅渟宫，于是天皇以前往日根野游猎为借口持续与其相会。然而，皇后劝告天皇减少频繁的出行以减轻百姓负担，因此天皇减少了与衣通姬相会的次数。于是，衣通姬咏了一首和歌

原文大意：
我愿长伴君身旁，奈何浜藻寄海洋。
随波逐浪无归处，偶至岸边叩君窗。

据说天皇听闻后，叮嘱她不要让任何人听到，由此人们将浜藻（被海水冲上岸的海藻）称为“莫告藻”。

因其凄美的爱情故事和留下的和歌，衣通姬被视为和歌之神，被供奉在和歌山县的玉津岛神社，也位列“和歌三神”（住吉明神、玉津岛明神、柿本人麻吕。一说为衣通姬、柿本人麻吕、山部赤人）。而且，在九条政基之子九条尚经的日记《后慈眼院殿御记》中也提到衣通姬是被请入神社的人物，并记述其在大化6年（650年）被授予神号。
关于衣通姬居住过的茅渟宫的位置有多种说法，但在江户时代石桥直之编撰的《泉州志》和根据该志绘制的《和泉名所图会》中称其位于“上之乡中村”，后来岸和田藩在该地建造了上述和歌的歌碑。歌碑今天依然矗立在上之乡的中村儿童公园内，每年春天当地人都会在这里举行扫墓仪式。