基于多模態圖和對抗哈希注意力網絡的跨媒體細粒度表示學習
【摘要】:跨媒體數據搜索中不同媒體類型的數據間存在特征異構和語義鴻溝問題,且社交網絡數據往往呈現語義稀疏性、多樣性等特性.針對上述問題,文中提出基于多模態圖和對抗哈希注意力網絡的跨媒體細粒度表示學習模型,獲取統一的跨媒體語義表示,應用于社交網絡跨媒體搜索.首先,構建圖像-單詞關聯圖,并基于圖隨機游走策略挖掘圖像和文本單詞間直接語義關聯和隱含語義關聯,實現語義關系擴展.然后,構建基于跨媒體協同注意力機制的跨媒體細粒度特征學習網絡,通過互相指導的跨媒體注意力機制協同學習圖像和文本的細粒度語義關聯.最后,構建跨媒體對抗哈希網絡,聯合跨媒體細粒度語義關聯學習和對抗哈希學習,獲取高效緊湊的跨媒體統一哈希語義表示.實驗表明,文中模型在兩個公開標準跨媒體數據集上均取得較優的跨媒體搜索性能.
【相似文獻】 | ||
|
|||||||||||||||||||||||||||
|
|
|||||||||||||||||||
|
|
|||||||||||||||||||||||||||||||||||||||||
|
|
|||||||||||||||||||||||||||||||||||||||||
|