MNE论文阅读

MNE通过融合相邻特征进行特征增强操作，在image search 和 few shot learning task(小样本学习)上取得不错的效果

关键

• 融合样本特征的相邻样本
• 记忆存储模块 episodic memory
• 树结构

概括

论文地址Memory-Based Neighbourhood Embedding for Visual Recognition

MNE通过融合相邻特征进行特征增强操作，在视觉识别上取得不错的效果

关键

• 融合样本特征的相邻样本
• 记忆存储模块 episodic memory
  • 存放多个batch的特征，在该模块中寻找样本特征的相邻特征

• 树结构，自下而上融合特征

  • 样本特征位于根节点，采用k-mean方法查找相邻特征，放置于叶子结点
  • 迭代式自下而上融合相邻特征
  • 结合attention机制，采用有监督的方式，提高同类别或相似类别的相邻特征的融合权重

• 多loss训练

基本思想

相同类别或相似类别的图像在映射到语义空间中也是相似或相邻的

Images from the same or related classes are desired to be mapped to nearby points on a manifold, which is critical to many applications like few-shot learning [41, 31, 37], visual search [7, 13, 45], face/person recognition [20, 26, 43, 2] and fine-grained retrieval [19, 18].

创新点

• 结合Context-based Feature Learning
  • 采用k-mean方式寻找相邻特征，并融合到样本特征中
• 结合GNN
  • 采用树结构来构造样本特征和相邻特征的关系
  • 结合attention机制，自下而上融合相邻特征信息到样本特征中

方法与实现

实验

总结

思考

• 作者采用k-mean查找相邻特征
  • 通过计算特征间余弦相似度是否可以