Kaggle赛题解析:图像重建挑战2024

  • 比赛名称:Image Matching Challenge 2024 - Hexathlon
  • 比赛类型:计算机视觉、图像匹配
  • 比赛任务:从六个不同域的 2D 图像重建 3D 场景

Image Matching Challenge 2024 - Hexathlon | Kaggle

比赛背景

比赛旨在解决一项基本的计算机视觉问题,即跨不同视角匹配多个图像的挑战。即使是地标和历史遗迹等经常被拍摄的地方,每张照片的角度都略有不同,阴影也会随着时间的不同而变化。有些照片可能是从地面拍摄的,另一些可能是从一些台阶上拍摄的,还有一些可能是从无人机上拍摄的。这种情况下,将多个图像匹配到一起是一个很大的挑战,尤其是在不同视角、不同光照条件下拍摄的图像。表面纹理或周围环境的因素可能会导致算法性能下降。

image

从一组图像中重建环境的三维模型的过程被称为结构运动(Structure from Motion,SfM)。这些图像通常由训练有素的操作员拍摄,或者配有额外的传感器数据,以确保数据质量和一致性。然而,从各种各样的图像中构建三维模型就更加困难,这正是该比赛的真实世界示例所在。事实上,我们划分了6个类别,每个类别都有其独特的挑战:

  1. 摄影旅游和历史保护:不同的视角、传感器类型、时间以及遮挡物,古代历史遗迹增加了独特的挑战。
  2. 昼夜变化和时间变化:白天和黑夜照片的结合,包括光照不足的情况,或者相隔几个月或几年拍摄的照片,天气不同。
  3. 航空和混合航空-地面:来自无人机的图像,具有任意的平面旋转,与类似图像以及来自地面的图像相匹配。
  4. 重复结构:对称对象需要细节来消除透视。
  5. 自然环境:树木和植被等高度不规则的结构。
  6. 透明度和反射:如玻璃制品等缺乏纹理并产生反射和镜面反射,提出了一系列不同的问题。

比赛任务

比赛的目标是利用不同场景和环境中的图像集构建精确的三维地图。参赛者需要开发一个模型,能够生成准确的空间表示,无论是来自无人机、茂密森林中、夜晚拍摄的图像,还是其他六个问题类别中的任何一种。

评价指标

评估指标是注册的摄像机中心的平均平均准确度(mAA),并在不同的阈值下对注册结果进行鲁棒性测试,并通过平均计算获得对整个数据集的总体评估。

提交格式:

image_path,dataset,scene,rotation_matrix,translation_vector
da1/sc1/images/im1.png,da1,sc1,0.1;0.2;0.3;0.4;0.5;0.6;0.7;0.8;0.9,0.1;0.2;0.3
da1/sc2/images/im2.png,da1,sc1,0.1;0.2;0.3;0.4;0.5;0.6;0.7;0.8;0.9,0.1;0.2;0.3
etc

比赛数据集

在这个比赛中,你的挑战是从围绕着场景拍摄的一系列无序图像中生成三维重建,并准确地定位这些图像。

sample_submission.csv 一个有效的、随机生成的示例提交,包含以下字段:

  • image_path:图像文件名,包括路径。
  • dataset:数据集的唯一标识符。
  • scene:场景的唯一标识符。
  • rotation_matrix:第一个目标列。一个3x3矩阵,按行主序展平成一个向量,值之间用;分隔。
  • translation_vector:第二个目标列。一个三维向量,值之间用;分隔。

[train/test]/*/*/images 一批图像,都是在相同位置附近拍摄的。一些训练数据集可能还包含一个名为 images_full 的文件夹,其中包含额外的图像。

train/*/*/smf 这批图像的三维重建,可以使用 colmap 打开,这是与本比赛捆绑在一起的三维结构运动库。

train/*/*/LICENSE.txt 该数据集的许可证。

train/train_labels.csv 这些数据集中的图像列表,带有地面真实数据。

  • dataset:数据集的唯一标识符。
  • scene:场景的唯一标识符。
  • image_path:图像文件名,包括路径。
  • rotation_matrix:第一个目标列。一个3x3矩阵,按行主序展平成一个向量,值之间用;分隔。
  • translation_vector:第二个目标列。一个三维向量,值之间用;分隔。

通过这些文件,你将有机会训练模型并提交预测结果,以生成场景的三维重建。

比赛赛程

  • 参赛截止日期:2024年5月27日。在此日期之前,您必须接受比赛规则才能参加比赛。
  • 团队合并截止日期:2024年5月27日。这是参与者加入或合并团队的最后一天。
  • 最终提交截止日期:2024年6月3日。