图像聚类方法
2019-11-26

图像聚类方法

图像聚类方法。公开了确定多个图像内的一个或多个事件子集的方法。每个图像与指定由图像捕获设备捕获图像的时间和位置的时间数据和位置数据相关联。该方法基于与多个图像的捕获时间排序列表中的每个相邻图像对的图像相关联的时间数据来确定用于每个相邻图像对的时间变量。然后基于与图像的排序列表中的每个相邻图像对的图像相关联的位置数据来确定用于每个相邻图像对的距离变量。该方法确定图像捕获设备在多个图像中的每个图像的捕获时间和位置处的速度数据。然后基于代价函数来将图像的排序列表划分为一个或多个事件子集,代价函数是根据时间变量和距离变量的标准化来确定的,其中,与速度数据相关地对时间变量和距离变量进行加权。

在其它实施方式中可以使用用于确定旅行事件的速度变量的任何适当的阈值。其它实施方式可以具有在所使用的权重与速度之间的更复杂的关系。一旦已经对于所有相邻照片对推导出代价,就然后在步骤635检测峰值(例如图5中的峰值505)。峰值指示新事件发生之处。使用在步骤635中识别出的峰值,步骤641可以然后进行通过在峰值处划分排序照片列表来创建事件,每个事件对应于相邻峰值之间的照片的子集或聚类。

阈值=降序排序代价.

图4至图9以及图11至图13的处理中的每个步骤或子处理与程序1533的一个或更多个分段相关联,并且由一起工作的处理器1505中的寄存器段1544、1545、1547、ALU1540以及控制单元1539执行,以针对程序1533的被标明的分段的指令集中的每个指令执行取得、解码和执行周期。

可以使用图14中可见的⑶I显示1400来修改在其上摊开图像的模板。可以通过选择页面布局栏1405并且将替代模板拖动1411并释放1412在页面布局上来改变用于照片的模板。可以通过使用滚动条1413来找到用于页面的更多布局。可以从顶部面板1415选择不同的扩展。可以通过点击向后箭头图标1421来选取前一扩展,以及可以通过点击向前箭头图标1422来选择下一扩展。用户可以通过点击图标1425来移动回到前一屏幕。

例如图2所示的一些现有技术方法仅考虑时间排序列表的相邻照片之间的时间差205。基于时间一例如通过标识照片之间的明显时间差而将照片划分为聚类。例如图3所示的其它现有技术方法考虑相邻照片之间的时间差305和距离差311。通过标识相邻照片之间的明显时间和/或距离差来找到事件边界。距离差是两个经度/纬度点之间的某种适当的距离度量。距离差可以是例如地理距离(地球的圆周周围的两个经度/纬度点之间的距离)、LI范数或Manhattan距离(IX1-X21+1Y1I21)、或L2范数(sqrt((X1-X2)2+(Y1-Y2)2)))。

现在公开一种用于基于元数据(诸如与每张照片关联的时间和位置信息等)而将照片的集合分组为事件的方法。时间和位置信息是新事件开始的关键指示符。在很多情况下,用户已经拍摄的两个照片之间的时间的明显改变和/或距离的明显改变指示新事件的开始。所述方法把旅行事件分组在一起以及把当拍摄者正在区域中游走时拍摄照片的事件分组在一起。

因此具体地说:

目标在于,将照片划分为事件Ei—在图I的示例中,创建三个事件:

用于基于时间和位置信息而将照片布置为群组的技术已经存在了很多年,然而,提供地理标签以及时间戳的照相机近来才进入主流使用。在没有将GPS信息嵌入照片的EXIF数据的照相机的情况下,用户将需要手动地将GPS信息注解到他们的照片,或随身携带GPS记录器,GPS记录器随后将通过交叉参考照片上的时间戳与GPS日志上的时间戳来提供用于照片的GPS信息。这两种方法都是不方便而且耗时的。可能争议的是,手动地对照片做地理标签或交叉参考GPS日志的开销远超过对于照片聚类使用位置信息所获得的潜在好处。结果,对照片做地理标签的开销意味着基于时间和位置的聚类算法没有被广泛采用。然而,随着在照片上提供地理标签的照相机变得更流行,使用时间和GPS信息对照片进行分组的照片聚类算法将变得更广泛使用。结果,在EXIF数据中提供地理标签的照相机的预期增多的情况下,可以在将照片的集合分组为事件时利用这样的信息。

I1=Gat1,Iong1),I2=(Iat2,Iong2)

传统地,很多照片聚类算法依赖于时间信息来将照片组织为群组。例如,通常按拍摄照片的日期或通过标识照片的时间排序列表中的重要时间差来对照片进行分组。虽然时间是用于确定事件边界的关键指示符,但当单独使用时,所推导的值可能受限制。例如,在一个小时过去后,拍摄者可能处于60km外的新位置,或他们可能在同一位置。他们移动了多远是额外信息,其可以区分是否已经产生新事件。

随着数字摄影的增长,人们拍摄的图像的数量已经显著增长。然而,随着所拍摄的照片的数量增长,照片集合变得更难以管理、排序以及找寻图像。公开了一种将照片的集合分组为可识别事件以提供组织并且协助用户识别其照片集合的不同部分的方法。该方法优选地用在相册生成应用中,其中,用户的集合被组织为事件,并且用户选择在其相册中使用什么事件。

现将参照以下附图描述本发明的至少一个实施例,其中:

图6是示出使用时间、位置和速度信息检测新事件的开始的处理的示意性流程图;