欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2011102500376
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于全方位视觉的消费者购买行为分析装置,其特征在于:所述基于全方位视觉的消费者购买行为分析装置包括全方位摄像装置、收款机和用于对全方位摄像装置所拍摄的全景图像以及相关输入信息对消费者购买行为进行分析处理的微处理器;所述的全方位摄像装置放置在店铺内中间的上方,所述全方位摄像装置用于拍摄整个店铺内的全景视频图像;所述的全方位摄像装置与所述的微处理器连接,所述的收款机与所述的微处理器通信连接,所述的微处理器包括:视频图像读取单元,用于通过USB接口读取全方位摄像装置所拍摄的全景图像,并将读取的全景图像提交给视频图像展开单元和视频图像存储单元;

视频图像展开单元,用于将全景图像进行柱状展开,展开后的全景柱状图像提交给前景对象检测单元;

前景对象检测单元,用于检测在全景柱状展开图像中存在的前景人体对象,具体采用混合高斯模型来计算前景人体对象,然后在柱状展开图像上用矩形框框住前景人体对象,并将矩形框提交给多目标人体对象跟踪单元;

多目标人体对象跟踪单元,根据前景对象检测单元所提交的矩形框采用增强的Camshift算法对多目标人体对象进行跟踪;通过人体对象的跟踪得到该人体对象在店铺内的行走轨迹以及在某一个货架附近停留的时间,从而得到空间位置与人体对象和人体对象停留时刻的关系表;

视频图像存储单元,用于将所述的视频图像读取单元读取的全景图像保存在图像数据库中;

空间位置定制单元,用于在全景图像上定制店铺内的空间位置信息;

商品摆放位置输入单元,用于输入店铺内的商品所摆放的货架的相关信息;

商品属性输入单元,用于输入店铺内所有销售商品的属性数据,包括商品名、价格、促销价格、形态、品牌、专家推荐、独有的产品属性信息;

消费者购买行为分析单元,用于分析消费者冲动性购买行为,通过所述的商品属性数据库、所述的商品位置与空间的关系数据库、所述的收银台收款数据库和空间位置与人体对象的关系表中的相关数据进行分析。

2.如权利要求1所述的基于全方位视觉的消费者购买行为分析装置,其特征在于:所述的多目标人体对象跟踪单元,采用的跟踪算法为基于Bayesian概率法则的改进Camshift跟踪算法,改进的Camshifi算法处理过程如下: Step1:以所述前景对象检测单元中检测出的人体对象目标为基础,设定目标跟踪的ROI;

Step2:计算ROI内的目标颜色概率密度分布;

Step3:迭代Mean Shift直到收敛,记录其位置 和零阶矩 Step4:对下一帧图像,以 为搜索窗中心位置,并根据 的函数确定搜索窗大小,根据人体对象目标外接矩形确定ROI大小,转Step2;

在Camshift算法的Step2中,本发明采用Bayesian概率法则获得目标在图像中的颜色概率密度分布,计算方法如公式(1)所示:式中:C为像素点在HSV空间的颜色值,即像素点的(H,S)值;O为目标,B为背景,P(O)+P(B)=1,P(O)为目标对象面积和除目标对象外的背景面积的比值;P(C/O)和P(C/B)可分别从目标对象和背景的直方图获得;按公式(1)获得目标对象在图像中的颜色概率密度分布,再按公式(2)把概率分布区间从[0,max(P(O/C))]归一化到[0,255]区间中,从而获得最终进行Mean Shift迭代的颜色概率密度分布图像P′(O/C);

式中,P′(O/C)为归一化的目标对象颜色概率密度分布,P(O/C)为目标对象颜色概率密度分布;

在改进Camshift算法的Step 4中,根据上一帧跟踪结果的零阶矩 的函数确定新的搜索窗的大小s,以适应目标在视频图像中的尺度变化,如公式(3)所示;

式中,s为搜索窗的大小,K为常数,本发明中选择K∈[230,240];

根据人体对象目标运动的空间连续性,在人体对象目标实时跟踪中,人体对象目标在下一帧的位置位于前一帧中同一人体对象目标位置附近,定义适当位置 和适当大小的ROI,人体对象目标跟踪在ROI内完成;所述的ROI包含完整的人体对象目标;为了避免ROI过大,以避免ROI内包含过多背景形成干扰;同时降低计算量,包括计算颜色概率密度分布的计算量和Mean Shift迭代次数;

采用Kalman滤波器来估计人体对象运动目标在当前帧的位置,作为ROI的位置;

Kalman滤波器经过滤波后,预测人体对象目标在当前帧的位置,以此预测值作为ROI的位置,ROI的大小设定为上一帧人体对象目标外接矩形的1.5倍;采用对全景图像进行透视投影平面展开图区域作为ROI,在获得了ROI的位置以及ROI的大小等数据后就可以得到以人体对象目标为中心的透视投影平面图,每一个人体对象目标都有一个相对应的透视投影平面图,人体对象目标的中心位于透视投影平面图的中心区域。

3.如权利要求1或2所述的基于全方位视觉的消费者购买行为分析装置,其特征在于:所述的全方位摄像装置采用固定单视点全方位摄像装置,进入双曲面镜的中心的光,根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像,在该成像平面上的一个点P(x,y)对应着实物在空间上的一个点的坐标A(X,Y,Z);

双曲面镜构成的光学系统由下面5个等式表示;

((X2+Y2)/a2)-((Z-c)2/b2)=-1 当Z>0时 (4)-1

φ=tan (Y/X) (6)

-1 2 2 2 2

α=tan [(b+c)sinγ-2bc]/(b+c)cosγ (7)式中X、Y、Z表示空间坐标,c表示双曲面镜的焦点,2c表示两个焦点之间的距离,a,b分别是双曲面镜的实轴和虚轴的长度,Φ表示入射光线在XY平面上的夹角,即方位角,α表示入射光线在XZ平面上的夹角,这里将α大于或等于0时称为俯角,将α小于0时称为仰角,f表示成像平面到双曲面镜的虚焦点的距离,γ表示折入射光线与Z轴的夹角;

所述的全方位摄像装置包括双曲面镜面、上盖、透明外罩、下固定座、摄像单元固定座、摄像单元、连接单元和上罩,所述的双曲面镜面固定在所述的上盖上,所述的连接单元将所述的下固定座和透明外罩连接成一体,所述的透明外罩 与所述的上盖以及所述的上罩固定在一起,所述的摄像单元用螺钉固定在所述的摄像单元固定座上,所述的摄像单元固定座固定在所述的下固定座上,所述的摄像单元的输出端口是USB接口。

4.如权利要求3所述的基于全方位视觉的消费者购买行为分析装置,其特征在于:在所述的视频图像展开单元中,采用透视展开算法实现如下:首先,建立全景图像上的任意一点p(x,y)与空间坐标系中一点P(X,Y,Z)的对应关系;

从双曲面的实焦点Om到透视投影坐标原点G引一条距离为D的直线Om-G,与这条Om-G相垂直的平面作为透视投影平面,从点A(X,Y,Z)向着焦点Om的光线在透视投影平面上有一个交点P(X,Y,Z),如果将该交点P(X,Y,Z)代入到公式(7)、(8)中就能容易地求的在成像平面上的P(x,y)点,因此可以通过从上述关系求得在透视投影平面上的各个点;

式中,b,c是双曲面镜的长轴和焦距,f为摄像机的焦距;

双曲面镜的光轴为Z轴,摄像单元向着Z轴的正方向设置,成像平面是摄像单元的输入图像,我们将双曲面镜的光轴与成像平面的交点g作为成像平面的原点,其坐标系为x、y,x轴、y轴分别与摄像单元中的感光芯片的长短边相一致,因此Om-XYZ坐标系的X轴与成像平面坐标系的xy平面平行;

透视投影平面是与Om-G连接线相垂直的平面,将G点作为原点的二元平面坐标系i,j,其中i轴是与XY平面平行的横轴,j轴是与i轴和Om-G轴直角相交的纵轴,将从透视投影平面到双曲面的焦点Om的距离作为D,定义透视投影平面的横幅为W,纵幅为H;由于i轴是与XY平面平行,又是与Z轴垂直的,因此所得到的透视投影平面是以G点为坐标中心与XY平面(水平面)上旋转一个角度,该角度就是Om-G连接线与Z轴的夹角;

这里我们将Om-G作为变换中心轴,点G作为变换中心点,用β(入射光线在XY平面上的夹角-方位角)、γ(入射光线与双曲面焦点的水平面的夹角)以及距离D(透视投影平面到双曲面的焦点Om的距离)来表示变换中心轴,β 角度在0°~360°范围内,可以用公式(11)来表示:-1 -1

β=tan (Y/X)=tan (y/x) (11)

所述β角度是入射光线在XY平面上投影的夹角,以Z轴为原点逆时针方向,在0°~

360°范围内;γ角度是入射光线与双曲面焦点的水平面的夹角,这里将空间坐标Z点在双曲面焦点以上的作为[+],称为仰角,Z点在双曲面焦点以下的作为[-],称为俯角;γ角度范围在-90°~+90°之间;

距离D根据透视投影平面与双曲面焦点的直线距离来确定,一般来说,距离D越长景物越小,距离D越短景物越大;透视投影平面的横幅W、纵幅H可以由需要来确定,在确定横幅W、纵幅H大小时首先要确定显示窗的横纵比,由于在计算机视觉中是用像素来表示横幅W、纵幅H的大小,因此要确定横幅W、纵幅H的像素值;将透视投影平面的横幅W、纵幅H设置成与ROI的大小一致,ROI位置的中心设置为透视投影平面的G点;

其次,通过透视投影平面的坐标点P(i,j)求空间三坐标中的A(X,Y,Z),这样就能得到投影平面与空间三坐标的转换关系,转换关系式用公式(12)来表示:X=R*cosβ-i*sinβ

Y=R*sinβ+i*cosβ (12)

Z=D*sinγ-j*cosγ

R=D*cosγ+j*sinγ

式中:D为透视投影平面到双曲面的焦点Om的距离,β角度是入射光线在XY平面上投影的夹角,γ角度是入射光线与双曲面焦点的水平面的夹角,i轴是与XY平面平行的横轴,j轴是与i轴和Om-G轴直角相交的纵轴。

5.如权利要求1或2所述的基于全方位视觉的消费者购买行为分析装置,其特征在于:所述的空间位置与人体对象和人体对象停留时刻的关系表如表1所示,

空间位置编号 人体对象ID 停留时刻

001 345671 20110811132509

082 345673 20110811132511

... ... ...

表1

表1中,空间位置编号是由所述的空间位置定制单元所定制,这里将整个店铺空间定制为128个网格,每个网格都有相应的空间位置编号,空间位置编号采用3 位数据格式;当人体对象处在某一个空间时就会得到相应的空间位置编号;人体对象ID是由计算机以递增的方式自动产生的,每个进入店铺的消费者都会有一个惟一的人体对象ID;人体对象停留时刻是根据微处理器内的时钟以年月日小时分秒14位数据格式来设定的,即YYYYMMDDHHMMSS,每隔10秒钟产生一条记录,并写入空间位置与人体对象和人体对象停留时刻的关系表中。

6.如权利要求1所述的基于全方位视觉的消费者购买行为分析装置,其特征在于:所述的空间位置定制单元,货架的空间位置信息是通过用户界面在所述的全方位摄像装置所拍摄的全景图像上定制的,用户根据全景图像上所显示的货架所处的空间位置通过用户界面将其与空间位置编号建立映射关系,货架编号采用2位数据格式,前面一位表示某一列货架,后面一位表示某一列货架的不同层,其中1表示某货架的最低层;通过这样的约定,商店的管理者通过用户界面将该信息写入商品位置与空间的关系数据库中的货架与空间位置的映射表中,货架与空间位置的映射表的格式如表2所示;

空间位置编号 货架编号

001 11

002 12

... ...

表2。

7.如权利要求1所述的基于全方位视觉的消费者购买行为分析装置,其特征在于:所述的商品摆放位置输入单元,建立货架与商品的动态关系表,通过人机界面动态的设定货架与商品的对应关系,货架与商品的对应关系表如表3所示,表中商品编号采用世界上统一的商品条形码编号;在变动商品摆放位置后更改货架与商品的对应关系表中的内容;

货架编号 商品编号

11 10000011111

12 12222111333

... ...

表3。

8.如权利要求1所述的基于全方位视觉的消费者购买行为分析装置,其特征在于:所述的商品属性输入单元,输入的商品属性数据保存在商品属性数据库中,商品属性表如表4所示; 商品编号 商品名 价格 促销价格 厂家 ...

10000011111 数码相机 2100.00 1800.00 canon ...

12222111333 2G存储卡 120.00 Lexar ...

... ... ... ... ... ...

表4。

9.如权利要求1所述的基于全方位视觉的消费者购买行为分析装置,其特征在于:收银台收款数据库中的每条记录是通过收银台收款机的收款时产生的数据,每一笔交易中至少包括交易ID、商品编号、商品名、数量、价格、结算方式、收款时间、收款人信息,收款数据表的格式如表5所示;

交易ID 商品编号 销售价 数量 ... 收款时间 付款方式 收款人 3245891 10000011111 1800.00 1 ... 20110811132535 信用卡 李向阳 3245891 12222111333 120.00 2 ... 20110811132535 信用卡 李向阳 ... ... ... ... ... ... ... ...

表5。

10.如权利要求1所述的基于全方位视觉的消费者购买行为分析装置,其特征在于:所述的消费者购买行为分析单元,利用关系数据库获得购物环境与消费者购买行为的相关度、某一商品形式与消费者购买行为的相关度、某一时间段与消费者购买行为的相关度、某一种促销广告与消费者购买行为的相关度、消费者在店铺内的停留时间与消费者购买行为的相关度商业调查信息,所述调查信息写入消费者购买行为分析结果数据库中,然后将结果显示在人机界面上。