1.基于代码仓库过程管理的代码相似性检测方法,其特征在于,包括以下步骤:获取配置信息,所述配置信息包括过滤规则、权值分配和执行策略;
抽取待检测仓库信息;
按照所述过滤规则过滤异常仓库;
对正常仓库中的仓库提交信息进行比较,根据权值分配得到的权值,并按照所述执行策略进行任意两个正常仓库之间的相似度计算;
统计并输出所有仓库的相似度信息;
所述过滤规则包括预设的忽略提交人名单、预设的有效提交次数阈值、预设的提交起止时间;
按照所述过滤规则过滤异常仓库的具体步骤为:
S1.2、判断提交人身份,若提交人身份存在于预设的忽略提交人名单中,则剔除存在于忽略提交人名单中的提交人身份所在的仓库提交列表的提交;
S1.3、判断各仓库提交列表中的提交人是否唯一,若唯一,则跳转执行步骤S1.5,若不唯一,则判定为作者异常,并进入步骤S1.4;
S1.4、将作者异常信息添加到仓库日志与仓库结果中;
S1.5、遍历提交中的修改文件,基于预设的关注文件进行判断,若提交中的修改文件未包含预设的关注文件,则从仓库提交列表中移除对应的提交;
S1.6、判断仓库提交列表中提交的总数是否大于预设的有效提交次数阈值,若仓库提交列表中提交总数大于或等于预设的有效提交次数阈值,跳转到步骤S1.8,否则判定为提交次数异常,并进入步骤S1.7;
S1.7、将提交次数异常信息添加到仓库日志与仓库结果;
S1.8、判断当前仓库提交列表中所有提交的最早时间与最晚时间是否超出预设的起止时间,若超出,则进入步骤S1.9,若未超出,则判定为提交时间异常,并执行步骤S1.10;
S1.9、将提交时间异常信息添加到仓库日志与仓库结果;
S1.10、判断仓库结果中是否包含异常信息,所述异常信息包括作者异常的信息和提交次数异常的信息,若包含异常信息判定为异常仓库,转入步骤S1.12,若不包含异常信息判定为正常仓库,进入步骤S1.11;
S1.11、抽取仓库提交列表中每个提交中各关注文件中的代码内容,进入步骤S1.13;
S1.12、统计仓库结果中的错误信息,输出并展示错误信息;
S1.13、重复步骤S1.1至S1.12,直至得到所有正常仓库及其仓库提交列表中每个提交中各关注文件中的代码内容;
对正常仓库中的仓库提交信息进行比较,根据权值分配得到的权值,并按照所述执行策略进行相似度计算具体步骤如下:S2.1、循环输入不同的仓库对比对,使得任意两个待检测仓库形成的仓库对比对均输入完成;
S2.2、根据两待检测仓库是否含有预设关注文件的共同初始版本,将相应关注文件的共同初始版本或者空内容设置为仓库对比基准;
S2.3、按照对比步长,将同一仓库所有提交中各关注文件的代码内容与初始版本中关注文件的代码内容进行差异对比,得到文件代码内容差异;
S2.4、按照对比步长,对所有不属于同一仓库的提交进行两两对比,基于文件代码内容差异得到两两对比的提交对的文件代码内容差异相似度;
S2.5、按照对比步长,对所有不属于同一仓库的提交进行两两对比,得到两两对比的提交对的文件代码内容相似度;
S2.6、获取步长范围内两两对比的提交对中文件代码内容差异相似度与文件代码内容相似度最大的提交对,并判断文件代码内容差异相似度和文件代码内容相似度最大是否都大于对应的设定阈值,若均大于对应的设定阈值,则进入步骤S2.7,否则进入步骤S2.9;
S2.7、将提交对设置为新的仓库对比基准,并记录到仓库结果;
S2.8、对比步长初始化,并进入步骤S2.3;
S2.9、对比步长增加1;
S2.10、判断初始版本的提交对之后的步长范围是否已经超出了仓库对比对的最大仓库提交列表长度,若步长范围同时超出两个待检测仓库的最大仓库提交列表长度,则进入步骤S2.11,否则进入步骤S2.3;
S2.11、重复步骤S2.1至S2.10,直至所有仓库对比完成,进入统计阶段。
2.根据权利要求1所述的基于代码仓库过程管理的代码相似性检测方法,其特征在于,所述权值分配包括预设的关注文件和权值,所述权值包括预设的对比步长、预设的代码行数。
3.根据权利要求2所述的基于代码仓库过程管理的代码相似性检测方法,其特征在于,抽取待检测仓库信息的具体步骤如下:对各仓库提交列表,分别抽取其中每个提交的信息,所述提交的信息包括提交人身份、提交的时间和提交中的修改文件。
4.根据权利要求1所述的基于代码仓库过程管理的代码相似性检测方法,其特征在于,所述对比步长初始化为1,且表示对比过程中参与对比的提交对数。
5.根据权利要求1所述的基于代码仓库过程管理的代码相似性检测方法,其特征在于,所述步骤S2.2中得到仓库对比基准的方法为:判断参与对比的两个待检测仓库中是否含有关注文件的共同初始版本,若含有共同初始版本,则设置为仓库对比基准,若无共同初始版本,则以空内容作为仓库对比基准。
6.根据权利要求1所述的基于代码仓库过程管理的代码相似性检测方法,其特征在于,所述步骤S2.4中文件代码内容差异相似度的计算方法为,在预设步长范围内,将两个待检测仓库所有提交中各关注文件的代码内容与初始版本中关注文件的代码内容进行差异对比,得到文件代码内容差异后,计算各关注文件代码内容差异相似度的步骤如下:A)判断文件代码内容差异中的添加代码行数是否大于预设行数若添加代码行数大于预设行数,按如下计算公式得到文件代码内容差异相似度:其中,s表示相似度,Xa表示文件 与 作差异对比后的添加行Fap的行数,Ya表示文件与 作差异对比后的添加行Faq的行数,k表示Fap与Faq的两代码片段的相似行数;pk为本次循环双维对比的P仓库的初始版本,ql为本次循环双维对比的Q仓库的初始版本,P仓库的提交pi与Q仓库的提交qj为进行双维对比的提交对,f表示某一个关注文件的文件名,和 分别为提交pi、P仓库的基础版本pk、提交qj和Q仓库的基础版本ql中的文件f;
若添加代码行数不大于预设行数,按如下计算公式得到文件代码内容差异相似度:edit(qa,pa)
其中,edit表示计算两字符串相似度的距离算法,qa表示添加行Fap转换成的字符串,pa表示Fap转换成的字符串;
判断文件代码内容差异中是否仅包括添加行,若仅包括添加行,则按步骤A)得出文件代码内容差异相似度;
B)判断文件代码内容差异中的删除代码行数是否大于预设行数若删除代码行数大于预设行数,按如下计算公式得到文件代码内容差异相似度;
其中,s表示相似度,Xd表示文件 与 作差异对比后的删除行Fdp的行数,Yd表示文件与 作差异对比后的删除行Fdq的行数,k表示Fdp与Fdq的两代码片段的相似行数;pk为本次循环双维对比的P仓库的初始版本,ql为本次循环双维对比的Q仓库的初始版本,P仓库的提交pi与Q仓库的提交qj为进行双维对比的提交对;
若删除代码行数不大于预设行数,按如下计算公式得到文件代码内容差异相似度;
edit(qd,pd)
其中,edit表示计算两字符串相似度的距离算法,qd表示添加行Fdp转换成的字符串,pd表示Fdp转换成的字符串;判断文件代码内容差异中是否仅包括删除行,若仅包括删除行,则按步骤B)得出文件代码内容差异相似度;
C)判断文件代码内容差异中同时包括添加行和删除行,则依据添加行和删除行所占的比例进行归一化计算得到文件代码内容差异相似度。
7.根据权利要求1所述的基于代码仓库过程管理的代码相似性检测方法,其特征在于,所述步骤S2.5中文件代码内容相似度的计算公式如下:其中,X表示文件f在提交pi中的行数,Y表示文件f在提交qj中的行数,k表示 与 的两个文件代码的相似行数;P仓库的提交pi与Q仓库的提交qj为进行双维对比的提交对。
8.根据权利要求5所述的基于代码仓库过程管理的代码相似性检测方法,其特征在于,统计并输出所有仓库的相似度信息的具体方法为:S3.1、统计两待检测仓库对比中所有提交的相似性,将大于预定阈值的最相似的提交对确定为相似提交对;
S3.2、统计两待检测仓库的相似提交对所对应的提交个数;
S3.3、统计两待检测仓库中所有的相似提交对,对于相似提交对不与其它相似提交对存在时间顺序上交叉的确定为相邻相似提交对,整合统计仓库相似度,统计相似提交对包含的提交个数与相邻相似提交对之间的提交个数所占两仓库总提交数的比例定位仓库相似度。
9.基于代码仓库过程管理的代码相似性检测方法的装置,其特征在于,包括:配置信息获取模块,用于获取配置信息;
待检测仓库信息抽取模块,用于抽取待检测仓库信息;
异常仓库过滤模块,用于按照过滤规则过滤异常仓库;
仓库比较模块,用于对正常仓库中的仓库提交信息进行比较,根据权值分配得到的权值,并按照执行策略进行任意两个正常仓库之间的相似度计算;
以及相似度信息统计输出模块,用于统计并输出所有仓库的相似度信息;
所述过滤规则包括预设的忽略提交人名单、预设的有效提交次数阈值、预设的提交起止时间;
按照所述过滤规则过滤异常仓库的具体步骤为:
S1.2、判断提交人身份,若提交人身份存在于预设的忽略提交人名单中,则剔除存在于忽略提交人名单中的提交人身份所在的仓库提交列表的提交;
S1.3、判断各仓库提交列表中的提交人是否唯一,若唯一,则跳转执行步骤S1.5,若不唯一,则判定为作者异常,并进入步骤S1.4;
S1.4、将作者异常信息添加到仓库日志与仓库结果中;
S1.5、遍历提交中的修改文件,基于预设的关注文件进行判断,若提交中的修改文件未包含预设的关注文件,则从仓库提交列表中移除对应的提交;
S1.6、判断仓库提交列表中提交的总数是否大于预设的有效提交次数阈值,若仓库提交列表中提交总数大于或等于预设的有效提交次数阈值,跳转到步骤S1.8,否则判定为提交次数异常,并进入步骤S1.7;
S1.7、将提交次数异常信息添加到仓库日志与仓库结果;
S1.8、判断当前仓库提交列表中所有提交的最早时间与最晚时间是否超出预设的起止时间,若超出,则进入步骤S1.9,若未超出,则判定为提交时间异常,并执行步骤S1.10;
S1.9、将提交时间异常信息添加到仓库日志与仓库结果;
S1.10、判断仓库结果中是否包含异常信息,所述异常信息包括作者异常的信息和提交次数异常的信息,若包含异常信息判定为异常仓库,转入步骤S1.12,若不包含异常信息判定为正常仓库,进入步骤S1.11;
S1.11、抽取仓库提交列表中每个提交中各关注文件中的代码内容,进入步骤S1.13;
S1.12、统计仓库结果中的错误信息,输出并展示错误信息;
S1.13、重复步骤S1.1至S1.12,直至得到所有正常仓库及其仓库提交列表中每个提交中各关注文件中的代码内容;
对正常仓库中的仓库提交信息进行比较,根据权值分配得到的权值,并按照所述执行策略进行相似度计算具体步骤如下:S2.1、循环输入不同的仓库对比对,使得任意两个待检测仓库形成的仓库对比对均输入完成;
S2.2、根据两待检测仓库是否含有预设关注文件的共同初始版本,将相应关注文件的共同初始版本或者空内容设置为仓库对比基准;
S2.3、按照对比步长,将同一仓库所有提交中各关注文件的代码内容与初始版本中关注文件的代码内容进行差异对比,得到文件代码内容差异;
S2.4、按照对比步长,对所有不属于同一仓库的提交进行两两对比,基于文件代码内容差异得到两两对比的提交对的文件代码内容差异相似度;
S2.5、按照对比步长,对所有不属于同一仓库的提交进行两两对比,得到两两对比的提交对的文件代码内容相似度;
S2.6、获取步长范围内两两对比的提交对中文件代码内容差异相似度与文件代码内容相似度最大的提交对,并判断文件代码内容差异相似度和文件代码内容相似度最大是否都大于对应的设定阈值,若均大于对应的设定阈值,则进入步骤S2.7,否则进入步骤S2.9;
S2.7、将提交对设置为新的仓库对比基准,并记录到仓库结果;
S2.8、对比步长初始化,并进入步骤S2.3;
S2.9、对比步长增加1;
S2.10、判断初始版本的提交对之后的步长范围是否已经超出了仓库对比对的最大仓库提交列表长度,若步长范围同时超出两个待检测仓库的最大仓库提交列表长度,则进入步骤S2.11,否则进入步骤S2.3;
S2.11、重复步骤S2.1至S2.10,直至所有仓库对比完成,进入统计阶段。