如果我在mysql中有两个字符串:
@ a =“欢迎使用堆栈溢出”
@ b =“你好,堆栈溢出”;
有没有办法使用MYSQL获得这两个字符串之间的相似性百分比?例如,这里有3个单词是相似的,因此相似度应为:
count(@a和@b之间的相似单词)/(count(@a)+ count(@b)-count(intersection))
和结果是3 /(4 + 4-3)= 0.6
高度赞赏任何想法!
您可以使用此功能(从http://www.artfulsoftware.com/infotree/queries.php#552改编的cop ^ H ^ H ^ ):
CREATE FUNCTION `levenshtein`( s1 text, s2 text) RETURNS int(11)
DETERMINISTIC
BEGIN
DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT;
DECLARE s1_char CHAR;
DECLARE cv0, cv1 text;
SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0;
IF s1 = s2 THEN
RETURN 0;
ELSEIF s1_len = 0 THEN
RETURN s2_len;
ELSEIF s2_len = 0 THEN
RETURN s1_len;
ELSE
WHILE j <= s2_len DO
SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1;
END WHILE;
WHILE i <= s1_len DO
SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1;
WHILE j <= s2_len DO
SET c = c + 1;
IF s1_char = SUBSTRING(s2, j, 1) THEN
SET cost = 0; ELSE SET cost = 1;
END IF;
SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost;
IF c > c_temp THEN SET c = c_temp; END IF;
SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1;
IF c > c_temp THEN
SET c = c_temp;
END IF;
SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1;
END WHILE;
SET cv1 = cv0, i = i + 1;
END WHILE;
END IF;
RETURN c;
END
并以XX%的价格使用此功能
CREATE FUNCTION `levenshtein_ratio`( s1 text, s2 text ) RETURNS int(11)
DETERMINISTIC
BEGIN
DECLARE s1_len, s2_len, max_len INT;
SET s1_len = LENGTH(s1), s2_len = LENGTH(s2);
IF s1_len > s2_len THEN
SET max_len = s1_len;
ELSE
SET max_len = s2_len;
END IF;
RETURN ROUND((1 - LEVENSHTEIN(s1, s2) / max_len) * 100);
END
我认为没有一种简单的单步查询方法可以执行此操作-自然语言的内容主要是用于“类似Google的”搜索,这听起来与您尝试执行的操作不同。
根据您实际要执行的操作-我假设您已经省略了很多细节-我会:
创建一个表,将每个字符串分成单词,每个单词都用小写字母表示,去掉空格和标点符号-在您的示例中,您最终得到:
string_id word
1 hello
1 from
1 stack
1 overflow
2 welcome
2 from
2 stack
2 overflow
然后,您可以对该表运行查询-例如
select count(*)
from stringWords
where string_id = 2
and word in
(select word
from stringWords
where string_id = 1);
给你路口。
然后,您可以创建一个函数或类似函数来根据您的公式计算相似度。
不是很干净,但是它应该表现得很出色,主要是关系型的,并且在很大程度上应独立于语言。为了解决可能出现的错字,您可以计算出音效-可以将“堆栈”与“ stak”进行比较,并查看它们的真实相似程度,尽管这对于除英语以外的其他语言而言并不可靠。
如果您不想编写自己的算法,这可能对您有帮助:
http://dev.mysql.com/doc/refman/5.0/en/fulltext-natural-language.html
举报