Комментарии: Python: Алгоритм Шинглов — поиск нечетких дубликатов текста

Автор: Антон

Антон — Sat, 17 Jul 2010 21:57:11 +0000

Такой момент.. если имеем два совершенно непохожих текста (или запускаем алгоритм с большой длиной шинглов/малыми текстами), то получаем ексепшн ZeroDivisionError.
Собственно неплохо было бы его ловить.
Ну и еще момент производительности.. мне кажется выражения-генераторы будут предпочтительнее генераторов списков.

Автор: Skaizer

Skaizer — Thu, 08 Apr 2010 18:56:18 +0000

Запускайте в ветке 2.* : 2.5 или 2.6. ну и на ранних тоже должна работать. В ветке 3.* не будет, под нее нужно специально переписывать.

Автор: Дмитрий

Дмитрий — Thu, 08 Apr 2010 15:01:42 +0000

А какой версией Python можно запустить эту программку? у меня на данный момент последняя и выдаёт синтаксические ошибки.

Автор: dron

dron — Sun, 28 Feb 2010 10:18:23 +0000

Клиника! Зачем так сильно уникалить? Смысл? 80 процентов отличается от возможных дубликатов, уже нормально! Никто ничего не склит из ПС.

Автор: Евгений

Евгений — Sat, 26 Dec 2009 11:05:53 +0000

Цитата 1:
Обратите внимание, задачей не стоит определить абсолютное значение схожести объектов, а так же выделения в каждом из объектов схожих частей. Нам необходимо только предположить, являются ли объекты почти дубликатами или нет.

Цитата 2:
Вот и все, функция нам вернет процент схожести двух текстов.

Вопрос: а как ответить на вопрос являются ли объекты почти дубликатами или нет? Если % схожести больше некоторого заданного m, то тексты считать почти одинаковыми, иначе — разными? Или есть более изощренные методы?)

Автор: Проект 110 кв

Проект 110 кв — Mon, 07 Dec 2009 21:54:35 +0000

Это что получается, что теперь не возможно написать уникальную статью и попробовать размножить её?

Автор: Skaizer

Skaizer — Thu, 06 Aug 2009 08:38:57 +0000

Да, в данном варианте семантика не применяется.

Автор: Dennis

Dennis — Sun, 02 Aug 2009 10:04:28 +0000

Т.е. как я понял здесь не применяется семантика. Думаю посиковики должны стремиться к оценке дубликатов в которых была сделана подмена слов синонимами.

Автор: Дмитрий

Дмитрий — Sat, 16 May 2009 07:12:08 +0000

Очень интересуют возможные алгоритмы цитирования заимствованных участков текста. К сожалению не нашел ни одного примера реализации.

Автор: Skaizer

Skaizer — Tue, 31 Mar 2009 08:18:07 +0000

Да, к сожалению времени сейчас нет абсолютно, посты в блог пишу реже. Как загружен буду поменьше, обязательно напишу про него. А пока почитать про него можно по ссылкам: http://www.spamtest.ru/document.html?context=15932&pubid=32 и http://rcdl2007.pereslavl.ru/papers/paper_65_v1.pdf .
В статье постараюсь поподробнее расписать метод реализации этого алгоритма.

Автор: Владимир

Владимир — Tue, 31 Mar 2009 07:00:52 +0000

Skaizer вы обещали рассказать об алгоритме супершинглов, когда от вас можно ждать его? Или хотя бы скажите где можно посмотреть? Спасибо.

Автор: Skaizer

Skaizer — Wed, 25 Feb 2009 20:34:20 +0000

Для сравнения коротких текстов алгоритмом шинглов можно разбивать текст не по словно, как в моей реализации, а посимвольно, например по 10 символов, остальную часть алгоритма можно оставить как есть. Так же на хабре предложен несколько иной способ нахождения почти дублей для коротких текстов.

Автор: Jack

Jack — Wed, 25 Feb 2009 20:11:13 +0000

Друзья, а если тексты достаточно короткие?
Ну скажем от 5 до 50 слов Анекдоты, цитаты, афоризмы и пр.
Можно ли как-нибудь выявить схожесть двух таких текстов между собой?

Автор: Андрей

Андрей — Thu, 29 Jan 2009 08:06:44 +0000

2 Андрей:

Делаем дор, наполняем его распространёнными модифицированными текстами с разной «глубиной» шинглирования, смотрим на результат его работы, на основе статистики определяем оптимальный алгоритм модификации текста

Автор: Skaizer

Skaizer — Sat, 24 Jan 2009 21:37:21 +0000

PPS: можете постучать в аську 86пять883 или в GTalk simskaiz[at]gmail.com, расскажу поподробнее.

Автор: Skaizer

Skaizer — Sat, 24 Jan 2009 21:31:45 +0000

Здравствуйте, Максим. В качестве аргументов функции compaire поступают 2 списка с хэшами выделенных ранее подпоследовательностей для двух текстов. Далее мы находим пересечение этих списков, т.е. количество вхождений одного списка в другой. В переменной same хранится это количество.
А строкой:

return same*2/float(len(source1) + len(source2))*100

мы считаем в процентах отношение найденных одинаковых хэшей к общему количеству хэшей для двух текстов. И так как одинаковые хэши у нас встречаются как в первом, так и во втором текстах, то удваиваем переменную same:

same*2

PS: список в python чем-то похож на массив в C++

Автор: Max Stoun

Max Stoun — Sat, 24 Jan 2009 20:27:26 +0000

Здравствуйте.

Подскажите пожалуйста. Я пытаюсь написать аналогичный код на c#(для саморазвития - я начинающий программист). Объясните строки:

def compaire (source1,source2):
  same = 0
  for i in range(len(source1)):
    if source1[i] in source2:
    same = same + 1

  return same*2/float(len(source1) + len(source2))*100

Я так понимаю - на вход получаем, к примеру

source1 = 10204
soruce2 = 54321

потом получим цикл i=0...4, и будем сравнивать если source1[0] in source2 // то есть 1 in 54321 = true если source1[1] in source2 //то есть 0 in 54321 = false и тд ?

С уважением Максим P.S. Просто python я не особо понимаю, а попытка поюзать гугл у меня провалилась..

Автор: Skaizer

Skaizer — Thu, 22 Jan 2009 14:36:35 +0000

lightcaster, спасибо, полезные советы! Я реализовал крайне простую канонизацию текста, чтобы показать ее смысл.

Автор: lightcaster

lightcaster — Thu, 22 Jan 2009 11:07:31 +0000

Хорошая статья. Метод прост и сердит. Однако, для качественного поиска — очень грубый . Для лучших результатов можно подключить токенизацию и морфологию:
1) Выделить токены, отсеев лишнее
2) Разбить на блоки
3) Провести лематизацию (и, возможно, морфологическую разметку)
4) На основе этих данных строить сигнатуры для блоков

ps на счет морфологии лучше смотреть в сторону http://www.aot.ru. В морфологии статистические методы значительно уступают словарным, так что pymmorph не будет эффективен.

Автор: Skaizer

Skaizer — Thu, 22 Jan 2009 10:19:59 +0000

В случае сравнении текстов категорично разной длины может нужно фиксировать позицию шингла (слов)?

aRs, в этом случае, на мой взгляд, нужно значение длины шингла сделать равное оптимальному для размера текста меньшей длины. Тогда можно будет более точно определить возможное вхождение меньшего текста в больший текст.