Распределить равномерно базу

[I love this game]

Есть база для хрумера в ней ~500к ссылок. Из них 50к в строке есть слово ReCaptcha.
Нужно распределить равномерно эти строки что бы каждая 10ая строка содержала слово ReCaptcha, соотевтственно если ссылок будет 500к, а со словом ReCaptcha 100к, то каждая 5ая строка.

[Падла]

делаешь выборку в экселе с рекапчей и без, сохраняешь в 2 разных файла
софтина Raptor, сплитишь файл с рекапчей на кол-во файлов, соответствующее кол-ву строк, пропорционально и файл без рекапчи
получилось в папке с рекапчей файлы
000001.txt
000002.txt и т.д
тотал коммандером групповое переименование, добавляешь нолик в конце имени каждого файла
а в папке без рекапчи добавляешь например единицу
кидаешь все в одну папку и собираешь тотал коммандером в один файл

должно получиться

[I love this game]

А попроще нету?)))

[tmamedov]

Попроще - если тебе не прямо точно каждое десятое место нужно, а более менее равномерное распределение, то закидываешь в ексель все урлы, справа в колонке пишешь =СЛЧИС(), т.е. вставляешь рендомное число, сортируешь по этой колонке и готов твой список.

[lorien]

Щас сбацаю скрипт на питоне

PHP код:

import re

ALL_LINKS_FILE = '/tmp/links.txt'
MIXED_LINKS_FILE = '/tmp/result.txt'
RE_SPECIAL_LINK = re.compile(r'recaptcha', re.I) 

def main():
    print 'Search for all special links'
    special_links = []
    total_count = 0
    for line in open(ALL_LINKS_FILE):
        total_count += 1
        if RE_SPECIAL_LINK.search(line):
            special_links.append(line)
    
    special_count = len(special_links)

    print 'Total links: %d, special links: %d' % (total_count, special_count)
    ratio = round(total_count / special_count)

    count = 0
    with open(MIXED_LINKS_FILE, 'w') as out:
        for line in open(ALL_LINKS_FILE):
            if RE_SPECIAL_LINK.search(line):
                pass
            else:
                count += 1
                if count and count % ratio == 0:
                    if special_links:
                        out.write(special_links.pop())

                    count += 1
                    out.write(line)
                else:
                    out.write(line)

        if special_links:
            out.write(''.join(special_links))


if __name__ == '__main__':
    main() 


[Sultan]

а смысл в этом какой?

[satih]

наверно распределить нагрузку хрума с решением рекаптчи, ту что с числами он бьет неплохо а с буквами спотыкается, особенно если в настройках написать бить до победы

конечно хз что у тебя за база, но если скажем на части форумов хрум проводит больше времени разгадывания на части меньше просто рандомно перемешать строки. и так в много потоков шпаришь, в среднем каждая 5-я и будет рекаптча

[Sultan]

ну весьма сомнительно, сам такую цель тоже предположил. просто пока он на рекапче будет висеть те что без проскочат со свистом и рекапчи в итоге пересикутся

как вариант прогнать рекапчи отдельно с меньшим количеством потоков

[lorien]

Если пофантазировать, то чтобы распределить кол-во обращений с IP прокси-сети, которую он юзает для серверов-рекапчи. Я точно не знаю т.к спамом не занимаюсь.

[I love this game]

lorien, Спасибо, дружище, выручил

Смысл, как заметили выше, что бы распределить нагрузку, т.к. если часто неправильно разгадываешь с одного ip, то она банит и вообще не показывает капчу.