Как собрать корпус для RAG-системы через мобильные прокси и не собрать мусор: пошаговый гайд
Содержание статьи
- Введение: что вы получите и кому это нужно
- Предварительная подготовка: инструменты, доступы, окружение
- Базовые понятия простым языком
- Шаг 1: определяем границы корпуса и составляем карту источников
- Шаг 2: подключаем мобильный прокси и проверяем, что запросы идут через него
- Шаг 3: пишем аккуратный сборщик с лимитами, ротацией и журналом
- Шаг 4: извлекаем чистый текст из html и документов
- Шаг 5: фильтруем мусор: дедупликация, шаблоны, качество, язык
- Шаг 6: размечаем метаданные и собираем итоговый корпус
- Проверка результата: чек-лист и тестирование корпуса
- Типичные ошибки и решения при сборе корпуса для rag
- Дополнительные возможности для продвинутых
- Faq: частые вопросы по сбору корпуса
- Заключение: что сделано и куда двигаться дальше
Введение: что вы получите и кому это нужно
RAG-система хороша ровно настолько, насколько хорош корпус, на котором она отвечает. Можно взять самую сильную языковую модель, подключить дорогую векторную базу и получить на выходе уверенную чепуху, если в корпус попали меню сайта, футеры с копирайтом, дубли одной и той же статьи в пяти вариантах и страницы «товар временно отсутствует». Модель не отличает мусор от знаний. Она просто ищет похожие фрагменты и складывает из них ответ.
Этот пошаговый гайд посвящен одному этапу: сбору корпуса. Мы не будем разбирать устройство векторной базы, выбор эмбеддингов и настройку чанков, об этом в блоге есть отдельные материалы. Здесь мы остановимся ровно на границе: у вас на диске лежит чистый, размеченный, продедуплицированный набор документов в формате JSONL, который можно отдать любому пайплайну индексации.
Что вы получите в итоге:
- список источников с четкими границами: что собираем, что не собираем;
- работающий сборщик на Python, который ходит через мобильный прокси, соблюдает лимиты и не роняет чужие сайты;
- папку с сырыми страницами и документами, каждая с метаданными;
- скрипт извлечения основного текста без навигации, рекламы и шаблонных блоков;
- фильтры качества и дедупликацию, которые отсеют мусор до того, как он попадет в индекс;
- итоговый файл корпуса и отчет с цифрами, по которым видно, что все сделано правильно.
Для кого этот гайд. Для маркетологов и владельцев бизнеса, которые хотят собрать базу знаний по своей нише и построить на ней ассистента. Для арбитражников, которым нужен корпус по офферам, лендингам и правилам рекламных площадок. Для разработчиков, которые уже подключали прокси к скриптам и теперь хотят делать это аккуратно и системно. Основной текст написан для начинающих, а в конце есть отдельный блок для продвинутых.
Что нужно знать заранее. Уметь запускать команды в терминале и открывать файлы в текстовом редакторе. Базовое представление о Python на уровне «понимаю, что делает цикл for». Иметь доступ к мобильному прокси: адрес, порт, логин, пароль и ссылку на смену IP.
Сколько времени потребуется. Подготовка окружения около 30 минут. Прохождение всех шагов от 3 до 5 часов, в зависимости от объема корпуса. Сам сбор нескольких тысяч страниц может идти в фоне несколько часов, но ваше участие в это время не нужно.
Предварительная подготовка: инструменты, доступы, окружение
Прежде чем писать первую строку кода, приведем в порядок рабочее место. Это сэкономит часы отладки позже.
Системные требования
- Компьютер или сервер с Windows 10/11, macOS или Linux. Для сбора десятков тысяч страниц удобнее арендованный VPS, но для первого корпуса хватит ноутбука.
- Не менее 8 ГБ оперативной памяти. Дедупликация больших корпусов любит память.
- Свободное место на диске: минимум 5 ГБ. Сырой HTML занимает в 5-10 раз больше, чем чистый текст, а мы будем хранить и то и другое.
- Стабильный интернет. Прокси добавляет задержку, поэтому медленный домашний канал заметно растянет сбор.
Что установить
- Python 3.11 или новее. Скачайте установщик с официального сайта, при установке на Windows поставьте галочку «Add Python to PATH». Проверьте в терминале:
python --version. Должна появиться строка видаPython 3.12.x. - Виртуальное окружение. Создайте папку проекта, например
rag-corpus, зайдите в нее и выполнитеpython -m venv venv. Активируйте: на Windowsvenv\Scripts\activate, на macOS и Linuxsource venv/bin/activate. В начале строки терминала появится(venv). - Библиотеки. Установите одной командой:
pip install requests trafilatura pypdf python-docx langdetect datasketch tqdm. Установка займет 1-3 минуты. - Текстовый редактор с подсветкой кода: VS Code, PyCharm Community или любой другой.
Доступы к прокси
Откройте личный кабинет вашего прокси-сервиса. В карточке купленного мобильного прокси найдите четыре значения: хост (IP-адрес или доменное имя), порт для HTTP и порт для SOCKS5, логин и пароль. Отдельно скопируйте ссылку на смену IP: это URL, по которому достаточно сделать GET-запрос, чтобы прокси получил новый адрес у оператора. Запишите все это в файл .env в папке проекта, а не прямо в код.
Структура папок
Создайте внутри проекта следующие папки: raw для сырых страниц, clean для извлеченного текста, corpus для итогового файла, logs для журналов. Пустые папки на старте это нормально.
Резервные копии
Корпус собирается долго, и терять его обидно. Договоритесь с собой о правиле: папка raw никогда не перезаписывается, только дополняется. После каждого крупного этапа архивируйте результат: tar -czf raw_backup_2026-03-01.tar.gz raw/ на Linux и macOS или через встроенный архиватор Windows. Если в фильтрах ошибетесь и удалите лишнее, всегда можно вернуться к сырым данным, не собирая их заново.
Совет: Сразу заведите файл sources.md и записывайте в него каждое решение: какие сайты берете, какие разделы исключаете, почему. Через месяц, когда ассистент начнет отвечать странно, этот файл спасет вам вечер.
Базовые понятия простым языком
Если вы впервые собираете данные для RAG-системы, несколько терминов встретятся в каждом шаге. Разберем их коротко.
Что такое RAG и почему корпус важнее модели
RAG (Retrieval-Augmented Generation) это подход, при котором языковая модель перед ответом получает подборку фрагментов из вашей базы знаний. Модель не «знает» ваши документы, она читает найденные куски и отвечает по ним. Отсюда простое правило: если в базе есть мусор, поиск рано или поздно вытащит именно его, и ответ будет опираться на строку «Подпишитесь на рассылку» вместо инструкции. Поэтому этап сбора корпуса нельзя проскочить.
Корпус, документ, метаданные
Корпус это весь набор текстов, которые пойдут в RAG-систему. Документ это одна смысловая единица: статья, страница справки, PDF-инструкция, карточка товара. Метаданные это паспорт документа: откуда взят, когда собран, на каком языке, кто автор, к какому разделу относится. Без метаданных вы не сможете ни обновить корпус, ни объяснить пользователю, откуда взялся ответ, ни отфильтровать устаревшее.
Мобильный прокси и зачем он при сборе
Мобильный прокси это сервер-посредник, который выпускает ваши запросы в интернет через IP-адрес сотового оператора. Для сбора корпуса он решает три практические задачи. Первая: распределение нагрузки. Вместо того чтобы стучаться на сайт с одного адреса, вы ходите с разных, и каждый источник видит спокойный, редкий трафик. Вторая: география. Многие сайты показывают разный контент, цены и наличие в зависимости от региона, и мобильный прокси нужного города дает именно ту версию страницы, которую видят ваши клиенты. Третья: стабильность длинных сессий. Ротация IP по ссылке позволяет продолжать сбор часами, не завися от одного адреса.
Ротация это смена IP-адреса. Она бывает по расписанию (каждые N минут) и по запросу (вы дергаете ссылку, когда нужно). В сборе корпуса удобнее вторая: сменили источник, сменили адрес.
Что считать мусором
В контексте корпуса мусор это все, что не несет знаний по вашей теме, но занимает место в индексе и портит поиск:
- навигация, меню, футеры, «хлебные крошки», формы подписки;
- точные и почти точные дубли одного текста по разным адресам;
- страницы-заглушки: «Страница не найдена», «Товар распродан», «Идет обслуживание»;
- тексты на другом языке, если корпус одноязычный;
- обрезанные страницы, где прокси или сайт вернули половину HTML;
- чужой контент, который вы не имеете права использовать.
Правовая рамка
Собирайте только открытые данные, доступные без авторизации, и свои собственные документы. Уважайте файл robots.txt: это список правил сайта о том, какие разделы можно обходить автоматически. Не собирайте персональные данные третьих лиц: имена с телефонами, адреса, аккаунты. Если вы строите корпус по своим внутренним документам, убедитесь, что у вас есть право их использовать. Прокси в этом гайде используется как инструмент честного распределенного сбора, а не как способ делать то, что источник запретил.
Шаг 1: Определяем границы корпуса и составляем карту источников
Цель этапа: получить файл со списком источников, где для каждого прописано, какие URL берем, какие исключаем, с какой глубиной обходим и сколько запросов в минуту допускаем.
Самая частая причина мусорного корпуса вовсе не технические ошибки, а отсутствие границ. Человек запускает сборщик «на весь сайт», получает 40 тысяч страниц, из которых по теме 800, и потом неделю чистит. Сделаем наоборот: сначала карта, потом сбор.
Инструкция
- Сформулируйте вопросы, на которые должна отвечать ваша RAG-система. Напишите 20-30 реальных вопросов пользователей. Например, для базы знаний прокси-сервиса: «Как сменить IP по ссылке», «Почему прокси отвечает медленно», «Какие порты поддерживаются». Эти вопросы станут вашим тестовым набором на этапе проверки.
- Для каждого вопроса запишите, где лежит ответ. Раздел справки, документация, статьи блога, PDF-регламенты, страницы товаров. Все, чего в этом списке нет, в корпус не идет.
- Откройте каждый источник в браузере и изучите структуру адресов. Обычно полезный контент лежит по понятным префиксам:
/help/,/docs/,/blog/,/faq/. А мусор по другим:/tag/,/search?,/cart/,/author/, страницы пагинации вида?page=. - Проверьте robots.txt источника. Откройте
https://домен/robots.txt. Найдите строкиDisallow: эти пути исключаем без обсуждения. Если там же указанCrawl-delay, запишите его как минимальную паузу между запросами. - Найдите карту сайта. Часто она указана в robots.txt строкой
Sitemap:, или лежит по адресу/sitemap.xml. Карта сайта это готовый список адресов, который избавит вас от рекурсивного обхода ссылок и связанного с ним мусора. - Определите нагрузку. Для небольших сайтов ставьте не более 10-15 запросов в минуту. Для крупных порталов с CDN допустимо до 30. Если сомневаетесь, берите меньше: корпус не горит.
- Определите географию. Если контент зависит от региона (цены, доставка, наличие), решите, из какого города должен «смотреть» ваш сборщик, и выберите соответствующий мобильный прокси.
- Оформите все в файл
sources.json.
Пример записи для одного источника:
[ {'name': 'help_center','sitemap': 'https://example.ru/sitemap.xml','include_prefixes': ['https://example.ru/help/', 'https://example.ru/docs/'],'exclude_patterns': ['/tag/', '/search', '?page=', '/print/'],'rate_per_minute': 12,'geo': 'RU-MOW','lang': 'ru','rotate_every': 40 }]Поле rotate_every задает, через сколько запросов сборщик будет дергать ссылку смены IP. Замените одинарные кавычки на двойные при сохранении в реальный JSON-файл, здесь они показаны для наглядности.
Внимание: Не добавляйте в источники сайты, где полезный контент виден только после входа в аккаунт. Во-первых, это нарушает пользовательское соглашение большинства площадок. Во-вторых, такой корпус невозможно законно обновлять и распространять внутри компании.
Совет: Заведите отдельный источник для собственных документов: папка с PDF, DOCX и экспортами из вашей CRM или базы знаний. Их не нужно скачивать через прокси, но обрабатывать и чистить будем тем же пайплайном, что и веб-страницы.
Проверка: У вас есть файл sources.json, в котором каждый источник имеет префиксы включения, паттерны исключения, лимит запросов и язык. Откройте 5 случайных адресов из карты сайта, попадающих под ваши фильтры, и убедитесь, что на каждом есть содержательный текст, а не каталог ссылок.
Возможные проблемы
- У сайта нет карты сайта. Соберите список адресов из нескольких страниц-оглавлений вручную или через простой обход ссылок только внутри разрешенных префиксов на глубину 2.
- Карта сайта содержит 100 тысяч адресов. Отфильтруйте по префиксам, затем возьмите выборку в 200 адресов, собирайте и оценивайте качество, прежде чем запускать все.
- Полезный контент разбросан по разным доменам. Заводите отдельную запись в
sources.jsonна каждый домен, со своим лимитом и своей географией.
Шаг 2: Подключаем мобильный прокси и проверяем, что запросы идут через него
Цель этапа: убедиться, что скрипт действительно ходит через мобильный прокси, ротация работает, а задержки приемлемы для сбора.
Инструкция
- Создайте файл
.envв корне проекта и внесите значения из личного кабинета:
PROXY_HOST=proxy.example.net PROXY_PORT=10000 PROXY_USER=your_login PROXY_PASS=your_password ROTATE_URL=https://changeip.example.net/?proxy_key=xxxxxxxxКаждое значение на отдельной строке. Добавьте .env в .gitignore, если используете систему контроля версий.
- Создайте файл
proxy_check.pyсо следующим содержимым:
import os, time, requests from dotenv import load_dotenv load_dotenv() host = os.getenv('PROXY_HOST') port = os.getenv('PROXY_PORT') user = os.getenv('PROXY_USER') pwd = os.getenv('PROXY_PASS') rotate_url = os.getenv('ROTATE_URL') proxy_url = 'http://' + user + ':' + pwd + '@' + host + ':' + port PROXIES = {'http': proxy_url, 'https': proxy_url} def my_ip(): r = requests.get('https://api.ipify.org?format=json', proxies=PROXIES, timeout=30) return r.json()['ip'] print('IP без прокси:', requests.get('https://api.ipify.org?format=json', timeout=30).json()['ip']) t0 = time.time() ip1 = my_ip() print('IP через прокси:', ip1, 'за', round(time.time() - t0, 2), 'сек') print('Меняем IP...') requests.get(rotate_url, timeout=60) time.sleep(8) ip2 = my_ip() print('IP после ротации:', ip2) print('Ротация сработала:', ip1 != ip2)Предварительно установите pip install python-dotenv. Строки кода в реальном файле располагаются каждая на своей строке.
- Запустите:
python proxy_check.py. - Прочитайте вывод. Первый IP должен быть вашим домашним или серверным. Второй должен отличаться и принадлежать сотовому оператору. Третий должен отличаться от второго, а последняя строка показать
True. - Замерьте задержку. Если запрос через прокси занимает больше 5-6 секунд, сбор будет медленным. Проверьте, что выбранный прокси географически близок к целевым сайтам, или свяжитесь с поддержкой сервиса.
- Проверьте SOCKS5 как альтернативу. Если HTTP-порт дает нестабильный результат, замените
http://вproxy_urlнаsocks5h://и порт на SOCKS5-порт из кабинета. Понадобитсяpip install requests[socks]. Суффиксhважен: он заставляет прокси самостоятельно разрешать доменные имена.
Внимание: Не запускайте ротацию IP чаще, чем позволяет ваш тариф. У большинства мобильных прокси есть минимальный интервал между сменами, обычно от 30 секунд до 2 минут. Слишком частые запросы к ссылке ротации либо игнорируются, либо временно блокируют функцию.
Совет: Сделайте пять замеров задержки подряд и запишите медиану. Это число понадобится на следующем шаге, чтобы правильно выставить таймауты: таймаут должен быть примерно в 4-5 раз больше типичной задержки.
Проверка: Скрипт выводит три разных IP-адреса, строку Ротация сработала: True, а типичная задержка через прокси не превышает 3-4 секунд. Если все так, прокси готов к работе.
Возможные проблемы
- Ошибка 407 Proxy Authentication Required. Проверьте логин и пароль, убедитесь, что в них нет лишних пробелов. Если в пароле есть символы
@или:, закодируйте их черезurllib.parse.quote. - Ошибка Connection refused или таймаут. Прокси может быть привязан к вашему белому IP. Зайдите в кабинет и добавьте текущий адрес сервера в список разрешенных, либо переключитесь на авторизацию по логину и паролю.
- IP после ротации не изменился. Увеличьте паузу после запроса к ссылке ротации до 15-20 секунд. Некоторые операторы выдают новый адрес не мгновенно.
- SSL-ошибки. Обновите библиотеку
certifiкомандойpip install -U certifi. Не отключайте проверку сертификатов параметромverify=False: это небезопасно.
Шаг 3: Пишем аккуратный сборщик с лимитами, ротацией и журналом
Цель этапа: получить скрипт, который проходит по адресам из карты сайта, соблюдает robots.txt и лимиты, ходит через прокси, меняет IP по расписанию, сохраняет сырой HTML и ведет журнал, по которому виден каждый запрос.
Здесь важно понять философию. Хороший сборщик для RAG-системы медленный, вежливый и параноидально подробный в логах. Быстрый агрессивный краулер соберет вам гору обрезанных страниц и ошибок 429, а потом вы не поймете, что из этого мусор.
Инструкция
- Создайте файл
fetch.py. Структура скрипта: загрузка настроек, разбор карты сайта, фильтрация адресов, цикл запросов с паузами, сохранение результата. - Загрузите карту сайта и отфильтруйте адреса. Карта сайта это XML, где каждый адрес лежит в теге
loc. Разберите ее стандартнымxml.etree.ElementTree. Оставьте только адреса, начинающиеся сinclude_prefixesи не содержащие ни одного изexclude_patterns. Сохраните результат вurls_help_center.txtи посмотрите на него глазами. - Подключите проверку robots.txt. Используйте
urllib.robotparser.RobotFileParser: загрузите файл один раз на домен и перед каждым запросом спрашивайтеcan_fetch(user_agent, url). Запрещенные адреса пропускайте и пишите в журнал с пометкойrobots_disallow. - Задайте честный User-Agent. Например:
CorpusCollector/1.0 (+contact: data@yourcompany.ru). Владелец сайта должен понимать, кто к нему пришел и как связаться. Это не только этика, но и практика: понятный агент реже попадает под автоматические ограничения. - Реализуйте паузы. Из
rate_per_minuteвычислите базовую паузу:60 / rate_per_minuteсекунд. Добавьте случайную составляющую 20-40 процентов, чтобы запросы не шли метрономом. Если в robots.txt естьCrawl-delay, берите максимум из двух значений. - Реализуйте ротацию. Считайте запросы, и когда счетчик достигнет
rotate_every, вызовите ссылку смены IP, подождите 10 секунд, сбросьте счетчик. Ротацию также стоит делать при переходе к следующему источнику. - Обработайте ответы. Код 200 сохраняем. Коды 301 и 302
requestsобработает сам, но запишите итоговый адрес: он понадобится для дедупликации. Код 404 пишем в журнал и пропускаем. Код 429 или 503 означает «слишком часто»: делаем паузу в 5 минут, увеличиваем базовую паузу в полтора раза и повторяем один раз. Если повтор не помог, пропускаем и идем дальше. - Сохраняйте сырой HTML вместе с паспортом. Для каждой страницы записывайте одну строку в файл
raw/help_center.jsonl.
Ключевой фрагмент кода сохранения и цикла:
import json, time, random, hashlib from datetime import datetime, timezone def save_raw(path, url, final_url, status, html, proxy_ip): rec = { 'url': url, 'final_url': final_url, 'status': status, 'fetched_at': datetime.now(timezone.utc).isoformat(), 'proxy_ip': proxy_ip, 'html_len': len(html), 'html_sha1': hashlib.sha1(html.encode('utf-8', 'ignore')).hexdigest(), 'html': html } with open(path, 'a', encoding='utf-8') as f: f.write(json.dumps(rec, ensure_ascii=False) + chr(10)) def fetch_one(session, url, proxies, headers, timeout): r = session.get(url, proxies=proxies, headers=headers, timeout=timeout, allow_redirects=True) return r.status_code, r.url, r.text for i, url in enumerate(urls): if not rp.can_fetch(UA, url): log('robots_disallow', url); continue if i > 0 and i % ROTATE_EVERY == 0: requests.get(ROTATE_URL, timeout=60); time.sleep(10) try: status, final_url, html = fetch_one(session, url, PROXIES, HEADERS, TIMEOUT) except Exception as e: log('error', url, str(e)); time.sleep(BASE_DELAY * 2); continue if status == 200 and len(html) > 2000: save_raw(RAW_PATH, url, final_url, status, html, current_ip) else: log('skip', url, status, len(html)) time.sleep(BASE_DELAY * random.uniform(1.0, 1.4))Обратите внимание на условие len(html) > 2000. Страница со содержательным текстом почти никогда не бывает короче двух килобайт HTML. Это первый, самый грубый фильтр мусора, и он отсекает пустые ответы и заглушки уже на входе.
- Запустите на выборке. Первый запуск делайте на 50 адресах. Посмотрите журнал, откройте пару сохраненных HTML в браузере. Убедитесь, что это те самые страницы.
- Запустите полный сбор. На сервере используйте
nohup python fetch.py &илиscreen, чтобы процесс пережил закрытие терминала. Сбор 3000 страниц при 12 запросах в минуту займет около 4-5 часов.
Внимание: Не запускайте несколько копий сборщика на один и тот же сайт параллельно через один прокси. Ротация IP не отменяет лимиты нагрузки на сервер источника. Если хотите ускориться, распараллеливайте по разным сайтам, а не по одному.
Совет: Записывайте в журнал IP прокси, с которого сделан каждый запрос. Когда на этапе чистки обнаружится партия обрезанных страниц, вы по IP и времени сразу увидите, был ли это сбой конкретной сессии, и пересоберете только ее.
Совет: Добавьте в сборщик возобновление: перед запуском прочитайте уже собранные адреса из raw/*.jsonl и пропускайте их. Тогда обрыв связи или перезагрузка сервера не заставят начинать с нуля.
Проверка: В папке raw лежит JSONL-файл, число строк в нем близко к числу адресов со статусом 200 в журнале, а случайно выбранная строка содержит поля url, fetched_at, proxy_ip и полноценный HTML. Доля ошибок и пропусков в журнале не превышает 5 процентов.
Возможные проблемы
- Много ответов 429. Вы слишком быстры для этого сайта. Уменьшите
rate_per_minuteвдвое, увеличьтеrotate_every, чтобы ротация не выглядела как всплеск с новых адресов. - Страницы приходят пустыми, хотя статус 200. Контент рисуется JavaScript. Такие источники требуют браузерного рендеринга, о нем в продвинутом блоке. Пока пометьте их в
sources.jsonфлагомneeds_js: true. - Сбор идет, но очень медленно. Проверьте задержку прокси из Шага 2, убедитесь, что таймаут не выставлен на 120 секунд при типичной задержке в 2, иначе каждая зависшая страница съедает две минуты.
- Скрипт падает на кодировке. Используйте
r.textс проверкойr.encoding; если сайт отдает кодировку неправильно, подставьтеr.encoding = r.apparent_encodingперед чтением.
Шаг 4: Извлекаем чистый текст из HTML и документов
Цель этапа: превратить сырой HTML и файлы в чистый текст, где остался только основной контент страницы: заголовок, абзацы, списки, таблицы, без меню, футеров, рекламных вставок и виджетов.
Это тот момент, когда рождается или умирает качество корпуса. Наивный подход «убрать все теги» оставляет в тексте пункты меню, кнопки «Купить», текст куки-баннера и списки похожих статей. Все это потом всплывает в ответах RAG-системы.
Инструкция для веб-страниц
- Создайте файл
extract.py. Он читаетraw/*.jsonlпострочно и пишет результат вclean/*.jsonl. - Используйте библиотеку
trafilaturaдля извлечения основного текста. Она обучена находить контентную область страницы и отбрасывать шаблонные блоки.
import json, trafilatura def extract_text(html, url): downloaded = html result = trafilatura.extract( downloaded, url=url, include_comments=False, include_tables=True, include_links=False, favor_precision=True, output_format='json' ) if not result: return None data = json.loads(result) return { 'title': data.get('title'), 'text': data.get('text'), 'author': data.get('author'), 'date': data.get('date'), 'description': data.get('description') }- Параметр
favor_precision=Trueзаставляет библиотеку быть строже: она предпочтет потерять кусок текста, чем прихватить меню. Для корпуса RAG-системы это правильный выбор. Если заметите, что теряются нужные блоки, например, таблицы характеристик, переключите наfavor_recall=Trueдля конкретного источника. - Добавьте резервный метод. Если
trafilaturaвернулаNoneили текст короче 200 символов, попробуйте извлечь контент по CSS-селектору, который вы найдете руками: откройте страницу в браузере, нажмите F12, найдите блок с основным текстом, скопируйте его класс, напримерarticle-body. ИспользуйтеBeautifulSoupдля вырезания только этого блока. Пропишите селектор вsources.jsonкакcontent_selector. - Нормализуйте текст. Замените неразрывные пробелы на обычные, схлопните три и более переносов строк в два, уберите пробелы в начале и конце строк. Не меняйте регистр и не удаляйте знаки препинания: это ухудшит поиск.
- Сохраните вместе с исходными метаданными. Скопируйте из сырой записи
url,final_url,fetched_at, добавьтеsourceизsources.json, поля из извлечения и длину текста в символах.
Инструкция для PDF и DOCX
- PDF. Используйте
pypdf: откройте файл, пройдите по страницам, вызовитеpage.extract_text()и объедините. Сохраните номер страницы для каждого фрагмента: это ценные метаданные, по ним пользователь сможет найти место в оригинале. Если текст возвращается пустым, PDF содержит сканы, а не текст: такие файлы отложите в отдельную папку, распознавание вне рамок этого гайда. - DOCX. Используйте
python-docx: пройдите поdocument.paragraphsиdocument.tables. Заголовки в Word имеют стильHeading 1,Heading 2: сохраняйте их как отдельные строки с пометкой, по ним удобно резать документ позже. - Убирайте колонтитулы. В PDF-инструкциях на каждой странице повторяется название компании, номер версии и «Страница 3 из 40». Соберите все строки документа, найдите те, что повторяются более чем на половине страниц, и удалите их.
Внимание: Не удаляйте таблицы ради красоты. В инструкциях, тарифах и характеристиках именно таблицы содержат ответы на конкретные вопросы: «какой лимит», «сколько стоит», «какой порт». Сохраняйте их построчно, разделяя ячейки табуляцией или вертикальной чертой.
Совет: После извлечения возьмите 20 случайных документов и прочитайте их целиком. Не пробегите, а прочитайте. Одна такая ревизия находит больше системных проблем, чем любой автоматический фильтр: например, вы увидите, что на всех страницах блога в конец текста приклеился блок «Читайте также» с тремя заголовками.
Проверка: В папке clean лежат JSONL-файлы. Число записей не меньше 80 процентов от числа сырых страниц. В случайных 10 записях текст начинается с заголовка или первого абзаца статьи, а не с пунктов меню, и заканчивается последним содержательным абзацем, а не подписью «Все права защищены».
Возможные проблемы
- Извлекается слишком мало текста. Сайт с нестандартной версткой. Добавьте
content_selectorи резервный путь черезBeautifulSoup. - В тексте остаются кнопки и пункты меню. Включите
favor_precision, а для стойких случаев добавьте список стоп-строк: короткие строки вида «Поделиться», «Читать далее», «Наверх» удаляйте, если они стоят отдельной строкой. - PDF выдает текст задом наперед или с разорванными словами. Попробуйте
pdfplumberвместоpypdf, он лучше работает с колонками.
Шаг 5: Фильтруем мусор: дедупликация, шаблоны, качество, язык
Цель этапа: отсеять дубли, заглушки, шаблонные блоки, тексты на чужом языке и слишком короткие или битые документы, оставив только то, что несет знания.
Даже после аккуратного извлечения в корпусе остается от 15 до 40 процентов мусора. Это нормально. Ненормально пропустить его в индекс.
Инструкция
- Создайте файл
filter.py, который читаетclean/*.jsonl, применяет фильтры по очереди, записывает прошедшие документы вcorpus/filtered.jsonl, а отсеянные вcorpus/rejected.jsonlс указанием причины. - Фильтр 1: минимальная длина. Документы короче 300 символов почти всегда заглушки, анонсы или ошибки извлечения. Отсекайте с причиной
too_short. Для карточек товаров порог можно снизить до 150. - Фильтр 2: стоп-фразы заглушек. Составьте список фраз, по которым видно, что страница пустая: «страница не найдена», «товар отсутствует», «доступ ограничен», «включите javascript», «идут технические работы». Если такая фраза встречается в первых 300 символах и весь текст короче 1500, отсекайте с причиной
placeholder. - Фильтр 3: язык. Используйте
langdetect.detectна первых 1000 символах. Если язык не совпадает с указанным в источнике, отсекайте с причинойwrong_lang. Учтите, что на коротких текстах детектор ошибается, поэтому применяйте его после фильтра длины. - Фильтр 4: точные дубли. Нормализуйте текст: нижний регистр, схлопнуть пробелы, убрать знаки препинания. Посчитайте
sha1. Если хеш уже встречался, отсекайте с причинойexact_dupи сохраняйте ссылку на оригинал. Типичные источники точных дублей: одна страница поhttpиhttps, сwwwи без, с параметром?utm_sourceи без, а также страницы для печати. - Фильтр 5: почти дубли. Здесь нужен MinHash из библиотеки
datasketch. Разбейте нормализованный текст на шинглы по 5 слов, постройтеMinHashс 128 перестановками, положите вMinHashLSHс порогом 0.85. Документ, у которого уже есть похожий сосед в индексе, отсекайте с причинойnear_dup. Так уходят версии одной статьи с разными датами, страницы товаров, отличающиеся только цветом, и переизданные новости.
from datasketch import MinHash, MinHashLSH def shingles(text, k=5): words = text.split() return set(' '.join(words[i:i+k]) for i in range(max(1, len(words) - k + 1))) lsh = MinHashLSH(threshold=0.85, num_perm=128) def is_near_dup(doc_id, norm_text): m = MinHash(num_perm=128) for sh in shingles(norm_text): m.update(sh.encode('utf-8')) if lsh.query(m): return True lsh.insert(doc_id, m) return False- Фильтр 6: шаблонные строки. Соберите все строки всех документов одного источника и подсчитайте, в каком проценте документов встречается каждая. Строки, встречающиеся более чем в 30 процентах документов и короче 200 символов, это шаблон: дисклеймеры, подписи, призывы подписаться. Удалите их из всех документов. Это не отсев документа, а чистка внутри него.
- Фильтр 7: качество текста. Посчитайте простые метрики: доля букв среди всех символов должна быть выше 0.6; средняя длина слова от 3 до 12; доля строк, оканчивающихся точкой, выше 0.3 для статей. Документы вне этих границ это, как правило, таблицы кодов, дампы или битые извлечения. Отсекайте с причиной
low_quality, но обязательно просмотрите отсеянное глазами: для технической документации пороги нужно смягчать. - Фильтр 8: обрезанные страницы. Сравните
html_lenиз сырой записи с медианой по источнику. Если HTML короче 30 процентов медианы, а текст обрывается посередине предложения без точки, это обрезанный ответ. Причинаtruncated. Такие адреса запишите вrecollect.txtи пересоберите через прокси на Шаге 3. - Запустите фильтр и изучите отчет. Скрипт должен вывести таблицу: сколько документов на входе, сколько отсеяно по каждой причине, сколько осталось.
Внимание: Никогда не удаляйте файлы из clean и raw в процессе фильтрации. Фильтр только пишет новые файлы. Если порог MinHash оказался слишком агрессивным и вы потеряли 40 процентов полезных документов, вы просто поменяете число и запустите скрипт снова за две минуты.
Совет: Порог 0.85 для почти дублей хорош для статей и справки. Для карточек товаров одного бренда, различающихся только размером или объемом, он схлопнет их в одну. Решите заранее, нужны ли вашей RAG-системе все варианты, и либо поднимите порог до 0.95, либо объедините варианты в один документ с таблицей отличий еще на этапе извлечения.
Совет: Отсеянные документы это не отходы, а материал для отладки. Раз в неделю открывайте rejected.jsonl, фильтруйте по причине и смотрите 10 случайных записей. Если среди low_quality регулярно попадаются полезные таблицы тарифов, пороги надо править.
Проверка: Отчет фильтра показывает разумную картину: суммарный отсев от 10 до 40 процентов, из них дубли составляют заметную долю, а причина truncated дает не более 2-3 процентов. В файле filtered.jsonl нет двух документов с одинаковым нормализованным текстом, и случайные 10 записей выглядят как законченные статьи или разделы документации.
Возможные проблемы
- Отсев больше 60 процентов. Скорее всего, слишком строгие пороги качества или ошибка нормализации, из-за которой все тексты стали похожи. Выведите 20 случайных отсеянных и найдите системную причину.
- MinHash работает очень долго. На корпусе больше 100 тысяч документов уменьшите
num_permдо 64 или считайте по источникам отдельно. - Детектор языка помечает русские тексты как болгарские или македонские. Так бывает на коротких фрагментах с большим числом имен собственных. Проверяйте язык на первых 2000 символах и принимайте любой из группы близких языков как совпадение.
Шаг 6: Размечаем метаданные и собираем итоговый корпус
Цель этапа: получить единый файл corpus/corpus_v1.jsonl, где каждый документ имеет стабильный идентификатор, полный набор метаданных и готов к передаче в пайплайн индексации.
Метаданные это то, что отличает корпус от кучи текста. Они позволяют обновлять отдельные источники, объяснять пользователю происхождение ответа, фильтровать по дате и разделу и, главное, не делать всю работу заново через месяц.
Инструкция
- Определите схему документа. Зафиксируйте ее в файле
schema.mdи не меняйте без версии корпуса. Рекомендуемый минимум:
doc_id: стабильный идентификатор, напримерsha1отfinal_url, чтобы при пересборе документ получил тот же id;source: имя источника изsources.json;urlиfinal_url;title;section: раздел сайта, вычисленный из первого сегмента пути после префикса, напримерhelp/proxies;lang;published_at: дата публикации, если извлечена;fetched_at: дата сбора;geo: регион прокси, с которого собрано;text;text_len,text_sha1;corpus_version: напримерv1.
- Вычислите раздел. Разберите
final_urlчерезurllib.parse.urlparse, возьмите путь, уберите префикс источника, оставьте один-два сегмента. Раздел позже станет фильтром в RAG-системе: пользователь спрашивает про оплату, поиск идет в первую очередь по разделуbilling. - Нормализуйте даты. Все даты приведите к ISO 8601 в UTC. Если дата публикации не найдена, оставьте поле пустым, а не подставляйте дату сбора: это разные вещи, и путать их опасно при фильтрации устаревших материалов.
- Добавьте заголовок в текст. Если
textне начинается сtitle, вставьте заголовок первой строкой. Заголовок несет ключевые слова, которые важны для поиска. - Отсортируйте и запишите. Отсортируйте документы по
sourceиfinal_url, запишите вcorpus/corpus_v1.jsonl. Рядом положитеcorpus/manifest_v1.jsonс числом документов по источникам, датой сборки, версией схемы и параметрами фильтров. - Сделайте архив. Заархивируйте
corpus,sources.json,schema.mdи папкуlogs. Этот архив это воспроизводимая версия вашего корпуса.
Совет: Храните персональные данные вне корпуса вообще. Если в текстах справки встречаются примеры вида «Иван Петров, +7 900...», замените их на плейсхолдеры еще на этапе сборки корпуса. RAG-система не должна уметь выдать чей-то телефон, даже если он был в открытом доступе.
Проверка: Файл corpus_v1.jsonl открывается, каждая строка это валидный JSON с полями из схемы, у всех документов уникальный doc_id, у всех заполнены source, lang, fetched_at, text. Файл manifest_v1.json содержит сводку, совпадающую с числом строк.
Возможные проблемы
- Разные адреса ведут к одному документу и дают разные doc_id. Считайте id от
final_urlпосле редиректов, с удалением параметров запроса и завершающего слеша. - Даты извлекаются в разных форматах. Используйте
dateutil.parser.parseс параметромdayfirst=Trueдля русскоязычных источников.
Проверка результата: чек-лист и тестирование корпуса
Корпус собран. Прежде чем нести его в индексацию, проверим его как продукт, а не как файл.
Чек-лист
- Есть
sources.jsonс границами каждого источника и указанием лимитов. - Все запросы шли через мобильный прокси, в журнале у каждого запроса есть
proxy_ip. - Доля ошибок сбора по журналу не превышает 5 процентов, ответов 429 менее 1 процента.
- Из сырых страниц извлечено не менее 80 процентов документов.
- Отсев на фильтрации от 10 до 40 процентов, все причины отсева поименованы.
- В корпусе нет точных дублей по нормализованному тексту.
- У каждого документа заполнены обязательные метаданные.
- Есть архив с сырыми данными, корпусом, журналами и настройками.
Как протестировать
- Тест на вопросах из Шага 1. Возьмите ваши 20-30 вопросов. Для каждого простым поиском по подстроке или через
grepнайдите документ в корпусе, который содержит ответ. Цель: не менее 90 процентов вопросов имеют покрытие. Если вопрос не покрыт, найдите страницу с ответом в браузере и разберитесь, почему она не попала: не было в карте сайта, отсекли фильтры, обрезался текст. - Тест на мусор. Найдите в корпусе строки «подписаться», «корзина», «cookie», «все права защищены», «читайте также». Каждое вхождение это подозрение. Допустимы единицы, если они часть содержательного текста; десятки вхождений означают, что шаблонный фильтр надо доработать.
- Тест на обрывы. Посчитайте документы, чей текст заканчивается не точкой, не восклицательным или вопросительным знаком и не закрывающей скобкой. Их должно быть меньше 5 процентов. Остальные посмотрите глазами.
- Тест на распределение. Постройте гистограмму длин документов. Здоровый корпус справки или блога имеет пик в районе 2-8 тысяч символов и длинный хвост. Резкий пик около минимального порога говорит о заглушках, которые проскочили.
- Тест на географию. Если контент зависит от региона, откройте 5 страниц с ценами или наличием и сравните с тем, что видит человек из нужного города. Расхождения означают, что прокси выбран из другого региона или сайт определяет регион не по IP, а по куки.
Показатели успешного выполнения
Корпус готов, если покрытие тестовых вопросов выше 90 процентов, доля документов с признаками мусора ниже 3 процентов, а manifest позволяет полностью воспроизвести сборку. Только после этого корпус передается в пайплайн индексации RAG-системы.
Типичные ошибки и решения при сборе корпуса для RAG
Проблема: в ответах ассистента появляются пункты меню и призывы подписаться. Причина: извлечение текста работало в режиме полноты, а не точности, шаблонный фильтр не запускался. Решение: включите favor_precision, реализуйте удаление строк, повторяющихся более чем в 30 процентах документов источника, пересоберите clean из raw без повторного скачивания.
Проблема: ассистент отвечает по устаревшей версии инструкции. Причина: в корпусе живут и старая, и новая версия статьи, почти дубли не отсеяны или порог слишком высок. Решение: снизьте порог MinHash до 0.8 для источников с версионностью, при конфликте оставляйте документ с более поздней published_at.
Проблема: часть страниц собрана пустыми, статус 200. Причина: контент строится JavaScript на стороне браузера. Решение: пометьте источник needs_js и используйте рендеринг через Playwright из продвинутого блока, либо найдите у сайта API или RSS, где контент отдается готовым.
Проблема: сбор останавливается на ошибках 429 и 503. Причина: слишком высокая частота запросов, ротация IP использовалась вместо снижения нагрузки. Решение: уменьшите частоту до 6-8 запросов в минуту, увеличьте случайный разброс пауз, поставьте паузу 5-10 минут при первом 429. Помните, что лимит нагрузки это про уважение к источнику, а не про количество адресов.
Проблема: после ротации сайт показывает контент другого региона. Причина: мобильный прокси выдал IP другого города, либо сайт определил регион по куки предыдущей сессии. Решение: закрепите в кабинете прокси нужный регион, сбрасывайте сессию requests после каждой ротации, чтобы куки не переносились.
Проблема: корпус собран, но покрытие вопросов 60 процентов. Причина: границы источников заданы слишком узко, полезные страницы отсеклись по префиксам. Решение: возьмите непокрытые вопросы, найдите ответы в браузере, посмотрите их адреса и расширьте include_prefixes.
Проблема: дедупликация съела карточки товаров, отличающиеся характеристиками. Причина: порог почти дублей слишком низкий для однотипных текстов. Решение: для источников каталога поднимите порог до 0.95 или объедините варианты одного товара в один документ на этапе извлечения.
Проблема: тексты PDF идут сплошной строкой без абзацев. Причина: pypdf теряет разметку. Решение: перейдите на pdfplumber или pymupdf, восстанавливайте абзацы по двойным переносам и отступам.
Проблема: в корпус попали персональные данные. Причина: не было этапа обезличивания. Решение: добавьте перед записью в корпус поиск телефонов, email и имен через простые шаблоны и замену на плейсхолдеры; спорные документы отправляйте на ручную проверку.
Дополнительные возможности для продвинутых
Если базовый пайплайн работает, вот куда его развивать.
Рендеринг страниц с JavaScript через прокси
Установите pip install playwright и playwright install chromium. Запускайте браузер с параметром proxy={'server': 'http://HOST:PORT', 'username': USER, 'password': PASS}. Ждите селектор основного контента через page.wait_for_selector, а не фиксированные секунды. Забирайте page.content() и складывайте в тот же raw формат, чтобы дальнейшие шаги не менялись. Рендеринг в 5-10 раз медленнее обычных запросов, поэтому применяйте его только к источникам с флагом needs_js и снижайте частоту до 3-5 страниц в минуту.
Инкрементальное обновление корпуса
Храните в манифесте text_sha1 каждого документа. При следующей сборке скачивайте страницы, но извлекайте и фильтруйте только те, у кого изменился хеш HTML или прошло больше 30 дней с момента сбора. Используйте заголовки If-Modified-Since и ETag: многие сайты вернут 304 без тела, и вы сэкономите трафик прокси. Каждое обновление получает новую версию корпуса: v2, v3, а старые архивы не удаляются.
Многорегиональный корпус
Если у бизнеса есть филиалы, а контент источников зависит от города, заведите несколько мобильных прокси с разной географией. Собирайте одну и ту же страницу с каждого региона, храните geo в метаданных и дедуплицируйте только внутри региона. RAG-система потом сможет отвечать «в Казани доставка 2 дня, в Новосибирске 4», опираясь на реальные региональные версии страниц.
Разметка качества вместо жестких порогов
Вместо отсева по порогам считайте для каждого документа оценку качества от 0 до 1 из тех же метрик: длина, доля букв, доля законченных предложений, повторяемость строк. Сохраняйте оценку в метаданных. Тогда пайплайн индексации сможет сам решать, что брать, а поиск ранжировать надежные документы выше.
Семантическая дедупликация
MinHash ловит лексические дубли. Пересказы одной инструкции разными словами он пропустит. Для их отлова считайте эмбеддинги документов и ищите пары с косинусной близостью выше 0.95. Это уже граница с этапом индексации, поэтому здесь только упоминание: решите, где проводить границу, и не делайте одну работу дважды.
Мониторинг сбора
Выводите из журнала метрики: запросов в минуту, доля кодов 200, средняя задержка, число ротаций. Простой дашборд на matplotlib или таблица в терминале раз в 10 минут покажет деградацию раньше, чем вы обнаружите 500 пустых страниц утром.
FAQ: частые вопросы по сбору корпуса
Обязательно ли использовать мобильный прокси для сбора корпуса? Для собственных документов и небольших источников не обязательно. Прокси становится нужен, когда источников много, сбор идет часами, важна региональная версия контента или вы не хотите создавать заметную нагрузку на сайт с одного адреса.
Как часто менять IP при сборе? Ориентир: каждые 30-60 запросов или при переходе к другому источнику. Чаще не нужно: смысл ротации в распределении нагрузки и стабильности сессии, а не в частоте сама по себе. Частая ротация без снижения общего темпа нагрузку не уменьшает.
Сколько документов нужно для рабочей RAG-системы? Для ассистента по одному продукту часто хватает 200-500 качественных документов. Для широкой ниши несколько тысяч. Качество важнее объема: 500 чистых статей дадут лучшие ответы, чем 20 тысяч с мусором.
Можно ли собирать соцсети и маркетплейсы? Только открытые страницы в пределах правил площадки и robots.txt, без персональных данных. У многих площадок есть официальные API для получения контента, начните с них.
Что делать с картинками и видео? В рамках текстового корпуса сохраняйте только подписи, alt-тексты и транскрипты, если они есть на странице. Сами файлы в корпус не идут.
Почему нельзя просто скачать сайт целиком программой-загрузчиком? Можно, но вы получите десятки тысяч файлов без метаданных, с дублями, служебными страницами и без журнала. Потом придется делать все шаги этого гайда в обратном порядке, только сложнее.
Как понять, что фильтры не удалили нужное? Смотрите rejected.jsonl по каждой причине, выборку в 10-20 записей. И проверяйте покрытие тестовых вопросов: если ответы пропали, ищите их в отсеянных.
Нужно ли резать документы на чанки на этом этапе? Нет. Разбиение на фрагменты это часть индексации и зависит от модели эмбеддингов и размера контекста. Задача корпуса дать целые документы с метаданными и разметкой заголовков, по которым чанкер сможет резать осмысленно.
Как обновлять корпус, чтобы не пересобирать все? Храните хеши, используйте условные запросы If-Modified-Since, версионируйте корпус. Подробнее в продвинутом блоке.
Что делать, если сайт запрещает автоматический сбор в robots.txt? Уважать запрет. Напишите владельцу, часто он даст выгрузку, API или разрешение. Корпус, собранный вопреки правилам источника, создает риски для всего проекта.
Заключение: что сделано и куда двигаться дальше
Вы прошли весь путь от идеи до готового корпуса. Определили границы и составили карту источников с лимитами и географией. Подключили мобильный прокси и убедились, что ротация работает. Написали вежливый сборщик, который соблюдает robots.txt, распределяет нагрузку и ведет подробный журнал. Извлекли чистый текст из HTML, PDF и DOCX. Отсеяли дубли, заглушки, шаблоны и битые страницы с поименованными причинами. Разметили метаданные и собрали версионированный корпус с манифестом. Проверили его на реальных вопросах.
Главный итог не файл на диске, а воспроизводимый процесс. Через месяц вы запустите его снова и получите обновленный корпус за пару часов, а не за неделю. И когда RAG-система начнет отвечать странно, вы будете точно знать, где искать причину: в журнале сбора, в отчете фильтра или в манифесте.
Что делать дальше. Передайте corpus_v1.jsonl в пайплайн индексации: разбиение на фрагменты, эмбеддинги, векторная база. Об этом в смежных статьях блога. Настройте регулярный запуск сборщика по расписанию с инкрементальным обновлением. Расширьте карту источников по мере роста числа непокрытых вопросов. Если бизнес региональный, добавьте прокси нужных городов и соберите региональные версии контента.
Куда развиваться. Освойте браузерный рендеринг для сложных сайтов, оценку качества документов вместо жестких порогов, семантическую дедупликацию и мониторинг сбора. Каждый из этих шагов повышает качество ответов сильнее, чем смена модели. Чистые данные это самое дешевое улучшение RAG-системы, которое у вас есть. Удачной сборки.