Введение: что вы получите и кому это нужно

RAG-система хороша ровно настолько, насколько хорош корпус, на котором она отвечает. Можно взять самую сильную языковую модель, подключить дорогую векторную базу и получить на выходе уверенную чепуху, если в корпус попали меню сайта, футеры с копирайтом, дубли одной и той же статьи в пяти вариантах и страницы «товар временно отсутствует». Модель не отличает мусор от знаний. Она просто ищет похожие фрагменты и складывает из них ответ.

Этот пошаговый гайд посвящен одному этапу: сбору корпуса. Мы не будем разбирать устройство векторной базы, выбор эмбеддингов и настройку чанков, об этом в блоге есть отдельные материалы. Здесь мы остановимся ровно на границе: у вас на диске лежит чистый, размеченный, продедуплицированный набор документов в формате JSONL, который можно отдать любому пайплайну индексации.

Что вы получите в итоге:

  • список источников с четкими границами: что собираем, что не собираем;
  • работающий сборщик на Python, который ходит через мобильный прокси, соблюдает лимиты и не роняет чужие сайты;
  • папку с сырыми страницами и документами, каждая с метаданными;
  • скрипт извлечения основного текста без навигации, рекламы и шаблонных блоков;
  • фильтры качества и дедупликацию, которые отсеют мусор до того, как он попадет в индекс;
  • итоговый файл корпуса и отчет с цифрами, по которым видно, что все сделано правильно.

Для кого этот гайд. Для маркетологов и владельцев бизнеса, которые хотят собрать базу знаний по своей нише и построить на ней ассистента. Для арбитражников, которым нужен корпус по офферам, лендингам и правилам рекламных площадок. Для разработчиков, которые уже подключали прокси к скриптам и теперь хотят делать это аккуратно и системно. Основной текст написан для начинающих, а в конце есть отдельный блок для продвинутых.

Что нужно знать заранее. Уметь запускать команды в терминале и открывать файлы в текстовом редакторе. Базовое представление о Python на уровне «понимаю, что делает цикл for». Иметь доступ к мобильному прокси: адрес, порт, логин, пароль и ссылку на смену IP.

Сколько времени потребуется. Подготовка окружения около 30 минут. Прохождение всех шагов от 3 до 5 часов, в зависимости от объема корпуса. Сам сбор нескольких тысяч страниц может идти в фоне несколько часов, но ваше участие в это время не нужно.

Предварительная подготовка: инструменты, доступы, окружение

Прежде чем писать первую строку кода, приведем в порядок рабочее место. Это сэкономит часы отладки позже.

Системные требования

  • Компьютер или сервер с Windows 10/11, macOS или Linux. Для сбора десятков тысяч страниц удобнее арендованный VPS, но для первого корпуса хватит ноутбука.
  • Не менее 8 ГБ оперативной памяти. Дедупликация больших корпусов любит память.
  • Свободное место на диске: минимум 5 ГБ. Сырой HTML занимает в 5-10 раз больше, чем чистый текст, а мы будем хранить и то и другое.
  • Стабильный интернет. Прокси добавляет задержку, поэтому медленный домашний канал заметно растянет сбор.

Что установить

  1. Python 3.11 или новее. Скачайте установщик с официального сайта, при установке на Windows поставьте галочку «Add Python to PATH». Проверьте в терминале: python --version. Должна появиться строка вида Python 3.12.x.
  2. Виртуальное окружение. Создайте папку проекта, например rag-corpus, зайдите в нее и выполните python -m venv venv. Активируйте: на Windows venv\Scripts\activate, на macOS и Linux source venv/bin/activate. В начале строки терминала появится (venv).
  3. Библиотеки. Установите одной командой: pip install requests trafilatura pypdf python-docx langdetect datasketch tqdm. Установка займет 1-3 минуты.
  4. Текстовый редактор с подсветкой кода: VS Code, PyCharm Community или любой другой.

Доступы к прокси

Откройте личный кабинет вашего прокси-сервиса. В карточке купленного мобильного прокси найдите четыре значения: хост (IP-адрес или доменное имя), порт для HTTP и порт для SOCKS5, логин и пароль. Отдельно скопируйте ссылку на смену IP: это URL, по которому достаточно сделать GET-запрос, чтобы прокси получил новый адрес у оператора. Запишите все это в файл .env в папке проекта, а не прямо в код.

Структура папок

Создайте внутри проекта следующие папки: raw для сырых страниц, clean для извлеченного текста, corpus для итогового файла, logs для журналов. Пустые папки на старте это нормально.

Резервные копии

Корпус собирается долго, и терять его обидно. Договоритесь с собой о правиле: папка raw никогда не перезаписывается, только дополняется. После каждого крупного этапа архивируйте результат: tar -czf raw_backup_2026-03-01.tar.gz raw/ на Linux и macOS или через встроенный архиватор Windows. Если в фильтрах ошибетесь и удалите лишнее, всегда можно вернуться к сырым данным, не собирая их заново.

Совет: Сразу заведите файл sources.md и записывайте в него каждое решение: какие сайты берете, какие разделы исключаете, почему. Через месяц, когда ассистент начнет отвечать странно, этот файл спасет вам вечер.

Базовые понятия простым языком

Если вы впервые собираете данные для RAG-системы, несколько терминов встретятся в каждом шаге. Разберем их коротко.

Что такое RAG и почему корпус важнее модели

RAG (Retrieval-Augmented Generation) это подход, при котором языковая модель перед ответом получает подборку фрагментов из вашей базы знаний. Модель не «знает» ваши документы, она читает найденные куски и отвечает по ним. Отсюда простое правило: если в базе есть мусор, поиск рано или поздно вытащит именно его, и ответ будет опираться на строку «Подпишитесь на рассылку» вместо инструкции. Поэтому этап сбора корпуса нельзя проскочить.

Корпус, документ, метаданные

Корпус это весь набор текстов, которые пойдут в RAG-систему. Документ это одна смысловая единица: статья, страница справки, PDF-инструкция, карточка товара. Метаданные это паспорт документа: откуда взят, когда собран, на каком языке, кто автор, к какому разделу относится. Без метаданных вы не сможете ни обновить корпус, ни объяснить пользователю, откуда взялся ответ, ни отфильтровать устаревшее.

Мобильный прокси и зачем он при сборе

Мобильный прокси это сервер-посредник, который выпускает ваши запросы в интернет через IP-адрес сотового оператора. Для сбора корпуса он решает три практические задачи. Первая: распределение нагрузки. Вместо того чтобы стучаться на сайт с одного адреса, вы ходите с разных, и каждый источник видит спокойный, редкий трафик. Вторая: география. Многие сайты показывают разный контент, цены и наличие в зависимости от региона, и мобильный прокси нужного города дает именно ту версию страницы, которую видят ваши клиенты. Третья: стабильность длинных сессий. Ротация IP по ссылке позволяет продолжать сбор часами, не завися от одного адреса.

Ротация это смена IP-адреса. Она бывает по расписанию (каждые N минут) и по запросу (вы дергаете ссылку, когда нужно). В сборе корпуса удобнее вторая: сменили источник, сменили адрес.

Что считать мусором

В контексте корпуса мусор это все, что не несет знаний по вашей теме, но занимает место в индексе и портит поиск:

  • навигация, меню, футеры, «хлебные крошки», формы подписки;
  • точные и почти точные дубли одного текста по разным адресам;
  • страницы-заглушки: «Страница не найдена», «Товар распродан», «Идет обслуживание»;
  • тексты на другом языке, если корпус одноязычный;
  • обрезанные страницы, где прокси или сайт вернули половину HTML;
  • чужой контент, который вы не имеете права использовать.

Правовая рамка

Собирайте только открытые данные, доступные без авторизации, и свои собственные документы. Уважайте файл robots.txt: это список правил сайта о том, какие разделы можно обходить автоматически. Не собирайте персональные данные третьих лиц: имена с телефонами, адреса, аккаунты. Если вы строите корпус по своим внутренним документам, убедитесь, что у вас есть право их использовать. Прокси в этом гайде используется как инструмент честного распределенного сбора, а не как способ делать то, что источник запретил.

Шаг 1: Определяем границы корпуса и составляем карту источников

Цель этапа: получить файл со списком источников, где для каждого прописано, какие URL берем, какие исключаем, с какой глубиной обходим и сколько запросов в минуту допускаем.

Самая частая причина мусорного корпуса вовсе не технические ошибки, а отсутствие границ. Человек запускает сборщик «на весь сайт», получает 40 тысяч страниц, из которых по теме 800, и потом неделю чистит. Сделаем наоборот: сначала карта, потом сбор.

Инструкция

  1. Сформулируйте вопросы, на которые должна отвечать ваша RAG-система. Напишите 20-30 реальных вопросов пользователей. Например, для базы знаний прокси-сервиса: «Как сменить IP по ссылке», «Почему прокси отвечает медленно», «Какие порты поддерживаются». Эти вопросы станут вашим тестовым набором на этапе проверки.
  2. Для каждого вопроса запишите, где лежит ответ. Раздел справки, документация, статьи блога, PDF-регламенты, страницы товаров. Все, чего в этом списке нет, в корпус не идет.
  3. Откройте каждый источник в браузере и изучите структуру адресов. Обычно полезный контент лежит по понятным префиксам: /help/, /docs/, /blog/, /faq/. А мусор по другим: /tag/, /search?, /cart/, /author/, страницы пагинации вида ?page=.
  4. Проверьте robots.txt источника. Откройте https://домен/robots.txt. Найдите строки Disallow: эти пути исключаем без обсуждения. Если там же указан Crawl-delay, запишите его как минимальную паузу между запросами.
  5. Найдите карту сайта. Часто она указана в robots.txt строкой Sitemap:, или лежит по адресу /sitemap.xml. Карта сайта это готовый список адресов, который избавит вас от рекурсивного обхода ссылок и связанного с ним мусора.
  6. Определите нагрузку. Для небольших сайтов ставьте не более 10-15 запросов в минуту. Для крупных порталов с CDN допустимо до 30. Если сомневаетесь, берите меньше: корпус не горит.
  7. Определите географию. Если контент зависит от региона (цены, доставка, наличие), решите, из какого города должен «смотреть» ваш сборщик, и выберите соответствующий мобильный прокси.
  8. Оформите все в файл sources.json.

Пример записи для одного источника:

[ {'name': 'help_center','sitemap': 'https://example.ru/sitemap.xml','include_prefixes': ['https://example.ru/help/', 'https://example.ru/docs/'],'exclude_patterns': ['/tag/', '/search', '?page=', '/print/'],'rate_per_minute': 12,'geo': 'RU-MOW','lang': 'ru','rotate_every': 40 }]

Поле rotate_every задает, через сколько запросов сборщик будет дергать ссылку смены IP. Замените одинарные кавычки на двойные при сохранении в реальный JSON-файл, здесь они показаны для наглядности.

Внимание: Не добавляйте в источники сайты, где полезный контент виден только после входа в аккаунт. Во-первых, это нарушает пользовательское соглашение большинства площадок. Во-вторых, такой корпус невозможно законно обновлять и распространять внутри компании.

Совет: Заведите отдельный источник для собственных документов: папка с PDF, DOCX и экспортами из вашей CRM или базы знаний. Их не нужно скачивать через прокси, но обрабатывать и чистить будем тем же пайплайном, что и веб-страницы.

Проверка: У вас есть файл sources.json, в котором каждый источник имеет префиксы включения, паттерны исключения, лимит запросов и язык. Откройте 5 случайных адресов из карты сайта, попадающих под ваши фильтры, и убедитесь, что на каждом есть содержательный текст, а не каталог ссылок.

Возможные проблемы

  • У сайта нет карты сайта. Соберите список адресов из нескольких страниц-оглавлений вручную или через простой обход ссылок только внутри разрешенных префиксов на глубину 2.
  • Карта сайта содержит 100 тысяч адресов. Отфильтруйте по префиксам, затем возьмите выборку в 200 адресов, собирайте и оценивайте качество, прежде чем запускать все.
  • Полезный контент разбросан по разным доменам. Заводите отдельную запись в sources.json на каждый домен, со своим лимитом и своей географией.

Шаг 2: Подключаем мобильный прокси и проверяем, что запросы идут через него

Цель этапа: убедиться, что скрипт действительно ходит через мобильный прокси, ротация работает, а задержки приемлемы для сбора.

Инструкция

  1. Создайте файл .env в корне проекта и внесите значения из личного кабинета:
PROXY_HOST=proxy.example.net PROXY_PORT=10000 PROXY_USER=your_login PROXY_PASS=your_password ROTATE_URL=https://changeip.example.net/?proxy_key=xxxxxxxx

Каждое значение на отдельной строке. Добавьте .env в .gitignore, если используете систему контроля версий.

  1. Создайте файл proxy_check.py со следующим содержимым:
import os, time, requests from dotenv import load_dotenv load_dotenv() host = os.getenv('PROXY_HOST') port = os.getenv('PROXY_PORT') user = os.getenv('PROXY_USER') pwd = os.getenv('PROXY_PASS') rotate_url = os.getenv('ROTATE_URL') proxy_url = 'http://' + user + ':' + pwd + '@' + host + ':' + port PROXIES = {'http': proxy_url, 'https': proxy_url} def my_ip(): r = requests.get('https://api.ipify.org?format=json', proxies=PROXIES, timeout=30) return r.json()['ip'] print('IP без прокси:', requests.get('https://api.ipify.org?format=json', timeout=30).json()['ip']) t0 = time.time() ip1 = my_ip() print('IP через прокси:', ip1, 'за', round(time.time() - t0, 2), 'сек') print('Меняем IP...') requests.get(rotate_url, timeout=60) time.sleep(8) ip2 = my_ip() print('IP после ротации:', ip2) print('Ротация сработала:', ip1 != ip2)

Предварительно установите pip install python-dotenv. Строки кода в реальном файле располагаются каждая на своей строке.

  1. Запустите: python proxy_check.py.
  2. Прочитайте вывод. Первый IP должен быть вашим домашним или серверным. Второй должен отличаться и принадлежать сотовому оператору. Третий должен отличаться от второго, а последняя строка показать True.
  3. Замерьте задержку. Если запрос через прокси занимает больше 5-6 секунд, сбор будет медленным. Проверьте, что выбранный прокси географически близок к целевым сайтам, или свяжитесь с поддержкой сервиса.
  4. Проверьте SOCKS5 как альтернативу. Если HTTP-порт дает нестабильный результат, замените http:// в proxy_url на socks5h:// и порт на SOCKS5-порт из кабинета. Понадобится pip install requests[socks]. Суффикс h важен: он заставляет прокси самостоятельно разрешать доменные имена.

Внимание: Не запускайте ротацию IP чаще, чем позволяет ваш тариф. У большинства мобильных прокси есть минимальный интервал между сменами, обычно от 30 секунд до 2 минут. Слишком частые запросы к ссылке ротации либо игнорируются, либо временно блокируют функцию.

Совет: Сделайте пять замеров задержки подряд и запишите медиану. Это число понадобится на следующем шаге, чтобы правильно выставить таймауты: таймаут должен быть примерно в 4-5 раз больше типичной задержки.

Проверка: Скрипт выводит три разных IP-адреса, строку Ротация сработала: True, а типичная задержка через прокси не превышает 3-4 секунд. Если все так, прокси готов к работе.

Возможные проблемы

  • Ошибка 407 Proxy Authentication Required. Проверьте логин и пароль, убедитесь, что в них нет лишних пробелов. Если в пароле есть символы @ или :, закодируйте их через urllib.parse.quote.
  • Ошибка Connection refused или таймаут. Прокси может быть привязан к вашему белому IP. Зайдите в кабинет и добавьте текущий адрес сервера в список разрешенных, либо переключитесь на авторизацию по логину и паролю.
  • IP после ротации не изменился. Увеличьте паузу после запроса к ссылке ротации до 15-20 секунд. Некоторые операторы выдают новый адрес не мгновенно.
  • SSL-ошибки. Обновите библиотеку certifi командой pip install -U certifi. Не отключайте проверку сертификатов параметром verify=False: это небезопасно.

Шаг 3: Пишем аккуратный сборщик с лимитами, ротацией и журналом

Цель этапа: получить скрипт, который проходит по адресам из карты сайта, соблюдает robots.txt и лимиты, ходит через прокси, меняет IP по расписанию, сохраняет сырой HTML и ведет журнал, по которому виден каждый запрос.

Здесь важно понять философию. Хороший сборщик для RAG-системы медленный, вежливый и параноидально подробный в логах. Быстрый агрессивный краулер соберет вам гору обрезанных страниц и ошибок 429, а потом вы не поймете, что из этого мусор.

Инструкция

  1. Создайте файл fetch.py. Структура скрипта: загрузка настроек, разбор карты сайта, фильтрация адресов, цикл запросов с паузами, сохранение результата.
  2. Загрузите карту сайта и отфильтруйте адреса. Карта сайта это XML, где каждый адрес лежит в теге loc. Разберите ее стандартным xml.etree.ElementTree. Оставьте только адреса, начинающиеся с include_prefixes и не содержащие ни одного из exclude_patterns. Сохраните результат в urls_help_center.txt и посмотрите на него глазами.
  3. Подключите проверку robots.txt. Используйте urllib.robotparser.RobotFileParser: загрузите файл один раз на домен и перед каждым запросом спрашивайте can_fetch(user_agent, url). Запрещенные адреса пропускайте и пишите в журнал с пометкой robots_disallow.
  4. Задайте честный User-Agent. Например: CorpusCollector/1.0 (+contact: data@yourcompany.ru). Владелец сайта должен понимать, кто к нему пришел и как связаться. Это не только этика, но и практика: понятный агент реже попадает под автоматические ограничения.
  5. Реализуйте паузы. Из rate_per_minute вычислите базовую паузу: 60 / rate_per_minute секунд. Добавьте случайную составляющую 20-40 процентов, чтобы запросы не шли метрономом. Если в robots.txt есть Crawl-delay, берите максимум из двух значений.
  6. Реализуйте ротацию. Считайте запросы, и когда счетчик достигнет rotate_every, вызовите ссылку смены IP, подождите 10 секунд, сбросьте счетчик. Ротацию также стоит делать при переходе к следующему источнику.
  7. Обработайте ответы. Код 200 сохраняем. Коды 301 и 302 requests обработает сам, но запишите итоговый адрес: он понадобится для дедупликации. Код 404 пишем в журнал и пропускаем. Код 429 или 503 означает «слишком часто»: делаем паузу в 5 минут, увеличиваем базовую паузу в полтора раза и повторяем один раз. Если повтор не помог, пропускаем и идем дальше.
  8. Сохраняйте сырой HTML вместе с паспортом. Для каждой страницы записывайте одну строку в файл raw/help_center.jsonl.

Ключевой фрагмент кода сохранения и цикла:

import json, time, random, hashlib from datetime import datetime, timezone def save_raw(path, url, final_url, status, html, proxy_ip): rec = { 'url': url, 'final_url': final_url, 'status': status, 'fetched_at': datetime.now(timezone.utc).isoformat(), 'proxy_ip': proxy_ip, 'html_len': len(html), 'html_sha1': hashlib.sha1(html.encode('utf-8', 'ignore')).hexdigest(), 'html': html } with open(path, 'a', encoding='utf-8') as f: f.write(json.dumps(rec, ensure_ascii=False) + chr(10)) def fetch_one(session, url, proxies, headers, timeout): r = session.get(url, proxies=proxies, headers=headers, timeout=timeout, allow_redirects=True) return r.status_code, r.url, r.text for i, url in enumerate(urls): if not rp.can_fetch(UA, url): log('robots_disallow', url); continue if i > 0 and i % ROTATE_EVERY == 0: requests.get(ROTATE_URL, timeout=60); time.sleep(10) try: status, final_url, html = fetch_one(session, url, PROXIES, HEADERS, TIMEOUT) except Exception as e: log('error', url, str(e)); time.sleep(BASE_DELAY * 2); continue if status == 200 and len(html) > 2000: save_raw(RAW_PATH, url, final_url, status, html, current_ip) else: log('skip', url, status, len(html)) time.sleep(BASE_DELAY * random.uniform(1.0, 1.4))

Обратите внимание на условие len(html) > 2000. Страница со содержательным текстом почти никогда не бывает короче двух килобайт HTML. Это первый, самый грубый фильтр мусора, и он отсекает пустые ответы и заглушки уже на входе.

  1. Запустите на выборке. Первый запуск делайте на 50 адресах. Посмотрите журнал, откройте пару сохраненных HTML в браузере. Убедитесь, что это те самые страницы.
  2. Запустите полный сбор. На сервере используйте nohup python fetch.py & или screen, чтобы процесс пережил закрытие терминала. Сбор 3000 страниц при 12 запросах в минуту займет около 4-5 часов.

Внимание: Не запускайте несколько копий сборщика на один и тот же сайт параллельно через один прокси. Ротация IP не отменяет лимиты нагрузки на сервер источника. Если хотите ускориться, распараллеливайте по разным сайтам, а не по одному.

Совет: Записывайте в журнал IP прокси, с которого сделан каждый запрос. Когда на этапе чистки обнаружится партия обрезанных страниц, вы по IP и времени сразу увидите, был ли это сбой конкретной сессии, и пересоберете только ее.

Совет: Добавьте в сборщик возобновление: перед запуском прочитайте уже собранные адреса из raw/*.jsonl и пропускайте их. Тогда обрыв связи или перезагрузка сервера не заставят начинать с нуля.

Проверка: В папке raw лежит JSONL-файл, число строк в нем близко к числу адресов со статусом 200 в журнале, а случайно выбранная строка содержит поля url, fetched_at, proxy_ip и полноценный HTML. Доля ошибок и пропусков в журнале не превышает 5 процентов.

Возможные проблемы

  • Много ответов 429. Вы слишком быстры для этого сайта. Уменьшите rate_per_minute вдвое, увеличьте rotate_every, чтобы ротация не выглядела как всплеск с новых адресов.
  • Страницы приходят пустыми, хотя статус 200. Контент рисуется JavaScript. Такие источники требуют браузерного рендеринга, о нем в продвинутом блоке. Пока пометьте их в sources.json флагом needs_js: true.
  • Сбор идет, но очень медленно. Проверьте задержку прокси из Шага 2, убедитесь, что таймаут не выставлен на 120 секунд при типичной задержке в 2, иначе каждая зависшая страница съедает две минуты.
  • Скрипт падает на кодировке. Используйте r.text с проверкой r.encoding; если сайт отдает кодировку неправильно, подставьте r.encoding = r.apparent_encoding перед чтением.

Шаг 4: Извлекаем чистый текст из HTML и документов

Цель этапа: превратить сырой HTML и файлы в чистый текст, где остался только основной контент страницы: заголовок, абзацы, списки, таблицы, без меню, футеров, рекламных вставок и виджетов.

Это тот момент, когда рождается или умирает качество корпуса. Наивный подход «убрать все теги» оставляет в тексте пункты меню, кнопки «Купить», текст куки-баннера и списки похожих статей. Все это потом всплывает в ответах RAG-системы.

Инструкция для веб-страниц

  1. Создайте файл extract.py. Он читает raw/*.jsonl построчно и пишет результат в clean/*.jsonl.
  2. Используйте библиотеку trafilatura для извлечения основного текста. Она обучена находить контентную область страницы и отбрасывать шаблонные блоки.
import json, trafilatura def extract_text(html, url): downloaded = html result = trafilatura.extract( downloaded, url=url, include_comments=False, include_tables=True, include_links=False, favor_precision=True, output_format='json' ) if not result: return None data = json.loads(result) return { 'title': data.get('title'), 'text': data.get('text'), 'author': data.get('author'), 'date': data.get('date'), 'description': data.get('description') }
  1. Параметр favor_precision=True заставляет библиотеку быть строже: она предпочтет потерять кусок текста, чем прихватить меню. Для корпуса RAG-системы это правильный выбор. Если заметите, что теряются нужные блоки, например, таблицы характеристик, переключите на favor_recall=True для конкретного источника.
  2. Добавьте резервный метод. Если trafilatura вернула None или текст короче 200 символов, попробуйте извлечь контент по CSS-селектору, который вы найдете руками: откройте страницу в браузере, нажмите F12, найдите блок с основным текстом, скопируйте его класс, например article-body. Используйте BeautifulSoup для вырезания только этого блока. Пропишите селектор в sources.json как content_selector.
  3. Нормализуйте текст. Замените неразрывные пробелы на обычные, схлопните три и более переносов строк в два, уберите пробелы в начале и конце строк. Не меняйте регистр и не удаляйте знаки препинания: это ухудшит поиск.
  4. Сохраните вместе с исходными метаданными. Скопируйте из сырой записи url, final_url, fetched_at, добавьте source из sources.json, поля из извлечения и длину текста в символах.

Инструкция для PDF и DOCX

  1. PDF. Используйте pypdf: откройте файл, пройдите по страницам, вызовите page.extract_text() и объедините. Сохраните номер страницы для каждого фрагмента: это ценные метаданные, по ним пользователь сможет найти место в оригинале. Если текст возвращается пустым, PDF содержит сканы, а не текст: такие файлы отложите в отдельную папку, распознавание вне рамок этого гайда.
  2. DOCX. Используйте python-docx: пройдите по document.paragraphs и document.tables. Заголовки в Word имеют стиль Heading 1, Heading 2: сохраняйте их как отдельные строки с пометкой, по ним удобно резать документ позже.
  3. Убирайте колонтитулы. В PDF-инструкциях на каждой странице повторяется название компании, номер версии и «Страница 3 из 40». Соберите все строки документа, найдите те, что повторяются более чем на половине страниц, и удалите их.

Внимание: Не удаляйте таблицы ради красоты. В инструкциях, тарифах и характеристиках именно таблицы содержат ответы на конкретные вопросы: «какой лимит», «сколько стоит», «какой порт». Сохраняйте их построчно, разделяя ячейки табуляцией или вертикальной чертой.

Совет: После извлечения возьмите 20 случайных документов и прочитайте их целиком. Не пробегите, а прочитайте. Одна такая ревизия находит больше системных проблем, чем любой автоматический фильтр: например, вы увидите, что на всех страницах блога в конец текста приклеился блок «Читайте также» с тремя заголовками.

Проверка: В папке clean лежат JSONL-файлы. Число записей не меньше 80 процентов от числа сырых страниц. В случайных 10 записях текст начинается с заголовка или первого абзаца статьи, а не с пунктов меню, и заканчивается последним содержательным абзацем, а не подписью «Все права защищены».

Возможные проблемы

  • Извлекается слишком мало текста. Сайт с нестандартной версткой. Добавьте content_selector и резервный путь через BeautifulSoup.
  • В тексте остаются кнопки и пункты меню. Включите favor_precision, а для стойких случаев добавьте список стоп-строк: короткие строки вида «Поделиться», «Читать далее», «Наверх» удаляйте, если они стоят отдельной строкой.
  • PDF выдает текст задом наперед или с разорванными словами. Попробуйте pdfplumber вместо pypdf, он лучше работает с колонками.

Шаг 5: Фильтруем мусор: дедупликация, шаблоны, качество, язык

Цель этапа: отсеять дубли, заглушки, шаблонные блоки, тексты на чужом языке и слишком короткие или битые документы, оставив только то, что несет знания.

Даже после аккуратного извлечения в корпусе остается от 15 до 40 процентов мусора. Это нормально. Ненормально пропустить его в индекс.

Инструкция

  1. Создайте файл filter.py, который читает clean/*.jsonl, применяет фильтры по очереди, записывает прошедшие документы в corpus/filtered.jsonl, а отсеянные в corpus/rejected.jsonl с указанием причины.
  2. Фильтр 1: минимальная длина. Документы короче 300 символов почти всегда заглушки, анонсы или ошибки извлечения. Отсекайте с причиной too_short. Для карточек товаров порог можно снизить до 150.
  3. Фильтр 2: стоп-фразы заглушек. Составьте список фраз, по которым видно, что страница пустая: «страница не найдена», «товар отсутствует», «доступ ограничен», «включите javascript», «идут технические работы». Если такая фраза встречается в первых 300 символах и весь текст короче 1500, отсекайте с причиной placeholder.
  4. Фильтр 3: язык. Используйте langdetect.detect на первых 1000 символах. Если язык не совпадает с указанным в источнике, отсекайте с причиной wrong_lang. Учтите, что на коротких текстах детектор ошибается, поэтому применяйте его после фильтра длины.
  5. Фильтр 4: точные дубли. Нормализуйте текст: нижний регистр, схлопнуть пробелы, убрать знаки препинания. Посчитайте sha1. Если хеш уже встречался, отсекайте с причиной exact_dup и сохраняйте ссылку на оригинал. Типичные источники точных дублей: одна страница по http и https, с www и без, с параметром ?utm_source и без, а также страницы для печати.
  6. Фильтр 5: почти дубли. Здесь нужен MinHash из библиотеки datasketch. Разбейте нормализованный текст на шинглы по 5 слов, постройте MinHash с 128 перестановками, положите в MinHashLSH с порогом 0.85. Документ, у которого уже есть похожий сосед в индексе, отсекайте с причиной near_dup. Так уходят версии одной статьи с разными датами, страницы товаров, отличающиеся только цветом, и переизданные новости.
from datasketch import MinHash, MinHashLSH def shingles(text, k=5): words = text.split() return set(' '.join(words[i:i+k]) for i in range(max(1, len(words) - k + 1))) lsh = MinHashLSH(threshold=0.85, num_perm=128) def is_near_dup(doc_id, norm_text): m = MinHash(num_perm=128) for sh in shingles(norm_text): m.update(sh.encode('utf-8')) if lsh.query(m): return True lsh.insert(doc_id, m) return False
  1. Фильтр 6: шаблонные строки. Соберите все строки всех документов одного источника и подсчитайте, в каком проценте документов встречается каждая. Строки, встречающиеся более чем в 30 процентах документов и короче 200 символов, это шаблон: дисклеймеры, подписи, призывы подписаться. Удалите их из всех документов. Это не отсев документа, а чистка внутри него.
  2. Фильтр 7: качество текста. Посчитайте простые метрики: доля букв среди всех символов должна быть выше 0.6; средняя длина слова от 3 до 12; доля строк, оканчивающихся точкой, выше 0.3 для статей. Документы вне этих границ это, как правило, таблицы кодов, дампы или битые извлечения. Отсекайте с причиной low_quality, но обязательно просмотрите отсеянное глазами: для технической документации пороги нужно смягчать.
  3. Фильтр 8: обрезанные страницы. Сравните html_len из сырой записи с медианой по источнику. Если HTML короче 30 процентов медианы, а текст обрывается посередине предложения без точки, это обрезанный ответ. Причина truncated. Такие адреса запишите в recollect.txt и пересоберите через прокси на Шаге 3.
  4. Запустите фильтр и изучите отчет. Скрипт должен вывести таблицу: сколько документов на входе, сколько отсеяно по каждой причине, сколько осталось.

Внимание: Никогда не удаляйте файлы из clean и raw в процессе фильтрации. Фильтр только пишет новые файлы. Если порог MinHash оказался слишком агрессивным и вы потеряли 40 процентов полезных документов, вы просто поменяете число и запустите скрипт снова за две минуты.

Совет: Порог 0.85 для почти дублей хорош для статей и справки. Для карточек товаров одного бренда, различающихся только размером или объемом, он схлопнет их в одну. Решите заранее, нужны ли вашей RAG-системе все варианты, и либо поднимите порог до 0.95, либо объедините варианты в один документ с таблицей отличий еще на этапе извлечения.

Совет: Отсеянные документы это не отходы, а материал для отладки. Раз в неделю открывайте rejected.jsonl, фильтруйте по причине и смотрите 10 случайных записей. Если среди low_quality регулярно попадаются полезные таблицы тарифов, пороги надо править.

Проверка: Отчет фильтра показывает разумную картину: суммарный отсев от 10 до 40 процентов, из них дубли составляют заметную долю, а причина truncated дает не более 2-3 процентов. В файле filtered.jsonl нет двух документов с одинаковым нормализованным текстом, и случайные 10 записей выглядят как законченные статьи или разделы документации.

Возможные проблемы

  • Отсев больше 60 процентов. Скорее всего, слишком строгие пороги качества или ошибка нормализации, из-за которой все тексты стали похожи. Выведите 20 случайных отсеянных и найдите системную причину.
  • MinHash работает очень долго. На корпусе больше 100 тысяч документов уменьшите num_perm до 64 или считайте по источникам отдельно.
  • Детектор языка помечает русские тексты как болгарские или македонские. Так бывает на коротких фрагментах с большим числом имен собственных. Проверяйте язык на первых 2000 символах и принимайте любой из группы близких языков как совпадение.

Шаг 6: Размечаем метаданные и собираем итоговый корпус

Цель этапа: получить единый файл corpus/corpus_v1.jsonl, где каждый документ имеет стабильный идентификатор, полный набор метаданных и готов к передаче в пайплайн индексации.

Метаданные это то, что отличает корпус от кучи текста. Они позволяют обновлять отдельные источники, объяснять пользователю происхождение ответа, фильтровать по дате и разделу и, главное, не делать всю работу заново через месяц.

Инструкция

  1. Определите схему документа. Зафиксируйте ее в файле schema.md и не меняйте без версии корпуса. Рекомендуемый минимум:
  • doc_id: стабильный идентификатор, например sha1 от final_url, чтобы при пересборе документ получил тот же id;
  • source: имя источника из sources.json;
  • url и final_url;
  • title;
  • section: раздел сайта, вычисленный из первого сегмента пути после префикса, например help/proxies;
  • lang;
  • published_at: дата публикации, если извлечена;
  • fetched_at: дата сбора;
  • geo: регион прокси, с которого собрано;
  • text;
  • text_len, text_sha1;
  • corpus_version: например v1.
  1. Вычислите раздел. Разберите final_url через urllib.parse.urlparse, возьмите путь, уберите префикс источника, оставьте один-два сегмента. Раздел позже станет фильтром в RAG-системе: пользователь спрашивает про оплату, поиск идет в первую очередь по разделу billing.
  2. Нормализуйте даты. Все даты приведите к ISO 8601 в UTC. Если дата публикации не найдена, оставьте поле пустым, а не подставляйте дату сбора: это разные вещи, и путать их опасно при фильтрации устаревших материалов.
  3. Добавьте заголовок в текст. Если text не начинается с title, вставьте заголовок первой строкой. Заголовок несет ключевые слова, которые важны для поиска.
  4. Отсортируйте и запишите. Отсортируйте документы по source и final_url, запишите в corpus/corpus_v1.jsonl. Рядом положите corpus/manifest_v1.json с числом документов по источникам, датой сборки, версией схемы и параметрами фильтров.
  5. Сделайте архив. Заархивируйте corpus, sources.json, schema.md и папку logs. Этот архив это воспроизводимая версия вашего корпуса.

Совет: Храните персональные данные вне корпуса вообще. Если в текстах справки встречаются примеры вида «Иван Петров, +7 900...», замените их на плейсхолдеры еще на этапе сборки корпуса. RAG-система не должна уметь выдать чей-то телефон, даже если он был в открытом доступе.

Проверка: Файл corpus_v1.jsonl открывается, каждая строка это валидный JSON с полями из схемы, у всех документов уникальный doc_id, у всех заполнены source, lang, fetched_at, text. Файл manifest_v1.json содержит сводку, совпадающую с числом строк.

Возможные проблемы

  • Разные адреса ведут к одному документу и дают разные doc_id. Считайте id от final_url после редиректов, с удалением параметров запроса и завершающего слеша.
  • Даты извлекаются в разных форматах. Используйте dateutil.parser.parse с параметром dayfirst=True для русскоязычных источников.

Проверка результата: чек-лист и тестирование корпуса

Корпус собран. Прежде чем нести его в индексацию, проверим его как продукт, а не как файл.

Чек-лист

  • Есть sources.json с границами каждого источника и указанием лимитов.
  • Все запросы шли через мобильный прокси, в журнале у каждого запроса есть proxy_ip.
  • Доля ошибок сбора по журналу не превышает 5 процентов, ответов 429 менее 1 процента.
  • Из сырых страниц извлечено не менее 80 процентов документов.
  • Отсев на фильтрации от 10 до 40 процентов, все причины отсева поименованы.
  • В корпусе нет точных дублей по нормализованному тексту.
  • У каждого документа заполнены обязательные метаданные.
  • Есть архив с сырыми данными, корпусом, журналами и настройками.

Как протестировать

  1. Тест на вопросах из Шага 1. Возьмите ваши 20-30 вопросов. Для каждого простым поиском по подстроке или через grep найдите документ в корпусе, который содержит ответ. Цель: не менее 90 процентов вопросов имеют покрытие. Если вопрос не покрыт, найдите страницу с ответом в браузере и разберитесь, почему она не попала: не было в карте сайта, отсекли фильтры, обрезался текст.
  2. Тест на мусор. Найдите в корпусе строки «подписаться», «корзина», «cookie», «все права защищены», «читайте также». Каждое вхождение это подозрение. Допустимы единицы, если они часть содержательного текста; десятки вхождений означают, что шаблонный фильтр надо доработать.
  3. Тест на обрывы. Посчитайте документы, чей текст заканчивается не точкой, не восклицательным или вопросительным знаком и не закрывающей скобкой. Их должно быть меньше 5 процентов. Остальные посмотрите глазами.
  4. Тест на распределение. Постройте гистограмму длин документов. Здоровый корпус справки или блога имеет пик в районе 2-8 тысяч символов и длинный хвост. Резкий пик около минимального порога говорит о заглушках, которые проскочили.
  5. Тест на географию. Если контент зависит от региона, откройте 5 страниц с ценами или наличием и сравните с тем, что видит человек из нужного города. Расхождения означают, что прокси выбран из другого региона или сайт определяет регион не по IP, а по куки.

Показатели успешного выполнения

Корпус готов, если покрытие тестовых вопросов выше 90 процентов, доля документов с признаками мусора ниже 3 процентов, а manifest позволяет полностью воспроизвести сборку. Только после этого корпус передается в пайплайн индексации RAG-системы.

Типичные ошибки и решения при сборе корпуса для RAG

Проблема: в ответах ассистента появляются пункты меню и призывы подписаться. Причина: извлечение текста работало в режиме полноты, а не точности, шаблонный фильтр не запускался. Решение: включите favor_precision, реализуйте удаление строк, повторяющихся более чем в 30 процентах документов источника, пересоберите clean из raw без повторного скачивания.

Проблема: ассистент отвечает по устаревшей версии инструкции. Причина: в корпусе живут и старая, и новая версия статьи, почти дубли не отсеяны или порог слишком высок. Решение: снизьте порог MinHash до 0.8 для источников с версионностью, при конфликте оставляйте документ с более поздней published_at.

Проблема: часть страниц собрана пустыми, статус 200. Причина: контент строится JavaScript на стороне браузера. Решение: пометьте источник needs_js и используйте рендеринг через Playwright из продвинутого блока, либо найдите у сайта API или RSS, где контент отдается готовым.

Проблема: сбор останавливается на ошибках 429 и 503. Причина: слишком высокая частота запросов, ротация IP использовалась вместо снижения нагрузки. Решение: уменьшите частоту до 6-8 запросов в минуту, увеличьте случайный разброс пауз, поставьте паузу 5-10 минут при первом 429. Помните, что лимит нагрузки это про уважение к источнику, а не про количество адресов.

Проблема: после ротации сайт показывает контент другого региона. Причина: мобильный прокси выдал IP другого города, либо сайт определил регион по куки предыдущей сессии. Решение: закрепите в кабинете прокси нужный регион, сбрасывайте сессию requests после каждой ротации, чтобы куки не переносились.

Проблема: корпус собран, но покрытие вопросов 60 процентов. Причина: границы источников заданы слишком узко, полезные страницы отсеклись по префиксам. Решение: возьмите непокрытые вопросы, найдите ответы в браузере, посмотрите их адреса и расширьте include_prefixes.

Проблема: дедупликация съела карточки товаров, отличающиеся характеристиками. Причина: порог почти дублей слишком низкий для однотипных текстов. Решение: для источников каталога поднимите порог до 0.95 или объедините варианты одного товара в один документ на этапе извлечения.

Проблема: тексты PDF идут сплошной строкой без абзацев. Причина: pypdf теряет разметку. Решение: перейдите на pdfplumber или pymupdf, восстанавливайте абзацы по двойным переносам и отступам.

Проблема: в корпус попали персональные данные. Причина: не было этапа обезличивания. Решение: добавьте перед записью в корпус поиск телефонов, email и имен через простые шаблоны и замену на плейсхолдеры; спорные документы отправляйте на ручную проверку.

Дополнительные возможности для продвинутых

Если базовый пайплайн работает, вот куда его развивать.

Рендеринг страниц с JavaScript через прокси

Установите pip install playwright и playwright install chromium. Запускайте браузер с параметром proxy={'server': 'http://HOST:PORT', 'username': USER, 'password': PASS}. Ждите селектор основного контента через page.wait_for_selector, а не фиксированные секунды. Забирайте page.content() и складывайте в тот же raw формат, чтобы дальнейшие шаги не менялись. Рендеринг в 5-10 раз медленнее обычных запросов, поэтому применяйте его только к источникам с флагом needs_js и снижайте частоту до 3-5 страниц в минуту.

Инкрементальное обновление корпуса

Храните в манифесте text_sha1 каждого документа. При следующей сборке скачивайте страницы, но извлекайте и фильтруйте только те, у кого изменился хеш HTML или прошло больше 30 дней с момента сбора. Используйте заголовки If-Modified-Since и ETag: многие сайты вернут 304 без тела, и вы сэкономите трафик прокси. Каждое обновление получает новую версию корпуса: v2, v3, а старые архивы не удаляются.

Многорегиональный корпус

Если у бизнеса есть филиалы, а контент источников зависит от города, заведите несколько мобильных прокси с разной географией. Собирайте одну и ту же страницу с каждого региона, храните geo в метаданных и дедуплицируйте только внутри региона. RAG-система потом сможет отвечать «в Казани доставка 2 дня, в Новосибирске 4», опираясь на реальные региональные версии страниц.

Разметка качества вместо жестких порогов

Вместо отсева по порогам считайте для каждого документа оценку качества от 0 до 1 из тех же метрик: длина, доля букв, доля законченных предложений, повторяемость строк. Сохраняйте оценку в метаданных. Тогда пайплайн индексации сможет сам решать, что брать, а поиск ранжировать надежные документы выше.

Семантическая дедупликация

MinHash ловит лексические дубли. Пересказы одной инструкции разными словами он пропустит. Для их отлова считайте эмбеддинги документов и ищите пары с косинусной близостью выше 0.95. Это уже граница с этапом индексации, поэтому здесь только упоминание: решите, где проводить границу, и не делайте одну работу дважды.

Мониторинг сбора

Выводите из журнала метрики: запросов в минуту, доля кодов 200, средняя задержка, число ротаций. Простой дашборд на matplotlib или таблица в терминале раз в 10 минут покажет деградацию раньше, чем вы обнаружите 500 пустых страниц утром.

FAQ: частые вопросы по сбору корпуса

Обязательно ли использовать мобильный прокси для сбора корпуса? Для собственных документов и небольших источников не обязательно. Прокси становится нужен, когда источников много, сбор идет часами, важна региональная версия контента или вы не хотите создавать заметную нагрузку на сайт с одного адреса.

Как часто менять IP при сборе? Ориентир: каждые 30-60 запросов или при переходе к другому источнику. Чаще не нужно: смысл ротации в распределении нагрузки и стабильности сессии, а не в частоте сама по себе. Частая ротация без снижения общего темпа нагрузку не уменьшает.

Сколько документов нужно для рабочей RAG-системы? Для ассистента по одному продукту часто хватает 200-500 качественных документов. Для широкой ниши несколько тысяч. Качество важнее объема: 500 чистых статей дадут лучшие ответы, чем 20 тысяч с мусором.

Можно ли собирать соцсети и маркетплейсы? Только открытые страницы в пределах правил площадки и robots.txt, без персональных данных. У многих площадок есть официальные API для получения контента, начните с них.

Что делать с картинками и видео? В рамках текстового корпуса сохраняйте только подписи, alt-тексты и транскрипты, если они есть на странице. Сами файлы в корпус не идут.

Почему нельзя просто скачать сайт целиком программой-загрузчиком? Можно, но вы получите десятки тысяч файлов без метаданных, с дублями, служебными страницами и без журнала. Потом придется делать все шаги этого гайда в обратном порядке, только сложнее.

Как понять, что фильтры не удалили нужное? Смотрите rejected.jsonl по каждой причине, выборку в 10-20 записей. И проверяйте покрытие тестовых вопросов: если ответы пропали, ищите их в отсеянных.

Нужно ли резать документы на чанки на этом этапе? Нет. Разбиение на фрагменты это часть индексации и зависит от модели эмбеддингов и размера контекста. Задача корпуса дать целые документы с метаданными и разметкой заголовков, по которым чанкер сможет резать осмысленно.

Как обновлять корпус, чтобы не пересобирать все? Храните хеши, используйте условные запросы If-Modified-Since, версионируйте корпус. Подробнее в продвинутом блоке.

Что делать, если сайт запрещает автоматический сбор в robots.txt? Уважать запрет. Напишите владельцу, часто он даст выгрузку, API или разрешение. Корпус, собранный вопреки правилам источника, создает риски для всего проекта.

Заключение: что сделано и куда двигаться дальше

Вы прошли весь путь от идеи до готового корпуса. Определили границы и составили карту источников с лимитами и географией. Подключили мобильный прокси и убедились, что ротация работает. Написали вежливый сборщик, который соблюдает robots.txt, распределяет нагрузку и ведет подробный журнал. Извлекли чистый текст из HTML, PDF и DOCX. Отсеяли дубли, заглушки, шаблоны и битые страницы с поименованными причинами. Разметили метаданные и собрали версионированный корпус с манифестом. Проверили его на реальных вопросах.

Главный итог не файл на диске, а воспроизводимый процесс. Через месяц вы запустите его снова и получите обновленный корпус за пару часов, а не за неделю. И когда RAG-система начнет отвечать странно, вы будете точно знать, где искать причину: в журнале сбора, в отчете фильтра или в манифесте.

Что делать дальше. Передайте corpus_v1.jsonl в пайплайн индексации: разбиение на фрагменты, эмбеддинги, векторная база. Об этом в смежных статьях блога. Настройте регулярный запуск сборщика по расписанию с инкрементальным обновлением. Расширьте карту источников по мере роста числа непокрытых вопросов. Если бизнес региональный, добавьте прокси нужных городов и соберите региональные версии контента.

Куда развиваться. Освойте браузерный рендеринг для сложных сайтов, оценку качества документов вместо жестких порогов, семантическую дедупликацию и мониторинг сбора. Каждый из этих шагов повышает качество ответов сильнее, чем смена модели. Чистые данные это самое дешевое улучшение RAG-системы, которое у вас есть. Удачной сборки.