Сначала проверьте полученный документ
Если данные запрашиваются по сети, отдельно проверяйте статус ответа, тип содержимого и ожидаемый адрес. Библиотека Requests предоставляет сведения об ответе и средства обработки ошибок. Задавайте подходящий тайм-аут и учитывайте, что его смысл не равен гарантированному пределу времени на всю загрузку. Не отправляйте запросы бесконечно только потому, что список оказался пустым. Сохранённый разрешённый пример позволяет повторять проверку без лишней нагрузки на сервер. При реальной работе соблюдайте правила ресурса и предоставленный доступ; ограничения и отказ в доступе не являются приглашением искать обход.
Найдите повторяющийся контейнер
В HTML сначала определите элемент, который объединяет одну логическую запись, например карточку товара или новости. Затем ищите название, значение и ссылку внутри каждого контейнера. Это надёжнее, чем независимо собирать все названия и все цены и механически соединять два списка по порядку. Если у одной карточки поле отсутствует, отдельные глобальные списки могут сдвинуться относительно друг друга. При обходе контейнеров связь полей сохраняется. Beautiful Soup позволяет искать элементы и применять CSS-селекторы к разобранному дереву; конкретное правило нужно проверять на структуре вашего документа.
Не смешивайте отсутствие поля и пустое значение
Запишите, что должен означать каждый случай: элемента нет, текст пустой или значение равно нулю. Эти состояния не взаимозаменяемы. Например, отсутствующая цена не должна автоматически превращаться в бесплатный товар. Сначала сохраните наблюдение, затем применяйте согласованное правило обработки. Очистку текста и преобразование числа выполняйте отдельно от поиска. Удаление пробелов, обозначения валюты и других символов должно соответствовать данным, а не уничтожать значимую часть. Для отладки полезно хранить исходное значение рядом с результатом преобразования в безопасном учебном наборе.
Проверьте пределы выбранного инструмента
Requests получает ответ сервера, а Beautiful Soup разбирает предоставленный документ. Они не превращаются автоматически в браузер, выполняющий сценарии страницы. Если нужные сведения отсутствуют в полученном HTML, изменение селектора само по себе не создаст их. Сначала выясните, есть ли разрешённый способ получить нужные данные, например официальный интерфейс. Не выдумывайте значения и не отмечайте задачу успешной по факту отсутствия ошибки программы. Проверяйте число записей, обязательные поля и несколько заранее известных примеров, включая неполную карточку.
Попробуйте на практике
Спроектируйте проверку парсера для собственного локального документа с тремя вымышленными карточками.
- Опишите ожидаемые поля и сделайте одну карточку полной, одну с пустым значением и одну без выбранного поля.
- Определите общий контейнер записи и правила поиска полей внутри него.
- Задайте разные результаты для отсутствующего элемента, пустого текста и допустимого нулевого значения.
- Сравните фактические или вручную прослеженные результаты с ожиданиями и укажите этап, на котором возникает расхождение.
Как проверить результат. Получены три связанные записи без смещения полей. Пропуски не заменены выдуманными данными, а получение документа отделено от его разбора и проверки.
Частые вопросы
Почему элемент виден в браузере, но не находится в ответе Requests?
Он может добавляться после выполнения сценариев или находиться в другом документе. Сначала нужно проверить фактическое содержимое полученного ответа.
Пустой список означает, что селектор обязательно неправильный?
Нет. Возможны другой ответ сервера, отсутствие данных или изменение структуры. Причину устанавливают по этапам, начиная с исходного документа.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.