511 Server Error

[a-i-v]

Привет, попытался использовать твой код для своей оценки. Получаю ошибку:

/usr/local/lib/python3.7/dist-packages/requests/models.py in raise_for_status(self)
939
940 if http_error_msg:
--> 941 raise HTTPError(http_error_msg, response=self)
942
943 def close(self):

HTTPError: 511 Server Error: for url: https://kazan.cian.ru/cat.php?deal_type=rent&engine_version=2&offer_type=flat&p=1&region=4777&type=4

Насколько я понимаю, она связана с аутентификацией, есть идеи как можно это обойти? Или возможно я что-то делаю не так...

Заранее спасибо.

[lenarsaitov]

Привет.

Интересно. Вижу это происходит сразу же, на первой странице. Вероятно есть несоответствие user-agent и твоей системы вместе с браузером. И сайт определённым образом это отлавливает.

Сейчас кое-что подправил (сделал соответствие некоторому обновлению сайта), а также закомментил user-agent при создании сессии.

Попробуй снова склонировать проект и запустить.
Буду рад узнать результат.

[a-i-v]

Нет, к сожалению, это не срботало. Я использую https://colab.research.google.com, может быть дело в нем.
Я также попробовал поставить свой UA, но ошибка та же. При этом со своего браузера я могу зайти на эту страницу...

[lenarsaitov]

Да, действительно через colab происходит такое. Проверил, отправка любого обычного запроса через него на этот сайт падает с подобной ошибкой. Если бы на циане была стандартная авторизация через логин и пароль, то это можно было бы исправить, но здесь необходимы различные сайты-посредники в виде вк, гугл-аккаунта и проч. К сожалению, не могу здесь чем-либо помочь. Остаётся вариант запускать этот код у себя, локально.

[a-i-v]

Ок, спасибо большое за обратную связь!

[lenarsaitov]

То есть через Google Colab не стоит использовать данную библиотеку, напишу в описании к проекту