Изучите методы скрапинга и краулинга веб-сайтов, чтобы получить доступ к неограниченному объему данных в любом уголке Интернета в любом формате. С помощью этого практического руководства вы узнаете, как использовать скрипты Python и веб-API, чтобы одновременно собрать и обработать данные с тысяч или даже миллионов веб-страниц. Идеально подходящая для программистов, специалистов по безопасности и веб-администраторов, знакомых с языком Python, книга знакомит не только с основными принципами работы веб-скраперов, но и углубляется в более сложные темы, такие, как анализ сырых данных или использование скраперов для тестирования интерфейса веб-сайта. Примеры программного кода, приведенные в книге, помогут разобраться в этих принципах на практике. Инструменты и примеры, приведенные в этой книге, позволяют легко автоматизировать несколько повторяющихся задач, высвобождая время для решения более насущных проблем. Это легко читаемая, ориентированная на конкретный результат книга, рассказывающая о реальных проблемах и решениях.

Изучите методы скрапинга и краулинга веб-сайтов, чтобы получить доступ к неограниченному объему данных в любом уголке Интернета в любом формате. С помощью этого практического руководства вы узнаете, как использовать скрипты Python и веб-API, чтобы одновременно собрать и обработать данные с тысяч или даже миллионов веб-страниц. Идеально подходящая для программистов, специалистов по безопасности и веб-администраторов, знакомых с языком Python, книга знакомит не только с основными принципами работы веб-скраперов, но и углубляется в более сложные темы, такие, как анализ сырых данных или использование скраперов для тестирования интерфейса веб-сайта. Примеры программного кода, приведенные в книге, помогут разобраться в этих принципах на практике. Инструменты и примеры, приведенные в этой книге, позволяют легко автоматизировать несколько повторяющихся задач, высвобождая время для решения более насущных проблем. Это легко читаемая, ориентированная на конкретный результат книга, рассказывающая о реальных проблемах и решениях.

Изучите методы скрапинга и краулинга веб-сайтов, чтобы получить доступ к неограниченному объему данных в любом уголке Интернета в любом формате. С помощью этого практического руководства вы узнаете, как использовать скрипты Python и веб-API, чтобы одновременно собрать и обработать данные с тысяч или даже миллионов веб-страниц. Идеально подходящая для программистов, специалистов по безопасности и веб-администраторов, знакомых с языком Python, книга знакомит не только с основными принципами работы веб-скраперов, но и углубляется в более сложные темы, такие, как анализ сырых данных или использование скраперов для тестирования интерфейса веб-сайта. Примеры программного кода, приведенные в книге, помогут разобраться в этих принципах на практике. Инструменты и примеры, приведенные в этой книге, позволяют легко автоматизировать несколько повторяющихся задач, высвобождая время для решения более насущных проблем. Это легко читаемая, ориентированная на конкретный результат книга, рассказывающая о реальных проблемах и решениях.

Если программирование напоминает волшебство, то веб-скрапинг - это очень сильное колдунство. Написав простую автоматизированную программу, можно отправлять запросы на веб-серверы, запрашивать с них данные, а затем анализировать их и извлекать необходимую информацию. Новое расширенное издание книги знакомит не только с веб-скрапингом, но и поможет собрать любого вида данные в современном Интернете. В части I основное внимание уделено механике веб-скрапинга: как с помощью Python запрашивать информацию с веб-сервера, производить базовую обработку серверного отклика и организовать автоматизированное взаимодействие с сайтами. В части II исследованы более специфичные инструменты и приложения, которые пригодятся при любом сценарии веб-скрапинга. - Разбирайте сложные HTML-страницы. - Разрабатывайте поисковые роботы с помощью фреймворка Scrapy. - Изучайте методы хранения данных, полученных с помощью скрапинга. - Считывайте и извлекайте данные из документов. - Очищайте и нормализуйте плохо отформатированные данные. - Читайте и пишите информацию на естественных языках. - Освойте поиск по формам и логинам. - Изучите скрапинг JavaScript и работу с API. - Используйте и пишите программы для преобразования изображений в текст. - Учитесь обходить скрапинговые ловушки и блокаторы ботов. - Протестируйте собственный сайт с помощью скрапинга. 2-е международное издание.

Современный скрапинг веб-сайтов с помощью Python. 2-е межд. издание

Современный скрапинг веб-сайтов с помощью Python. 2-е межд. издание

Если программирование напоминает волшебство, то веб-скрапинг — это очень сильное колдунство. Написав простую автоматизированную программу, можно отправлять запросы на веб-серверы, запрашивать с них данные, а затем анализировать их и извлекать необходимую информацию. Новое расширенное издание книги знакомит не только с веб-скрапингом, но и поможет собрать любого вида данные в современном Интернете. В части I основное внимание уделено механике веб-скрапинга: как с помощью Python запрашивать информацию с веб-сервера, производить базовую обработку серверного отклика и организовать автоматизированное взаимодействие с сайтами. В части II исследованы более специфичные инструменты и приложения, которые пригодятся при любом сценарии веб-скрапинга.- Разбирайте сложные HTML-страницы.- Разрабатывайте поисковые роботы с помощью фреймворка Scrapy.- Изучайте методы хранения данных, полученных с помощью скрапинга.- Считывайте и извлекайте данные из документов.- Очищайте и нормализуйте плохо отформатированные данные.- Читайте и пишите информацию на естественных языках.- Освойте поиск по формам и логинам.- Изучите скрапинг JavaScript и работу с API.- Используйте и пишите программы для преобразования изображений в текст.- Учитесь обходить скрапинговые ловушки и блокаторы ботов.- Протестируйте собственный сайт с помощью скрапинга.

В этой книге приводится подробное руководство по основным областям применения языка Python, таким как системное администрирование, построение графических пользовательских интерфейсов и создание веб-приложений. Вы также узнаете, как язык Python используется в базах данных, сетях, внешних интерфейсах сценариев, обработке текста и т.д. Основное внимание в книге уделяется часто применяемым инструментам и библиотекам, которые помогут получить полное представление о многих ролях Python в реальном программировании. Вы изучите синтаксис языка и методы программирования на множестве примеров, которые иллюстрируют правильное использование и общепринятые идиомы. Книга обновлена с учетом версии языка Python 3.x, который демонстрируется в качестве инструмента разработки программного обеспечения в многочисленных примерах кода, подобранных специально для этой цели. "В главах этой книги описан очень обширный материал - от устранения неполадок до спецификаций проектирования, с прицелом на реалистичные задачи и избежание распространенных препятствий." - Дайан Донован, California Bookwatch. Как применять язык Python после освоения его основ? Эта книга предлагает подробное руководство по основным областям применения языка, среди которых системное администрирование, построение графических пользовательских интерфейсов и создание веб-приложений. В ней рассматриваются особенности использования Python в базах данных, сетях, внешних интерфейсах сценариев, обработке текста и многом другом. Сосредоточившись на часто применяемых инструментах и библиотеках, вы обретете более глубокое понимание роли Python в реальном программировании. Вы изучите синтаксис языка и методы программирования на множестве примеров, которые иллюстрируют правильное использование и общепринятые идиомы. Книга обновлена с учетом версии языка Python 3.x, который демонстрируется в качестве инструмента разработки программного обеспечения в многочисленных примерах кода, подобранных специально для этой цели. Основные темы книги Краткий тур по языку Python. С помощью простой демонстрации ознакомьтесь с такими темами, как представление данных, объектно-ориентированное программирование, постоянство объектов, графические пользовательские интерфейсы и основы веб-сайтов. Системное программирование. Изучите инструменты и приемы использования системного интерфейса для написания сценариев командной строки, обработки файлов и каталогов, параллельного запуска программ и многого другого. Построение графических пользовательских интерфейсов. Научитесь использовать библиотеку виджетов tkinter для создания полнофункциональных пользовательских интерфейсов. Программирование для Интернета. Получите доступ к сетевым протоколам на стороне клиента и инструментам электронной почты, используйте сценарии CGI и изучите приемы реализации веб-сайтов. Дополнительные способы применения Python. Реализуйте структуры данных, анализируйте текстовую информацию, взаимодействуйте с базами данных, а также расширяйте и встраивайте Python. 4-е издание.

Книга посвящена созданию веб-сайтов на языке Python с использованием веб-фреймворка Django 3.0. Рассмотрены новинки Django 3.0 и дано наиболее полное описание его инструментов: моделей, контроллеров, шаблонов, средств обработки пользовательского ввода, включая выгруженные файлы, разграничения доступа, посредников, сигналов, инструментов для отправки электронной почты, кэширования и пр. Рассмотрены дополнительные библиотеки, производящие обработку BBCode-тегов, CAPTCHA, вывод графических миниатюр, аутентификацию через социальные сети (в частности, ""ВКонтакте""), интеграцию с Bootstrap. Рассказано о программировании веб-служб REST, использовании и настройке административного веб-сайта Django, публикации сайтов с помощью веб-сервера Uvicorn, работе с базами данных PostgreSQL, кэшировании сайтов с помощью Memcached и Redi. Подробно описано создание полнофункционального веб-сайта - электронной доски объявлений, веб-службы, работающей в его составе, и тестового фронтенда для нее, написанного на Angular. Электронное приложение-архив на сайте издательства содержит коды всех примеров.

Книга посвящена созданию веб-сайтов на языке Python с использованием веб-фреймворка Django 3.0. Рассмотрены новинки Django 3.0 и дано наиболее полное описание его инструментов: моделей, контроллеров, шаблонов, средств обработки пользовательского ввода, включая выгруженные файлы, разграничения доступа, посредников, сигналов, инструментов для отправки электронной почты, кэширования и пр. Рассмотрены дополнительные библиотеки, производящие обработку BBCode-тегов, CAPTCHA, вывод графических миниатюр, аутентификацию через социальные сети (в частности, "ВКонтакте"), интеграцию с Bootstrap. Рассказано о программировании веб-служб REST, использовании и настройке административного веб-сайта Django, публикации сайтов с помощью веб-сервера Uvicorn, работе с базами данных PostgreSQL, кэшировании сайтов с помощью Memcached и Redi. Подробно описано создание полнофункционального веб-сайта - электронной доски объявлений, веб-службы, работающей в его составе, и тестового фронтенда для нее, написанного на Angular.Электронное приложение-архив на сайте издательства содержит коды всех примеров.

Книга посвящена созданию веб-сайтов на языке Python с использованием веб-фреймворка Django 3.0. Рассмотрены новинки Django 3.0 и дано наиболее полное описание его инструментов: моделей, контроллеров, шаблонов, средств обработки пользовательского ввода, включая выгруженные файлы, разграничения доступа, посредников, сигналов, инструментов для отправки электронной почты, кэширования и пр. Рассмотрены дополнительные библиотеки, производящие обработку BBCode-тегов, CAPTCHA, вывод графических миниатюр, аутентификацию через социальные сети (в частности, "ВКонтакте"), интеграцию с Bootstrap. Рассказано о программировании веб-служб REST, использовании и настройке административного веб-сайта Django, публикации сайтов с помощью веб-сервера Uvicorn, работе с базами данных PostgreSQL, кэшировании сайтов с помощью Memcached и Redi. Подробно описано создание полнофункционального веб-сайта - электронной доски объявлений, веб-службы, работающей в его составе, и тестового фронтенда для нее, написанного на Angular. Электронное приложение-архив на сайте издательства содержит коды всех примеров.

Книга посвящена созданию веб-сайтов на языке Python с использованием веб-фреймворка Django 3.0. Рассмотрены новинки Django 3.0 и дано наиболее полное описание его инструментов: моделей, контроллеров, шаблонов, средств обработки пользовательского ввода, включая выгруженные файлы, разграничения доступа, посредников, сигналов, инструментов для отправки электронной почты, кэширования и пр. Рассмотрены дополнительные библиотеки, производящие обработку BBCode-тегов, CAPTCHA, вывод графических миниатюр, аутентификацию через социальные сети (в частности, "ВКонтакте"), интеграцию с Bootstrap. Рассказано о программировании веб-служб REST, использовании и настройке административного веб-сайта Django, публикации сайтов с помощью веб-сервера Uvicorn, работе с базами данных PostgreSQL, кэшировании сайтов с помощью Memcached и Redi. Подробно описано создание полнофункционального веб-сайта - электронной доски объявлений, веб-службы, работающей в его составе, и тестового фронтенда для нее, написанного на Angular. Электронное приложение-архив на сайте издательства содержит коды всех примеров.

Книга посвящена разработке веб-сайтов на языке Python с применением веб-фреймворка Django. Представлены новинки Django 4 и дано наиболее полное описание его инструментов: моделей, контролеров, шаблонов, средств обработки пользовательского ввода, включая выгруженные файлы, разграничения доступа, посредников, сигналов, инструментов для отправки электронной почты, кэширования и пр. Рассмотрены дополнительные библиотеки, производящие обработку BBCode, CAPTCHA, вывод графических миниатюр, аутентификацию через социальные сети (в частности, “ВКонтакте”), интеграцию с Bootstrap. Рассказано о программировании веб-служб REST, использовании и настройке административного веб-сайта Django, публикации сайтов с помощью веб-сервера Uvicorn, работе с базами данных PostgreSQL, локализации строк, форматов и временных зон. Подробно описано создание полнофункционального веб-сайта — электронной доски объявлений.Электронное приложение-архив на сайте издательства содержит коды всех примеров.

Раскройте возможности PyCharm для создания деловых, научных и веб-приложений на Python!PyCharm – лучшая профессиональная среда разработки для программистов Python среди множества доступных интегрированных сред. Независимо от того, в каких целях используется Python – для общих задач автоматизации, создания утилит, веб-приложений, анализа данных, машинного обучения или бизнес-приложений, – инструменты PyCharm упрощают выполнение сложных задач и оптимизируют общую производительность.В процессе чтения вы:• изучите базовые и расширенные функции PyCharm;• установите, сконфигурируете и настроите в PyCharm свои проекты Python;• узнаете, как разрабатывать веб-приложения с помощью Flask, Django, FastAPI и Pyramid;• откроете для себя возможности PyCharm по управлению базами данных и визуализации данных;• освоите автоматизацию написания кода, отладку и удаленную разработку в PyCharm;• научитесь выполнять задачи по обработке данных с помощью блокнотов Jupyter, NumPy и pandas.Книга адресована как опытным разработчикам на Python, так и новичкам.

Книга посвящена основам использования новой версии популярной системы управления веб-сайтами Joomla! версии 1.5 с открытым исходным кодом. Подробно рассматриваются такие темы, как инсталляция Joomla! в разных средах, настройка языка и шаблонов, операции и конфигурирование административной области, настройка меню Site, Menus, Content, Components, Extensions и Tools, система расширений Joomla!. Немалое внимание уделяется построению собственных шаблонов и расширений, а также концепции свободы от барьеров в отношении веб-сайтов. Представленный пример полного цикла разработки веб-сайта поможет лучше усвоить материал. Книга "Создание веб-сайтов с помощью Joomla! 1.5" рассчитана на дизайнеров разной квалификации, а также будет полезна студентам и преподавателям дисциплин, связанных с разработкой веб-сайтов.

В этой книге вы найдете все, что необходимо знать для создания отличных веб-сайтов. Начав с изучения принципов функционирования Интернета и веб-страниц, к концу книги вы освоите приемы создания сложных сайтов, включая таблицы стилей CSS и графические файлы, и научитесь размещать страницы во Всемирной паутине. Книга включает упражнения, с помощью которых вы освоите разнообразные техники работы с современными веб-стандартами (включая HTML5 и CSS3). На диске - описанные в книге программы и примеры. 4-е издание.