جزییات کتاب
تکنیک های خراشیدن وب و خزیدن را برای دسترسی به داده های نامحدود از هر منبع وب در هر قالبی بیاموزید. با این راهنمای عملی، یاد خواهید گرفت که چگونه از اسکریپتهای پایتون و ای پی آی های وب برای جمعآوری و پردازش دادهها از هزاران -یا حتی میلیونها- صفحه وب به طور همزمان استفاده کنید.
این کتاب ایدهآل برای برنامهنویسان، متخصصان امنیت و مدیران وب آشنا با پایتون است، این کتاب نه تنها مکانیکهای اولیه خراش دادن وب را آموزش میدهد، بلکه به موضوعات پیشرفتهتر، مانند تجزیه و تحلیل دادههای خام یا استفاده از اسکراپر برای آزمایش وبسایت فرانتاند نیز میپردازد.
If programming is magic then web scraping is surely a form of wizardry. By writing a simple automated program, you can query web servers, request data, and parse it to extract the information you need. The expanded edition of this practical book not only introduces you web scraping, but also serves as a comprehensive guide to scraping almost every type of data from the modern web.Part I focuses on web scraping mechanics: using Python to request information from a web server, performing basic handling of the server’s response, and interacting with sites in an automated fashion. Part II explores a variety of more specific tools and applications to fit any web scraping scenario you’re likely to encounter.Parse complicated HTML pagesDevelop crawlers with the Scrapy frameworkLearn methods to store data you scrapeRead and extract data from documentsClean and normalize badly formatted dataRead and write natural languagesCrawl through forms and loginsScrape JavaScript and crawl through APIsUse and write image-to-text softwareAvoid scraping traps and bot blockersUse scrapers to test your website