grattant - Scrapy
 | |
| Développeur(s) | Zyte (anciennement Scrapinghub) |
|---|---|
| Première version | 26 juin 2008 |
| Version stable | 2.5.0 
/ 6 avril 2021
|
| Dépôt | |
| Écrit en | Python |
| Système opérateur | Windows , macOS , Linux |
| Taper | Robot d'indexation Web |
| Licence | Licence BSD |
| Site Internet |
scrapy
|
Scrapy ( / s k r eɪ p aɪ / SKRAY -peye ) est une source libre et open -exploration du Web cadre écrit en Python. Conçu à l'origine pour le scraping Web, il peut également être utilisé pour extraire des données à l'aide d' API ou en tant que robot d'exploration Web à usage général. Il est actuellement maintenu par Zyte, anciennement Scrapinghub , une société de développement et de services de grattage Web.
L'architecture du projet Scrapy est construite autour des "araignées", qui sont des robots d'exploration autonomes qui reçoivent un ensemble d'instructions. En suivant l'esprit d'autres frameworks ne vous répétez pas , tels que Django , il facilite la construction et la mise à l'échelle de grands projets d'exploration en permettant aux développeurs de réutiliser leur code. Scrapy fournit également un shell d' exploration Web , qui peut être utilisé par les développeurs pour tester leurs hypothèses sur le comportement d'un site.
Certaines sociétés et produits bien connus utilisant Scrapy sont : Lyst , Parse.ly , Sayone Technologies , Sciences Po Medialab, le site World Government Data de Data.gov.uk. [1]
Histoire
Scrapy est né dans la société d'agrégation Web et de commerce électronique basée à Londres Mydeco, où il a été développé et maintenu par des employés de Mydeco et d'Insophia (une société de conseil Web basée à Montevideo , en Uruguay). La première version publique a eu lieu en août 2008 sous la licence BSD , avec une sortie d'étape 1.0 en juin 2015. En 2011, Zyte (anciennement Scrapinghub) est devenu le nouveau mainteneur officiel.