Machine de retour - Wayback Machine

Machine de retour
Texte stylisé indiquant : "MACHINE DE CHEMINEMENT D'ARCHIVE INTERNET".  Le texte est en noir, sauf pour "WAYBACK", qui est en rouge.
Type de site
Archiver
Zone servie Dans le monde entier ( sauf Chine et Bahreïn )
Propriétaire Archives Internet
URL web .archive .org Modifiez ceci sur Wikidata
Inscription Optionnel
Lancé 12 mai 1996 ; il y a 25 ans (privé) 24 octobre 2001 ; il y a 19 ans (public) ( 1996-05-12 )
 ( 2001-10-24 )
Statut actuel actif
Écrit en Java , Python

La Wayback Machine est une archive numérique du World Wide Web . Elle a été fondée par Internet Archive , une bibliothèque à but non lucratif basée à San Francisco , en Californie . Créé en 1996 et lancé au public en 2001, il permet à l'utilisateur de « remonter le temps » et de voir à quoi ressemblaient les sites Web dans le passé. Ses fondateurs, Brewster Kahle et Bruce Gilliat , ont développé la Wayback Machine pour fournir « un accès universel à toutes les connaissances » en préservant des copies archivées de pages Web défuntes.

Depuis sa création en 1996, plus de 613 milliards de pages ont été ajoutées aux archives. Le service a également suscité une controverse quant à savoir si la création de pages archivées sans l'autorisation du propriétaire constitue une violation du droit d'auteur dans certaines juridictions.

Histoire

La Wayback Machine a commencé à archiver les pages Web mises en cache le 12 mai 1996, dans le but de rendre le service public cinq ans plus tard.

Les fondateurs d' Internet Archive, Brewster Kahle et Bruce Gilliat, ont lancé la Wayback Machine à San Francisco , en Californie , en octobre 2001, principalement pour résoudre le problème de la disparition du contenu des sites Web chaque fois qu'il est modifié ou lorsqu'un site Web est fermé. Le service permet aux utilisateurs de voir les versions archivées de pages Web dans le temps, que l'archive appelle un "index tridimensionnel". Kahle et Gilliat ont créé la machine dans l'espoir d'archiver l'intégralité d'Internet et de fournir "un accès universel à toutes les connaissances". Le nom "Wayback Machine" fait référence à un dispositif fictif de voyage dans le temps et de traduction, la " Wayback Machine ", utilisé par les personnages Mister Peabody et Sherman dans le dessin animé Les Aventures de Rocky et Bullwinkle and Friends . Dans l'un des segments du dessin animé, "L'histoire improbable de Peabody", les personnages ont utilisé la machine pour assister, participer et souvent modifier des événements célèbres de l'histoire.

De 1996 à 2001, les informations ont été conservées sur bande numérique, Kahle permettant occasionnellement aux chercheurs et aux scientifiques de puiser dans la base de données « maladroite » . Lorsque les archives ont atteint leur cinquième anniversaire en 2001, elles ont été dévoilées et ouvertes au public lors d'une cérémonie à l' Université de Californie à Berkeley . Au moment où la Wayback Machine a été lancée, elle contenait déjà plus de 10 milliards de pages archivées. Les données sont stockées sur le grand cluster de nœuds Linux d'Internet Archive . Il revisite et archive à l'occasion de nouvelles versions de sites Web (voir les détails techniques ci-dessous). Les sites peuvent également être capturés manuellement en saisissant l' URL d' un site Web dans la zone de recherche, à condition que le site Web permette à la Wayback Machine de le "explorer" et d'enregistrer les données.

Le 30 octobre 2020, la Wayback Machine a commencé à vérifier le contenu.

Détails techniques

Un logiciel a été développé pour « explorer » le Web et télécharger toutes les informations et tous les fichiers de données accessibles au public sur les pages Web, la hiérarchie Gopher , le système de babillard Netnews (Usenet) et les logiciels téléchargeables. Les informations recueillies par ces « crawlers » n'incluent pas toutes les informations disponibles sur Internet, car une grande partie des données sont restreintes par l'éditeur ou stockées dans des bases de données non accessibles. Pour surmonter les incohérences des sites Web partiellement mis en cache, Archive-It.org a été développé en 2005 par Internet Archive afin de permettre aux institutions et aux créateurs de contenu de récolter et de préserver volontairement des collections de contenu numérique et de créer des archives numériques.

Les crawls proviennent de diverses sources, certaines importées de tiers et d'autres générées en interne par l'Archive. Par exemple, les crawls sont fournis par la Sloan Foundation et Alexa , les crawls gérés par IA pour le compte de NARA et de l' Internet Memory Foundation , miroirs de Common Crawl . Les "Worldwide Web Crawls" fonctionnent depuis 2010 et capturent le Web mondial.

La fréquence des captures d'instantanés varie selon le site Web. Les sites Web figurant dans les "Worldwide Web Crawls" sont inclus dans une "liste d'exploration", le site étant archivé une fois par exploration. Un crawl peut prendre des mois, voire des années, selon la taille. Par exemple, "Wide Crawl Number 13" a commencé le 9 janvier 2015 et s'est terminé le 11 juillet 2016. Cependant, plusieurs explorations peuvent être en cours à la fois et un site peut être inclus dans plusieurs listes d'exploration, la fréquence d'exploration d'un site varie donc considérablement.

Depuis octobre 2019, les utilisateurs sont limités à 5 demandes d'archivage et récupérations par minute.

Capacité de stockage et croissance

Au fur et à mesure que la technologie s'est développée au fil des ans, la capacité de stockage de la Wayback Machine a augmenté. En 2003, après seulement deux ans d'accès public, la Wayback Machine grandissait à un rythme de 12 téraoctets/mois. Les données sont stockées sur des systèmes de rack PetaBox conçus sur mesure par le personnel d'Internet Archive. Le premier rack de 100 To est devenu pleinement opérationnel en juin 2004, bien qu'il soit rapidement devenu évident qu'il aurait besoin de beaucoup plus de stockage que cela.

Internet Archive a migré son architecture de stockage personnalisée vers Sun Open Storage en 2009 et héberge un nouveau centre de données dans un centre de données modulaire Sun sur le campus californien de Sun Microsystems . En 2009, la Wayback Machine contenait environ trois pétaoctets de données et augmentait à un rythme de 100 téraoctets chaque mois.

Une nouvelle version améliorée de la Wayback Machine, avec une interface mise à jour et un index plus récent du contenu archivé, a été mise à disposition pour des tests publics en 2011, où les captures apparaissent dans une disposition de calendrier avec des cercles dont la largeur visualise le nombre de crawls chaque jour, mais pas de marquage des doublons avec des astérisques ou une page de recherche avancée. Des fonctionnalités telles que « Modifications », « Résumé » et une carte graphique du site ont été ajoutées par la suite.

En mars de la même année, il a été dit sur le forum Wayback Machine que « la version bêta de la nouvelle Wayback Machine a un index plus complet et à jour de tous les documents explorés jusqu'en 2010, et continuera d'être mis à jour régulièrement. L'index conduire la Wayback Machine classique n'a que peu de matériel après 2008, et aucune autre mise à jour de l'index n'est prévue, car elle sera progressivement supprimée cette année. » Toujours en 2011, Internet Archive a installé sa sixième paire de racks PetaBox, ce qui a augmenté la capacité de stockage de la Wayback Machine de 700 téraoctets.

En janvier 2013, la société a annoncé un jalon révolutionnaire de 240 milliards d'URL.

En octobre 2013, l'entreprise a introduit la fonctionnalité « Enregistrer une page » qui permet à tout internaute d'archiver le contenu d'une URL, et génère rapidement un lien permanent contrairement à la fonctionnalité liveweb précédente .

En décembre 2014, la Wayback Machine contenait 435 milliards de pages Web, soit près de neuf pétaoctets de données, et augmentait d'environ 20 téraoctets par semaine.

En mars 2015, les chercheurs en sécurité ont pris conscience de la menace posée par l' hébergement involontaire par le service de fichiers binaires malveillants provenant de sites archivés.

En juillet 2016, la Wayback Machine aurait contenu environ 15 pétaoctets de données.

En septembre 2018, la Wayback Machine contenait plus de 25 pétaoctets de données.

En décembre 2020, la Wayback Machine contenait plus de 70 pétaoctets de données.

Croissance de Wayback Machine
Machine Wayback par année Pages archivées (milliards)
2005
40
2008
85
2012
150
2013
373
2014
400
2015
452
2020
514

Entre octobre 2013 et mars 2015, le classement mondial Alexa du site Web est passé de 163 à 208. En mars 2019, le classement était de 244.

Politique d'exclusion de sites Web

Historiquement, la Wayback Machine a respecté la norme d'exclusion des robots (robots.txt) pour déterminer si un site Web serait exploré – ou s'il était déjà exploré, si ses archives seraient accessibles au public. Les propriétaires de sites Web avaient la possibilité de désactiver Wayback Machine en utilisant robots.txt. Il a appliqué les règles robots.txt de manière rétroactive ; si un site bloquait Internet Archive, toutes les pages précédemment archivées du domaine étaient également immédiatement rendues indisponibles. En outre, Internet Archive a déclaré que "Parfois, un propriétaire de site Web nous contacte directement et nous demande d'arrêter d'explorer ou d'archiver un site. Nous nous conformons à ces demandes." En outre, le site Web indique : " Internet Archive n'est pas intéressé à préserver ou à offrir l'accès à des sites Web ou à d'autres documents Internet de personnes qui ne souhaitent pas que leurs documents soient inclus dans la collection. "

Le 17 avril 2017, des rapports ont fait surface sur des sites disparus et devenus des domaines parqués qui utilisaient robots.txt pour s'exclure des moteurs de recherche, ce qui les a exclus par inadvertance de la Wayback Machine. L'archive Internet a modifié la politique pour exiger désormais une demande d'exclusion explicite pour la supprimer de la Wayback Machine.

Politique d'archivage d'Oakland

La politique d'exclusion rétroactive de Wayback est basée en partie sur les recommandations pour la gestion des demandes de suppression et la préservation de l'intégrité des archives publiées par la School of Information Management and Systems de l' Université de Californie à Berkeley en 2002, qui donne au propriétaire d'un site Web le droit de bloquer l'accès aux archives du site. . Wayback s'est conformé à cette politique pour éviter des litiges coûteux.

La politique d'exclusion rétroactive de Wayback a commencé à s'assouplir en 2017, lorsqu'elle a cessé d'honorer robots.txt sur les sites Web du gouvernement américain et de l'armée pour l'exploration et l'affichage des pages Web. Depuis avril 2017, Wayback ignore plus largement robots.txt, pas seulement pour les sites Web du gouvernement américain.

Les usages

Depuis son lancement public en 2001, la Wayback Machine a été étudiée par des universitaires à la fois pour la manière dont elle stocke et collecte des données ainsi que pour les pages réelles contenues dans ses archives. En 2013, les chercheurs avaient écrit environ 350 articles sur la Wayback Machine, principalement dans les domaines des technologies de l'information, de la bibliothéconomie et des sciences sociales. Des chercheurs en sciences sociales ont utilisé la Wayback Machine pour analyser comment le développement de sites Web du milieu des années 90 à nos jours a affecté la croissance de l'entreprise.

Lorsque la Wayback Machine archive une page, elle inclut généralement la plupart des hyperliens, gardant ces liens actifs alors qu'ils auraient tout aussi facilement pu être rompus par l'instabilité d'Internet. Des chercheurs indiens ont étudié l'efficacité de la capacité de la Wayback Machine à enregistrer des hyperliens dans des publications savantes en ligne et ont constaté qu'elle en enregistrait un peu plus de la moitié.

"Les journalistes utilisent la Wayback Machine pour afficher des sites Web morts, des reportages datés et des modifications apportées au contenu des sites Web. Son contenu a été utilisé pour tenir les politiciens responsables et exposer les mensonges du champ de bataille." En 2014, une page de médias sociaux archivée d' Igor Girkin , un chef rebelle séparatiste en Ukraine, l'a montré se vantant que ses troupes avaient abattu un avion militaire ukrainien présumé avant qu'il ne soit connu que l'avion était en fait un avion civil de Malaysian Airlines ( Malaysia Airlines Vol 17 ), après quoi il a supprimé le message et a reproché à l'armée ukrainienne d'avoir abattu l'avion. En 2017, la Marche pour la science est née d'une discussion sur Reddit qui indiquait que quelqu'un avait visité Archive.org et découvert que toutes les références au changement climatique avaient été supprimées du site Web de la Maison Blanche. En réponse, un utilisateur a commenté : « Il doit y avoir une marche des scientifiques sur Washington ».

De plus, le site est largement utilisé pour la vérification, donnant accès aux références et à la création de contenu par les éditeurs de Wikipédia .

En septembre 2020, un partenariat a été annoncé avec Cloudflare pour archiver automatiquement les sites Web desservis via son service "Always Online", qui lui permettra également de diriger les utilisateurs vers sa copie du site s'il ne peut pas atteindre l'hébergeur d'origine.

Limites

En 2014, il y a eu un décalage de six mois entre le moment où un site Web a été exploré et le moment où il est devenu disponible pour consultation dans la Wayback Machine. Actuellement, le temps de latence est de 3 à 10 heures. La Wayback Machine n'offre que des possibilités de recherche limitées. Sa fonction « Recherche sur le site » permet aux utilisateurs de trouver un site basé sur des mots décrivant le site, plutôt que sur des mots trouvés sur les pages Web elles-mêmes.

La Wayback Machine n'inclut pas toutes les pages Web jamais créées en raison des limitations de son robot d'exploration Web. La Wayback Machine ne peut pas archiver complètement les pages Web contenant des fonctionnalités interactives telles que des plates-formes Flash et des formulaires écrits en JavaScript et des applications Web progressives , car ces fonctions nécessitent une interaction avec le site Web hôte. Cela signifie que, depuis juin 2013, la Wayback Machine n'est pas en mesure d'afficher les commentaires YouTube lors de l'enregistrement des pages YouTube, car, selon l'équipe d'archivage, les commentaires ne sont plus "chargés dans la page elle-même". Le robot d'exploration Web de la Wayback Machine a du mal à extraire tout ce qui n'est pas codé en HTML ou dans l'une de ses variantes, ce qui peut souvent entraîner des liens hypertexte brisés et des images manquantes. Pour cette raison, le robot d'indexation ne peut pas archiver les "pages orphelines" qui ne sont pas liées par d'autres pages. Le robot d'exploration de la Wayback Machine ne suit qu'un nombre prédéterminé d'hyperliens en fonction d'une limite de profondeur prédéfinie, il ne peut donc pas archiver chaque hyperlien sur chaque page.

Depuis avril 2018, les membres du personnel administratif de l'équipe d'archivage de Wayback Machine ont appliqué la règle du quart de mois, en supprimant occasionnellement des intervalles de temps de 23 jours ou 39 jours (3/4 et 5/4 d'un mois, respectivement), afin de réduire le taille de la file d'attente.

En preuve légale

Litige civil

Netbula LLC c. Chordiant Software Inc.

Dans une affaire de 2009, Netbula, LLC c. Chordiant Software Inc. , le défendeur Chordiant a déposé une requête pour obliger Netbula à désactiver le fichier robots.txt sur son site Web, ce qui obligeait la Wayback Machine à supprimer rétroactivement l'accès aux versions précédentes des pages qu'il avait. archivées sur le site de Netbula, des pages qui, selon Chordiant, soutiendraient sa cause.

Netbula s'est opposé à la requête au motif que les défendeurs demandaient de modifier le site Web de Netbula et qu'ils auraient dû assigner directement Internet Archive pour les pages. Un employé d'Internet Archive a cependant déposé une déclaration sous serment à l'appui de la requête de Chordiant, affirmant qu'il ne pouvait pas produire les pages Web par d'autres moyens "sans charge, dépenses et interruption considérables de ses opérations".

Le juge d'instance Howard Lloyd du district nord de Californie, division de San Jose, a rejeté les arguments de Netbula et leur a ordonné de désactiver temporairement le blocage robots.txt afin de permettre à Chordiant de récupérer les pages archivées qu'ils recherchaient.

Telewizja Polska USA, Inc. contre Echostar Satellite

Dans une affaire d'octobre 2004, Telewizja Polska USA, Inc. v. Echostar Satellite , No. 02 C 3293, 65 Fed. R. Evid. Serv. 673 (ND Ill. 15 octobre 2004), un plaideur a tenté d'utiliser les archives de Wayback Machine comme source de preuve admissible, peut-être pour la première fois. Telewizja Polska est le fournisseur de TVP Polonia et EchoStar exploite le Dish Network . Avant le procès, EchoStar a indiqué qu'elle avait l'intention de proposer des instantanés de Wayback Machine comme preuve du contenu passé du site Web de Telewizja Polska. Telewizja Polska a présenté une requête in limine pour supprimer les instantanés au motif de ouï - dire et de source non authentifiée, mais le juge d'instance Arlander Keys a rejeté l'affirmation de Telewizja Polska de ouï-dire et a rejeté la requête en limine de TVP pour exclure les preuves au procès. Au procès, cependant, le juge du tribunal de district Ronald Guzman, le juge du procès, a infirmé les conclusions du magistrat Keys et a statué que ni l'affidavit de l'employé d'Internet Archive ni les pages sous-jacentes (c'est-à-dire le site Web de Telewizja Polska) n'étaient admissibles en tant que preuve. Le juge Guzman a estimé que l'affidavit de l'employé contenait à la fois du ouï-dire et des déclarations à l'appui non concluantes, et que la prétendue page Web, les imprimés ne s'auto-authentifiaient pas.

Droit des brevets

À condition que certaines exigences supplémentaires soient remplies (par exemple, fournir une déclaration officielle de l'archiviste), l' office des brevets des États-Unis et l' Office européen des brevets accepteront les timbres à date de l'Internet Archive comme preuve du moment où une page Web donnée était accessible au public. Ces dates sont utilisées pour déterminer si une page Web est disponible en tant qu'art antérieur, par exemple lors de l'examen d'une demande de brevet.

Limites d'utilité

Il existe des limitations techniques à l'archivage d'un site Web et, par conséquent, les parties adverses au litige peuvent abuser des résultats fournis par les archives du site Web. Ce problème peut être exacerbé par la pratique consistant à soumettre des captures d'écran de pages Web dans les plaintes, les réponses ou les rapports d'experts lorsque les liens sous-jacents ne sont pas exposés et peuvent donc contenir des erreurs. Par exemple, les archives telles que la Wayback Machine ne remplissent pas de formulaires et n'incluent donc pas le contenu des bases de données de commerce électronique non RESTful dans leurs archives.

Statut légal

En Europe, la Wayback Machine pourrait être interprétée comme une violation des lois sur le droit d' auteur . Seul le créateur de contenu peut décider où son contenu est publié ou dupliqué, de sorte que l'Archive devrait supprimer des pages de son système à la demande du créateur. Les politiques d'exclusion de la Wayback Machine se trouvent dans la section FAQ du site.

Problèmes juridiques liés au contenu archivé

Certains cas ont été intentés contre Internet Archive spécifiquement pour ses efforts d'archivage Wayback Machine.

Scientologie

À la fin de 2002, Internet Archive a supprimé divers sites critiques de la Scientologie de la Wayback Machine. Un message d'erreur indiquait qu'il s'agissait d'une réponse à une "demande du propriétaire du site". Plus tard, il a été précisé que les avocats de l' Église de Scientologie avaient demandé le retrait et que les propriétaires du site ne voulaient pas que leur matériel soit retiré.

Défenseurs de la santé, Inc.

En 2003, Harding Earley Follmer & Frailey a défendu un client d'un litige de marque en utilisant la Wayback Machine des archives. Les avocats ont pu démontrer que les réclamations faites par le demandeur étaient invalides, sur la base du contenu de leur site Web de plusieurs années auparavant. Le plaignant, Healthcare Advocates, a ensuite modifié sa plainte pour inclure Internet Archive, accusant l'organisation de violation du droit d'auteur ainsi que de violations du DMCA et du Computer Fraud and Abuse Act . Healthcare Advocates a affirmé que, puisqu'ils avaient installé un fichier robots.txt sur leur site Web, même si après le dépôt du procès initial, les archives auraient dû supprimer toutes les copies précédentes du site Web du demandeur de la Wayback Machine, cependant, certains éléments ont continué à être visible publiquement sur Wayback. Le procès a été réglé à l'amiable après que Wayback ait résolu le problème.

Suzanne Coquille

L'activiste Suzanne Shell a déposé une plainte en décembre 2005, exigeant qu'Internet Archive lui paie 100 000 $ US pour l'archivage de son site Web profane-justice.org entre 1999 et 2004. Internet Archive a déposé une action en jugement déclaratoire devant le tribunal de district des États-Unis pour le district nord de Californie le 20 janvier 2006, cherchant à obtenir une décision judiciaire selon laquelle Internet Archive n'a pas violé les droits d' auteur de Shell . Shell a répondu et a intenté une action reconventionnelle contre Internet Archive pour avoir archivé son site, ce qui, selon elle, est en violation de ses conditions d'utilisation . Le 13 février 2007, un juge du tribunal de district des États-Unis pour le district du Colorado a rejeté toutes les demandes reconventionnelles, à l'exception de la rupture de contrat . L'Internet Archive n'a pas décidé de rejeter les allégations de violation du droit d'auteur invoquées par Shell en raison de ses activités de copie, qui allaient également de l'avant.

Le 25 avril 2007, Internet Archive et Suzanne Shell ont annoncé conjointement le règlement de leur action en justice. L'Internet Archive a déclaré qu'il "... n'a aucun intérêt à inclure dans la Wayback Machine des documents de personnes qui ne souhaitent pas que leur contenu Web soit archivé. Nous reconnaissons que Mme Shell a un droit d'auteur valide et exécutoire sur son site Web et nous regrette que l'inclusion de son site Web dans la Wayback Machine ait entraîné ce litige." Shell a déclaré : « Je respecte la valeur historique de l'objectif d'Internet Archive. Je n'ai jamais eu l'intention d'interférer avec cet objectif ni de lui causer le moindre tort.

Daniel Davydiuk

Entre 2013 et 2016, un acteur pornographique nommé Daniel Davydiuk a tenté de retirer des images archivées de lui-même des archives de la Wayback Machine, d'abord en envoyant plusieurs demandes DMCA aux archives, puis en faisant appel à la Cour fédérale du Canada .

Censure et autres menaces

archive.org est actuellement bloqué en Chine . Après l'interdiction de l'organisation terroriste État islamique, Internet Archive a été bloqué dans son intégralité en Russie en tant qu'hôte d'une vidéo de sensibilisation de cette organisation, pendant une courte période en 2015-2016. Depuis 2016, le site Web est de retour, disponible dans son intégralité, bien que des lobbyistes commerciaux locaux poursuivent Internet Archive devant un tribunal local pour l'interdire pour des raisons de droit d'auteur.

Alison Macrina , directrice du Library Freedom Project, note que « bien que les bibliothécaires accordent une grande importance à la vie privée des individus, nous nous opposons également fermement à la censure ».

Il existe au moins un cas dans lequel un article a été supprimé des archives peu de temps après avoir été supprimé de son site Web d'origine. Un journaliste du Daily Beast avait écrit un article qui dénonçait plusieurs athlètes olympiens homosexuels en 2016 après avoir créé un faux profil se faisant passer pour un homme gay sur une application de rencontres. Le Daily Beast a supprimé l'article après qu'il ait suscité une fureur généralisée; peu de temps après, Internet Archive a fait de même, mais a déclaré avec insistance qu'ils l'avaient fait pour aucune autre raison que de protéger la sécurité des athlètes éliminés.

D'autres menaces incluent les catastrophes naturelles, la destruction (à distance ou physique), la manipulation du contenu de l'archive (voir aussi : cyberattaque , sauvegarde ), les lois problématiques sur le droit d'auteur et la surveillance des utilisateurs du site.

Alexander Rose, directeur exécutif de la Long Now Foundation , soupçonne qu'à long terme, plusieurs générations « presque rien » survivront de manière utile, déclarant : « Si nous avons une continuité dans notre civilisation technologique, je soupçonne que beaucoup de les données nues resteront trouvables et consultables. Mais je soupçonne que presque rien du format dans lequel elles ont été livrés ne sera reconnaissable" car les sites "avec des back-ends profonds de systèmes de gestion de contenu comme Drupal, Ruby et Django" sont plus difficiles à archiver.

Dans un article réfléchissant sur la préservation des connaissances humaines, The Atlantic a commenté que l'Internet Archive, qui se décrit comme étant construit pour le long terme, "travaille avec acharnement pour capturer des données avant qu'elles ne disparaissent sans aucune infrastructure à long terme pour parler de."

Voir également

Les références

Liens externes