web scraping - cyberdyp.com

Extraction de données et recherche dans Wikipédia, obtenir des résumés d'articles, des liens, des images et plus encore à l'aide de la bibliothèque Wikipédia en Python. Wikipédia est sans aucun doute le plus grand et le plus populaire ouvrage de référence général sur Internet, c'est l'un des sites web les plus populaires. Il présente exclusivement des contenus libres. En conséquence, être en mesure d'accéder à cette grande quantité d'informations en Python est un travail pratique. Dans ce tutoriel, vous serez en mesure d'extraire facilement des informations de Wikipédia sans travailler dur. RELATEDCONNEXES: Comment extraire tous les liens vers le site Web en Python. Je dois mentionner que nous n'allons pas racler les pages Wikipédia manuellement, le wikipediaLe module a déjà fait le travail difficile pour nous. Instalons-le: $ pip3 install wikipedia Ouvrez un shell interactif Python ou un fichier vide et suivez. Nous allons obtenir le résumé de ce que le langage de programmation Python est : import wikipedia # print the summary of what python is print(wikipedia.summary("Python Programming Language")) Cela extrairea le résumé de cette page wikipédia. Plus précisément, il imprimera quelques premières phrases, nous pouvons spécifier le nombre de sentencespour extraire: In [2]: wikipedia.summary("Python programming languag", sentences=2) Out[2]: "Python is an interpreted, high-level, general-purpose programming language. Created by Guido van Rossum and first released in 1991, Python's design philosophy emphasizes code readability with its notable use of significant whitespace." Remarquez que j'ai mal orthographié la requête intentionnellement, elle me donne toujours un résultat précis. Recherche d'un terme dans la recherche Wikipédia: In [3]: result = wikipedia.search("Neural networks") In [4]: print(result) ['Neural network', 'Artificial neural network', 'Convolutional neural network', 'Recurrent neural network', 'Rectifier (neural networks)', 'Feedforward neural network', 'Neural circuit', 'Quantum neural network', 'Dropout (neural networks)', 'Types of artificial neural networks'] Celui-ci renvoya une liste de titres de pages connexes, let est obtenir toute la page pour "Neural network"qui est result[0]: # get the page: Neural network page = wikipedia.page(result[0]) Extraction de la title: # get the title of the page title = page.title Obtenir toutes les catégories de cette page Wikipédia: # get the categories of the page categories = page.categories Extraire le texte après avoir supprimé toutes les balises HTML (cela est fait automatiquement): # get the whole wikipedia page text (content) content = page.content Tous les liens: # get all the links in the page links = page.links Les références: # get the page references references = page.references Enfin, le résumé: # summary summary = page.summary Nous les imprimons : # print info print("Page content:\n", content, "\n") print("Page title:", title, "\n") print("Categories:", categories, "\n") print("Links:", links, "\n") print("References:", references, "\n") print("Summary:", summary, "\n") Essayez-le. Vous pouvez aussi changer la langue dans la bibliothèque wikipédia en Python de l'anglais à l'autre de votre choix : # changing language # for a list of available languages, # check http://meta.wikimedia.org/wiki/List_of_Wikipedias link. language = "es" wikipedia.set_lang(language) # get a page and print the summary in the new language print(f"Summary of web scraping in {language}:", wikipedia.page("Web Scraping").summary) Au-dessus, nous avons changé la langue en utilisant wikipedia.set_lang()fonction, puis extraire nos pages normalement après cela. Pour obtenir une liste des langues disponibles, consultez ce lien. Bon, nous avons fini, c'était une brève introduction à la façon dont vous pouvez extraire des informations de Wikipédia en Python. Cela peut être utile si vous voulez collecter automatiquement des données pour des modèles de langage, faire un chatbot répond aux questions, faire une application d'emballage autour de cela, et bien plus encore.

Catégorie : web scraping

Comment extraire les données de Wikipédia en Python

Comment télécharger toutes les images à partir d’une page Web en Python

Comment extraire tous les liens de site web en Python

Comment faire un extracteur de courrier électronique en Python

Comment obtenir des informations sur les noms de domaine en Python