Vorläufige Erforschung der Python Crawler Applikation auf der FMZ Plattform -- Crawling der Inhalte von Binance Ankündigung

Vorläufige Erforschung der Python Crawler-Anwendung auf der FMZ-Plattform Crawling der Inhalte von Binance Ankündigung

Vor kurzem habe ich gesehen, dass es keine relevanten Informationen über Python-Crawler in der Community und Bibliothek gibt, basierend auf dem Geist der Allround-Entwicklung von QUANT, habe ich einige Konzepte und Kenntnisse im Zusammenhang mit Crawlern einfach gelernt. Nach einigem Verständnis habe ich festgestellt, dass die pit der crawler-Technologie ziemlich groß ist. Dieser Artikel ist nur für die vorläufige Untersuchung der crawler-Technologie. Machen Sie die einfachste Übung auf der FMZ Quant Trading-Plattform über die Crawler-Technologie.

Nachfrage

Für diejenigen, die gerne neue Aktien abonnieren, hoffen sie immer, die Informationen über die Währung an der Börse beim ersten Mal zu erhalten. Es ist offensichtlich unrealistisch für Menschen, die Börse-Website die ganze Zeit zu überwachen. Dann müssen Sie das Crawler-Skript verwenden, um die Börsenankündigungsseite zu überwachen und neue Ankündigungen zu erkennen, damit Sie beim ersten Mal benachrichtigt und erinnert werden können.

Vorläufige Erkundung

Ein sehr einfaches Programm wird verwendet, um zu starten (ein wirklich leistungsstarkes Crawler-Skript ist viel komplexer, also nehmen Sie sich zuerst Zeit). Die Programmlogik ist sehr einfach. Es ermöglicht dem Programm, ständig auf die Ankündigungsseite der Börse zuzugreifen, den erhaltenen HTML-Inhalt zu analysieren und zu erkennen, ob der spezifische Label-Inhalt aktualisiert wird.

Durchführungscode

Sie können einige nützliche Crawler-Frameworks verwenden. Da die Anforderungen jedoch sehr einfach sind, können Sie sie direkt schreiben.

Die folgenden Python-Bibliotheken müssen verwendet werden:

```Bs4```, which can be simply understood as a library used to parse HTML code on web pages.

Code:

aus bs4 importieren BeautifulSoup Einfuhranträge

UrlBinanceAnkündigung = https://www.binancezh.io/en/support/announcement/c-48?navId=48”# Binance Ankündigungsseite Adresse

Definition von offen Url: Überschriften = {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/63.0.3239.108 Safari/537.36} r = Requests.get(url, headers=headers) # Verwenden Sie die Requests-Bibliothek, um auf die URL zuzugreifen, d.h. die Adresse der Binance-Ankündigungsseite wenn r.status_code == 200: r.coding = utf-8 # Log ((Erfolg! {}.format ((url)) return r.text # Text des Inhalts der Seite zurückgeben, wenn der Zugriff erfolgreich ist andere: Log ((fehlgeschlagen {}.format ((url))

Definition der Haupt*: PreNews_href = lastNews = Log ((watching..., urlBinanceAnkündigung, #FF0000) während True: - Das ist nicht wahr. wenn ret: soup = BeautifulSoup ((ret, html.parser) # Parsieren von Webtext in Objekte Letzte Nachrichtenhref = soup.find ((a, Klasse=css-1ej4hfo) [href] # Finden Sie ein bestimmtes Tag, erhalten Sie href lastNews = soup.find(a, class_=css-1ej4hfo).get_text() # Holen Sie sich den Inhalt in diesem Tag wenn preNews_href == : PreNews_href = letzteNews_href if preNews_href!= lastNews_href: # Eine neue Ankündigung wird generiert, wenn eine Etikettenänderung erkannt wird Log ((Neue Kryptowährungsliste aktualisiert!) # Drucken Sie die Eilmeldung PreNews_href = letzteNews_href LogStatus ((_D(), \n, preNews_href:, preNews_href, \n, news:, lastNews) Schlaf ((1000 * 10) `

Betrieb

Sie kann beispielsweise verlängert werden, wenn eine neue Ankündigung erkannt wird.