FMZプラットフォーム上の Python クローラーアプリケーションの予備調査 -- Binance 発表のコンテンツをクローリング

FMZプラットフォーム上で Python クローラーアプリケーションの予備調査 Binance 発表のコンテンツをクローリング

最近,コミュニティとライブラリでPythonクローラーに関する関連情報がないことを見て,QUANTの全方位開発の精神に基づいて,クローラーに関連するいくつかのコンセプトと知識を簡単に学びました.少し理解した後,クローラー技術の穴がかなり大きいことを発見しました.この記事は,クローラー技術の予備的な研究のためにのみです. クローラー技術についてのFMZ Quant Tradingプラットフォーム上で最も簡単な練習を行います.

需要

新しい株を購読したい人は,常に最初に取引所の通貨情報を入手することを希望しています.人々は常に取引所のウェブサイトを監視することは明らかに非現実的です.その後,あなたは,スクリプトをクリックして取引所の発表ページを監視し,新しい発表を検出する必要があります.

予備調査

スタートするには非常に簡単なプログラムが使用されます (本当に強力なクローラースクリプトははるかに複雑なので,まず時間をかけてください). プログラムのロジックは非常にシンプルです. プログラムが交換の発表ページに常にアクセスし,得られる HTML コンテンツを解析し,特定のラベルコンテンツが更新されているかどうかを検出することができます.

実施コード

しかし,要求が非常にシンプルなので,直接書き込むこともできます.

次の python ライブラリを使用する必要があります.

```Bs4```, which can be simply understood as a library used to parse HTML code on web pages.

Code:

bs4からのインポート BeautifulSoup 輸入申請

urlBinance 発表 = https://www.binancezh.io/en/support/announcement/c-48?navId=48”#Binanceの発表ページのアドレス

def openUrl ((url): オープンURL (URL): header = {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, Geckoのように) Chrome/63.0.3239.108 Safari/537.36} r = requests.get(url, headers=headers) # リクエストライブラリを使用して,URL,すなわちBinanceの広告ページのアドレスにアクセスしてください if r.status_code == 200: このコードは r.coding = utf-8 # ログ 成功を! r.text を返します # アクセスが成功した場合,ページのコンテンツのテキストを返します その他: ログは失敗しました.

定義 メイン (: preNews_href = lastNews = ログ (監視...,URLBinance発表,#FF0000) と True の間: オープンURL (WEB 公開URL (WEB ビナンスの発表) もし ret: soup = BeautifulSoup ((ret, html.parser) # Webテキストをオブジェクトに解析する 最新ニュースhref = soup.find クラス特定のタグを探して,href を取得します. lastNews = soup.find ((a, class_=css-1ej4hfo).get_text() # このタグのコンテンツを取得 if preNews_href == : preNews_href = ラストニュース_href if preNews_href!= lastNews_href: # ラベル変更が検出されたときに新しい通知が生成されます ログ ((新しい暗号通貨リスト更新!) #プロンプトメッセージをプリント preNews_href = ラストニュース_href ログステータス ((_D(), \n, preNews_href:, preNews_href, \n, news:, lastNews) 睡眠 (1000 * 10) `

オペレーション

広告の新しい通貨を分析し,新しい株式の購読を自動的に注文します.