FMZプラットフォーム Python爬虫類アプリの初探検 - バイアン発表の内容をクロールする

FMZプラットフォーム Python爬虫類は,Biankanの発表内容をクロールする初探偵アプリです.

最近,コミュニティや文庫にPython爬虫類に関する情報がないことを調べたところ,QuANTの全面的な開発精神に基づいたものです. 爬虫類に関する概念や知識について非常に浅々しく学びました. "爬虫類技術"の穴がかなり大きいことを知った後,この記事は"爬虫類技術"の初歩としてのみです. FMZの量化取引プラットフォームで爬虫類技術について最も簡単な実践を行います.

需要

新しいトレーダーにとって,最初に取引所の上場情報を入手したいことは常に望ましい. 人工的に取引所のウェブサイトをじっと見ることは明らかに非現実的です. そこで,需要に応じて爬虫脚本を使用して取引所の発表ページを監視し,新しい発表を検知し,最初の通知,警告を受けるようにしてください.

初めての探検

非常に簡単なプログラムで導入 (真の強力な爬虫脚本ははるかに複雑で,ゆっくりと来る). プログラムの論理は非常にシンプルです. プログラムは,取引所の広告ページを絶えずアクセスし,取得したHTMLコンテンツを解析し,特定のタグのコンテンツが更新されているかどうかを検知します.

実行コード

簡単に簡単に書き込むこともできます. しかし,必要なことは,簡単に書き込むこともできます.

Pythonのライブラリには,以下のファイルが必要です.requestsウェブページにアクセスするためのライブラリです.bs4ウェブページのHTMLコードを解析するライブラリである.

コード:

from bs4 import BeautifulSoup
import requests

urlBinanceAnnouncement = "https://www.binancezh.io/en/support/announcement/c-48?navId=48"  # 币安公告页面地址

def openUrl(url):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'}
    r = requests.get(url, headers=headers)     # 使用requests库访问url，即币安的公告网页地址
    if r.status_code == 200:
        r.encoding = 'utf-8'
        # Log("success! {}".format(url))
        return r.text                          # 访问成功的话返回网页内容文本
    else:
        Log("failed {}".format(url))


def main():
    preNews_href = ""
    lastNews = ""
    Log("watching...", urlBinanceAnnouncement, "#FF0000")
    while True:
        ret = openUrl(urlBinanceAnnouncement)
        if ret:
            soup = BeautifulSoup(ret, 'html.parser')                       # 把网页文本解析为对象
            lastNews_href = soup.find('a', class_='css-1ej4hfo')["href"]   # 查找特定的标签，获取href
            lastNews = soup.find('a', class_='css-1ej4hfo').get_text()     # 获取这个标签中的内容
            if preNews_href == "":
                preNews_href = lastNews_href
            if preNews_href != lastNews_href:                              # 检测到标签发生变动，即有新的公告产生
                Log("New Cryptocurrency Listing update!")                  # 打印提示信息
                preNews_href = lastNews_href
        LogStatus(_D(), "\n", "preNews_href:", preNews_href, "\n", "news:", lastNews)
        Sleep(1000 * 10)

実行する

また,新しい広告が表示されていることを検出するなど,さらに拡張することもできます. 広告に追加された新通貨を分析し,自動的に新しい取引を注文します.