Khám phá ban đầu về ứng dụng Python Crawler trên FMZ Crawling Binance Content Announcement

Khám phá ban đầu về việc áp dụng Python Crawler trên FMZ Crawling Binance Nội dung thông báo

Gần đây, tôi đã xem qua các diễn đàn của chúng tôi, và không có thông tin liên quan về trình thu thập thông tin Python. Dựa trên tinh thần phát triển toàn diện của FMZ, tôi chỉ đơn giản là tìm hiểu về các khái niệm và kiến thức của trình thu thập thông tin. Sau khi tìm hiểu về nó, tôi thấy rằng vẫn còn nhiều điều để tìm hiểu về kỹ thuật crawler. Bài viết này chỉ là một khám phá sơ bộ về kỹ thuật crawler, và một thực hành đơn giản nhất của kỹ thuật crawler trên nền tảng giao dịch FMZ Quant.

Nhu cầu

Đối với các nhà giao dịch thích giao dịch IPO, họ luôn muốn có được thông tin niêm yết nền tảng càng sớm càng tốt.

Khám phá ban đầu

Sử dụng một chương trình rất đơn giản để bắt đầu (các kịch bản trình thu thập dữ liệu thực sự mạnh mẽ phức tạp hơn nhiều, vì vậy hãy dành thời gian của bạn).

Thực hiện mã

Bạn có thể sử dụng một số cấu trúc trình thu thập thông tin hữu ích.

Các thư viện python được sử dụng:

```bs4```, which can be simply regarded as the library used to parse the HTML code of web pages. 

Code:

từ bs4 nhập BeautifulSoup Yêu cầu nhập khẩu

urlBinanceAnnouncement = https://www.binancezh.io/en/support/announcement/c-48?navId=48”Địa chỉ trang web thông báo của Binance

def openUrl ((url): tiêu đề = {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, giống như Gecko) Chrome/63.0.3239.108 Safari/537.36} r = requests.get(url, headers=headers) # sử dụng thư viện requests để truy cập url, cụ thể là địa chỉ trang web thông báo Binance

if r.status_code == 200:
    r.encoding = 'utf-8'
    # Log("success! {}".format(url))
    return r.text                          # if the access succeeds, return the text of the page content  
else:
    Log("failed {}".format(url))

defin main ((): preNews_href = lastNews = Log (( xem..., urlBinanceAnnouncement, #FF0000) trong khi True: RET = openUrl ((urlBinanceAnnouncement) nếu ret: soup = BeautifulSoup ((ret, html.parser) # phân tích văn bản trang thành các đối tượng tin tức cuối cùnghref = soup.find ((a, lớp=css-1ej4hfo) [href] # tìm nhãn được chỉ định, để có được href lastNews = soup.find(a, class_=css-1ej4hfo).get_text() # lấy nội dung trong nhãn if preNews_href == : preNews_href = lastNews_href if preNews_href!= lastNews_href: # sự thay đổi nhãn được phát hiện, cụ thể là thông báo mới được tạo ra Log ((Sự cập nhật danh sách tiền điện tử mới!) # in thông điệp nhắc preNews_href = lastNews_href LogStatus ((_D(), \n, preNews_href:, preNews_href, \n, news:, lastNews) Giấc ngủ ((1000 * 10)

”`

Hoạt động

Bạn thậm chí có thể mở rộng nó, chẳng hạn như phát hiện thông báo mới, phân tích các biểu tượng tiền tệ mới niêm yết và tự động đặt hàng giao dịch IPO.