046 湍流算法(2/2)
即便現在推出人票合一的功能了,但無數搶票軟體依然利用加價購買搶票包的方式提供這種服務。
除此之外,各大航空公司也是非法網絡爬蟲的重災區,尤其是經常放出特價機票的那些航司。幾乎每次特價機票剛一放出就會被這種爬蟲嗅探,然後直接預定但不付款。
對於航司來說,一般這種特價票預定之後會有半小時的時間給買家付款,半小時內不付款就會再次進入票池,但爬蟲技術卻能在這些特價票進入到票池後0.01秒之內再次搶到手,直到黃牛黨找到願意加價的買家,用買家身份信息購票並付款。
可以想像不管是12306還是各大航司,都恨透了這種爬蟲。
畢竟黃牛的加價他們一分錢都賺不到,還增加了網絡負載。
尤其是各大航司,本來是要讓利給客戶,增加客戶粘性的,結果客戶沒享受到低價票,還會可能因為付了高價,沒享受相對應的服務而惱火。
除了這種網絡爬蟲之外,還有一些更為惡意的網絡爬蟲,它們默默的潛伏在網絡中不斷爬取著各種私人的用戶身份信息,各大連鎖酒店、各種APP的用戶系統等等,都是這些網絡爬蟲的目標。
可惜的是目前針對這些惡意網絡爬蟲並沒有太好防禦性技術手段,一般都是依靠各種硬軟體防火牆技術來進行隔絕。
更讓無數開發者為難的是,安全跟便捷性往往無法兼得。
這就好像12306曾經出台的那些讓人崩潰的驗證碼,短暫制止了爬蟲肆虐的同時,也讓無數普通人暈頭轉向。
此時寧為腦海中的湍流算法,卻能在兼顧便利性的同時,解決掉惡意爬蟲肆虐的問題。
用可以理解的語言來表述這種算法的功能大概就是穩定態的數據流會在服務端數據接口如同像流水般緩緩正常流動。每一個連接請求都會直接影響這條處於平穩態的數據流。就好像平靜流動的河面因為逆流而上的小魚,而形成一個個湍流。
當服務端配置好湍流算法後,通過升級驗證系統,平穩態的數據流就能通過無數次的訪問,來智能判定各種連接請求是正常的還是其他非法請求,並以此判定出網絡爬蟲在做數據爬取,還是正常客戶的正常訪問。
做出區分之後,算法可以自動將這些爬蟲指向目標直接引向一個數據湍流,在這裡這些爬蟲只能爬取到各種混亂且龐雜的無效數據然後反饋給爬蟲作者。
這一過程如果精心布置還可能直接影響到接收信息的設備安全,讓這些惡意爬蟲無所遁形。
聽起來似乎很簡單,但這個湍流算法並不簡單,其中包含了許多底層神經網絡跟深度學習算法的內容,比如它幾乎同時用到了卷積神經網絡、循環神經網絡、生成對抗網絡、深度收縮網絡等。
更有通過N-S方程演繹而來的神經網絡算法。
很快,寧為便將算法的幾個部分大體記錄在了電腦上。
剛想根據靈感調出python環境,但卻突發奇想,寧為突然決定用C語言完成編程,開始自行編輯工具包。
好在電腦上有C的編程環境。
而且大一學校開過C語言的課,寧為的成績也還不錯。
當然這個成績不錯,完全不是現在表現出的一個樣。
比如曾經學習C語言時,讓他分外頭疼的指針跟鍊表,現在卻如同無師自通了一般,用起來揮灑自如。
這個大概就是成長的煩惱吧!