第四百九十七章 有些人一出生就不一樣啊（2/2）

眾人都露出了笑容。

正巧，克里斯剛剛過來工作。

張偉微笑道：「你們先忙著，克里斯，你過來一下。」話剛說完，瞧見負責研發這款產品的技術人員都走了進來，他補充了一句，「你們都過來，我和你們說點事情。」

克里斯道：「什麼事？我們還要忙著研發產品，昨晚稍微有點眉目。」

羅曼嘿道：「是啊，或許這是一個突破也說不準。」

泰勒打了個哈欠，道：「可把我累壞了，昨晚兩點多才睡，清早六點多就爬起來了。」

看得出來大家都非常疲勞。

張偉和鄭文對視了一眼，也沒有上樓，直接把眾人拉到一旁角落的辦公桌，又叫人拿來椅子。

眾人坐下。

「那我就說一下我猜測的流程，你們聽聽有什麼啟發沒有。」張偉拿出小本子翻開。

聞言，克里斯一愕。

泰勒也愣了愣。

羅曼和其他人也有些呆。

你說什麼？你猜測的流程？這他媽也能猜測啊還能對我們有啟發？昨天還說要找人問問，怎麼現在又變成你自己猜測了？這麼多精英技術人員攻克了許久的都只是稍有眉目而已，你一個連網際網路都不懂的人光靠猜測就行了？我去，你以為你是上帝啊？是造物主啊？怎麼想都能變成現實？

眾人已經全部無語。

克里斯憋了半天，也沒好意思說別的，「那你說我們聽聽。」

張偉也知道他們不相信，道：「反正你們就聽聽看又沒什麼損失對不對？」

泰勒難以置信道：「會對我們有啟發？」

「應該會有吧。」張偉瞟了眼本子上的文字，說道：「需要根據一定的網頁分析算法過濾與主題無關的連結，保留有用的連結並將其放入等待抓取的資源管理器隊列。」

鄭文不太懂，瞟了瞟眾人。

可是眼前這些人懂啊，他們乍一聽的感覺……簡直驚艷！按照張偉所說的裡面包含了三個步驟，一，用戶提供種子url；二，種子url進入linkbase中新url隊列中；三，調度模塊選取url進入到抓取模塊的待抓取隊列中，大家都是專業人士，一聽就知道完全可行啊！張偉這個推測簡直太棒了！聽著這個推測，他們都面面相覷，怎麼這麼簡單的事情他們就沒想到呢？在場十幾個精英都沒想到的事情，居然讓一個不懂網絡的人想到了！

克里斯忍不住讚嘆道：「好創意！」

張偉笑眯眯道：「我繼續說下去，然後根據一定的搜索策略從隊列中選擇下一步要抓取的網頁資源，並重複上述過程，直到達到系統的某一條件時停止，另外，所有被抓取的網頁西藥存貯，再進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索。」

克里斯興奮了起來，道：「那就是抓取模塊讀取站點的配置文件，可以按照執行的頻率進行抓取，等到抓取到結果就返回pipeline接口中，這就是完成了抽取！」

羅曼也道：「然後把新發現的連接在linkbase裡面進行dedup，並push到linkbase的新url模塊裡面，最後讓調度模塊選取url進入抓取模塊的待抓取隊列，之後就能反饋了啊！」

張偉和鄭文不懂這些，聽得雨里霧裡，可是接下來這些專業人士說的話讓他們至少明白一點，這個推測可行！

泰勒結結巴巴道：「這……這就是抓取流程了？」

克里斯非常堅定道：「我覺得有百分之八十的成功率！可以試試看！」

聽到最專業的克里斯這麼說，十幾個人都非常驚奇地看了一眼張偉，他們怎麼也想不明白，一個網絡上的外行，卻能大致推算出流程？難道這就是天生的妖孽？怪不得人家十幾歲就能執掌龐大的資產！怪不得華金資本被經營的有模有樣！上天果然是有區別的，有些人一出生就他媽和別人不一樣啊！