这是实时爬取的数据吗？怎么可能？
柚子科技怎么可能有这么大的数据中心和带宽？
别说只是拿了10亿迈元投资的柚子科技，就算是目前现金流已经基本回正的大米，想要投一个搜索引擎，也是天方夜谭般的事情！
“实时抓取？柚子科技的带宽和服务器够吗？”
雷君完全想不通，柚子科技这个Y搜，是怎么实现的。
搜索引擎发展到了今天，无论是罗伯特李的超链技术和古狗基层的pagerank技术，本质都是通过网络爬虫从一个或多个著名网站开始，不断地通过各种网页链接爬取网页并读取网页内容。
抓取到的网页内容并不是直接用于搜索，而是被分析、提取出页面中的关键信息，如文本内容、标题、关键词、链接等后，存储在搜索引擎的索引库中。
这个索引库就像是一本互联网内容的目录，帮助搜索引擎在用户发起查询时迅速找到相关的页面。
罗伯特李的超链技术和pagerank不同的是，罗伯特李解决的是爬取的方式问题，而pagerank解决的是为网页赋权的问题。
具有相同内容的两个网页，来自白屋的网页和来自非洲一个小孩的个人网页，权重显然是不同的。
古狗的pagerank通关算法，将这些网页进行赋权，算出哪些网页更有价值，那么这些网页就更容易被搜到。
内容未完，下一页继续阅读