首页 > 窍门 > 科技数码

数据爬取是什么意思

来源: 更新时间:2022-04-17 09:35:39
The Beginning

爬取数据的意思就是通过程序来获取需要的网站上的内容信息,比如文字、视频、图片等数据。

网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

THE END

TAG:数据  网页  是一种  爬虫  网络  

猜你喜欢

相关文章