㈠ 我毕业设计选了新闻发布管理系统，我想利用网络爬虫抓取其他网站的新闻，这个可以实现吗
爬虫的可以用python写，python爬虫的话你用一个礼拜 左右差不都多就可以掌握了，毕竟网上源码一抓一版大把权。
爬虫这块你用 java其实也是可以处理的，但是还是建议使用python.
Web那块用spring struts2都是可以的。
整个流程无非是python抓取新闻内容入库，然后javaweb作展示，然后写个简单点的后台管理系统就行了
㈡ 在网上抓取到的新闻难免会有重复的，爬虫抓取到不同网站的数据怎么进行去重，哪位大神可以教教我吗
一般来说每个新闻都会有一个对应的ID，比如楼主的这个问题，1899746449221212820就是它对应的ID。在版同一网站下，比如权网络知道，这个ID是唯一的，只要是这个ID，那打开的页面肯定就是这个问题。所以，可以尝试按照ID去去重。
但是不同网站，就比较麻烦了，比如网易新闻和腾讯新闻。首先，不同新闻网站的ID编号可能不同，其次，可能会出现不同新闻网站相互抄袭，转载，所以也许看似两个不同的ID，内容却是一样的。或者再考虑新闻标题，但是这个也不排除有些新闻网站转载之后改个标题之后又重新上线了。
所以我的想法是，同一个网站按照ID去重，不同网站还是算了吧。
至于按照时间去重，数据库上做个限制就好了，用ID+时间作为组合键,uniq去重。
如有帮助，望采纳。。。
㈢ 出售爬虫获得的数据侵权吗犯法吗
看你爬的什么数据，会不会涉及用户隐私，目前这一块国家控制的很严
别的的话，不要规模太大，弄的太嚣张，应该不会有人管你
㈣ 通过爬虫采集网站信息，算不算违法行为
算。
违法：侵权
恶意攻击
破坏网络
影响谁会
㈤ python爬虫可以抓取新闻网站点击率很高的一些新闻条目吗
python. 如果只是研究算法,集合（set）是可以变的，它是一个无序不重复元素集 元组（touple）才是不可变的
㈥ 通过爬虫爬取互联网公开新闻信息等，并做展现，打开会直接打开原网站，这种涉及侵权吗
可以的，首先要复自己会制写代码学习爬虫可以从下面一些知识点入手学习。 1、http相关知识。 2、浏览器拦截、抓包。 3、python2 中编码知识，python3 中bytes 和str类型转换。 4、抓取javascript 动态生成的内容。 4、模拟post、get，header等 5、cookie处理，登录。 6、代理访问。 7、多线程访问、python 3 asyncio 异步。 8、正则表达式、xpath等等等。。。。还有scrapy requests等第三方库的使用。
㈦ 我想开发一个新闻网站。数据是用爬虫技术爬别人网站的内容。假如某一天人家网站关了。是不是我的网站数据
人家的网站关了，不影响你之前已经抓取过的内容。
只是你没法继续抓取了，你的网站就停止更新了。
㈧ 强制抓取淘宝商品信息是否侵权
这个东西怎么说呢；
你不要复制别人有标致性的商品图片、名称就好了呀；
或者复制过来改一下就好了；
甩手工具箱在复制商品的时候可以批量修改商品图片，批量加水印等；
希望对你有帮助
㈨ 你们是怎么抓取新闻的写的文章怎么样才能被你们抓取
你好，主题明确，语言简洁清除，反映时事，或者大众感兴趣的内容
㈩ 网络爬虫 侵权怎么办
可以先通知警告，如仍未停止，可以以不正当竞争起诉（可以参考网络和360之间的robots争议案）