㈠ 我畢業設計選了新聞發布管理系統，我想利用網路爬蟲抓取其他網站的新聞，這個可以實現嗎
爬蟲的可以用python寫，python爬蟲的話你用一個禮拜 左右差不都多就可以掌握了，畢竟網上源碼一抓一版大把權。
爬蟲這塊你用 java其實也是可以處理的，但是還是建議使用python.
Web那塊用spring struts2都是可以的。
整個流程無非是python抓取新聞內容入庫，然後javaweb作展示，然後寫個簡單點的後台管理系統就行了
㈡ 在網上抓取到的新聞難免會有重復的，爬蟲抓取到不同網站的數據怎麼進行去重，哪位大神可以教教我嗎
一般來說每個新聞都會有一個對應的ID，比如樓主的這個問題，1899746449221212820就是它對應的ID。在版同一網站下，比如權網路知道，這個ID是唯一的，只要是這個ID，那打開的頁面肯定就是這個問題。所以，可以嘗試按照ID去去重。
但是不同網站，就比較麻煩了，比如網易新聞和騰訊新聞。首先，不同新聞網站的ID編號可能不同，其次，可能會出現不同新聞網站相互抄襲，轉載，所以也許看似兩個不同的ID，內容卻是一樣的。或者再考慮新聞標題，但是這個也不排除有些新聞網站轉載之後改個標題之後又重新上線了。
所以我的想法是，同一個網站按照ID去重，不同網站還是算了吧。
至於按照時間去重，資料庫上做個限制就好了，用ID+時間作為組合鍵,uniq去重。
如有幫助，望採納。。。
㈢ 出售爬蟲獲得的數據侵權嗎犯法嗎
看你爬的什麼數據，會不會涉及用戶隱私，目前這一塊國家控制的很嚴
別的的話，不要規模太大，弄的太囂張，應該不會有人管你
㈣ 通過爬蟲採集網站信息，算不算違法行為
算。
違法：侵權
惡意攻擊
破壞網路
影響誰會
㈤ python爬蟲可以抓取新聞網站點擊率很高的一些新聞條目嗎
python. 如果只是研究演算法,集合（set）是可以變的，它是一個無序不重復元素集 元組（touple）才是不可變的
㈥ 通過爬蟲爬取互聯網公開新聞信息等，並做展現，打開會直接打開原網站，這種涉及侵權嗎
可以的，首先要復自己會制寫代碼學習爬蟲可以從下面一些知識點入手學習。 1、http相關知識。 2、瀏覽器攔截、抓包。 3、python2 中編碼知識，python3 中bytes 和str類型轉換。 4、抓取javascript 動態生成的內容。 4、模擬post、get，header等 5、cookie處理，登錄。 6、代理訪問。 7、多線程訪問、python 3 asyncio 非同步。 8、正則表達式、xpath等等等。。。。還有scrapy requests等第三方庫的使用。
㈦ 我想開發一個新聞網站。數據是用爬蟲技術爬別人網站的內容。假如某一天人家網站關了。是不是我的網站數據
人家的網站關了，不影響你之前已經抓取過的內容。
只是你沒法繼續抓取了，你的網站就停止更新了。
㈧ 強制抓取淘寶商品信息是否侵權
這個東西怎麼說呢；
你不要復制別人有標致性的商品圖片、名稱就好了呀；
或者復制過來改一下就好了；
甩手工具箱在復制商品的時候可以批量修改商品圖片，批量加水印等；
希望對你有幫助
㈨ 你們是怎麼抓取新聞的寫的文章怎麼樣才能被你們抓取
你好，主題明確，語言簡潔清除，反映時事，或者大眾感興趣的內容
㈩ 網路爬蟲 侵權怎麼辦
可以先通知警告，如仍未停止，可以以不正當競爭起訴（可以參考網路和360之間的robots爭議案）