最近在爬一个网站，爬取的列表页面，老是有重复值出现，后来仔细研究，对方网站应该是做了反爬设置。
例如列表一共有 100 条数据，A 数据原本出现在第 1 页的，爬完发现 A 数据又在第 2 页随机出现过，导致最后爬取总数据量只有 98 条，存在数据缺失漏爬。
这种情况不仅仅是 A 数据，有可能是 B 数据、C 数据出现这种问题，我感觉应该是对方网站反爬，会随机抽取上一页的某条数据，替换到当前页里面，这样的话是总是缺少数据，导致数据不全。
有大佬遇到过这个问题吗？大家一起交流交流
This topic created in 1482 days ago, the information mentioned may be changed or developed.
 |
1
有没有可能是对方网站 sql 写的有问题呢
这种反爬逻辑有什么意义 |
3 |
dycc2010Oct 24, 2022
2
有没有可能是对方网站 sql 写的有问题呢
|
 |
InDomOct 24, 2022
3
如果正常浏览和爬虫的数据不一致，那就是你模拟的不够真实。
否则，给对方提 bug 。🐶 |
 |
kiolygeniusOct 24, 2022
4
为什么老是见到把“如何”达成“如果”的错别字，用的不是拼音输入法？
|
 |
7
@kiolygenius 错别字了😅
|
|
InDomOct 24, 2022
8
@kiolygenius 如果是手机，九宫格输入法。
gh 都在 4 键上，rg rh 都是 74 ，而且都是高频词，还是句子的开头，联想功能也没用。 至于全键盘或者实体键盘，两个键挨的也确实挺近的。 反正我是经常按错。 |
 |
biubiuFOct 24, 2022
9
这是多维度动态排序
|
 |
676529483Oct 24, 2022
11
不像是喂毒，有可能他数据每次调接口值就变了，数据变动的快？
|
 |
watzdsOct 24, 2022
12
常见 sql bug ，排序不稳定
或者数据变化了 |
|
kiolygeniusOct 24, 2022
14
@InDom 你们拼音输入法都是用声母缩写啊？嫌全拼重码还不够多吗😅
|
 |
laoyurOct 24, 2022
15
v 站至少看过几十个『如果』『如何』用错的案例了
已经见怪不怪 😂 |
 |
jifenggOct 24, 2022
16
@kiolygenius +1 ，有时候看类似标题实在是费解，你以为他要提出一个假设，然后干什么，结果他是问怎么做，没下文了，看着真难受。比同音字的错别字还难受。
|
 |
JoooooooooOct 24, 2022
17
能让你爬出 98 条数据说明对方根本没有反爬的措施.
|
 |
ZhenShawOct 24, 2022 via Android
18
@kiolygenius 类似你的“打成”和“达成”
|
 |
BlankeOct 24, 2022
19
你用正常用户正常环境去访问，看是否有重复情况
|
 |
yufeng0681Oct 24, 2022
20
网站不拿出来，让大家看看实际情况？
这种反爬，应该是人家设计好的， 谁没事会看下一页的数据呢？有用的数据在第一页没有，那第二页更加不可能有； 你人手动浏览时，都没法看到第二页有效数据； 爬虫怎么可能超越你的智慧？ 有个解决方案是细分再细分检索。把网站有的所有检索条件，充分利用，尽量让检索出来的数据落在 100 以内，多看到一些真实数据（还是不全） |
|
kiolygeniusOct 24, 2022
22
@ZhenShaw 连全拼都有同音词汇重码，我就不理解用声母缩写打字到底能快多少。
|
 |
neptunoOct 24, 2022 via iPhone
23
100 条都让你爬了 98 条，这哪叫反爬呀。应该就是 bug 了
|
 |
24
有没有一种可能，这个列表一直在更新呢
第一页新增了值，后面自然会推后 |
Select Language