苹果cms火车采集规则,主要为明星网的采集规则,如何将重复数据删除的方法,和将明星网超过2w的数据和上一篇文章的数据整合一起。
前情提要:
之前因为导入了很多的演员sql数据,但是没有长期维护和完善数据,属于需要收集大量的和最新的演员数据来充斥我们的苹果CMS系统。今天给大家带来的是火车采集的规则和重复数据的替换,将actor_name重复的数据的actor_id的数据,保留小id的重复的数据,删除大id的数据。文章源自玩技e族-https://www.playezu.com/tao/876272.html
数据替换:
要查询 actor_name 重复的数据,并保留 actor_id 最小的记录,删除大 actor_id 的记录,可以使用以下 SQL 查询:文章源自玩技e族-https://www.playezu.com/tao/876272.html
删除步骤:
1.查询重复的 actor_name:首先,找出重复的 actor_name,然后根据每个 actor_name 选择保留 actor_id 最小的记录。文章源自玩技e族-https://www.playezu.com/tao/876272.html
2.删除重复记录:删除每个 actor_name 下 actor_id 大于最小 actor_id 的记录。文章源自玩技e族-https://www.playezu.com/tao/876272.html
首先检查哪些记录将被删除:
评论后刷新
由于本站被大量采集,顾添加评论验证防止因采集造成的网络崩溃
使用 JOIN 来删除重复记录:
评论后刷新
由于本站被大量采集,顾添加评论验证防止因采集造成的网络崩溃
数据分类:
因为采集的明星没有自动的根据国家设置明星的类目,所以我们使用sql的方式将数据进行分类。需要将对应的区域和type_id改为你自己的。文章源自玩技e族-https://www.playezu.com/tao/876272.html
评论后刷新
由于本站被大量采集,顾添加评论验证防止因采集造成的网络崩溃