教程博客 / 批量采集

采集数据去重清洗:重复商品、规格表去重实操(2026)

发布于 2026-11-22 作者 电商采集大师 阅读约 9 分钟

先给结论:采集数据去重分三层——采之前用采集历史和增量采集少采重复的,采的时候按商品链接认商品,采完导出 Excel 再按链接和规格组合删重复行。三层各管一段,只做其中一层,重复还是会从另一层漏进来。下面把重复从哪来、每层怎么做、以及标题和价格这些字段怎么清洗,一次讲清。

一、重复从哪来:先认清三种重复

第一种是重复商品:同一个商品链接采了两次,表里出现两行。最常见的原因是批量采集时列表页翻页重叠,或者同一件商品在不同列表里各出现一次,批量任务把它采了两遍。标题改过、主图换过的商品更容易重复采,因为肉眼看不出来是同一件。

第二种是规格表里的重复行:同一颜色加同一尺码的组合出现两行。原因多半在采集过程里:规格逐个点开时,同一个规格组合被读了两次;或者页面上的规格有重复入口,读表时没有合并。规格表一行就是一个规格组合,多一行就意味着库存和价格可能被重复计算。

第三种是字段层面的脏数据:标题里混着促销词和表情符号,价格列里混着区间价和文字,商品属性里同一项写了两种说法。这类问题不叫重复,叫不干净,但它们和重复一样,都会让导进 ERP 的表出错,所以清洗时要一起处理。

二、第一层:采之前少采重复的

最省事的去重是在采集之前就少采。动手之前,先打开采集历史看一眼:这批商品上次采过没有,采过的话是直接用历史数据重新导出,还是确实需要重新采。采集历史里能查到上次采过的数据并重新导出,不用每次都重新跑一遍详情页。

定期复采整店商品时,用增量采集:只采新增与有变化的商品,新上架、价格标题主图或 SKU 有变动的才重新采,没变化的直接跳过。增量采集免费版每天 20 次,专业版不限。整店几百件商品,每次全量重采一遍,重复和耗时都翻倍;增量采集把“没变化的跳过”这件事放在采集之前做,表里自然就少了很多重复。

批量采集之前,先把列表页的链接去重一遍:同一件商品在列表里出现两次,批量任务就会采两次。列表页去重的方法很简单,把要采的链接导出来按链接排序,重复的链接一眼就能看出来,删掉再开始批量。

三、第二层:采的时候按商品链接认商品

判断两行是不是同一件商品,唯一可靠的依据是商品链接,不是标题,也不是主图。标题可以改,主图可以换,商品链接不会变。核对重复时,先按商品链接排序,链接相同的行排在一起,重复立刻现形。

按标题去重是新手最容易踩的坑:同一件商品换了标题,按标题去重会把它当成两件商品,导进 ERP 之后重复上架;两件不同的商品标题写得差不多,按标题去重又会误删。链接是商品的身份证,标题只是商品的名字,认商品看身份证,不看名字。

规格表去重同理:按规格组合认行,不按行号认。把规格表按颜色、尺码这些维度排序,同一颜色加同一尺码出现两行,就是重复行。两行其他字段也相同的,留一行删一行;如果两行的价格或库存不一样,先回到商品页核对再决定留哪一行,不要直接删。

去重对象认什么字段不能认什么
重复商品商品链接标题、主图
规格表重复行规格组合(颜色+尺码)行号、导入顺序
重复图片图片清单里的路径与文件名图片在页面的位置
重复评论评论内容+评论时间买家昵称

四、第三层:导出后在 Excel 里删重复行

导出 Excel 之后,在表里做最后一次去重。做法是:先按商品链接排序,重复的行排在一起,逐行核对;再用 Excel 的删除重复项功能,按商品链接这一列去重,系统会自动保留每组的第一行。做之前先备份原表,删完核对总行数:删掉的行数应该等于重复的行数,对不上就说明误删或漏删了。

规格表去重也在 Excel 里做:按颜色、尺码排序,同一规格组合出现两行且其他字段相同的删一行;价格或库存不一样的两行先标出来,回到商品页核对。图片清单去重按路径与文件名来:同一张图在清单里出现两次,删一行,ZIP 里对应的图片文件只留一份。

删完重复行之后,再核对一遍总行数和图片张数:商品表的行数应该等于实际商品数,规格表的行数应该等于页面上的规格组合数,图片清单的张数应该和三个分组的张数对得上。三组数字都对上了,表才算干净。

五、字段清洗:标题、价格与商品属性的脏数据

去重做完,顺手把字段清洗也做了。标题清洗:去掉促销词、表情符号和货源平台的品牌词,标题是上架时最需要人工改写的一栏,货源页的标题是给批发买家看的,直接搬到零售平台既不合规矩,也不好卖。

价格清洗:1688 的价格按采购数量分档,导出来的价格列里可能混着区间价。清洗时把数量区间和对应单价逐档核对,只留一个最低价会把价格算错;货币也要确认,阿里巴巴国际站的商品一般按美元等外币标价,导出的价格原样记录页面显示的数值与货币,不会自动换算成人民币。

商品属性清洗:同一项属性两种说法要统一,比如“纯棉”和“100%棉”写的是同一个意思,入表之前统一成一种写法;空值和缺项标出来,缺失的属性回到商品页补采,不要留空直接导入。属性值里的单位也要统一,重量有克和千克两种写法时,统一换算成千克再入表。

六、日常习惯:让重复不再产生

去重最怕的是一次做完、下次又来。立三条日常习惯:第一,固定采一次、导一次的节奏,同一批商品不要今天采一遍、明天又采一遍;第二,定期复采用增量采集,不用全量重采;第三,每次导出后先备份原表再去重,删错了还能从备份里找回来。

免费版 ¥0 永久;专业版月卡 ¥19/月,年卡 ¥99/年;首次使用可以免费体验专业版 1 天,每台设备限一次。采集历史、增量采集与 Excel、CSV、JSON 导出免费版就能用;免费版增量采集每天 20 次、Excel 多表导出每天 10 次、评论最多 10 页。ZIP 打包、评论图片下载与整合包需要专业版。采集数据仅存本地浏览器,只有激活专业版时向 facailo.xyz 发送激活码校验请求,商品数据本身不上传,详见隐私政策。

▶ 用本文的方法

电商采集大师

图片分组采集与 ZIP 打包、SKU 规格表、评论与差评分析、上架数据包、详情长图——一个侧边栏里全有。支持淘宝、天猫、京东、1688、阿里巴巴国际站、拼多多、亚马逊,图片与评论采集永久免费。

免费下载安装 看全部功能

常见问题

去重是在插件里做,还是在 Excel 里做?

分两处做。采之前用采集历史和增量采集减少重复采集:历史里能查到上次采过的数据,增量采集会跳过没变化的商品。采完导出 Excel 后,再按商品链接与规格组合删除重复项,表内去重在 Excel 里做最直观。

同一个商品换了标题,还算重复吗?

算。判断重复要看商品链接,不是看标题。标题改过、主图换过,只要商品链接相同就是同一件商品。按标题去重会把同一件商品当成两件,导进 ERP 之后会重复上架。

规格表里多出来的行删了会不会丢数据?

只删完全重复的行不会丢数据。先按规格组合排序,同一颜色加同一尺码出现两行、其他字段也相同的,留一行删一行;如果两行的价格或库存不一样,先核对页面再决定留哪一行,不要直接删。

增量采集会自动跳过已采过的商品吗?

会跳过没变化的商品。增量采集只采新增与有变化的商品:新上架、价格标题主图或 SKU 有变动的才重新采,没变化的直接跳过。免费版增量采集每天 20 次,专业版不限。

相关阅读电商采集大师:采集历史管理怎么做?找回上次采过的数据、重新导出与清理去重 → 相关阅读增量采集实操:只采新增与变化商品,省时教程 →