CN101997915A - 深度包检测装置、网页数据处理方法、采集方法及系统 - Google Patents

深度包检测装置、网页数据处理方法、采集方法及系统 Download PDF

Info

Publication number
CN101997915A
CN101997915A CN2010105320864A CN201010532086A CN101997915A CN 101997915 A CN101997915 A CN 101997915A CN 2010105320864 A CN2010105320864 A CN 2010105320864A CN 201010532086 A CN201010532086 A CN 201010532086A CN 101997915 A CN101997915 A CN 101997915A
Authority
CN
China
Prior art keywords
http protocol
protocol message
webpage
data acquisition
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010105320864A
Other languages
English (en)
Other versions
CN101997915B (zh
Inventor
蔡逆水
陈强
杨俊�
蒋丹舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN201010532086.4A priority Critical patent/CN101997915B/zh
Publication of CN101997915A publication Critical patent/CN101997915A/zh
Application granted granted Critical
Publication of CN101997915B publication Critical patent/CN101997915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种网页数据处理方法、网页数据采集方法、深度包检测装置以及网页数据采集系统。其中,网页数据采集方法包括根据网页地址信息库选择性地抓取流向网页服务器的HTTP协议报文;解析抓取到的HTTP协议报文的内容;提取HTTP协议报文中的标签字段的内容;根据标签字段的内容对抓取到的HTTP协议报文中的数据进行选择性采集。本发明能够将深度包检测技术与网页数据采集技术相结合,提升了对网页数据的采集分析效率,减小了对海量数据进行采集和分析的成本。同时,由于采用标签字段,所以能够更准确地对网页的数据进行采集。

Description

深度包检测装置、网页数据处理方法、采集方法及系统
技术领域
本发明涉及互联网技术领域,特别地,涉及一种深度包检测装置、网页数据处理方法、网页数据采集方法及网页数据采集系统。
背景技术
随着WEB技术和WEB应用的快速发展,对各种WEB应用网站,特别是电子渠道、电子商务等平台中的集中监控、用户数据采集和统计分析的应用也越来越广泛。但是,由于用户量庞大的电子渠道和电子商务等平台的用户数据是海量的,因此,在实际工作中需要对海量数据进行选择性地采集。
然而,现有的网页在设计之初并没有考虑数据采集问题,而且现有的网页普遍存在页面地址及采集数据杂乱、准确性不高等问题,因此,基于现有的网页难于进行高效和准确地数据采集。
发明内容
本发明要解决的一个技术问题是提供一种深度包检测装置、网页数据处理方法、网页数据采集方法及网页数据采集系统,能够高效且准确地对网页的数据进行采集。
根据本发明的一方面,提出了一种网页数据处理方法,包括根据数据采集需求确定每个网页的HTTP协议报文的数据采集范围;在每个网页的HTTP协议报文中加入标签字段,标签字段的内容表示网页的HTTP协议报文的数据采集范围。
根据本发明网页数据处理方法的一个实施例,标签字段设置在每个网页的HTTP协议报文的头部字段中。
根据本发明网页数据处理方法的另一实施例,网页的HTTP协议报文的数据采集范围包括提取HTTP协议报文中的全部数据、提取HTTP协议报文中的部分数据、以及不提取HTTP协议报文中的任何数据。
根据本发明的另一方面,还提出了一种网页数据采集方法,包括根据网页地址信息库选择性地抓取流向网页服务器的HTTP协议报文;解析抓取到的HTTP协议报文的内容;提取HTTP协议报文中的标签字段的内容;根据标签字段的内容对抓取到的HTTP协议报文中的数据进行选择性采集。
根据本发明网页数据采集方法的一个实施例,通过下述步骤形成流向网页服务器的HTTP协议报文:根据数据采集需求确定每个网页的HTTP协议报文的数据采集范围;在每个网页的HTTP协议报文中加入标签字段,形成流向网页服务器的HTTP协议报文,其中,标签字段的内容表示网页的HTTP协议报文的数据采集范围。
根据本发明网页数据采集方法的另一实施例,标签字段设置在每个网页的HTTP协议报文的头部字段中。
根据本发明网页数据采集方法的又一实施例,网页的HTTP协议报文的数据采集范围包括提取HTTP协议报文中的全部数据、提取HTTP协议报文中的部分数据、以及不提取HTTP协议报文中的任何数据。
根据本发明的又一方面,还提出了一种深度包检测装置,包括地址筛选模块,用于根据网页地址信息库选择性地抓取流向网页服务器的HTTP协议报文;报文解析模块,与地址筛选模块相连,用于解析抓取到的HTTP协议报文的内容;标签内容提取模块,与报文解析模块相连,用于提取HTTP协议报文中的标签字段的内容,其中,标签字段的内容表示网页的HTTP协议报文的数据采集范围;数据采集模块,与标签内容提取模块相连,用于根据标签字段的内容对抓取到的HTTP协议报文中的数据进行选择性采集。
根据本发明深度包检测装置的一个实施例,标签字段设置在流向网页服务器的HTTP协议报文的头部字段中。
根据本发明深度包检测装置的另一实施例,网页的HTTP协议报文的数据采集范围包括提取HTTP协议报文中的全部数据、提取HTTP协议报文中的部分数据、以及不提取HTTP协议报文中的任何数据。
根据本发明的再一方面,还提出了一种网页数据采集系统,包括上述实施例中的深度包检测装置以及网页数据处理装置,其中,网页数据处理装置包括采集范围确定模块,用于根据数据采集需求确定每个网页的HTTP协议报文的数据采集范围;数据处理模块,与采集范围确定模块相连,用于在每个网页的HTTP协议报文中加入标签字段,形成流向网页服务器的HTTP协议报文,其中,标签字段的内容表示网页的HTTP协议报文的数据采集范围。
本发明提供的深度包检测装置、网页数据处理方法、网页数据采集方法及网页数据采集系统,能够将深度包检测(Deep Packet Inspection,DPI)技术与网页数据采集技术相结合,提升了对网页数据的采集效率,减小了对海量数据进行采集和分析的成本。同时,由于采用标签字段,所以能够更准确地确定网页的数据采集范围,从而提高了数据采集的准确性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分。在附图中:
图1是本发明网页数据处理方法的一个实施例的流程示意图。
图2是本发明网页数据采集方法的一个实施例的流程示意图。
图3是本发明网页数据采集方法的又一实施例的流程示意图。
图4是本发明深度包检测装置的一个实施例的结构示意图。
图5是本发明网页数据采集系统的一个实施例的结构示意图。
具体实施方式
下面参照附图对本发明进行更全面的描述,其中说明本发明的示例性实施例。本发明的示例性实施例及其说明用于解释本发明,但并不构成对本发明的不当限定。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
本发明将DPI技术和WEB网页数据采集技术相结合,在分析了DPI选择性数据采集原理的基础上,为了提升采集分析的效率,提出了便于DPI采集的网页数据处理方法、网页数据采集方法、深度包检测装置以及网页数据采集系统。
在进行DPI选择性采集时,首先需要建立一个库,存储待采集的页面地址,每个请求到服务器后先根据这个库进行地址查询,如果网页的地址与库中的页面地址相匹配,则提取页面的内容。
图1是本发明网页数据处理方法的一个实施例的流程示意图。
如图1所示,该实施例可以包括以下步骤:
S102,根据数据采集需求确定对每个网页的HTTP协议报文进行数据采集的范围;
S104,在每个网页的HTTP协议报文中添加标签字段,该标签字段的内容表示对网页的HTTP协议报文进行数据采集的范围,其中,该标签字段可以位于HTTP协议报文中的任何位置,优选地,可以将标签字段设置在每个网页的HTTP协议报文的头部字段中。
另外,对网页的HTTP协议报文进行数据采集的范围可以包括提取HTTP协议报文中的全部数据(即,包括报文头至报文尾的所有数据)、提取HTTP协议报文中的部分数据(例如,IP地址、用户名、页面地址、访问时间、登录类别以及页面参数等)、以及不提取HTTP协议报文中的任何数据。
该实施例在进行网页数据处理的同时考虑了DPI技术,在分析了DPI选择性数据采集原理的基础上提出了便于DPI采集的网页数据处理方法,该实施例能够显著提升网页数据的采集效率,并且提高数据采集的准确性。
在本发明网页数据处理方法的另一实施例中,首先需要对页面地址进行规范(例如,http://202.23.24.153/news/sports,代表新闻中的体育内容),然后,将WEB网站网页分为不同的层级,对应不同的数据采集范围,再在网页的HTTP协议报文中加入标签字段,该标签字段的内容对应于不同的数据采集范围。根据RFC协议规范,HTTP协议报文的头部字段可以根据具体应用需要嵌入自定义字段内容,因此,可以在电子渠道网页实现时嵌入自定义的HTTP头部字段信息(即,标签字段),针对不同的数据采集需求,对网页嵌入不同的自定义信息,从而实现对网页的层级分类,进一步地可以为数据采集作好准备。
图2是本发明网页数据采集方法的一个实施例的流程示意图。
如图2所示,该实施例可以包括以下步骤:
S202,根据网页地址信息库选择性地抓取流向网页服务器的HTTP协议报文,其中,该网页地址信息库中可以存储待抓取网页的页面地址,在流向网页服务器的页面的地址满足网页地址信息库的要求(例如,该页面地址存储于网页地址信息库中)时,才被抓取并进行后续的报文解析与数据提取;
S204,解析抓取到的HTTP协议报文的内容;
S206,提取HTTP协议报文中的标签字段的内容;
S208,根据标签字段的内容对抓取到的HTTP协议报文中的数据进行选择性采集。
其中,可以通过下述步骤形成流向网页服务器的HTTP协议报文:根据数据采集需求确定对每个网页的HTTP协议报文进行数据采集的范围;在每个网页的HTTP协议报文中加入标签字段,形成流向网页服务器的HTTP协议报文,其中,标签字段的内容表示对网页的HTTP协议报文进行数据采集的范围。
在一个实例中,对网页的HTTP协议报文进行数据采集的范围可以包括提取HTTP协议报文中的全部数据(即,包括报文头至报文尾的所有数据)、提取HTTP协议报文中的部分数据(例如,IP地址、用户名、页面地址、访问时间、登录类别以及页面参数等)、以及不提取HTTP协议报文中的任何数据。
可选地,标签字段可以位于每个网页的HTTP协议报文中的任何位置,优选地,可以将标签字段设置在每个网页的HTTP协议报文的头部字段中。
该实施例在进行数据采集时,首先根据网页地址信息库筛选待采集的网页,在很大程度上减少了海量数据的干扰。进一步地,该实施例还解析所抓取网页的HTTP头部字段内容,提取自定义的头部字段标签内容,按照标签的内容采取不同的数据采集提取流程,例如,可以提取HTTP协议报文的全部内容、提取HTTP协议报文的部分内容或者不提取任何内容,从而实现带选择性的数据采集,减小海量数据对于技术及成本的压力,同时提高了数据采集的效率和准确性。
在本发明网页数据采集方法的另一实施例中,根据RFC协议规范解析流向WEB网站服务器的HTTP协议报文,根据解析出的标签字段的内容在待采集数据内容的相应位置提取具体信息。具体地,DPI装置在处理HTTP协议时,解析相应的自定义头部字段内容(即,标签字段的内容),根据自定义头部字段内容的定义调用不同的数据采集流程,以实现网页数据的提取。HTTP协议头部字段嵌入的自定义内容可以分为标签和内容两个部分,自定义的头部字段可以约定以“X-”开头,例如,“X-type:0”可以表示提取HTTP协议报文的所有内容,“X-type:1”可以表示只提取URL地址。根据数据采集内容的层级需要,可以定义一个或者多个自定义头部标签,分别赋予不同的内容,代表提取不同的数据。
图3是本发明网页数据采集方法的又一实施例的流程示意图。
如图3所示,该实施例可以包括以下步骤:
S302,搭建DPI采集系统,与目标采集网站进行数据镜像;
S304,建立网页地址信息库,其中存储了待抓取网页的地址;
S306,建立选择性解析内容深度信息库,其中存储了不同自定义标签对应的数据采集解析子程序,例如,提取HTTP协议报文的全部内容所使用的全部数据采集解析子程序、提取HTTP协议报文的部分内容所使用的部分数据采集解析子程序等;
S308,根据网页地址信息库对流向网页服务器的页面进行选择性抓取;
S310,存储所抓取的数据;
S312,解析抓取到的页面的HTTP协议报文的内容,根据HTTP协议报文中的标签字段的内容对抓取到的HTTP协议报文中的数据进行选择性采集;
S314,分类存储解析后的数据。
图4是本发明深度包检测装置的一个实施例的结构示意图。
如图4所示,该实施例的深度包检测装置10可以包括:
地址筛选模块11,用于根据网页地址信息库选择性地抓取流向网页服务器的HTTP协议报文;
报文解析模块12,与地址筛选模块相连,用于解析抓取到的HTTP协议报文的内容;
标签内容提取模块13,与报文解析模块相连,用于提取HTTP协议报文中的标签字段的内容,其中,标签字段的内容表示网页的HTTP协议报文的数据采集范围,可选地,网页的HTTP协议报文的数据采集范围可以包括提取HTTP协议报文中的全部数据、提取HTTP协议报文中的部分数据、以及不提取HTTP协议报文中的任何数据;
数据采集模块14,与标签内容提取模块相连,用于根据标签字段的内容对抓取到的HTTP协议报文中的数据进行选择性采集。
可选地,可以将标签字段设置在流向网页服务器的HTTP协议报文的头部字段中。
该实施例在进行数据采集时,首先根据网页地址筛选待采集的网页,在很大程度上减少了对海量的处理。另外,该实施例还解析所抓取网页的HTTP头部字段内容,提取自定义的头部字段标签内容,按照标签的内容采取不同的数据采集提取流程,可以提取HTTP协议报文的全部内容、提取HTTP协议报文的部分内容或者不提取任何内容等,从而实现带选择性的数据采集,减小海量数据对于技术及成本的压力,同时提高了数据采集的效率和准确性。
图5是本发明网页数据采集系统的一个实施例的结构示意图。
如图5所示,该实施例的网页数据采集系统可以包括前述实施例中的深度包检测装置10以及网页数据处理装置21,其中,网页数据处理装置21包括:
采集范围确定模块211,用于根据数据采集需求确定每个网页的HTTP协议报文的数据采集范围;
数据处理模块212,与采集范围确定模块相连,用于在每个网页的HTTP协议报文中加入标签字段,形成流向网页服务器的HTTP协议报文,其中,标签字段的内容表示网页的HTTP协议报文的数据采集范围。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员应该理解,可在不脱离本发明的范围和精神的情况下,对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (11)

1.一种网页数据处理方法,其特征在于,包括:
根据数据采集需求确定每个网页的HTTP协议报文的数据采集范围;
在每个网页的HTTP协议报文中加入标签字段,所述标签字段的内容表示网页的HTTP协议报文的数据采集范围。
2.根据权利要求1所述的方法,其特征在于,所述标签字段设置在所述每个网页的HTTP协议报文的头部字段中。
3.根据权利要求1所述的方法,其特征在于,所述网页的HTTP协议报文的数据采集范围包括提取HTTP协议报文中的全部数据、提取HTTP协议报文中的部分数据、以及不提取HTTP协议报文中的任何数据。
4.一种网页数据采集方法,其特征在于,包括:
根据网页地址信息库选择性地抓取流向网页服务器的HTTP协议报文;
解析抓取到的HTTP协议报文的内容;
提取所述HTTP协议报文中的标签字段的内容;
根据所述标签字段的内容对所述抓取到的HTTP协议报文中的数据进行选择性采集。
5.根据权利要求4所述的方法,其特征在于,通过下述步骤形成所述流向网页服务器的HTTP协议报文:
根据数据采集需求确定每个网页的HTTP协议报文的数据采集范围;
在每个网页的HTTP协议报文中加入所述标签字段,形成所述流向网页服务器的HTTP协议报文,其中,所述标签字段的内容表示网页的HTTP协议报文的数据采集范围。
6.根据权利要求4或5所述的方法,其特征在于,所述标签字段设置在所述每个网页的HTTP协议报文的头部字段中。
7.根据权利要求5所述的方法,其特征在于,所述网页的HTTP协议报文的数据采集范围包括提取HTTP协议报文中的全部数据、提取HTTP协议报文中的部分数据、以及不提取HTTP协议报文中的任何数据。
8.一种深度包检测装置,其特征在于,包括:
地址筛选模块,用于根据网页地址信息库选择性地抓取流向网页服务器的HTTP协议报文;
报文解析模块,与所述地址筛选模块相连,用于解析抓取到的HTTP协议报文的内容;
标签内容提取模块,与所述报文解析模块相连,用于提取所述HTTP协议报文中的标签字段的内容,其中,所述标签字段的内容表示网页的HTTP协议报文的数据采集范围;
数据采集模块,与所述标签内容提取模块相连,用于根据所述标签字段的内容对所述抓取到的HTTP协议报文中的数据进行选择性采集。
9.根据权利要求8所述的装置,其特征在于,所述标签字段设置在所述流向网页服务器的HTTP协议报文的头部字段中。
10.根据权利要求8所述的装置,其特征在于,所述网页的HTTP协议报文的数据采集范围包括提取HTTP协议报文中的全部数据、提取HTTP协议报文中的部分数据、以及不提取HTTP协议报文中的任何数据。
11.一种网页数据采集系统,其特征在于,包括权利要求8-10中任一项所述的深度包检测装置以及网页数据处理装置,其中,所述网页数据处理装置包括:
采集范围确定模块,用于根据数据采集需求确定每个网页的HTTP协议报文的数据采集范围;
数据处理模块,与所述采集范围确定模块相连,用于在每个网页的HTTP协议报文中加入所述标签字段,形成所述流向网页服务器的HTTP协议报文,其中,所述标签字段的内容表示网页的HTTP协议报文的数据采集范围。
CN201010532086.4A 2010-10-29 2010-10-29 深度包检测装置、网页数据处理方法、采集方法及系统 Active CN101997915B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010532086.4A CN101997915B (zh) 2010-10-29 2010-10-29 深度包检测装置、网页数据处理方法、采集方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010532086.4A CN101997915B (zh) 2010-10-29 2010-10-29 深度包检测装置、网页数据处理方法、采集方法及系统

Publications (2)

Publication Number Publication Date
CN101997915A true CN101997915A (zh) 2011-03-30
CN101997915B CN101997915B (zh) 2014-01-08

Family

ID=43787485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010532086.4A Active CN101997915B (zh) 2010-10-29 2010-10-29 深度包检测装置、网页数据处理方法、采集方法及系统

Country Status (1)

Country Link
CN (1) CN101997915B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685298A (zh) * 2013-12-23 2014-03-26 上海交通大学无锡研究院 一种基于深度包检测的ssl中间人攻击发现方法
CN103888307A (zh) * 2012-12-20 2014-06-25 中国电信股份有限公司 用于优化深度包检测的方法、用户侧板卡和宽带接入网关
CN104486157A (zh) * 2014-12-16 2015-04-01 国家电网公司 一种基于深度包解析的信息系统性能检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020091755A1 (en) * 2000-06-30 2002-07-11 Attila Narin Supplemental request header for applications or devices using web browsers
CN1402156A (zh) * 2001-08-22 2003-03-12 威瑟科技股份有限公司 网站信息提取系统与方法
WO2007101478A1 (en) * 2006-03-09 2007-09-13 Tecs Research And Development Limited A method of monitoring online banner activity
CN101094135A (zh) * 2006-06-23 2007-12-26 腾讯科技(深圳)有限公司 一种互联网内容信息的提取方法和提取系统
CN101399749A (zh) * 2007-09-27 2009-04-01 华为技术有限公司 一种报文过滤的方法、系统和设备
CN101556609A (zh) * 2009-05-19 2009-10-14 杭州信杨通信技术有限公司 基于网页内容的客户行为分析和服务系统
CN101667182A (zh) * 2008-09-05 2010-03-10 华为技术有限公司 一种对网页进行二次操作的方法、系统和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020091755A1 (en) * 2000-06-30 2002-07-11 Attila Narin Supplemental request header for applications or devices using web browsers
CN1402156A (zh) * 2001-08-22 2003-03-12 威瑟科技股份有限公司 网站信息提取系统与方法
WO2007101478A1 (en) * 2006-03-09 2007-09-13 Tecs Research And Development Limited A method of monitoring online banner activity
CN101094135A (zh) * 2006-06-23 2007-12-26 腾讯科技(深圳)有限公司 一种互联网内容信息的提取方法和提取系统
CN101399749A (zh) * 2007-09-27 2009-04-01 华为技术有限公司 一种报文过滤的方法、系统和设备
CN101667182A (zh) * 2008-09-05 2010-03-10 华为技术有限公司 一种对网页进行二次操作的方法、系统和装置
CN101556609A (zh) * 2009-05-19 2009-10-14 杭州信杨通信技术有限公司 基于网页内容的客户行为分析和服务系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
中华人民共和国工业和信息化部: "《中华人民共和国通信行业标准》", 15 June 2009 *
韩树人 等: "基于嵌入式Web服务器的远程实时数据采集", 《计算机技术与发展》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888307A (zh) * 2012-12-20 2014-06-25 中国电信股份有限公司 用于优化深度包检测的方法、用户侧板卡和宽带接入网关
CN103888307B (zh) * 2012-12-20 2017-11-17 中国电信股份有限公司 用于优化深度包检测的方法、用户侧板卡和宽带接入网关
CN103685298A (zh) * 2013-12-23 2014-03-26 上海交通大学无锡研究院 一种基于深度包检测的ssl中间人攻击发现方法
CN104486157A (zh) * 2014-12-16 2015-04-01 国家电网公司 一种基于深度包解析的信息系统性能检测方法

Also Published As

Publication number Publication date
CN101997915B (zh) 2014-01-08

Similar Documents

Publication Publication Date Title
CN104063401B (zh) 一种网页样式地址合并的方法和装置
CN103297270A (zh) 应用类型识别方法及网络设备
US20130191890A1 (en) Method and system for user identity recognition based on specific information
CN102938789B (zh) 一种移动互联网手机应用下载组合分析方法和装置
RU2013107787A (ru) Устройство приема, способ приема, устройство передачи, способ передачи, программа и система широковещательной передачи
CN102752288A (zh) 网络访问行为识别方法和装置
EP2584800A3 (en) Digital system and method of processing service data thereof
CN103455600B (zh) 一种视频url抓取方法、装置及服务器设备
CN101441629A (zh) 一种非结构化网页信息的自动采集方法
CN105100174A (zh) 一种互联网资源的调度方法、装置和系统
CN102801698B (zh) 一种基于url请求时序的恶意代码检测方法和系统
CN107870849A (zh) 测试日志的处理方法和装置
CN102012894A (zh) 一种终端文档显示方法及系统
CN104408185A (zh) 网页热力图的链接点击量展示方法及装置
CN101997915B (zh) 深度包检测装置、网页数据处理方法、采集方法及系统
CN110020161B (zh) 数据处理方法、日志处理方法和终端
CN109698798A (zh) 一种应用的识别方法、装置、服务器和存储介质
CN106993016B (zh) 网络请求及响应的处理方法和装置
CN105530218A (zh) 链接安全检测方法及客户端
CN103246675B (zh) 一种用于抓取网站数据的方法与设备
CN103036746A (zh) 基于网络中间点的网页响应时间被动测量方法及系统
CN102073678A (zh) 一种网站信息分析系统及其方法
CN102819613B (zh) Rss信息分页抓取系统及方法
CN104767777A (zh) 打开远程文件的系统及方法
CN103246680B (zh) 一种在浏览器中将网页内容聚合展现的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant