WO2011143817A1 - 应用协议识别方法及装置 - Google Patents

应用协议识别方法及装置 Download PDF

Info

Publication number
WO2011143817A1
WO2011143817A1 PCT/CN2010/072923 CN2010072923W WO2011143817A1 WO 2011143817 A1 WO2011143817 A1 WO 2011143817A1 CN 2010072923 W CN2010072923 W CN 2010072923W WO 2011143817 A1 WO2011143817 A1 WO 2011143817A1
Authority
WO
WIPO (PCT)
Prior art keywords
keyword
communication
weight vector
protocol
application protocol
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2010/072923
Other languages
English (en)
French (fr)
Inventor
刘芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcatel Lucent SAS
Original Assignee
Alcatel Lucent SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Lucent SAS filed Critical Alcatel Lucent SAS
Priority to CN201080065034.9A priority Critical patent/CN102835090B/zh
Priority to JP2013510470A priority patent/JP5536280B2/ja
Priority to US13/696,431 priority patent/US9031959B2/en
Priority to EP10851576.8A priority patent/EP2573995A4/en
Priority to PCT/CN2010/072923 priority patent/WO2011143817A1/zh
Priority to KR1020127030076A priority patent/KR101409563B1/ko
Publication of WO2011143817A1 publication Critical patent/WO2011143817A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/028—Capturing of monitoring data by filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/026—Capturing of monitoring data using flow identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2475—Traffic characterised by specific attributes, e.g. priority or QoS for supporting traffic characterised by the type of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0245—Filtering by information in the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/18—Protocol analysers

Definitions

  • the present invention relates to network communication technologies, and more particularly to protocol identification techniques. Background technique
  • the present invention proposes a method of identifying and classifying application layer protocol types in data received by an access gateway or other device in a data network such as a TCP/IP network.
  • the application protocol identifies the type of protocol used to determine the data carried in the network. This is a very important technology for providing information characteristics of network traffic, which is essential in many different situations, such as effective network planning and design, security policies such as lawful monitoring and network shielding, such as traffic shaping. Quality of service and service differentiation, and pricing strategy design, etc.
  • Most data networks use the TCP/IP reference model, which consists of five layers: physical layer, data link layer, network layer, transport layer, and application layer.
  • Relay nodes such as access gateways typically only involve the transmission and relaying of the IP layer, but are not aware of the content carried by the upper layers (the transport layer and the application layer). However, in some cases, such as shielding a particular type of application, the relay node must find an efficient way to identify and determine the type of protocol carried by the application layer. Summary of the invention
  • the usual application protocol identification scheme mainly includes the following three categories:
  • Protocol classification by port number is the simplest and most traditional method.
  • the method identifies the protocol or application type by the port number contained in the transport layer header.
  • the relationship between the port number and the protocol is defined by the Internet Assigned Numbers Authority (IANA).
  • IANA Internet Assigned Numbers Authority
  • the HTTP protocol typically uses port 80 and the SMTP protocol uses port 25.
  • the port number is usually defined by the protocol or the application itself. Because of the protocol and port This correspondence between numbers can be determined by the application layer protocol header, such as the source port field in the TCP header, and the port number of the destination port field.
  • port number based protocol identification is efficient and easy to implement, it has several significant drawbacks. 1) In some protocols, the port number actually used is dynamically allocated during operation. 2) The widespread use of firewalls makes it easier for some ports to traverse the firewall than others; therefore, to ensure connectivity, whether it is used directly or encapsulated in the original protocol, the use of popular ports for proprietary protocols is on the rise. 3) - Some protocols explicitly use non-standard ports to avoid being identified, even some P2P applications allow users to change the default port, and some combinations of tunneling techniques and random port selection to avoid detection. Therefore, protocol identification based solely on port numbers is no longer reliable.
  • the payload-based classification is the detection of the payload of the protocol carried in the communication packet by deep packet inspection (DPI) techniques.
  • the method includes: finding a determined feature string in an application layer packet, for example, the string 'http/ ⁇ corresponds to an HTTP application, and the string '0xe319010000, corresponding to the eMule application.
  • a single signature is not reliable enough to determine the protocol type, for example the string 'http/ ⁇ can also appear in the kazza protocol.
  • Regular expressions provide a flexible, powerful representation that provides high-accuracy protocol identification.
  • a finite automaton DFA
  • fully compiling a regular expression into a DFA state that determines the number of exponents that can result in a finite automaton will degrade performance.
  • Behavior-based protocol identification does not detect the content of the communication, but rather identifies the protocol based on the observed behavior or characteristics of the communication, such as the size of the packet, the number of connections, and the like.
  • a common behavior-based protocol identification uses statistical features to identify and classify communications in terms of applications. For example, a document proposes the use of supervised machine learning to identify Internet traffic streams. The basic goal of classification is communication flow, which is expressed as one or more data packets between a given pair of hosts. Each communication stream has several descriptions of it The characteristics of the behavior (parameters). These parameters form the input discriminator for application identification. For example, a flow period, a packet arrival time, a payload size, a Fourier transform of a packet arrival time, and the like can be used as an input discriminator.
  • Behavior-based protocol recognition results in less performance overhead than content-based protocol identification, it has multiple limitations.
  • Behavior-based protocol identification is typically less accurate than content-based protocol identification. Since it relies mainly on statistical descriptions, its recognition accuracy is not stable relative to the payload-based determination method.
  • the observed behavior always depends on the external environment, such as network type, host processing power. For example, the packet arrival interval in a wireless local area network (WLAN) may be different from Ethernet.
  • WLAN wireless local area network
  • the present invention proposes a method and apparatus for implementing application protocol identification based on keyword vector matching.
  • a method of identifying an application protocol comprises the steps of: A. classifying a data packet to be detected into a separate communication stream; B. retrieving a keyword in a payload of the communication stream based on a keyword library of the identifiable application protocol, and determining the Keyword weight vector of the communication stream; wherein the weight of a keyword is related to its position in the payload of a communication stream; C. determining the key weight vector of the communication stream and the feature key of the identifiable application protocol a similarity between the weight vectors; D. if the predetermined condition is satisfied, determining an application protocol corresponding to the feature key weight vector having the highest similarity between the keyword weight vectors of the communication stream as the communication stream Application protocol.
  • the method for identifying an application protocol further includes the steps before the step A: a. retrieving keywords in the payload of the plurality of training communication flows based on a keyword library of the identifiable application protocol And determining a key weight vector of the plurality of training communication flows; b. determining, according to the keyword weight vector of the plurality of training communication flows A feature key weight vector corresponding to each identifiable application protocol.
  • a protocol identification device for identifying an application protocol.
  • the protocol identification device includes: a first device, configured to classify a data packet to be detected into a separate communication flow; and a second device, configured to retrieve a payload of the communication flow based on a keyword library of an identifiable application protocol Keyword, and determining a keyword weight vector of the communication stream; wherein a weight of a keyword is related to its position in a payload of a communication stream; a third device, a keyword for determining the communication stream a similarity between the weight vector and the feature key weight vector of the identifiable application protocol; the fourth device, configured to: if the predetermined condition is met, have the highest similarity between the key weight vector of the communication stream The application protocol corresponding to the feature key weight vector is determined as an application protocol of the communication stream.
  • a network device that includes the protocol identification device of the present invention described above.
  • FIG. 1 is a flow chart showing a method of identifying an application protocol according to an embodiment of the present invention
  • FIG. 2 is a flow chart showing determining a feature key weight vector in a method of identifying an application protocol according to an embodiment of the present invention
  • FIG. 3 shows a block diagram of a protocol identifying apparatus according to an embodiment of the present invention. detailed description
  • the keywords in the agreement For example, but not limited to, the keywords of the hypertext transfer protocol include "http/", and the keywords of the file transfer protocol include "ftp/", and the like.
  • the received data packets are classified into separate communication flows according to the quintuple.
  • the quintuple includes: source address, destination address, source port number, destination port number, and transport protocol type. For each individual communication stream, detecting a keyword in its payload can obtain a keyword weight vector, and matching the keyword weight vector with the characteristic key weight vector of the identifiable protocol can achieve this separate The protocol of the communication flow is different.
  • Figure 1 shows a flow diagram of a method of identifying an application protocol in accordance with one embodiment of the present invention. This method is typically applied to network devices in data communication networks. As shown in FIG. 1, in this embodiment, the method for identifying an application protocol includes four steps Sl1, S12, S13, S14.
  • step S1 the data packet to be detected is classified into a separate communication stream.
  • step S12 a keyword in the payload of the communication stream is retrieved based on a keyword library of the identifiable application protocol, and a keyword weight vector of the communication stream is determined; wherein, the weight of one keyword is in a The location in the payload of the communication stream is related.
  • the keywords of the hypertext transfer protocol include "http/”
  • the keywords of the file transfer protocol include "ftp/"
  • a communication stream whose key weight vector can be represented as v d .
  • step S13 the similarity between the key weight vector of the communication stream and the feature key weight vector of the identifiable application protocol is determined.
  • each identifiable protocol there are N identifiable protocols, and the feature key weight vector of each identifiable protocol can be represented as V n , « e ⁇ l, ⁇ , N ⁇ .
  • step S14 if the predetermined condition is satisfied, an application protocol corresponding to the feature key weight vector having the highest similarity between the key weight vectors of the communication stream is determined as the application protocol of the communication stream.
  • each identifiable application protocol may have the same keyword or keywords that do not overlap each other; the values of N and M are not necessarily Size relationship.
  • each identifiable application protocol has at least one unique keyword, then M > N, which can improve the discrimination between different protocols.
  • the data packet to be detected is to be classified according to a quintuple, where the quintuple includes: a source address, a destination address, a source port number, and a destination port. Number, transport protocol type.
  • the data packet used to carry data between the source (node) and the destination (node) of the same application should have a source address, a destination address, a source port number, a destination port number, and a transport protocol type. identical.
  • the source port number and the destination port number are different between packets of different applications; the source and destination addresses are different between packets between different sources (nodes) and destinations (nodes). Therefore, different packets with the same quintuple content should belong to the same application between a pair of sources and destinations and will be categorized into the same separate communication stream.
  • the similarity in step S13 includes cosine similarity.
  • cosine similarity between the keyword weight vector v d of the communication flow and the feature key weight vector of any identifiable protocol will be calculated separately and can be expressed as:
  • the predetermined condition includes: the highest similarity is higher than a predetermined value.
  • a predetermined value For example, the cosine similarity between the key weight vector v d of the communication stream / rf and the feature key weight vector V 2 is the highest, and the application protocol represented by V 2 when the highest similarity is higher than a predetermined value
  • step S12 the higher the position of a keyword first appearing in the payload of a communication stream, the greater the weight.
  • the identification process includes the above steps S1 l, S12, S13, S14, and the feature key weight vector of each identifiable protocol should be determined during the training process before the recognition process.
  • 2 is a flow chart showing the determination of a feature key weight vector, that is, a training process, in a method of identifying an application protocol, in accordance with one embodiment of the present invention. as the picture shows, The training process includes two steps S21, S22.
  • step S21 keywords in the payloads of the plurality of training communication streams are retrieved based on a keyword library of the identifiable application protocol, and key weight vectors of the plurality of training communication streams are determined.
  • a feature key weight vector corresponding to each identifiable application protocol is determined according to the keyword weight vector of the plurality of training communication flows. Specifically, because the application protocol of each training communication flow is predicted, the keyword weight vector of all the training communication flows belonging to one application protocol may be averaged to determine the feature key weight corresponding to the application protocol. vector.
  • step S21 the higher the position of a keyword first appearing in the payload of a communication stream, the greater the weight.
  • the weight of the keyword is detected by the following itp-idf (reverse text position-reverse file frequency) algorithm, and the i-th keyword is for the jth
  • itp-idf reverse text position-reverse file frequency
  • the measure of the reverse text position /#, which is a measure of the reverse file frequency.
  • the position may be a bit position or a byte position, the reciprocal of the representation; if there is no i key in the jth training communication stream Word, then the value is zero;
  • the feature key weight vector corresponding to each identifiable application protocol is determined according to the keyword weight vector of the plurality of training communication flows.
  • a feature key weight vector can be calculated from a given training communication flow, or can be called a centroid vector, as follows: Where E p represents the set of training communication flows belonging to protocol p,
  • the feature key weight vector of each identifiable application protocol can be easily calculated based on the training communication stream.
  • training the communication stream also categorizes a large number of training packets according to a quintuple; in the training communication stream, several communication streams for each identifiable application should be included.
  • step S21 and step S22 may be repeatedly performed periodically or irregularly, and each time the execution is performed for the updated training communication flow to update the feature key of the identifiable application protocol.
  • Word weight vector In a new training process, a new identifiable application protocol can be introduced; accordingly, the number of keywords in the keyword library may increase, and the updated training communication stream should also include the newly introduced identifiable application protocol. A number of communication flows, the update results also include a newly introduced feature key weight vector of the identifiable application protocol.
  • step S12 in the identification process the same algorithm as in step S21 of the training process will be used to determine the key weight vector of the communication stream.
  • itp id o id where ip indicates the position of the ith keyword when it first appears in the communication stream, and the position may be a bit position or a byte position, and the reciprocal represented by 3 ⁇ 4 ⁇ ; if no number appears in the communication stream i keyword ⁇ , then ⁇ ⁇ ,
  • ⁇ , ⁇ 2 , , -, ⁇ ⁇ ) , where ⁇ represents the total number of keywords in the keyword library.
  • the key to the protocol that identifies the communication flow is at the head of its payload.
  • a keyword weight vector of a communication stream or a training communication stream is determined based on a content of a predetermined length of its payload header, and the keyword is retrieved.
  • the weight calculation may be performed only in the content of the payload length of a predetermined length.
  • the predetermined length is 128 bytes, or 256 bytes.
  • the predetermined length of the payload header can be accommodated in one or more data packets.
  • FIG. 3 shows a block diagram of a protocol identifying apparatus according to an embodiment of the present invention.
  • the protocol identifying apparatus 10 in this embodiment includes: a first device 11, a second device 12, a third device 13, and a fourth device 14.
  • the protocol identification device 10 is typically disposed in a network device in a data communication network.
  • the first device 11 is configured to classify the data packet to be detected into a separate communication stream.
  • a second device 12 configured to retrieve a keyword in a payload of the communication flow based on a keyword database of an identifiable application protocol, and determine a keyword weight vector of the communication flow; wherein, a keyword has a weight thereof It is related to the position in the payload of a communication stream.
  • keywords in the keyword library of the identifiable application protocol there are a plurality of different keywords in the keyword library of the identifiable application protocol, and for each identifiable protocol, there are several keywords that may appear in the protocol, e ⁇ l ,... , M ⁇ .
  • the keywords of the hypertext transfer protocol include "http/”
  • the keywords of the file transfer protocol include "ftp/”, and the like.
  • a communication stream whose key weight vector can be represented as v d .
  • the third device 13 is configured to determine a similarity between the keyword weight vector of the communication stream and the feature key weight vector of the identifiable application protocol.
  • each identifiable protocol there are N identifiable protocols, and the feature key weight vector of each identifiable protocol may be represented as V n , M e ⁇ l, . . . , N ⁇ .
  • the fourth device 14 is configured to: determine, if the predetermined condition is met, an application protocol corresponding to the feature key weight vector having the highest similarity between the keyword weight vectors of the communication flow as an application protocol of the communication flow .
  • different identifiable protocols may have the same keyword or keywords that do not overlap each other; the values of N and M do not have a necessary size relationship.
  • each identifiable application protocol has at least one unique keyword, then 1 ⁇ >: ⁇ , which can improve the degree of discrimination between different protocols.
  • the first device 11 classifies the data packet to be detected into a separate communication stream according to the quintuple, where the quintuple includes: a source address, a destination address, a source port number, Destination port number, transport protocol type.
  • the quintuple includes: a source address, a destination address, a source port number, Destination port number, transport protocol type.
  • a data packet for carrying data between a source (node) and a destination (node) of the same application protocol its source address, destination address, source port number, destination port number, and transport protocol type should be identical.
  • the source port number and destination port number are different between packets of different application protocols; the source and destination addresses of packets between different sources (nodes) and destinations (nodes) are different. Therefore, different packets with the same quintuple content should belong to the same application protocol between a pair of sources and destinations and will be categorized into the same separate communication stream.
  • the similarity determined by the third device 13 includes a cosine similarity.
  • the cosine similarity between the keyword weight vector v d of the communication stream and the feature key weight vector of any identifiable protocol will be calculated separately and can be expressed as:
  • the predetermined condition in the fourth device 14 includes: the highest similarity is higher than a predetermined value.
  • the cosine similarity between the keyword weight vector v d of the communication flow and the feature key weight vector V 2 is the highest, and when the highest similarity is higher than a predetermined value, the application protocol represented by v 2 will An application protocol determined to be a communication flow; when the highest similarity is also lower than the predetermined value, the communication flow will be identified as an unknown protocol, that is, the communication flow is determined by the fourth device 14 to not belong to any Identifies the agreement.
  • the identification process includes operations performed by the first device 11, the second device 12, the third device 13, and the fourth device 14, respectively, and characteristic keys of each identifiable protocol
  • the weight vector should be predetermined during the training process prior to the identification process.
  • the training process is performed by the second device 12 and includes two sub-operations 21, 22 (not shown).
  • the second device 12 retrieves keywords in the payload of the plurality of training communication flows based on the keyword library of the identifiable application protocol, and determines the key weight vectors of the plurality of training communication flows.
  • the second device 12 will determine a feature key weight vector corresponding to each identifiable application protocol based on the key weight vector of the plurality of training communication flows. Specifically, because the application protocol of each training communication flow is predicted, the keyword weight vector of all the training communication flows belonging to one application protocol may be averaged to determine the feature key weight corresponding to the application protocol. vector.
  • the weight of the keyword is detected by using the itp-idf (reverse text position-reverse file frequency) algorithm as follows.
  • itPij ⁇ ( 2 ) where represents the position of the ith keyword ⁇ when it first appears in the jth training communication stream, and the position may be a bit position or a byte position, represented.
  • the reciprocal of y if the i-th keyword ⁇ does not appear in the jth training communication stream, the ⁇ value is zero;
  • the second device 12 will determine a feature key weight vector corresponding to each identifiable application protocol based on the key weight vector of the plurality of training communication flows.
  • a feature key weight vector can be calculated from a given training communication flow, or can be called a centroid vector, as follows:
  • F p denotes a set of training communication flows belonging to protocol p
  • Vj denotes a key weight vector of one communication flow in the set.
  • v p can be obtained by averaging the weights of the keywords appearing in the key weight vector of each training communication stream in the set.
  • training the communication stream also categorizes a large number of training packets according to a quintuple; in the training communication stream, several communication streams for each identifiable application should be included.
  • the above training process that is, the sub-operation 21 and the sub-operation 22 performed by the second device 12, may be repeatedly performed periodically or irregularly, each time for the updated training communication flow, Update the feature key weight vector that identifies the application protocol.
  • a new identifiable application protocol can be introduced; accordingly, the number of keywords in the keyword library may increase, and the updated training communication stream should also include the newly introduced identifiable application protocol.
  • the update results also include a newly introduced feature key weight vector of the identifiable application protocol.
  • the second device 12 will employ the same algorithm as in sub-operation 21 of the training process to determine the key weight vector for the communication stream.
  • the second device 12 will use the itp-idf algorithm to communicate the key weight vector v d of the stream, and the ith keyword is for the communication flow.
  • the weights are expressed as follows: ⁇ ⁇
  • the bit The set can be a bit position or a byte position, and the reciprocal represented by 3 ⁇ 4 ⁇ ; if the i-th keyword does not appear in the communication stream ⁇ , ⁇ takes a value of zero. among them,
  • M represents the total number of keywords in the keyword library.
  • the key to the protocol that identifies the communication flow is at the head of its payload.
  • the second device 11 performs a key weight vector of a communication stream or a training communication stream in a confirmation operation of a keyword weight vector in a recognition process or a sub-operation 21 in a training process. It will be determined based on the content of the predetermined length of its payload header.
  • the second device 12 may perform keyword retrieval and weight calculation only in the content of the payload length of a predetermined length.
  • the predetermined length is 128 bytes, or 256 bytes.
  • the predetermined length of the payload header can be contained in one or more data packets.
  • a network device provided with the above-described protocol identifying device 10 is provided.
  • the network device is for example but not limited to: a switch, a router, a gateway, a terminal.
  • the device referred to in the present invention may include: a software function module, a hardware module, or a combination of the two.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)

Description

应用协议识别方法及装置 技术领域
本发明涉及网络通信技术， 尤其涉及协议识别技术。 背景技术
本发明提出了一种在诸如 TCP/IP网络的数据网络中， 对由接入 网关或其他设备接收到的数据中的应用层协议类型进行识别和分类 的方法。
应用协议识别用于确定网络中所承载的数据的协议类型。 这是 一种提供网絡流量的信息特征的非常重要的技术， 其在多种不同场 合都是必不可少的， 例如有效的网络规划和设计、 诸如合法监控和 网络屏蔽的安全策略、 诸如流量整型和服务区分的服务质量保障、 以及收费策略设计、 等。
当今的通信网络通常遵循分层模型， 如 OSI参考模型或 TCP/IP 参考模型。 大多数数据网络采用 TCP/IP参考模型， 其包括五层： 物 理层、 数据链路层、 网络层、 传输层和应用层。 诸如接入网关的中 继节点通常仅涉及 IP层的传输和中继， 而对于上层 （传输层和应用 层） 承载的内容并不知晓。 然而， 在某些场合， 例如屏蔽某种特定 类型的应用， 中继节点必须找到一个有效的途径来识别和确定应用 层所承载的协议类型。 发明内容
通常的应用协议识别方案主要包括以下三类：
基于端口的协议识别
通过端口号进行协议分类是最简单、 最传统的方法。 该方法通 过传输层报头所包含的端口号来识别协议或应用类型。 对于标准协 议， 端口号与协议之间的关系由互联网号码分配机构（ IANA )定义， 例如， HTTP协议通常使用端口 80, SMTP协议使用端口 25。 而对 于私有协议， 端口号通常由协议或应用自身定义。 因为协议和端口 号之间的这种对应关系， 通过应用层协议报头， 例如 TCP报头， 中 的源端口域和目的端口域的端口号， 就可以确定协议类型。
尽管基于端口号的协议识别是高效而易于实施的， 但其存在几 个明显的缺点。 1 )在某些协议中， 实际使用的端口号是在运行过程 中动态分配的。 2 ) 防火墙的广泛使用使得某些端口比另外一些端口 更容易穿越防火墙； 因此， 为了保证连接， 无论是直接使用还是封 装于原始协议之中， 为私有协议使用流行的端口呈上升趋势。 3 )— 些协议明确地使用非标准端口以避免被识别， 甚至一些 P2P应用允 许用户改变默认端口， 还有一些采用隧道技术和随机端口选择的组 合以避免被检测。 因此， 仅仅基于端口号的协议识别已经不再可靠。
基于有效载荷的协议识另 'J
基于有效载荷的分类是通过深度包检测 （DPI )技术来检测承载 于通信数据包中的协议的有效载荷。 该方法包括： 在应用层数据包 中寻找确定的特征字符串， 例如字符串 'http/Γ 对应于 HTTP应用， 字符串 '0xe319010000， 对应于电驴应用。 然而， 单个特征码对于 确定协议类型不够可靠， 例如字符串 'http/Γ 也可以出现在 kazza 协议中。
为了改善匹配精确度， 有人提出了采用正则表达式匹配来识别 协议。 正则表达式提供了灵活、 强大的表达形式， 能够提供高精确 度的协议识别。 在实际应用中通常使用确定有限自动机 （DFA ) 来 实现正则表达式。 然而， 取决于具体的模式， 将一个正则表达式完 全编译到一个确定有限自动机可能导致指数数量的 DFA状态， 这会 降低性能。
基于行为的协议识别
基于行为的协议识别并不检测通信的内容， 而是根据观察到的 通信的行为或特征， 例如数据包的大小、 连接数量、 等， 来识别协 议。 一种通用的基于行为的协议识别就应用而言是采用统计特性来 对通信进行识别和分类。 例如一篇文献中提出了采用监督的机器学 习来识别互联网通信流， 分类的基本目标是通信流， 其被表达为给 定主机对之间的一个或多个数据包。 每一个通信流具有若干描述其 行为的特征 （参数） 。 这些参数构成了应用识别的输入鉴别器。 例 如， 流周期、 包到达时间、 有效载荷尺寸、 包到达时间的傅里叶变 换、 等， 均可作为输入鉴别器。 该文献中声称采用贝叶斯机器学习 得到的识别率为 65%; 当引入两个改进， 即核密度估计 （KDE ) 以 及基于快速相关的滤波器 （FCBF ) , 识别率达到 95%。 还有人提出 了一些其他的基于统计特性的识另 'J机制。
尽管基于行为的协议识别相比于基于内容的协议识别引起较少 的性能开销， 但其存在多方面的限制。 1 )基于行为的协议识别的精 确度通常低于基于内容的协议识别。 由于它主要依赖统计描述， 相 对于基于有效载荷的确定方法， 其识别精确度并不稳定。 2 ) 另外， 观察到的行为总是依赖于外部环境， 诸如网絡类型、 主机处理能力。 例如， 在一个无线局域网 （WLAN ) 中的包到达间隔时间可能不同 于以太网。 3 )恶意用户相对地比较容易通过修改上述的通信流参数， 例如通过补零来改变包的长度、 通过延迟来改变包到达时间， 以此 来规避识别。
为了克服现有技术中的上述缺陷， 本发明提出了基于关键字向 量匹配来实现应用协议识别的方法及装置。
在本发明的一个实施例中， 提供了一种识别应用协议的方法。 该方法包括以下步骤： A. 将待检测数据包归类到单独的通信流； B.基于可识别的应用协议的关键字库检索所述通信流的有效载荷中 的关键字， 并确定所述通信流的关键字权重向量； 其中， 一个关键 字的权重与其在一个通信流的有效载荷中的位置有关； C. 确定所述 通信流的关键字权重向量与可识别的应用协议的特征关键字权重向 量之间的相似度； D. 如果满足预定条件， 将与所述通信流的关键字 权重向量之间具有最高相似度的特征关键字权重向量所对应的应用 协议确定为所述通信流的应用协议。
在本发明的另一个实施例中，识别应用协议的方法在所述步骤 A 之前还包括步骤： a. 基于可识别的应用协议的关键字库检索多个训 练通信流的有效载荷中的关键字， 并确定所述多个训练通信流的关 键字权重向量； b. 根据所述多个训练通信流的关键字权重向量来确 定每一个可识别的应用协议所对应的特征关键字权重向量。
在本发明的一个实施例中， 提供了一种识别应用协议的协议识 别装置。 该协议识别装置包括： 第一装置， 用于将待检测数据包归 类到单独的通信流； 第二装置， 用于基于可识别的应用协议的关键 字库检索所述通信流的有效载荷中的关键字， 并确定所述通信流的 关键字权重向量； 其中， 一个关键字的权重与其在一个通信流的有 效载荷中的位置有关； 第三装置， 用于确定所述通信流的关键字权 重向量与可识别的应用协议的特征关键字权重向量之间的相似度； 第四装置， 用于： 如果满足预定条件， 将与所述通信流的关键字权 重向量之间具有最高相似度的特征关键字权重向量所对应的应用协 议确定为所述通信流的应用协议。
在本发明的一个实施例中， 提供了一种网络设备， 其包括本发 明上述的协议识别装置。
采用本发明中的方法及其装置， 可以改善协议识别的精确性， 同时相比于现有机制不引入显著的额外性能开销。 附图说明
参考下面的图和说明， 将更好地理解该系统。 图中的元件不一 定按比例绘制， 而是重点用于说明典型模型的原理。 在图中， 贯穿 不同的示图， 类似的参考标号表示对应的特征。
图 1 示出了 ^据本发明的一个实施例的识别应用协议的方法流 程图；
图 2 示出了才艮据本发明的一个实施例的识别应用协议的方法中 确定特征关键字权重向量的流程图；
图 3示出了根据本发明的一个实施例的协议识别装置的结构图。 具体实施方式
不失一般性地， 本发明中的以下实施例均是应用于数据通信网 络， 例如 Internet网络， 之中。
在本发明中， 对于每一个需要识别的协议， 将选择一组可能出 现在该协议中的关键字。 例如但不限于， 超文本传输协议的关键字 包括 " http/" , 文件传输协议的关键字包括 " ftp/" , 等。 接收到的 数据包被根据五元组归类为单独的通信流， 五元组包括： 源地址、 目的地址、 源端口号、 目的端口号、 传输协议类型。 对于每一个单 独的通信流， 检测其有效载荷中的关键字可以得到一个关键字权重 向量， 将该关键字权重向量和可识别协议的特征关键字权重向量进 行匹配就可以实现对这一单独的通信流的协议的识另 lj。
图 1 示出了根据本发明的一个实施例的识别应用协议的方法流 程图。 该方法通常应用于数据通信网络的网络设备之中。 如图 1 所 示， 在该实施例中， 识别应用协议的方法包括四个步骤 Sl l、 S12、 S13、 S14。
在步骤 Sl l 中， 将待检测数据包归类到单独的通信流。
在步骤 S12 中， 基于可识别的应用协议的关键字库检索所述通 信流的有效载荷中的关键字， 并确定所述通信流的关键字权重向量； 其中， 一个关键字的权重与其在一个通信流的有效载荷中的位置有 关。
具体地， 例如但不限于， 在可识别的应用协议的关键字库中共 有 M个不同的关键字， 对于每一可识别协议， 均有若干可能出现在 该协议中的关键字 ， e {l,...,M}。 例如但不限于， 超文本传输协议 的关键字包括 " http/" , 文件传输协议的关键字包括 " ftp/" , 等。 例如， 一个通信流 Λ , 其关键字权重向量可以表示为 vd。
在步骤 S13 中， 确定所述通信流的关键字权重向量与可识别的 应用协议的特征关键字权重向量之间的相似度。
具体地， 例如但不限于， 可识别的协议共有 N个， 每一可识别 协议的特征关键字权重向量可以表示为 Vn ,« e {l,〜,N}。
在步骤 S14 中， 如果满足预定条件， 将与所述通信流的关键字 权重向量之间具有最高相似度的特征关键字权重向量所对应的应用 协议确定为所述通信流的应用协议。
本领域技术人员应能理解， 不同的可识别协议可以具有相同的 关键字， 也可以具有互不重叠的关键字； N和 M的取值没有必然的 大小关系。 优选地， 每一可识别应用协议具有至少一个独有的关键 字， 则 M > N, 这样可以提高不同协议之间的区分度。
在本发明的一个实施例中， 具体地， 在步骤 S11 中， 待检测数 据包将被根据五元组来归类， 所述五元组包括： 源地址、 目的地址、 源端口号、 目的端口号、 传输协议类型。 需要理解的是， 用于承载 同一个应用程序在源 （节点）和目的 （节点）之间的数据的数据包， 其源地址、 目的地址、 源端口号、 目的端口号、 传输协议类型应是 相同的。 通常， 不同的应用程序的数据包之间源端口号和目的端口 号不同； 不同的源 （节点） 和目的 （节点） 之间的数据包之间的源 地址和目的地址不同。 因此， 具有相同五元组内容的不同数据包应 该属于一对源和目的之间的同一应用程序， 将被归类到同一个单独 的通信流。
在本发明的一个实施例中， 具体地， 步骤 S13 中的相似度包括 余弦相似度。例如， 通信流 Λ的关键字权重向量 vd与任一可识别协议 的特征关键字权重向量之间的余弦相似度将被分别计算， 可以用公 式表示为：
cos(vd ,Vn ) 。
Figure imgf000008_0001
在本发明的一个实施例中， 具体地， 在步骤 S14 中， 所述预定 条件包括： 所述最高相似度高于一个预定值。 例如， 通信流/ rf的关 键字权重向量 vd与特征关键字权重向量 V2的之间的余弦相似度最高， 则当该最高相似度高于一个预定值时， V2所代表的应用协议将被确定 为通信流 的应用协议； 当最高相似度低于所述预定值时， 则通信 流 将被识别为未知协议， 也就是通信流 被确定为不属于任一可 识别协议。
在本发明的一个实施例中， 具体地， 步骤 S12 中， 一个关键字 在一个通信流的有效载荷中首次出现的位置越靠前， 其权重越大。
通常， 识别过程包括上述步骤 Sl l、 S12、 S13、 S14, 每一可识 别协议的特征关键字权重向量应在识别过程之前的训练过程中确 定。 图 2 示出了根据本发明的一个实施例的识别应用协议的方法中 确定特征关键字权重向量， 也就是训练过程, 的流程图。 如图所示， 该训练过程包括两个步驟 S21、 S22。
在步驟 S21 中， 将基于可识别的应用协议的关键字库检索多个 训练通信流的有效载荷中的关键字， 并确定所述多个训练通信流的 关键字权重向量。
在步骤 S22 中， 将根据所述多个训练通信流的关键字权重向量 来确定每一个可识别的应用协议所对应的特征关键字权重向量。 具 体地， 因为每一训练通信流的应用协议都是预知的， 可以对同属于 一个应用协议的所有训练通信流的关键字权重向量取平均值， 以确 定该应用协议所对应的特征关键字权重向量。
在本发明的一个实施例中， 具体地， 步骤 S21 中， 一个关键字 在一个通信流的有效载荷中首次出现的位置越靠前， 其权重越大。
更具体地， 在本发明的一个实施例的步骤 S21 中， 关键字的权 重采用如下的 itp-idf (反向文本位置-反向文件频率） 算法来检测， 第 i个关键字对于第 j个训练通信流的权重表示如下：
( 1 ) 其中， 是反向文本位置的度量， /#,是反向文件频率的度量。 其中， 表示第 i个关键字 在第 j个训练通信流中首次出现时的位 置， 该位置可以是比特位置或字节位置， 表示 的倒数； 如果在 第 j个训练通信流中没有 i个关键字 , 则 取值为零；
Figure imgf000009_0001
其中， |F|表示训练通信流的总数目， 表示包含第 i个关键字 的训练通信流的数目； 则第 j个训练通信流的关键字权重向量可以 表示为： 其中， M表示关键字库中关键字的总数量。
在步驟 S22 中， 将根据所述多个训练通信流的关键字权重向量 来确定每一个可识别的应用协议所对应的特征关键字权重向量。 对 于某一个可识别的应用协议 p ,从给定的训练通信流中可以计算出一 个特征关键字权重向量， 或者可以称为质心向量， 表示如下： 其中， Ep表示属于协议 p的训练通信流的集合， |EP|表示属于协议 p 的训练通信流的数量， V」表示集合 中的一个通信流的关键字权重向 量。 通过平均集合 中的各训练通信流的关键字权重向量中出现的 各关键字的权重， 就可以得到 Vp。
在该实施例的步骤 和 S22中，基于上述的公式（ 1 )至（5 ) , 可以很容易地基于训练通信流计算出每一可识别的应用协议的特征 关键字权重向量。
本领域技术人员应能理解， 训练通信流也是将大量训练数据包 根据五元组归类而成的； 在训练通信流中， 应包括每一可识别应用 程序的若干通信流。
本领域技术人员应能理解， 上述训练过程， 也就是步骤 S21 和 步骤 S22, 可以定期地或不定期地重复执行，每次执行时针对更新的 训练通信流， 以更新可识别应用协议的特征关键字权重向量。 在某 一次更新的训练过程中， 可以引入新的可识别应用协议； 则相应地， 关键字库中的关键字数量可能会增加， 更新的训练通信流还应包括 新引入的可识别应用协议的若干通信流， 更新结果还包括新引入的 可识别应用协议的特征关键字权重向量。
本领域技术人员应能理解， 在识别过程中的步骤 S12 中， 将采 用与训练过程中的步骤 S21 中同样的算法来确定通信流的关键字权 重向量。
在本发明的一个实施例中， 具体地， 在步骤 S12中， 通信流 的 关键字权重向量 将采用如下的 itp-idf算法来检测，第 i个关键字对 于通信流 的权重表示如下： = ^ χ ^。 其中， itpid oid 其中， 表示第 i个关键字 在通信流 Λ中首次出现时的位置， 该位置可以 是比特位置或字节位置， ¾^表示 的倒数； 如果在通信流 中没有 出现第 i个关键字 ^， 则 Ζ· 中，
Figure imgf000010_0001
其中， | |表示训练通信流的总数目， 表示包含第 i个关键字 的训练通信流的数目。 则通信流 的关键字权重向量可以表示为：
^ = ,ω2, ,-,ωΜά ) , 其中， Μ表示关键字库中关键字的总数量。
对于一个通信流而言， 通常， 对于识别该通信流的协议具有重 要作用的关键字位于其有效载荷的头部。 在本发明的一个实施例中， 具体地， 在步骤 S12或步骤 S21 中， 一个通信流或训练通信流的关 键字权重向量将基于其有效载荷头部预定长度的内容来确定， 关键 字的检索和权重计算仅在该有效载荷头部预定长度的内容中进行即 可。 例如但不限于， 该预定长度为 128字节、 或 256字节。 本领域 技术人员应能理解， 该有效载荷头部预定长度的内容可以容纳在一 个或多个数据包中。
图 3示出了根据本发明的一个实施例的协议识别装置的结构图。 如图所示， 该实施例中的协议识别装置 10包括： 第一装置 11、 第二 装置 12、 第三装置 13、 第四装置 14。 该协议识别装置 10通常设置 于数据通信网络中的网络设备之中。
第一装置 11 , 用于将待检测数据包归类到单独的通信流。
第二装置 12, 用于基于可识别的应用协议的关键字库检索所述 通信流的有效载荷中的关键字， 并确定所述通信流的关键字权重向 量； 其中， 一个关键字的权重与其在一个通信流的有效载荷中的位 置有关。
具体地， 例如但不限于， 在可识别的应用协议的关键字库中共 有 Μ个不同的关键字， 对于每一可识别协议， 均有若干可能出现在 该协议中的关键字 , e {l,... ,M}。 例如但不限于， 超文本传输协议 的关键字包括 " http/" , 文件传输协议的关键字包括 " ftp/" , 等。 例如， 一个通信流 其关键字权重向量可以表示为 vd。
第三装置 13 , 用于确定所述通信流的关键字权重向量与可识别 的应用协议的特征关键字权重向量之间的相似度。
具体地， 例如但不限于， 可识别的协议共有 N个， 每一可识别 协议的特征关键字权重向量可以表示为 Vn , M e {l，... , N}。
第四装置 14, 用于： 如果满足预定条件， 将与所述通信流的关 键字权重向量之间具有最高相似度的特征关键字权重向量所对应的 应用协议确定为所述通信流的应用协议。 本领域技术人员应能理解， 不同的可识别协议可以具有相同的 关键字， 也可以具有互不重叠的关键字； N和 M的取值没有必然的 大小关系。 优选地， 每一可识别应用协议具有至少一个独有的关键 字， 则 1^ >：^, 这样可以提高不同协议之间的区分度。
在本发明的一个实施例中， 具体地， 第一装置 11根据五元组将 待检测数据包归类为单独的通信流， 所述五元组包括： 源地址、 目 的地址、 源端口号、 目的端口号、 传输协议类型。 需要理解的是， 用于承载同一个应用协议在源 （节点） 和目的 （节点） 之间的数据 的数据包， 其源地址、 目的地址、 源端口号、 目的端口号、 传输协 议类型应是相同的。 通常， 不同的应用协议的数据包之间源端口号 和目的端口号不同； 不同的源 （节点） 和目的 （节点） 之间的数据 包的源地址和目的地址不同。 因此， 具有相同五元组内容的不同数 据包应该属于一对源和目的之间的同一应用协议， 将被归类到同一 个单独的通信流。
在本发明的一个实施例中， 具体地， 第三装置 13确定的相似度 包括余弦相似度。例如， 通信流 的关键字权重向量 vd与任一可识别 协议的特征关键字权重向量之间的余弦相似度将被分别计算， 可以 用公式表示为：
cos(vd , Vn ) = 。
INIxllvJ
在本发明的一个实施例中， 具体地， 第四装置 14中的所述预定 条件包括： 所述最高相似度高于一个预定值。 例如， 通信流 Λ的关 键字权重向量 vd与特征关键字权重向量 V2的之间的余弦相似度最高， 则当该最高相似度高于一个预定值时， v2所代表的应用协议将被确定 为通信流 Λ的应用协议； 当最高相似度也低于所述预定值时， 则通 信流 Λ将被识别为未知协议， 也就是通信流 Λ被第四装置 14确定为 不属于任一可识别协议。
在本发明的一个实施例中， 具体地， 第二装置 12中， 一个关键 字在一个通信流的有效载荷中首次出现的位置越靠前， 其权重越大。
通常， 识别过程包括上述第一装置 11、 第二装置 12、 第三装置 13、 第四装置 14所分别执行的操作， 每一可识别协议的特征关键字 权重向量应在识别过程之前的训练过程中预先确定。
该训练过程由第二装置 12执行， 包括两个子操作 21、 22 (图中 未示出） 。
在子操作 21 中， 第二装置 12将基于可识别的应用协议的关键 字库检索多个训练通信流的有效载荷中的关键字， 并确定所述多个 训练通信流的关键字权重向量。
在子操作 22 中， 第二装置 12将根据所述多个训练通信流的关 键字权重向量来确定每一个可识别的应用协议所对应的特征关键字 权重向量。 具体地， 因为每一训练通信流的应用协议都是预知的， 可以对同属于一个应用协议的所有训练通信流的关键字权重向量取 平均值， 以确定该应用协议所对应的特征关键字权重向量。
在本发明的一个实施例中， 具体地， 第二装置 12所执行的子操 作 21 中， 一个关键字在一个通信流的有效载荷中首次出现的位置越 靠前， 其权重越大。
更具体地， 在本发明的一个实施例中， 第二装置 12所执行的子 操作 21 中， 关键字的权重采用如下的 itp-idf (反向文本位置-反向文 件频率）算法来检测， 第 i个关键字对于第 j个训练通信流的权重表 示:^下：
(Oy = itpij x idfi ( 1 ) 其中， 是反向文本位置的度量， ^是反向文件频率的度量。
itPij = ν ( 2 ) 其中， 表示第 i个关键字 ^在第 j个训练通信流中首次出现时的位 置， 该位置可以是比特位置或字节位置， 表示。 y的倒数； 如果在 第 j个训练通信流中没有出现第 i个关键字^， 则^ ^取值为零；
{ ：
其中， |F|表示训练通信流的总数目， 表示包含第 i个关键字 的训练通信流的数目； 则第 j个训练通信流的关键字权重向量可以 表示为：
V , = ω ω2 ( 4 ) 其中， M表示关键字库中关键字的总数量 在子操作 22 中， 第二装置 12将根据所述多个训练通信流的关 键字权重向量来确定每一个可识别的应用协议所对应的特征关键字 权重向量。 对于某一个可识别的应用协议 p, 从给定的训练通信流中 可以计算出一个特征关键字权重向量， 或者可以称为质心向量， 表 示如下：
Figure imgf000014_0001
其中， Fp表示属于协议 p的训练通信流的集合， 表示属于协议 p 的训练通信流的数量， Vj表示集合 中的一个通信流的关键字权重向 量。 通过平均集合 中的各训练通信流的关键字权重向量中出现的 各关键字的权重， 就可以得到 vp。
在该实施例中， 第二装置 12所执行的子操作 21和 22中， 基于 上述的公式 （ 1 ) 至 （5 ) , 可以很容易地基于训练通信流计算出每 一可识别的应用协议的特征关键字权重向量。
本领域技术人员应能理解， 训练通信流也是将大量训练数据包 根据五元组归类而成的； 在训练通信流中， 应包括每一可识别应用 程序的若干通信流。
本领域技术人员应能理解， 上述训练过程， 也就是第二装置 12 所执行的子操作 21和子操作 22， 可以定期地或不定期地重复执行， 每次执行时针对更新的训练通信流， 以更新可识别应用协议的特征 关键字权重向量。 在某一次更新的训练过程中， 可以引入新的可识 别应用协议； 则相应地， 关键字库中的关键字数量可能会增加， 更 新的训练通信流还应包括新引入的可识别应用协议的若干通信流， 更新结果还包括新引入的可识别应用协议的特征关键字权重向量。
本领域技术人员应能理解， 在识别过程中， 第二装置 12将采用 与训练过程中的子操作 21中同样的算法来确定通信流的关键字权重 向量。
在本发明的一个实施例中， 具体地， 识别过程中， 第二装置 I2 将采用如下的 itp-idf算法来通信流 ^的关键字权重向量 vd ,第 i个关 键字对于通信流 Λ的权重表示如下： ωΜ
Figure imgf000014_0002
其中， 表示第 i个关键字 ,在通信流 Λ中首次出现时的位置， 该位 置可以是比特位置或字节位置， ¾^表示 的倒数； 如果在通信流^ 中没有出现第 i个关键字 , 则 φ 取值为零。 其中，
Figure imgf000015_0001
其中， |E|表示训练通信流的总数目， 表示包含第 i个关键字 的训练通信流的数目。 则通信流 的关键字权重向量可以表示为：
^ - ,ω2,,-,ωΜί1 ) , 其中， M表示关键字库中关键字的总数量。
对于一个通信流而言， 通常， 对于识别该通信流的协议具有重 要作用的关键字位于其有效载荷的头部。 在本发明的一个实施例中， 具体地， 第二装置 11在识别过程中的关键字权重向量的确认操作或 训练过程中的子操作 21中， 一个通信流或训练通信流的关键字权重 向量将基于其有效载荷头部预定长度的内容来确定。 第二装置 12仅 在该有效载荷头部预定长度的内容中进行关键字的检索和权重计算 即可。 例如但不限于， 该预定长度为 128字节、 或 256字节。 本领 域技术人员应能理解， 该有效载荷头部预定长度的内容可以容纳在 一个或多个数据包中。
在本发明的一个实施例中， 提供了设置有上述协议识别装置 10 的网络设备。 该网络设备例如但不限于： 交换机、 路由器、 网关、 终端机。
本领域技术人员应能理解， 本发明中所称的装置， 可以包括： 软件功能模块、 硬件模块、 或两者的结合。
本领域技术人员应能理解， 上述实施例均是示例性而非限制性 效果。 本领域技术人员在研究附图、 说明书及权利要求书的基础上， 应能理解并实现所揭示的实施例的其他变化的实施例。 在权利要求 书中， 术语 "包括" 并不排除其他装置或步驟； 不定冠词 "一个" 不排除多个； 术语 "第一" 、 "第二，， 用于标示名称而非用于表示 任何特定的顺序。 权利要求中的任何附图标记均不应被理解为对保 护范围的限制。 权利要求中出现的多个部分的功能可以由一个单独 的硬件或软件模块来实现。 某些技术特征出现在不同的从属权利要 求中并不意味着不能将这些技术特征进行组合以取得有益效果。

Claims

权 利 要 求 书
1. 一种识别应用协议的方法， 包括以下步骤：
A. 将待检测数据包归类到单独的通信流；
B. 基于可识别的应用协议的关键字库检索所述通信流的有效载 荷中的关键字， 并确定所述通信流的关键字权重向量； 其中， 一个 关键字的权重与其在一个通信流的有效载荷中的位置有关；
C. 确定所述通信流的关键字权重向量与可识别的应用协议的特 征关键字权重向量之间的相似度；
D. 如果满足预定条件， 将与所述通信流的关键字权重向量之间 具有最高相似度的特征关键字权重向量所对应的应用协议确定为所 述通信流的应用十办议。
2. 根据权利要求 1所述的方法， 其中， 所述步骤 B中， 一个关 键字在一个通信流的有效载荷中首次出现的位置越靠前， 其权重越 大。
3. 根据权利要求 2所述的方法， 其中， 通信流 Λ的关键字权重 向量中的第 i个关键字的权重表示为 ¾ = itpid X idj]；
其中， itpid = 示第 i个关键字在通信流/ rf中首次出现时 的位置；
其中， f = l ； |E|表示通信流的总数目， |{/ : e /表示
Figure imgf000016_0001
包含第 i个关键字^的通信流的数目。
4. 根据权利要求 1至 3中任一项所述的方法， 其中， 在所述步 骤 A之前还包括步骤：
a. 基于可识别的应用协议的关键字库检索多个训练通信流的有 效载荷中的关键字， 并确定所述多个训练通信流的关键字权重向量； b. 根据所述多个训练通信流的关键字权重向量来确定每一个可 识别的应用协议所对应的特征关键字权重向量。
5. 根据权利要求 4所述的方法， 其中， 所述步骤 a中釆用与所 述步骤 B中同样的算法来确定训练通信流的关键字权重向量；
其中， 第 j个通信流的关键字权重向量中的第 i个关键字的权重 其中， ^. = 1/ ； 表示第 i个关键字在第 j个通信流中首次出现 时的位置；
其中， /表示
Figure imgf000017_0001
包含第 i个关键字^的通信流的数目。
6. 根据权利要求 1至 3中任一项所述的方法， 其中， 所述步骤 A 中根据所述待检测数据包的五元组来归类， 所述五元组包括： 源 地址、 目的地址、 源端口号、 目的端口号、 传输协议类型； 所述步 骤 C中的相似度包括余弦相似度。
7. 根据权利要求 1至 3中任一项所述的方法， 其中， 所述预定 条件包括： 所述最高相似度高于一个预定值。
8. 一种识别应用协议的协议识别装置， 包括：
第一装置， 用于将待检测数据包归类到单独的通信流；
第二装置，用于基于可识别的应用协议的关键字库检索所述通信 流的有效载荷中的关键字， 并确定所述通信流的关键字权重向量； 其中， 一个关键字的权重与其在一个通信流的有效载荷中的位置有 关；
第三装置，用于确定所述通信流的关键字权重向量与可识别的应 用协议的特征关键字权重向量之间的相似度；
第四装置， 用于： 如果满足预定条件， 将与所述通信流的关键字 权重向量之间具有最高相似度的特征关键字权重向量所对应的应用 协议确定为所述通信流的应用协议。
9. 根据权利要求 8所述的协议识别装置， 其中， 所述第二装置 中， 一个关键字在一个通信流的有效载荷中首次出现的位置越靠前， 其权重越大。
10. 根据权利要求 9所述的协议识别装置， 其中， 通信流 Λ的关 键字权重向量中的第 i个关键字的权重表示为 = itPid X idf,；
其中， itPid
Figure imgf000017_0002
表示第 i个关键字在通信流 Λ中首次出现时 的位置； 其中， ^ = log ' 1 ； | |表示通信流的总数目， 表示 包含第 i个关键字 的通信流的数目。
11. 根据权利要求 8至 10中任一项所述的协议识别装置， 其中， 所述第二装置还用于：
- 基于可识别的应用协议的关键字库检索多个训练通信流的有 效载荷中的关键字， 并确定所述多个训练通信流的关键字权重向量； - 根据所述多个训练通信流的关键字权重向量来确定每一个可 识别的应用协议所对应的特征关键字权重向量。
12. 根据权利要求 11所述的协议识别装置， 其中， 所述第二装 置采用同样的算法来确定训练通信流以及待检测数据包的通信流的 关键字权重向量；
其中， 第 j个通信流的关键字权重向量中的第 i个关键字的权重 表示为 ωί - itpy X idfi；
其中， itpy = !0 。y.表示第 i个关键字在第 j个通信流中首次出现 时的位置；
其中， id = log ¾； 表示通信流的总数目， 表示
\\f： € f\
包含第 i个关键字 fc,的通信流的数目。
13. 根据权利要求 8至 10中任一项所述的协议识别装置， 其中， 所述第一装置根据所述待检测数据包的五元组来归类， 所述五元组 包括： 源地址、 目的地址、 源端口号、 目的端口号、 传输协议类型； 所述第三装置中的相似度包括余弦相似度。
14. 根据权利要求 8至 10中任一项所述的协议识别装置， 其中， 所述预定条件包括： 所述最高相似度高于一个预定值。
15. —种网络设备， 其包括权利要求 8至 14中任一项所述的协 议识别装置。
PCT/CN2010/072923 2010-05-19 2010-05-19 应用协议识别方法及装置 Ceased WO2011143817A1 (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201080065034.9A CN102835090B (zh) 2010-05-19 2010-05-19 应用协议识别方法及装置
JP2013510470A JP5536280B2 (ja) 2010-05-19 2010-05-19 アプリケーションプロトコルを識別するための方法および装置
US13/696,431 US9031959B2 (en) 2010-05-19 2010-05-19 Method and apparatus for identifying application protocol
EP10851576.8A EP2573995A4 (en) 2010-05-19 2010-05-19 Method and apparatus for identifying application protocol
PCT/CN2010/072923 WO2011143817A1 (zh) 2010-05-19 2010-05-19 应用协议识别方法及装置
KR1020127030076A KR101409563B1 (ko) 2010-05-19 2010-05-19 애플리케이션 프로토콜 식별 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/072923 WO2011143817A1 (zh) 2010-05-19 2010-05-19 应用协议识别方法及装置

Publications (1)

Publication Number Publication Date
WO2011143817A1 true WO2011143817A1 (zh) 2011-11-24

Family

ID=44991164

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2010/072923 Ceased WO2011143817A1 (zh) 2010-05-19 2010-05-19 应用协议识别方法及装置

Country Status (6)

Country Link
US (1) US9031959B2 (zh)
EP (1) EP2573995A4 (zh)
JP (1) JP5536280B2 (zh)
KR (1) KR101409563B1 (zh)
CN (1) CN102835090B (zh)
WO (1) WO2011143817A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2487800A (en) * 2011-02-03 2012-08-08 Roke Manor Research Communication analysis
CN105007194A (zh) * 2015-05-25 2015-10-28 上海南邮实业有限公司 一种自动识别网络协议的方法
CN105024993A (zh) * 2015-05-25 2015-11-04 上海南邮实业有限公司 一种基于向量运算的协议比对方法
CN108234452A (zh) * 2017-12-12 2018-06-29 上海天旦网络科技发展有限公司 一种网络数据包多层协议识别的系统和方法
US11178027B1 (en) * 2014-09-04 2021-11-16 HCA Holdings, Inc. Differential processing of data streams based on protocols
US12124861B1 (en) 2018-08-20 2024-10-22 C/Hca, Inc. Disparate data aggregation for user interface customization
US12272448B1 (en) 2020-02-18 2025-04-08 C/Hca, Inc. Predictive resource management

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8943039B1 (en) * 2006-08-25 2015-01-27 Riosoft Holdings, Inc. Centralized web-based software solution for search engine optimization
US9344384B2 (en) * 2012-11-13 2016-05-17 Netronome Systems, Inc. Inter-packet interval prediction operating algorithm
CN103166963A (zh) * 2013-03-05 2013-06-19 汉柏科技有限公司 一种解除封装的协议识别方法及系统
CN103414600B (zh) * 2013-07-19 2017-03-08 华为技术有限公司 近似匹配方法和相关设备及通信系统
CN103716187B (zh) * 2013-12-20 2017-03-29 新浪网技术(中国)有限公司 网络拓扑结构确定方法和系统
US10116493B2 (en) 2014-11-21 2018-10-30 Cisco Technology, Inc. Recovering from virtual port channel peer failure
US10333828B2 (en) 2016-05-31 2019-06-25 Cisco Technology, Inc. Bidirectional multicasting over virtual port channel
US11509501B2 (en) * 2016-07-20 2022-11-22 Cisco Technology, Inc. Automatic port verification and policy application for rogue devices
US10701086B1 (en) 2016-07-28 2020-06-30 SlashNext, Inc. Methods and systems for detecting malicious servers
US10193750B2 (en) 2016-09-07 2019-01-29 Cisco Technology, Inc. Managing virtual port channel switch peers from software-defined network controller
US10764313B1 (en) * 2017-01-24 2020-09-01 SlashNext, Inc. Method and system for protection against network-based cyber threats
US10547509B2 (en) 2017-06-19 2020-01-28 Cisco Technology, Inc. Validation of a virtual port channel (VPC) endpoint in the network fabric
CN109873838A (zh) * 2019-04-19 2019-06-11 国网甘肃省电力公司电力科学研究院 一种新能源厂站远程运维非法网络通道识别方法
CN110138681B (zh) * 2019-04-19 2021-01-22 上海交通大学 一种基于tcp报文特征的网络流量识别方法及装置
CN110460488B (zh) * 2019-07-01 2022-10-18 华为技术有限公司 业务流识别方法和装置、模型生成方法和装置
CN111797239B (zh) * 2020-09-08 2021-01-15 中山大学深圳研究院 应用程序的分类方法、装置及终端设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101184089A (zh) * 2007-12-14 2008-05-21 浙江工业大学 一种基于端口与内容混杂检测的协议识别方法
CN101488861A (zh) * 2008-12-19 2009-07-22 中山大学 一种网络未知应用的关键词提取方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6591299B2 (en) * 1997-11-25 2003-07-08 Packeteer, Inc. Method for automatically classifying traffic with enhanced hierarchy in a packet communications network
US6412000B1 (en) * 1997-11-25 2002-06-25 Packeteer, Inc. Method for automatically classifying traffic in a packet communications network
WO2001001272A2 (en) * 1999-06-30 2001-01-04 Apptitude, Inc. Method and apparatus for monitoring traffic in a network
US8010469B2 (en) * 2000-09-25 2011-08-30 Crossbeam Systems, Inc. Systems and methods for processing data flows
US20020186697A1 (en) * 2001-04-23 2002-12-12 Thakkar Bina Kunal Protocol encoder and decoder
US20090010259A1 (en) * 2007-07-08 2009-01-08 Alexander Sirotkin Device, system, and method of classification of communication traffic
US8494000B1 (en) * 2009-07-10 2013-07-23 Netscout Systems, Inc. Intelligent slicing of monitored network packets for storing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101184089A (zh) * 2007-12-14 2008-05-21 浙江工业大学 一种基于端口与内容混杂检测的协议识别方法
CN101488861A (zh) * 2008-12-19 2009-07-22 中山大学 一种网络未知应用的关键词提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN, LIANG ET AL.: "A survey of Application-level Protocol Identification Algorithm", COMPUTER SCIENCE, vol. 34, no. 7, 2007, pages 73 - 75, XP008162754 *
See also references of EP2573995A4 *
SEN, SUBHABRATA ET AL.: "Accurate, Scalable In-Network Identification of P2P Traffic Using Application Signatures", WWW2004, 22 May 2004 (2004-05-22), pages 512 - 517, XP002389082 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2487800A (en) * 2011-02-03 2012-08-08 Roke Manor Research Communication analysis
US8924531B2 (en) 2011-02-03 2014-12-30 Roke Manor Research Limited Determining communication sessions having the same protocol structure
GB2487800B (en) * 2011-02-03 2018-07-04 Roke Manor Res Limited A method and apparatus for communications analysis
US11178027B1 (en) * 2014-09-04 2021-11-16 HCA Holdings, Inc. Differential processing of data streams based on protocols
US11431595B1 (en) 2014-09-04 2022-08-30 C/Hca, Inc. Differential processing of data streams based on protocols
CN105007194A (zh) * 2015-05-25 2015-10-28 上海南邮实业有限公司 一种自动识别网络协议的方法
CN105024993A (zh) * 2015-05-25 2015-11-04 上海南邮实业有限公司 一种基于向量运算的协议比对方法
CN108234452A (zh) * 2017-12-12 2018-06-29 上海天旦网络科技发展有限公司 一种网络数据包多层协议识别的系统和方法
CN108234452B (zh) * 2017-12-12 2020-11-24 上海天旦网络科技发展有限公司 一种网络数据包多层协议识别的系统和方法
US12124861B1 (en) 2018-08-20 2024-10-22 C/Hca, Inc. Disparate data aggregation for user interface customization
US12602238B1 (en) 2018-08-20 2026-04-14 C/Hca, Inc. Disparate data aggregation for user interface customization
US12272448B1 (en) 2020-02-18 2025-04-08 C/Hca, Inc. Predictive resource management

Also Published As

Publication number Publication date
CN102835090A (zh) 2012-12-19
EP2573995A4 (en) 2017-07-26
JP2013526804A (ja) 2013-06-24
KR20130017089A (ko) 2013-02-19
KR101409563B1 (ko) 2014-06-19
EP2573995A1 (en) 2013-03-27
US20130054619A1 (en) 2013-02-28
JP5536280B2 (ja) 2014-07-02
US9031959B2 (en) 2015-05-12
CN102835090B (zh) 2015-12-09

Similar Documents

Publication Publication Date Title
WO2011143817A1 (zh) 应用协议识别方法及装置
CN100556031C (zh) 智能集成网络安全设备
US12223406B2 (en) System and method for determining device attributes using a classifier hierarchy
JP5362669B2 (ja) ネットワークパケットの効率的な分類
US8448234B2 (en) Method and apparatus for deep packet inspection for network intrusion detection
TWI729320B (zh) 可疑封包偵測裝置及其可疑封包偵測方法
US12184681B2 (en) Cyberattack detection with topological data
Thaseen et al. Network intrusion detection using machine learning techniques
EP2725512B1 (en) System and method for malware detection using multi-dimensional feature clustering
Rao et al. Tor anonymous traffic identification based on gravitational clustering
WO2008002930A2 (en) Packet classification in a network security device
CN104509063A (zh) 改善低延时高吞吐量网络中双向访问控制列表的硬件利用率
US20230412618A1 (en) Stack-hac for machine learning based botnet detection
CN102217248B (zh) 分布式分组流检查和处理
Ye et al. P2P and P2P botnet traffic classification in two stages
CN113382039A (zh) 一种基于5g移动网络流量分析的应用识别方法和系统
CN109257384B (zh) 基于访问节奏矩阵的应用层DDoS攻击识别方法
TWI797962B (zh) 基於SASE的IPv6雲邊緣網路安全連線方法
Fu et al. Network storage covert channel detection based on data joint analysis
Haefner et al. Trust and verify: A complexity-based IoT behavioral enforcement method
JP2007228217A (ja) トラフィック判定装置、トラフィック判定方法、及びそのプログラム
JP5520650B2 (ja) Ｐ２ｐ端末検知装置、ｐ２ｐ端末検知方法、およびｐ２ｐ端末検知システム
Haefner et al. Trust and Verify: A Complexity-Based
CN116055073A (zh) 一种僵尸主机检测方法、装置、设备以及存储介质
Anantavrasilp A unified framework for flow classification

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080065034.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10851576

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13696431

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 9593/CHENP/2012

Country of ref document: IN

ENP Entry into the national phase

Ref document number: 20127030076

Country of ref document: KR

Kind code of ref document: A

Ref document number: 2013510470

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2010851576

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE