WO2012025439A1 - Verfahren zum suchen in einer vielzahl von datensätzen und suchmaschine - Google Patents

Verfahren zum suchen in einer vielzahl von datensätzen und suchmaschine Download PDF

Info

Publication number
WO2012025439A1
WO2012025439A1 PCT/EP2011/064163 EP2011064163W WO2012025439A1 WO 2012025439 A1 WO2012025439 A1 WO 2012025439A1 EP 2011064163 W EP2011064163 W EP 2011064163W WO 2012025439 A1 WO2012025439 A1 WO 2012025439A1
Authority
WO
WIPO (PCT)
Prior art keywords
term
terms
probability
subset
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2011/064163
Other languages
English (en)
French (fr)
Inventor
Emin Karayel
Carsten Heinz
Matthias Krings
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omikron Data Quality GmbH
Original Assignee
Omikron Data Quality GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omikron Data Quality GmbH filed Critical Omikron Data Quality GmbH
Priority to JP2013525253A priority Critical patent/JP5890413B2/ja
Priority to RU2013112783/08A priority patent/RU2013112783A/ru
Priority to BR112013004243A priority patent/BR112013004243A2/pt
Priority to CN201180040712.0A priority patent/CN103098052B/zh
Priority to US13/818,180 priority patent/US9087119B2/en
Publication of WO2012025439A1 publication Critical patent/WO2012025439A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3322—Query formulation using system suggestions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques

Definitions

  • the present invention relates to a computer implemented method for searching in a plurality of data sets. Furthermore, the invention relates to a corresponding computer-executable search engine.
  • the search in a variety of data sets is for example in so-called online stores of great importance.
  • a supplier of a large number of products records the products offered using data records in a database.
  • a user can now use his computer over a network, such as the Internet, connect to the online store and call the records of the database.
  • the database contains a very large amount of data, and the individual data sets are relatively complex, it is necessary for the user to be able to search the data records using a search engine.
  • the user submits a search request to the online shop.
  • the online shop or an associated system processes the search query and returns as search hits in a certain way ordered records to the user. This raises the problem of determining the records that are particularly relevant to the user's search.
  • Such search engines are referred to as Internet search engines.
  • search is often vague and fraught with uncertainty.
  • the search terms of the search query frequently do not exactly match the terms that appear in the records to be searched.
  • the search term may happen that the search term contain typos or should also refer to grammatical other forms of the search term.
  • EP 1 095 326 B1 describes a search system for the retrieval of information which is stored in the form of text.
  • the search system uses a tree structure as the data structure for the information retrieval process. Further, by a measure, the degree of correspondence between a request and the retrieved information is determined, the measure determining a combination of a distance measure for an approximate degree of correspondence between words or symbols in the text and the request, and another Distance measure for an approximate degree of agreement between sequences of words or symbols in the text and a query sequence.
  • EP 1 208 465 B1 describes a search engine for searching a collection of documents.
  • data processing units form groups of nodes connected in a network.
  • the search engine is customized to scale in terms of data volume and query request rate.
  • EP 1 341 009 B1 describes a method for operating an Internet search engine.
  • the process traverses links between websites on the Internet using an intelligent agent.
  • the contents of the visited websites are filtered to determine the relevance of the content.
  • the relevant websites identified are indexed and the indexed, item-specific information is stored in a database.
  • the filters the contents of a web site are passed through a subject-specific dictionary-based filter that compares site content with terminology found in the dictionary.
  • EP 1 459 206 B1 describes a computer-implemented method for searching a collection of items, each item in the collection having a set of properties.
  • a query is received, which is formed from a first set of two or more properties.
  • a distance function is then applied to one or more of the items in the collection and one or more result items are identified based on the distance function. In doing so, the distance function determines a distance between the query and an item in the collection, based on the number of items in the collection that have all the properties in the intersection of the first set of properties and the set of properties for the item.
  • EP 1 622 054 A1 WO 2008/085637 A2 and WO 2008/137395 A1 describe further search methods and search engines for a search in data records.
  • the method of this document does not solve, among other things, the problem that misspelled words in a search result in a very high relevance of the misspelled word because misspelled words do not or rarely occur in documents.
  • the present invention is based on the technical problem of providing a computer-implemented method for searching in a plurality of data records and a corresponding computer-executable search engine which outputs from the plurality of data records specific records that are as relevant as possible for a received query.
  • a search request is received with at least one search term. Then, from a reference set, a subset is determined with terms that are similar or identical to the search term. If the search query contains several search terms, a reference quantity is determined separately for each search term. For each term of the subset, a measure of similarity to the search term is then determined and the probability of occurrence of the term is determined.
  • a term-dependent weighting distribution is applied to the terms of the subset, with the terms having a higher degree of similarity being weighted more heavily than terms having a lower degree of similarity. Thereafter, a modified probability for the term is determined from the weighted probabilities of the terms of the subset.
  • the data records are evaluated in terms of their relevance to the search query.
  • it is checked whether the terms of the subset occur in the data set, and if a term of the subset occurs in the data set, a lower modified probability of the term leads to a higher relevance score of the data set.
  • at least one record subset is output depending on its relevance score. For the relevance of a search term of a query, it is important how often this search term occurs in sets with such terms. If a term is usually very common, it is less relevant to query processing than a term search term, which is usually very rare in term sets.
  • the different frequencies with which search terms occur are taken into account by determining an occurrence probability of each term of the subset.
  • these term probabilities can be determined in advance on the basis of specific sets of terms, for example on the basis of preselected texts in which the word frequencies have been determined.
  • the set to which the probability of occurrence of the terms relates can also be formed by the totality of the terms that occur in the records to be searched. These records can be searched in advance and indexed.
  • the frequency with which this term has occurred in the data records can be determined for each term in a data record.
  • the problem may arise that, on the one hand, the records to be searched may contain errors and, on the other, that the search terms of the search query may contain errors.
  • the errors may be typing or typing errors, for example.
  • a word may be contained in an incorrect notation in a record. If now the frequency of occurrence of the terms is determined, it would result in an incorrectly written word of a search term that this word has a particularly high relevance for the search query, since it is very rare.
  • the same situation arises when the probability of the occurrence of a term is determined on the basis of the totality of the terms that occur in the data records. If the records contain a word that is not spelled correctly, this word is very rare, so that the probability of occurrence of this word is very low and thus the relevance of the word for a query is very high.
  • this problem is solved in that not only the probability of occurrence or the frequency of a query term is considered, but for each search term in the search query a subset of terms from a reference set is determined, which in the subsequent relevance evaluation of the records with regard to this search term.
  • the subset can be determined, for example, by means of a lexicon. In this case, it follows that a search term with an incorrectly written word would not be included in the subset, but only similar words that are spelled correctly.
  • the reference set includes all grammatical forms of words. The subset will therefore not only contain a word of a search term, but also other grammatical forms of that word, since these forms are similar to the search term.
  • the weighting distribution is designed such that when determining the modified probability of a term, only the probability of the term itself and the probabilities of other terms having a higher degree of similarity than the one term are considered.
  • the weighting distribution in this case can thus be, for example, a step function which outputs the weighting 1 for the term of the subset itself as well as for other terms which have a higher similarity measure than this term, and the weighting for terms of the subset with a smaller similarity measure 0 so that these terms of less similarity measure are ignored in the determination of the modified probability.
  • the weighting with which the probability of a second term t k enters the modified probability of a first term t is determined by the evaluation of a sigmoid function, wherein the evaluation point is the subtraction of the similarity measure of the first Terms t j of similarity measure of the second term t k . Since the sigmoid function has a continuous transition from the value 0 to the value 1 in contrast to a discontinuous step function, terms of the subset which have a slightly lower similarity measure than the term whose modified probability is determined can also be taken into account in this embodiment of the method according to the invention becomes. In this way, the relevance of the records evaluated on the basis of the modified probability can be further improved.
  • the weighting distribution is such that, in determining the modified probability of one term, further probabilities from other terms with a lower weighting are taken into account which have a lower degree of similarity, the weighting of another term having a lower degree of similarity the difference of the similarity measure of the term for which the modified probability is determined and the similarity measure of the other term.
  • the lower the absolute value of the difference to the similarity measure of the term for which the modified probability is determined the higher will be the weighting of another term with lower similarity measure.
  • terms with a lower similarity measure can be taken into account for the determination of the modified probability of each term of the subset and thus for the evaluation of the relevance of the data records.
  • the modified term probability of a given term represents the probability of merging all terms whose similarity (in a generalized sense) to the search term is greater than the similarity of the given term. For the evaluation of a data set, however, it makes sense to determine the probability that a data record contains one. Since a record contains many terms, this probability is greater.
  • an intermediate step is introduced which takes into account the distribution of the number of terms per data record of the data sets to be searched. It is particularly taken into account that a record could contain several similar terms at the same time.
  • the evaluation of a data record can result, for example, from the absolute value of the logarithm of the modified probability of the associated term. In this way, the different probabilities of the terms to be considered for the determination of the modified probability of a term can be more easily combined.
  • the probability of occurrence of the term of the subset is determined, in particular, by determining the probability associated with the term beforehand from the frequency of the term in the reference quantity or in the data records and storing it in a memory, and the stored probability for the term later the memory is read out.
  • This prior determination of the probabilities can speed up and simplify the execution of the method.
  • the reference quantity for general analyzes of the frequency of occurrence of terms in quantities, i. for example, words in texts, access.
  • the frequency of occurrence of the terms in the data records it is possible to determine probabilities which are adapted to the specific data records. For example, if the records are a product database, then the frequency of occurrences of particular words may differ from the frequencies determined from general texts of other types.
  • the search request contains several search terms.
  • a partial evaluation is determined separately for each search term.
  • a further partial evaluation is determined for the search query composed search query. The evaluation of the search query is then determined from the partial evaluations.
  • the method can rate a data record higher if a term of the subset occurs more frequently in this data record. For example, the more frequently a term of the subset occurs in this dataset, the higher the rating of a dataset. In this way, not only the probability of occurrence of a term as well as further terms of the subset can be included in the relevance rating of the data records, but also the actual frequency of occurrence of a term in the data record to be evaluated. This measure also leads to a further improvement of the relevance evaluation of the data records.
  • a record can contain multiple fields. This is the case, for example, when the data records relate to a product database.
  • the method preferably also evaluates the relevance of a data record as a function of in which field a term of the subset occurs in the data record. If a term occurs in a particularly important field, this leads to a higher rating of the data set than if the term occurs in a less important field.
  • the invention also relates to a computer program product with program codes for carrying out the method described above when the program code is executed by a computer.
  • the computer program product can be any storage medium for computer software.
  • the computer-executable search engine comprises a receiving unit for receiving a search request with at least one search term.
  • the search request may be received over a network, such as the Internet.
  • the search engine comprises means for determining a subset with terms that are similar or identical to the search term. This subset is determined in particular from a reference quantity.
  • the search engine comprises means for determining a modified probability for each term of the subset.
  • These means for determining the modified probability are designed so that a similarity measure of the respective term to the search term can be determined, the probability for the occurrence of the term is determinable, a term-dependent weighting distribution is applicable to the terms of the subset, the terms , which have a higher similarity measure to the search term, are weighted more heavily than terms with a lower similarity measure, and the modified probability for the term can be determined from the weighted probabilities of the terms of the subset.
  • the search engine comprises a rating unit for evaluating data records with regard to their relevance to the search query.
  • a rating unit for evaluating data records with regard to their relevance to the search query.
  • it can be checked by means of this evaluation unit whether the terms of the subset occur in the data record, and if a term of the subset occurs in the data record, a lower modified probability of the term leads to a higher rating of the data record.
  • the search engine according to the invention comprises an output unit for outputting a data set subset as a function of its relevance score.
  • the search engine according to the invention is in particular designed so that it can carry out the method described above. It therefore also has the same advantages as the method mentioned above.
  • this comprises a memory in which the reference quantity with terms or a set of terms which occur in the data records and the probabilities associated with the terms are stored. The probabilities result in particular from the frequency of occurrence of the terms in the reference set or in the data sets that are to be searched.
  • Figure 1 shows schematically the basic structure of the search engine according to a
  • Figure 2 shows the steps in carrying out an embodiment of the method according to the invention.
  • the exemplary embodiment described below relates to the search in a product database D.
  • For each product, a data record d
  • may in turn be subdivided into several fields, which may relate, for example, to the price of the product, the color of the product, the material of the product or other relevant features of the product.
  • the product database D is provided to a user in connection with an online store.
  • the user can use his computer 3 to access a website via the Internet 2, which is provided by a central unit 1 of the online shop.
  • the user can use his computer 3 via the Internet 2 the online store to submit a query Q, which is received by a receiving unit 4 of the central unit 1 of the online shop.
  • the receiving unit 4 transmits the search request Q to a device 5 for determining a subset V with terms that are similar or identical to a search term q, the search query Q.
  • the central unit 1 is coupled to a memory 1 1.
  • This memory 1 1 can contain the product database D on the one hand.
  • the memory 1 1 contains a reference quantity T with terms t.
  • the reference set T is, for example, a word database which contains essentially all the words of one or more languages or contains all the words that are present in a product database. can come.
  • the terms t in this case are therefore words in particular.
  • a probability p j is stored in memory 1 1 for each term t.
  • This probability p j of a term t indicates what the probability is that this term t j occurs in an amount with terms.
  • these probabilities p j can be derived from the frequencies with which a particular word occurs in texts of a particular language. These occurrence frequencies are known per se and can be stored in advance in the memory 11. Alternatively, it could be determined how often a particular term t j occurs in the database D. From this frequency of occurrence, the probability p j could then be determined for the term t j to occur in the database D.
  • a similarity measure for the respective term t j is determined for each term t j of the subset V by the device 6.
  • the similarity measure indicates how similar the term t j to a search term q, the search query Q is.
  • the device 6 is coupled to a device 7 which can determine the probability p j for the occurrence of the term t j .
  • this probability p j can be simply read out of the memory 1 1 by the device 7, in which these previously determined probabilities, as explained above, are stored.
  • the device 7 is coupled to a device 8 in which a weighting distribution X j dependent on a term t j of the subset V is applicable to all terms t k of the subset V.
  • a weighting distribution X j dependent on a term t j of the subset V is applicable to all terms t k of the subset V.
  • the device 8 can determine modified term probabilities p " j
  • the device can consider the number of terms per data set (for example by Access to the memory 1 1) This results in the modified probability p ' j for a term t j or even more similar to occur in a data set.
  • the modified probabilities p ' j are transmitted by the device 8 to a rating unit 9.
  • the evaluation unit 9 evaluates the records d
  • the relevance score transfers the score unit 9 to an output unit 10.
  • the output unit may output a certain number of records d
  • This output can be made available via the Internet 2 to the user's computer 3, for example by an advertisement on a website displayed on the user's computer 3. Details of the above-described devices of the central unit 1 are described below in connection with the explanation of an embodiment of the method according to the invention:
  • the product database D records d
  • the product database D may contain, for example, 300 data records.
  • the product database D thus comprises the data records di, d 2 , d 30 o.
  • for a query Q is high even if the product of the probabilities of the words in this record d
  • the absolute value of the logarithm of the probability is therefore preferably formed. This absolute amount increases with the relevance and behaves additively to the individual probabilities.
  • FIG. 2 represents a modification of a known method, which considers the inverse occurrence frequency of terms:
  • a user generates in step 20 a query Q containing the search terms q i, where i is a natural number.
  • the search term may be "shirt” and the search term q 2 may be "blue”.
  • a subset V with terms t which are similar or identical to the first search term.
  • the reference set T may, as explained above, be a word database containing all the words of a language. Methods for automatically evaluating the similarity of two strings are known per se. In this case, the similarity of a search term q, with all terms t of the reference quantity T is determined for the determination of the subset V. The terms t which lie in a certain similarity range are included in the subset V.
  • a method for the automatic evaluation of the similarity is described, for example, in WO 2007/144199 A1, the disclosure content of which is hereby incorporated by reference.
  • the subset V can thus contain, for example, three terms t x , t y and t z .
  • the following subset V can be determined for the search term "shirt”: ⁇ shirt, shirts, T-shirt ⁇
  • the following subset V can be determined for the second search term "blue”: ⁇ blue, blue, blue ⁇ ,
  • the subset V can contain only elements of the reference set T.
  • the search query Q contains a misspelled word, that word will not be included in the telset V since it is not included in the reference set T.
  • misspelled words of a search query Q can be sorted out so that they are not given a very high relevance because they are very rare.
  • misspelled words are also taken into account in the relevance evaluation of the product database D since, instead of the misspelled word, a subset V is taken into account. which contains terms similar to the misspelled word.
  • the method according to the invention is fault-tolerant.
  • t x , t y and t z of the subset V are used in the method for relevance evaluation of the records d
  • a similarity measure A i is determined which has this term t j relative to the underlying search term q i.
  • This similarity measure A can also be determined, for example, by means of a method as described in WO 2007/144199 A1.
  • the subset V can thus be sorted as a function of the similarity measure Aj j of the contained terms t j with respect to a search term q. If the search term q is contained even in the subset V, this term t j of the subset V will have the highest similarity measure A since it is identical to the search term q i. With decreasing similarity measure A, the further terms t j of subset V follow.
  • the following sorted subset V can result for the search term "blue”: 1. blue, 2. blue, 3. blue
  • the probabilities p j of the terms t j of subset V are determined the probability p j that the term t j is drawn from the database D if one is selected at random, in contrast to the relevance measure (inverse document frequency) described above, the frequency of the documents, ie data records, was considered
  • the previously stored probability p j is read out from the memory 1 1 for the term t j of the subset T to occur, ie for example in certain texts or in the data records d 1.
  • the word “blue” occurs with a probability of 0.02
  • the word “blue” occurs with a probability of 0.01
  • the word “blue” also occurs he probability of 0.01 occurs.
  • a weighting distribution X j is now applied for each term t j of the subset V.
  • the type of weighting distribution X j is dependent on the term t j of the subset V considered.
  • the weighting distribution X j is a step function which outputs the weight 1 for the term t j considered, as well as for those other terms t k of the subset V which have a higher similarity measure A ik than the term t j that you are currently looking at.
  • the weighting distribution X j thus acts as a filter in this case, which filters out all the terms t k of the subset V which have a lower similarity measure A than the considered term t.
  • a modified term probability p " j is then determined in step 25, ie the modified probability p ' j is determined for the term t j .
  • the modified term probability p " x for the word” blue “ is 0.02 (probability for the word” blue ")
  • the modified probability p" y for the word “blue” is 0.03 (probability for the word “Blue” or “blue")
  • the modified probability p " z for the word” blue “to 0.04 probability for the word” blue ",” blue “or” blue ").
  • Step 26 For the evaluation of datasets, it makes sense to calculate the probability that a dataset contains a term. Therefore, it is useful to consider the number of terms per dataset. This has a distribution that can be determined and stored in advance. For example, the average number of terms per record can be determined. But also a precise calculation is possible. For the example with 300 data records, consider the case that 150 of them have 5 terms and another 150 of them have 10 terms. The likelihood that a combination of 5 terms would give a given term for can be calculated by: 1 - (1 - ⁇ ' ⁇ ) ⁇ 5. The expression in brackets indicates the probability that a term is not blue at all. The 5th power then gives the probability that a combination of 5 terms does not contain the term 'blue'.
  • a list is generated in step 28 with the data sets d u , d v , d w , ..., which have the highest relevance rating ⁇ . This list is then output in the order of relevance ratings ⁇ .
  • the second embodiment differs from the first embodiment described above in the weighting distribution X.
  • the probability distribution X is a sigmoid function.
  • the sigmoid function results in a continuous transition between the two values 0 and 1. This ensures that terms t k of the subset V which have a smaller similarity measure A, but whose similarity measures are very close to the term t j , for which the modified probability p ' j is determined do not remain disregarded as in the first embodiment, but are still considered with a lower weighting.
  • the weighting with which the probability p j of a second term t k is included in the modified term probability p " j of a first term t j is determined by the evaluation of a sigmoid function, the evaluation point determining the subtraction of the similarity measure A of the first term t j from the similarity measure A ik of the second term t k .
  • this is explained using the example of the search term (q i) "sympathy”.
  • the device 5 has determined a number of similar terms (V) for this purpose, and the devices 6 and 7 (steps 22, 23) have determined the associated similarities and term probabilities.
  • the device 8 (step 24) now determines the weighting distribution using a sigmoid function.
  • One possible such function is the cumulative Gaussian normal distribution.
  • the similarity differences (with the associated weighting), as calculated by the device 8, are shown:
  • the method steps described above can be implemented as hardware components or as software.
  • the software may be stored on a data carrier, ie on a computer program product.
  • the program code contained in the software is suitable for carrying out the method described above when the program code is executed by a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zum Suchen in einer Vielzahl (D) von Datensätzen (dl), bei dem eine Suchanfrage (Q) mit mindestens einem Suchterm (qi) empfangen wird, aus einer Referenzmenge (T) eine Teilmenge (V) mit Termen (tj) ermittelt wird, die ähnlich oder identisch mit dem Suchterm (qi) sind, für jeden Term (tj) der Teilmenge (V) ein Ähnlichkeitsmaß (Aj) zu dem Suchterm (qi) bestimmt wird, die Wahrscheinlichkeit (pj) für das Auftreten des Terms (tj) bestimmt wird, eine von dem Term (ti) abhängige Gewichtungsverteilung (Xj) auf die Terme (tk) der Teilmenge (V) angewandt wird, wobei die Terme (tk), die ein höheres Ähnlichkeitsmaß besitzen, stärker gewichtet werden als Terme (tk) mit einem niedrigeren Ähnlichkeitsmaß, und eine modifizierte Wahrscheinlichkeit (p'j, p"j) für den Term (tj) aus den gewichteten Wahrscheinlichkeiten der Terme (tk) der Teilmenge (V) bestimmt wird. Ferner werden die Datensätze (di) im Hinblick auf ihre Relevanz (R) für die Suchanfrage (Q) bewertet, wobei geprüft wird, ob die Terme (tj) der Teilmenge (V) in dem Datensatz (dl) vorkommen, und, wenn ein Term (tj) der Teilmenge (V) in dem Datensatz (dl) vorkommt, eine niedrigere modifizierte Wahrscheinlichkeit (p'j, p"j) des Terms (tj) zu einer höheren Relevanzbewertung des Datensatzes (dl) führt, und es wird zumindest eine Datensatzteilmenge in Abhängigkeit von ihrer Relevanzbewertung (R) ausgegeben. Außerdem betrifft die Erfindung eine Suchmaschine zum Ausführen dieses Verfahrens.

Description

Verfahren zum Suchen in einer Vielzahl von Datensätzen und Suchmaschine
Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zum Suchen in einer Vielzahl von Datensätzen. Ferner betrifft die Erfindung eine entsprechende, von einem Computer ausführbare Suchmaschine.
Die Suche in einer Vielzahl von Datensätzen ist beispielsweise in sogenannten Online-Shops von großer Bedeutung. Ein Anbieter von einer Vielzahl von Produkten erfasst die angebotenen Produkte anhand von Datensätzen in einer Datenbank. Ein Nutzer kann nun mittels seines Computers über ein Netzwerk, wie beispielsweise dem Internet, eine Verbindung zu dem Online-Shop herstellen und die Datensätze der Datenbank aufrufen. Umfasst die Datenbank einen sehr großen Datenbestand, und sind die einzelnen Datensätze relativ komplex strukturiert, ist es erforderlich, dass der Nutzer in den Datensätzen mittels einer Suchmaschine suchen kann. Dabei übermittelt der Nutzer eine Suchanfrage an den Online-Shop. Der Online-Shop oder ein damit verbundenes System verarbeitet die Suchanfrage und gibt als Suchtreffer in bestimmter Weise geordnete Datensätze an den Nutzer zurück. Dabei ergibt sich das Problem, die Datensätze zu bestimmen, die für die Suchanfrage des Nutzers besonders relevant sind. Des Weiteren ist es bekannt, nicht nur in der Datenbank eines Online-Shops zu suchen, sondern auch nach Daten, die über das Internet empfangbar sind. Derartige Suchmaschinen werden als Internet-Suchmaschinen bezeichnet.
Bei allen Suchmaschinen ergibt sich das Problem, dass die Suchanfrage häufig vage und mit einer Unsicherheit behaftet ist. Die Suchterme der Suchanfrage entsprechen häufig nicht exakt den Begriffen, die in den zu durchsuchenden Datensätzen vorkommen. Außerdem kann es vorkommen, dass die Suchterme Tippfehler enthalten oder sich auch auf grammatikalisch andere Formen des Suchterms beziehen sollen. Bei der Verarbeitung der Suchanfrage ist man daher stets bestrebt, die Vagheit und Unsicherheit der Suchanfrage mit zu berücksichtigen.
Aus der EP 1 095 326 B1 ist ein Suchsystem für die Wiedergewinnung von Informationen beschrieben, die in Form von Text gespeichert ist. Bei dem Suchsystem wird für die Informationswiedergewinnung als Datenstruktur für den Text eine Baumstruktur verwendet. Ferner wird anhand eines Maßes der Grad der Übereinstimmung zwischen einer Anfrage und der wiederge- wonnenen Information bestimmt, wobei das Maß eine Kombination aus einem Abstandsmaß für einen ungefähren Grad an Übereinstimmung zwischen Wörtern bzw. Symbolen in dem Text und der Anfrage bestimmt, und einem anderen Abstandsmaß für einen ungefähren Grad an Über- einstimmung zwischen Sequenzen von Wörtern bzw. Symbolen in dem Text und einer Anfragesequenz bestimmt.
In der EP 1 208 465 B1 ist eine Suchmaschine zum Durchsuchen einer Dokumentensammlung beschrieben. Bei dieser Suchmaschine bilden Datenverarbeitungseinheiten Gruppen von Knoten, die in einem Netzwerk verbunden sind. Die Suchmaschine ist so angepasst, dass sie im Hinblick auf das Datenvolumen und die Anfragerate für Suchanfragen skaliert werden kann.
In der EP 1 341 009 B1 ist ein Verfahren zum Betreiben einer Internet-Suchmaschine beschrie- ben. Bei dem Verfahren werden Links zwischen Websites im Internet mittels eines intelligenten Agenten durchlaufen. Die Inhalte der besuchten Websites werden gefiltert, um die Relevanz des Inhalts zu bestimmen. Die dabei ermittelten relevanten Websites werden indexiert und die indexierte, gegenstandsspezifische Information wird in einer Datenbank gespeichert. Bei den Filtern werden die Inhalte einer Website durch ein gegenstandsspezifisches Filter auf Lexikon- basis durchgelassen, wobei das Filter Inhalte der Website mit im Lexikon gefundener Terminologie vergleicht.
In der EP 1 459 206 B1 ist ein computerimplementiertes Verfahren zum Suchen einer Sammlung von Posten beschrieben, wobei jeder Posten in der Sammlung einen Satz von Eigenschaf- ten aufweist. Bei dem Verfahren wird eine Abfrage empfangen, welche aus einem ersten Satz von zwei oder mehr Eigenschaften gebildet ist. Es wird daraufhin eine Distanzfunktion auf ein oder mehrere der Posten in der Sammlung angewandt und ein Ergebnisposten oder mehrere Ergebnisposten werden auf Grundlage der Distanzfunktion identifiziert. Dabei bestimmt die Distanzfunktion eine Distanz zwischen der Abfrage und einen Posten in der Sammlung, und zwar auf Grundlage der Anzahl von Posten in der Sammlung, welche alle Eigenschaften in der Schnittmenge des ersten Satzes von Eigenschaften und des Satzes von Eigenschaften für den Posten aufweisen.
Schließlich sind in der EP 1 622 054 A1 , der WO 2008/085637 A2 und der WO 2008/137395 A1 weitere Suchverfahren und Suchmaschinen für eine Suche in Datensätzen beschrieben.
Schließlich ist aus der Veröffentlichung von Tuan-Quang Nguyen et al.:„Query expansion using augmented terms in an extended Boolean model", Journal of Computing Science and Engineering Korean Institute of Information Scientists and Engineers South Korea, Bd. 2, Nr. 1 , März 2008 (2008-03), Seiten 26-43, ISSN: 1976-4677 ein Suchverfahren bekannt, bei dem die ursprüngliche Suchanfrage zunächst um Terme erweitert wird, die beispielsweise aus einem Thesaurus ausgewählt werden. Bei der Auswahl dieser hinzugefügten Terme wird die Ähnlichkeit zu dem ursprünglichen Suchterm berücksichtigt. Schließlich werden noch weitere Terme (aug- mented terms) hinzugefügt, bei denen das gemeinsame Auftreten der Suchterme in den Dokumenten berücksichtigt wird. Die Terme der auf diese Weise erweiterten Suchanfrage werden dann mit Gewichtungen versehen, wobei der ursprüngliche Suchterm die Gewichtung 1 erhält und die hinzugefügten Terme eine Gewichtung erhalten, welche von der Ähnlichkeit mit dem ursprünglichen Suchterm abhängt. Nachteilhafterweise löst das Verfahren dieser Druckschrift jedoch unter anderem nicht das Problem, dass falsch geschriebene Wörter in einer Suchanfrage zu einer sehr hohen Relevanz des falsch geschriebenen Wortes führen, da falsch geschriebene Wörter gar nicht oder selten in Dokumenten auftreten. Der vorliegenden Erfindung liegt das technische Problem zugrunde, ein computerimplementiertes Verfahren zum Suchen in einer Vielzahl von Datensätzen und eine entsprechende von einem Computer ausführbare Suchmaschine bereitzustellen, die aus der Vielzahl von Datensätzen bestimmte Datensätze ausgibt, die für eine empfangene Suchanfrage so relevant wie möglich sind.
Erfindungsgemäß wird dieses technische Problem durch ein Verfahren mit den Merkmalen des Anspruchs 1 und eine Suchmaschine mit den Merkmalen des Anspruchs 12 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den abhängigen Ansprüchen. Bei dem erfindungsgemäßen Verfahren wird eine Suchanfrage mit mindestens einem Suchterm empfangen. Anschließend wird aus einer Referenzmenge eine Teilmenge mit Termen ermittelt, die ähnlich oder identisch mit dem Suchterm sind. Enthält die Suchanfrage mehrere Suchterme, wird für jeden Suchterm gesondert eine Referenzmenge ermittelt. Für jeden Term der Teilmenge wird dann ein Ähnlichkeitsmaß zu dem Suchterm bestimmt und die Wahrscheinlichkeit für das Auftreten des Terms bestimmt. Nun wird eine von dem Term abhängige Gewichtungsverteilung auf die Terme der Teilmenge angewandt, wobei die Terme, die ein höheres Ähnlichkeitsmaß besitzen, stärker gewichtet werden als Terme mit einem niedrigeren Ähnlichkeitsmaß. Danach wird eine modifizierte Wahrscheinlichkeit für den Term aus den gewichteten Wahrscheinlichkeiten der Terme der Teilmenge bestimmt.
Anschließend werden bei dem erfindungsgemäßen Verfahren die Datensätze im Hinblick auf ihre Relevanz für die Suchanfrage bewertet. Bei dieser Bewertung wird geprüft, ob die Terme der Teilmenge in dem Datensatz vorkommen, und, wenn ein Term der Teilmenge in dem Datensatz vorkommt, führt eine niedrigere modifizierte Wahrscheinlichkeit des Terms zu einer hö- heren Relevanzbewertung des Datensatzes. Schließlich wird zumindest eine Datensatzteilmenge in Abhängigkeit von ihrer Relevanzbewertung ausgegeben. Für die Relevanz eines Suchterms einer Suchanfrage ist es von Bedeutung, wie häufig dieser Suchterm in Mengen mit derartigen Termen vorkommt. Wenn ein Term üblicherweise sehr häufig vorkommt, ist er bei der Verarbeitung der Suchanfrage weniger relevant als ein Suchterm der Suchanfrage, der üblicherweise in Termmengen sehr selten vorkommt. Bei dem erfindungsge- mäßen Verfahren werden die unterschiedlichen Häufigkeiten, mit denen Suchterme vorkommen, dadurch berücksichtigt, dass eine Auftretenswahrscheinlichkeit jedes Terms der Teilmenge bestimmt wird. Diese Termwahrscheinlichkeiten können beispielsweise vorab anhand von bestimmten Mengen mit Termen bestimmt werden, zum Beispiel anhand von vorab ausgewählten Texten, bei denen die Worthäufigkeiten bestimmt worden sind. Die Menge, auf weiche sich die Auftretenswahrscheinlichkeit der Terme bezieht, kann außerdem von der Gesamtheit der Terme gebildet sein, die in den zu durchsuchenden Datensätzen vorkommen. Diese Datensätze können vorab durchsucht und indexiert werden. Dabei kann für jeden Term in einem Datensatz außerdem die Häufigkeit bestimmt werden, mit welcher dieser Term in den Datensätzen aufgetreten ist.
Dabei kann sich jedoch das Problem ergeben, dass zum einen die zu durchsuchenden Datensätze Fehler enthalten können und zum anderen auch die Suchterme der Suchanfrage Fehler enthalten können. Bei den Fehlern kann es sich beispielsweise um Schreib- oder Tippfehler handeln. Ein Wort kann beispielsweise in einer nicht korrekten Schreibweise in einem Daten- satz enthalten sein. Wird nun die Auftretenshäufigkeit der Terme bestimmt, würde sich bei einem nicht korrekt geschriebenen Wort eines Suchterms ergeben, dass dieses Wort für die Suchanfrage eine besonders hohe Relevanz hat, da es sehr selten vorkommt. Die gleiche Situation ergibt sich, wenn die Wahrscheinlichkeit des Auftretens eines Terms anhand der Gesamtheit der Terme bestimmt wird, die in den Datensätzen vorkommen. Enthalten die Datensätze ein nicht korrekt geschriebenes Wort, tritt dieses Wort sehr selten auf, so dass die Auftretenswahrscheinlichkeit dieses Wortes sehr gering ist und damit die Relevanz des Wortes für eine Suchanfrage sehr hoch ist.
Bei dem erfindungsgemäßen Verfahren wird dieses Problem dadurch gelöst, dass nicht nur die Auftretenswahrscheinlichkeit bzw. die Häufigkeit eines Terms einer Suchanfrage berücksichtigt wird, sondern für jeden Suchterm in der Suchanfrage eine Teilmenge mit Termen aus einer Referenzmenge ermittelt wird, die bei der anschließenden Relevanzbewertung der Datensätze im Hinblick auf diesen Suchterm berücksichtigt wird. Die Teilmenge kann beispielsweise anhand eines Lexikons bestimmt werden. In diesem Fall ergibt sich, dass ein Suchterm mit einem nicht korrekt geschriebenen Wort nicht in der Teilmenge enthalten wäre, sondern nur ähnliche Wörter, die korrekt geschrieben sind. Um auch andere grammatikalische Formen eines Wortes eines Suchterms zu berücksichtigen, enthält die Referenzmenge insbesondere alle grammatikalischen Formen von Wörtern. Die Teilmenge wird daher nicht nur ein Wort eines Suchterms enthalten, sondern auch andere grammatikalische Formen dieses Wortes, da diese Formen ähnlich mit dem Suchterm sind.
Bei dem erfindungsgemäßen Verfahren wird nun nicht nur jeder Term dieser auf diese Weise bestimmten Teilmenge bei der Relevanzbewertung der Datensätze im Hinblick auf den Suchterm berücksichtigt, sondern die Terme dieser Teilmenge werden erfindungsgemäß in besonderer Weise berücksichtigt:
Da für jeden Term der Teilmenge ein Ähnlichkeitsmaß zu dem zugehörigen Suchterm bestimmt wird, können die Terme der Teilmenge nach ihrem Ähnlichkeitsmaß geordnet werden. Mittels einer Gewichtungsverteilung wird nun in Abhängigkeit von dem Term bestimmt, wie die anderen Terme der Teilmenge bei der Bestimmung der modifizierten Wahrscheinlichkeit berücksichtigt werden. Dabei werden Terme, die ein höheres Ähnlichkeitsmaß besitzen, stärker gewichtet als Terme mit einem niedrigeren Ähnlichkeitsmaß. Auf diese Weise ist es möglich, auch bei einem Suchterm, der beispielsweise einen Tippfehler enthält, zu einer angemessenen modifizierten Wahrscheinlichkeit für diesen Term zu gelangen, auf deren Basis schließlich die Relevanz der Datensätze bestimmt wird. In der zu einem Suchterm mit einem Tippfehler gehörigen Teilmenge ist nämlich mit hoher Wahrscheinlichkeit auch der korrekt geschriebene Term sowie Abwandlungen davon enthalten. Diese Terme, die in der Teilmenge enthalten sind, werden dann bei der Bestimmung der modifizierten Wahrscheinlichkeit mit berücksichtigt, so dass das seltene Auftreten des Suchterms mit dem Tippfehler nicht zu einer sehr hohen Relevanz dieses Terms für die Bewertung der Datensätze führt. Auf die gleiche Weise kann auch verhindert werden, dass Tippfehler, die in den zu durchsuchenden Datensätzen vorkommen, zu nicht geeigneten Ergebnissen bei der Bewertung eines solchen Datensatzes führen.
Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens ist die Gewichtungsverteilung so ausgebildet, dass bei der Bestimmung der modifizierten Wahrscheinlichkeit eines Terms nur die Wahrscheinlichkeit des Terms selbst sowie die Wahrscheinlichkeiten anderer Terme berücksichtigt werden, die ein höheres Ähnlichkeitsmaß als der eine Term besitzen. Die Gewichtungsverteilung kann in diesem Fall somit beispielsweise eine Stufenfunktion sein, welche für den Term der Teilmenge selbst sowie für andere Terme, die ein höheres Ähnlichkeitsmaß haben als dieser Term, die Gewichtung 1 ausgibt und für Terme der Teilmenge mit einem geringe- ren Ähnlichkeitsmaß die Gewichtung 0 ausgibt, so dass diese Terme mit geringerem Ähnlichkeitsmaß bei der Bestimmung der modifizierten Wahrscheinlichkeit unberücksichtigt bleiben. Bei der Bestimmung der modifizierten Wahrscheinlichkeit für einen Term wird somit zum einen die Wahrscheinlichkeit des Terms selbst berücksichtigt, sowie die Wahrscheinlichkeit jedes anderen Terms der Teilmenge, der ein höheres Ähnlichkeitsmaß als dieser Term hat.
Gemäß einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird die Gewich- tung, mit der die Wahrscheinlichkeit eines zweiten Terms tk in die modifizierte Wahrscheinlichkeit eines ersten Terms t eingeht, durch die Auswertung einer Sigmoid-Funktion bestimmt, wobei die Auswertungsstelle die Subtraktion des Ähnlichkeitsmaßes des ersten Terms tj vom Ähnlichkeitsmaß des zweiten Terms tk ist. Da die Sigmoid-Funktion im Gegensatz zu einer unstetigen Stufenfunktion einen stetigen Übergang vom Wert 0 zum Wert 1 hat, können bei dieser Ausgestaltung des erfindungsgemäßen Verfahrens auch Terme der Teilmenge berücksichtigt werden, die ein geringfügig niedrigeres Ähnlichkeitsmaß haben als der Term, dessen modifizierte Wahrscheinlichkeit bestimmt wird. Auf diese Weise kann die auf Basis der modifizierten Wahrscheinlichkeit bewertete Relevanz der Datensätze weiter verbessert werden. Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens ist die Gewichtungsverteilung so ausgebildet, dass bei der Bestimmung der modifizierten Wahrscheinlichkeit eines Terms ferner Wahrscheinlichkeiten von anderen Termen mit einer geringeren Gewichtung berücksichtigt werden, die ein niedrigeres Ähnlichkeitsmaß besitzen, wobei die Gewichtung eines anderen Terms mit niedrigerem Ähnlichkeitsmaß von der Differenz des Ähnlichkeitsmaßes des Terms, für den die modifizierte Wahrscheinlichkeit bestimmt wird, und des Ähnlichkeitsmaßes des anderen Terms abhängt. Insbesondere wird die Gewichtung eines anderen Terms mit niedrigerem Ähnlichkeitsmaß umso höher sein, desto geringer der Absolutbetrag der Differenz zu dem Ähnlichkeitsmaß des Terms ist, für den die modifizierte Wahrscheinlichkeit bestimmt wird. Auf diese Weise können durch Anwendung beliebiger anderer Funktionen Terme mit niedrige- rem Ähnlichkeitsmaß für die Bestimmung der modifizierten Wahrscheinlichkeit jedes Terms der Teilmenge und damit für die Bewertung der Relevanz der Datensätze berücksichtigt werden.
Die modifizierte Termwahrscheinlichkeit eines gegebenen Terms stellt die Wahrscheinlichkeit der Vereinigung aller Terme dar, deren Ähnlichkeit (in einem verallgemeinerten Sinne) zum Suchterm größer sind, als die Ähnlichkeit des gegebenen Terms. Für die Bewertung eines Datensatzes ist es jedoch sinnvoll die Wahrscheinlichkeit zu ermitteln, dass ein Datensatz einen solchen enthält. Da ein Datensatz viele Terme enthält, ist diese Wahrscheinlichkeit größer. Hierzu wird gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens bei der Berechnung der modifizierten Wahrscheinlichkeit außerdem, ein Zwischenschritt eingeführt, der die Verteilung der Anzahl der Terme je Datensatz der zu durchsuchenden Datensätze berücksichtigt. Dabei wird insbesondere berücksichtigt, dass ein Datensatz mehrere ähnliche Terme gleichzeitig enthalten könnte. Die Bewertung eines Datensatzes kann sich beispielsweise aus dem Absolutbetrag des Logarithmus der modifizierten Wahrscheinlichkeit des zugehörigen Terms ergeben. Auf diese Weise lassen sich die verschiedenen Wahrscheinlichkeiten der zu berücksichtigenden Terme für die Bestimmung der modifizierten Wahrscheinlichkeit eines Terms leichter zusammenführen.
Die Wahrscheinlichkeit für das Auftreten des Terms der Teilmenge wird insbesondere dadurch bestimmt, dass die dem Term zugeordnete Wahrscheinlichkeit vorab aus der Häufigkeit des Terms in der Referenzmenge oder in den Datensätzen ermittelt und in einem Speicher gespeichert wird, und die gespeicherte Wahrscheinlichkeit für den Term später aus dem Speicher ausgelesen wird. Durch diese vorherige Bestimmung der Wahrscheinlichkeiten kann die Ausführung des Verfahrens beschleunigt und vereinfacht werden. Außerdem kann man durch die Wahl der Referenzmenge auf allgemeine Analysen zur Auftretenshäufigkeit von Termen in Mengen, d.h. zum Beispiel von Wörtern in Texten, zurückgreifen. Schließlich kann man durch die Berücksichtigung der Auftretenshäufigkeit der Terme in den Datensätzen Wahrscheinlichkei- ten ermitteln, welche an die speziellen Datensätze angepasst sind. Handelt es sich bei den Datensätzen beispielsweise um eine Produktdatenbank, dann können die Auftretenshäufigkeiten bestimmter Wörter von den Häufigkeiten abweichen, die aus allgemeinen Texten anderer Art bestimmt worden sind.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens enthält die Suchanfrage mehrere Suchterme. In diesem Fall wird für jeden Suchterm gesondert eine Teilbewertung bestimmt. Ferner wird eine weitere Teilbewertung für die aus den Suchtermen zusammengesetzte Suchanfrage bestimmt. Die Bewertung der Suchanfrage wird dann aus den Teilbewertungen bestimmt.
Des Weiteren kann bei dem Verfahren bei der Relevanzbewertung der Datensätze ein Datensatz höher bewertet werden, wenn ein Term der Teilmenge häufiger in diesem Datensatz vorkommt. Beispielsweise kann ein Datensatz umso höher bewertet werden, je häufiger ein Term der Teilmenge in diesem Datensatz vorkommt. Auf diese Weise kann nicht nur die Auftretenswahrscheinlichkeit eines Terms sowie weiterer Terme der Teilmenge in die Relevanzbewertung der Datensätze einfließen, sondern auch die konkrete Auftretenshäufigkeit eines Terms in dem zu bewertenden Datensatz. Auch diese Maßnahme führt zu einer weiteren Verbesserung der Relevanzbewertung der Datensätze. Ein Datensatz kann beispielsweise jeweils mehrere Felder enthalten. Dies ist beispielsweise insbesondere dann der Fall, wenn die Datensätze eine Produktdatenbank betreffen. In diesem Fall sind bei der Relevanzbewertung der Datensätze bestimmte Felder wichtiger, andere Felder hingegen weniger wichtig. Aus diesem Grund wird in diesem Fall bei dem erfindungsgemäßen Verfahren bevorzugt die Relevanz eines Datensatzes außerdem in Abhängigkeit davon bewertet, in welchem Feld ein Term der Teilmenge in dem Datensatz vorkommt. Kommt ein Term in einem besonders wichtigen Feld vor, führt dies zu einer höheren Bewertung des Datensatzes, als wenn der Term in einem weniger wichtigen Feld vorkommt.
Die Erfindung betrifft außerdem ein Computerprogrammprodukt mit Programmcodes zur Durchführung des vorstehend beschriebenen Verfahrens, wenn der Programmcode von einem Computer ausgeführt wird. Bei dem Computerprogrammprodukt kann es sich insbesondere um ein beliebiges Speichermedium für Computersoftware handeln.
Die erfindungsgemäße, von einem Computer ausführbare Suchmaschine umfasst eine Empfangseinheit zum Empfangen einer Suchanfrage mit mindestens einem Suchterm. Die Suchanfrage kann beispielsweise über ein Netzwerk, wie das Internet, empfangen werden. Des Weiteren umfasst die Suchmaschine Mittel zum Ermitteln einer Teilmenge mit Termen, die ähnlich oder identisch mit dem Suchterm sind. Diese Teilmenge wird insbesondere aus einer Referenzmenge ermittelt.
Des Weiteren umfasst die erfindungsgemäße Suchmaschine Mittel zum Bestimmen einer modifizierten Wahrscheinlichkeit für jeden Term der Teilmenge. Diese Mittel zum Bestimmen der modifizierten Wahrscheinlichkeit sind so ausgebildet, dass ein Ähnlichkeitsmaß des jeweiligen Terms zu dem Suchterm bestimmbar ist, die Wahrscheinlichkeit für das Auftreten des Terms bestimmbar ist, eine von dem Term abhängige Gewichtungsverteilung auf die Terme der Teilmenge anwendbar ist, wobei die Terme, die ein höheres Ähnlichkeitsmaß zum Suchterm besitzen, stärker gewichtet werden als Terme mit einem niedrigeren Ähnlichkeitsmaß, und die modi- fizierte Wahrscheinlichkeit für den Term aus den gewichteten Wahrscheinlichkeiten der Terme der Teilmenge bestimmbar ist.
Des Weiteren umfasst die erfindungsgemäße Suchmaschine eine Bewertungseinheit zum Bewerten von Datensätzen im Hinblick auf ihre Relevanz für die Suchanfrage. Mittels dieser Be- wertungseinheit ist insbesondere prüfbar, ob die Terme der Teilmenge in dem Datensatz vorkommen, und, wenn ein Term der Teilmenge in dem Datensatz vorkommt, eine niedrigere modifizierte Wahrscheinlichkeit des Terms zu einer höheren Bewertung des Datensatzes führt.
Schließlich umfasst die erfindungsgemäße Suchmaschine eine Ausgabeeinheit zum Ausgeben einer Datensatzteilmenge in Abhängigkeit von ihrer Relevanzbewertung. Die erfindungsgemäße Suchmaschine ist insbesondere so ausgebildet, dass sie das vorstehend beschriebene Verfahren ausführen kann. Sie weist somit auch dieselben Vorteile wie das vorstehend angegebene Verfahren auf. Gemäß einer Ausgestaltung der erfindungsgemäßen Suchmaschine umfasst diese einen Speicher, in dem die Referenzmenge mit Termen oder eine Menge mit den Termen, die in den Datensätzen vorkommen, sowie die den Termen zugeordneten Wahrscheinlichkeiten gespeichert sind. Die Wahrscheinlichkeiten ergeben sich dabei insbesondere aus der Auftretenshäufigkeit der Terme in der Referenzmenge bzw. in den Datensätzen, die zu durchsuchen sind.
Die Erfindung wird nun anhand der Ausführungsbeispiele mit Bezug zu den Zeichnungen erläutert.
Figur 1 zeigt schematisch den prinzipiellen Aufbau der Suchmaschine gemäß einem
Ausführungsbeispiel der Erfindung und
Figur 2 zeigt die Schritte bei der Durchführung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens. Das im Folgenden beschriebene Ausführungsbeispiel betrifft die Suche in einer Produktdatenbank D. Für jedes Produkt ist in dieser Produktdatenbank D ein Datensatz d| gespeichert. Jeder Datensatz d| kann wiederum in mehrere Felder unterteilt sein, die sich beispielsweise auf den Preis des Produkts, die Farbe des Produkts, das Material des Produkts oder andere relevante Merkmale des Produkts beziehen können.
Die Produktdatenbank D wird einem Nutzer in Verbindung mit einem Online-Shop bereitgestellt. Wie schematisch in Figur 1 gezeigt, kann der Nutzer mittels seines Computers 3 über das Internet 2 auf eine Website zugreifen, die von einer Zentraleinheit 1 des Online-Shops bereitgestellt wird. Der Nutzer kann mittels seines Computers 3 über das Internet 2 dem Online-Shop eine Suchanfrage Q übermitteln, welche von einer Empfangseinheit 4 der Zentraleinheit 1 des Online-Shops empfangen wird. Die Empfangseinheit 4 überträgt die Suchanfrage Q an eine Einrichtung 5 zum Ermitteln einer Teilmenge V mit Termen, die ähnlich oder identisch mit einem Such- term q, der Suchanfrage Q sind. Hierfür ist die Zentraleinheit 1 mit einem Speicher 1 1 gekoppelt. Dieser Speicher 1 1 kann zum einen die Produktdatenbank D enthalten. Zum anderen ent- hält der Speicher 1 1 eine Referenzmenge T mit Termen t. Die Referenzmenge T ist beispielsweise eine Wortdatenbank, in der im Wesentlichen alle Worte einer Sprache oder mehrerer Sprachen enthalten sind, oder alle Worte enthalten sind, die in einer Produktdatenbank vor- kommen können. Bei den Termen t handelt es sich in diesem Fall somit insbesondere um Wörter.
Außerdem ist in dem Speicher 1 1 für jeden Term t eine Wahrscheinlichkeit pj gespeichert. Die- se Wahrscheinlichkeit pj eines Terms t gibt an, wie die Wahrscheinlichkeit ist, dass dieser Term tj in einer Menge mit Termen auftritt. Diese Wahrscheinlichkeiten pj können insbesondere aus den Häufigkeiten abgeleitet werden, mit denen ein bestimmtes Wort in Texten einer bestimmten Sprache auftritt. Diese Auftretenshäufigkeiten sind an sich bekannt und können vorab in dem Speicher 11 gespeichert werden. Alternativ könnte bestimmt werden, wie häufig ein bestimmter Term tj in der Datenbank D auftritt. Aus dieser Auftretenshäufigkeit könnte dann die Wahrscheinlichkeit pj dafür bestimmt werden, dass der Term tj in der Datenbank D vorkommt.
Nachdem von der Einrichtung 5 eine Teilmenge V mit Termen tj bestimmt worden ist, wird für jeden Term tj der Teilmenge V mittels der Einrichtung 6 ein Ähnlichkeitsmaß für den jeweiligen Term tj bestimmt. Das Ähnlichkeitsmaß gibt an, wie ähnlich der Term tj zu einem Suchterm q, der Suchanfrage Q ist.
Die Einrichtung 6 ist mit einer Einrichtung 7 gekoppelt, welche die Wahrscheinlichkeit pj für das Auftreten des Terms tj bestimmen kann. Diese Wahrscheinlichkeit pj kann die Einrichtung 7 bei- spielsweise einfach aus dem Speicher 1 1 auslesen, in dem diese vorab ermittelten Wahrscheinlichkeiten, wie vorstehend erläutert, gespeichert sind.
Die Einrichtung 7 ist mit einer Einrichtung 8 gekoppelt, in welcher eine von einem Term tj der Teilmenge V abhängige Gewichtungsverteilung Xj auf alle Terme tk der Teilmenge V anwendbar ist. Durch Anwendung der Gewichtungsverteilung Xj ergeben sich gewichtete Wahrscheinlichkeiten für die Terme tk der Teilmenge V. Aus diesen gewichteten Wahrscheinlichkeiten kann die Einrichtung 8 modifizierte Termwahrscheinlichkeiten p"j bestimmen. Des Weiteren kann die Einrichtung die Anzahl der Terme je Datensatz berücksichtigen (zum Beispiel durch Zugriff auf den Speicher 1 1). Daraus ergibt sich die modifizierte Wahrscheinlichkeit p'j dafür, dass ein Term tj oder ein noch ähnlicherer in einem Datensatz auftritt.
Die modifizierten Wahrscheinlichkeiten p'j werden von der Einrichtung 8 an eine Bewertungseinheit 9 übertragen. Die Bewertungseinheit 9 bewertet die Datensätze d| im Hinblick auf ihre Relevanz für die Suchanfrage Q. Hierfür greift die Bewertungseinheit 9 auf den Speicher 11 zu und prüft für jeden Datensatz d| der Produktdatenbank D, ob die Terme tj der Teilmenge V in dem Datensatz d| vorkommen. Wenn ein Term tj der Teilmenge V in dem Datensatz d| vorkommt, führt die Bewertungseinheit 9 eine Bewertung des Datensatzes d| unter Berücksichtigung der modifizierten Wahrscheinlichkeiten p'j der vorkommenden Terme tj durch. Die Relevanzbewertung überträgt die Bewertungseinheit 9 an eine Ausgabeeinheit 10. Die Ausgabeeinheit 10 bestimmt eine Datensatzteilmenge in Abhängigkeit von ihrer Relevanzbewertung. Beispielsweise kann die Ausgabeeinheit eine bestimmte Anzahl an Datensätzen d|, welche die höchsten Relevanzbewertungen erhalten haben, in der Reihenfolge ihrer Relevanzbewertung ausgeben. Diese Ausgabe kann über das Internet 2 dem Computer 3 des Nutzers zur Verfügung gestellt werden, zum Beispiel durch eine Anzeige auf einer Website, die auf dem Computer 3 des Nutzers angezeigt wird. Details zu den vorstehend beschriebenen Einrichtungen der Zentraleinheit 1 werden im Folgenden in Verbindung mit der Erläuterung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens beschrieben:
Es wird im Folgenden davon ausgegangen, dass die Produktdatenbank D Datensätze d| zu Kleidungsstücken enthält. Die Produktdatenbank D kann beispielsweise 300 Datensätze enthalten. Die Produktdatenbank D umfasst somit die Datensätze di , d2, d30o.
Des Weiteren wird im Folgenden davon ausgegangen, dass 15 Datensätze der Produktdatenbank D das Wort„Shirt" enthalten und 60 Datensätze der Produktdatenbank das Wort„blaues" enthalten. Es enthalten somit 5% der Datensätze das Wort„Shirt" und 20% der Datensätze das Wort„blaues". Außerdem wird zur Vereinfachung zunächst davon ausgegangen, dass diese Wörter in jedem Datensatz d| höchstens einmal vorkommen.
Es ist in solch einem Fall bei Suchmaschinen bekannt, die inverse Dokumenthäufigkeit (inverse document frequency) zu betrachten. Dabei werden Datensätze d|, die ein selteneres Wort enthalten, mit einer höheren Relevanz belegt, als die Datensätze d|, die ein häufiger vorkommendes Wort enthalten. In dem vorherigen Beispiel werden somit die Datensätze, die das Wort „Shirt" enthalten, mit einer höheren Relevanz belegt, als die Datensätze d|, die das Wort„blaues" enthalten. Außerdem wird ermittelt, welche Datensätze d| die beiden Wörter„blaues" und „Shirt" enthalten. Unter der Voraussetzung, dass diese beiden Wörter nicht korrelieren, ist zu erwarten, dass es genau drei Datensätze sind. Dies errechnet sich aus dem Produkt der beiden Wahrscheinlichkeiten dafür, dass die Wörter in den Datensätzen d| vorkommen, d.h. die Wahrscheinlichkeit pshirt = 0,05, multipliziert mit der Wahrscheinlichkeit pbiaues = 0,2. Die Wahrscheinlichkeit, dass diese beiden Wörter in einem Datensatz d| enthalten sind, ist somit 0,01 (1 %).
Die Relevanz eines Datensatzes d| für eine Suchanfrage Q ist gerade dann hoch, wenn das Produkt der Wahrscheinlichkeiten der Wörter, die in diesem Datensatz d| vorkommen und für welche die Suchanfrage relevant sind, klein ist. Je spezifischer ein Datensatz d ist, desto höher ist seine Relevanz. Um die einzelnen Wahrscheinlichkeiten einfacher verknüpfen zu können, wird daher bevorzugt der Absolutbetrag des Logarithmus der Wahrscheinlichkeit gebildet. Dieser Absolutbetrag steigt mit der Relevanz und verhält sich additiv gegenüber den Einzelwahrscheinlichkeiten. Bei dem vorherigen Beispiel ist die logarithmische Wahrscheinlichkeit dafür, dass ein Datensatz d| das Wort„blaues" enthält, 0,7, dass ein Datensatz d| das Wort„Shirt" enthält, 1 ,3 und die logarithmische Wahrscheinlichkeit dafür, dass ein Datensatz d| beide Wörter enthält, 2.
Im Folgenden wird nun mit Bezug zu Figur 2 das erfindungsgemäße Verfahren im Detail erläu- tert, welches eine Modifikation eines bekannten Verfahrens darstellt, welches die inverse Auftretenshäufigkeit von Termen betrachtet:
Ein Nutzer generiert im Schritt 20 eine Suchanfrage Q, welche die Suchterme q, enthält, wobei i eine natürliche Zahl ist. Wie in dem vorstehend beschriebenen Beispiel kann der Suchterm „Shirt" sein und der Suchterm q2„blaues" sein.
Es wird nun im Schritt 21 aus der Referenzmenge T eine Teilmenge V mit Termen t ermittelt, die ähnlich oder identisch mit dem ersten Suchterm sind. Die Referenzmenge T kann wie vorstehend erläutert, eine Wortdatenbank sein, die alle Wörter einer Sprache enthält. Verfahren zum automatischen Bewerten der Ähnlichkeit von zwei Zeichenketten sind an sich bekannt. In diesem Fall wird für die Ermittlung der Teilmenge V die Ähnlichkeit eines Suchterms q, mit allen Termen t der Referenzmenge T ermittelt. Die Terme t , die in einem bestimmten Ähnlichkeitsbereich liegen, werden in die Teilmenge V aufgenommen. Ein Verfahren zur automatischen Bewertung der Ähnlichkeit ist beispielsweise in der WO 2007/144199 A1 beschrieben, deren Of- fenbarungsgehalt hiermit durch Bezugnahme aufgenommen wird.
Die Teilmenge V kann somit beispielsweise drei Terme tx, ty und tz enthalten. Bei dem vorstehend beschriebenen Beispiel kann zu dem Suchterm„Shirt" die folgende Teilmenge V ermittelt werden: {Shirt, Shirts, T-Shirt}. Zu dem zweiten Suchterm„blaues" kann folgende Teilmenge V ermittelt werden: {blaues, blau, blaue}.
Es wird darauf hingewiesen, dass die Teilmenge V nur Elemente der Referenzmenge T enthalten kann. Enthält die Suchanfrage Q somit ein falsch geschriebenes Wort, so wird dieses Wort nicht in die Telmenge V aufgenommen, da es nicht in der Referenzmenge T enthalten ist. Auf diese Weise können falsch geschriebene Wörter einer Suchanfrage Q so aussortiert werden, dass sie nicht mit einer sehr hohen Relevanz belegt werden, da sie sehr selten vorkommen. Trotzdem werden auch falsch geschriebene Wörter bei der Relevanzbewertung der Produktdatenbank D berücksichtigt, da statt des falsch geschriebenen Wortes eine Teilmenge V berück- sichtigt wird, die Terme enthält, die ähnlich zu dem falsch geschriebenen Wort sind. Insofern ist das erfindungsgemäße Verfahren fehlertolerant.
Die Terme tx, ty und tz der Teilmenge V werden bei dem Verfahren für die Relevanzbewertung der Datensätze d| der Produktdatenbank D berücksichtigt, jedoch wird die Relevanz jedes Terms t der Teilmenge V für diese Bewertung gesondert bestimmt, so dass nicht jeder Term t der Teilmenge V die gleiche Relevanz für die Bewertung der Produktdatenbank D haben muss. Hierfür wird im Schritt 22 für jeden Term tj der Teilmenge V ein Ähnlichkeitsmaß A, bestimmt, das dieser Term tj zu dem zugrundeliegenden Suchterm q, hat. Auch dieses Ähnlichkeitsmaß A kann beispielsweise anhand ei nes Verfahrens besti m mt werden , wie es i n der WO 2007/144199 A1 beschrieben ist. Die Teilmenge V kann somit in Abhängigkeit von dem Ähnlichkeitsmaß Ajj der enthaltenen Terme tj bzgl. eines Suchterms q, sortiert werden. Ist der Suchterm q, selbst in der Teilmenge V enthalten, wird dieser Term tj der Teilmenge V das höchste Ähnlichkeitsmaß A haben, da er identisch mit dem Suchterm q, ist. Es folgen mit absteigendem Ähnlichkeitsmaß A die weiteren Terme tj der Teilmenge V.
Für den Suchterm„blaues" kann sich somit beispielsweise die folgende sortierte Teilmenge V ergeben: 1. blaues, 2. blaue, 3. blau. Es werden nun im Schritt 23 die Wahrscheinlichkeiten pj der Terme tj der Teilmenge V bestimmt. Diese stellt die Wahrscheinlichkeit pj dar, dass der Term tj aus der Datenbank D gezogen wird, falls einer zufällig ausgewählt wird. Im Gegensatz dazu wurde bei dem oben beschriebenen Relevanzmaß (inverse Dokumenthäufigkeit) die Häufigkeit der Dokumente, d.h. Datensätze, betrachtet. Wie vorstehend erläutert, wird hierfür aus dem Speicher 1 1 die vorab gespeicherte Wahrscheinlichkeit pj dafür ausgelesen, dass der Term tj der Teilmenge T auftritt, d.h. z.B. in bestimmten Texten oder in den Datensätzen d|. Bei dem hier konkret beschriebenen Beispiel kann sich beispielsweise ergeben, dass das Wort„blaues" mit einer Wahrscheinlichkeit von 0,02 auftritt, das Wort„blaue" mit einer Wahrscheinlichkeit von 0,01 auftritt und das Wort „blau" ebenfalls mit einer Wahrscheinlichkeit von 0,01 auftritt. Des Weiteren ist es möglich, zu- sätzlich die Wahrscheinlichkeit dafür zu bestimmen, dass eines der Wörter„blaues",„blaue", "blau" auftritt. Diese Wahrscheinlichkeit ist 0,04.
Im Schritt 24 wird für jeden Term tj der Teilmenge V nun eine Gewichtungsverteilung Xj angewandt. Die Art der Gewichtungsverteilung Xj ist dabei von dem Term tj der Teilmenge V, den man betrachtet, abhängig. Im einfachsten Fall ist die Gewichtungsverteilung Xj eine Stufenfunktion, welche die Gewichtung 1 ausgibt für den Term tj, den man betrachtet, so wie für solche anderen Terme tk der Teilmenge V, die ein höheres Ähnlichkeitsmaß Aik besitzen als der Term tj, den man aktuell betrachtet. Die Gewichtungsverteilung Xj wirkt in diesem Fall somit als Filter, der alle Terme tk der Teilmenge V herausfiltert, die ein geringeres Ähnlichkeitsmaß A als der betrachtete Term t haben.
Aus den gewichteten Wahrscheinlichkeiten wird dann im Schritt 25 eine modifizierte Termwahr- scheinlichkeit p"j bestimmt, d.h. für den Term tj wird die modifizierte Wahrscheinlichkeit p'j bestimmt.
Betrachtet man in dem konkreten Beispiel das Wort„blaues", ergibt sich, dass dieses Wort das höchste Ähnlichkeitsmaß A besitzt, da es identisch mit dem Suchterm„blaues" ist. Die modifi- zierte Termwahrscheinlichkeit p"x des Wortes„blaues" entspricht somit der Wahrscheinlichkeit px des Wortes„blaues".
Betrachtet man andererseits das Wort„blaue", ergibt sich, dass das Wort„blaues" ein höheres Ähnlichkeitsmaß A hat, das Wort„blau" hingegen ein niedrigeres Ähnlichkeitsmaß A. Bei der Bestimmung der modifizierten Termwahrscheinlichkeit p"y für das Wort„blaue" wird somit die mit 1 gewichtete Wahrscheinlichkeit py für das Wort„blaue" und ferner die mit 1 gewichtete Wahrscheinlichkeit px für das Wort„blaues" bei der Bestimmung der modifizierten Termwahrscheinlichkeit p"y für das Wort„blaue" berücksichtigt. Wrd schließlich die modifizierte Termwahrscheinlichkeit p"z für das Wort„blau" bestimmt, ergibt sich, dass die Worte„blaues" und„blaue" ein höheres Ähnlichkeitsmaß A haben als das Wort „blau", so dass bei der Bestimmung der modifizierten Termwahrscheinlichkeit p"z für das Wort „blau" alle Wahrscheinlichkeiten der Worte„blau",„blaue" und„blaues", jeweils mit 1 gewichtet, berücksichtigt werden.
Somit ergibt sich als modifizierte Termwahrscheinlichkeit p"x für das Wort„blaues" zu 0,02 (Wahrscheinlichkeit für das Wort„blaues"), die modifizierte Wahrscheinlichkeit p"y für das Wort „blaue" zu 0,03 (Wahrscheinlichkeit für das Wort„blaue" oder„blaues") und die modifizierte Wahrscheinlichkeit p"z für das Wort„blau" zu 0,04 (Wahrscheinlichkeit für das Wort„blau", „blaue" oder„blaues").
Schritt 26: Für die Bewertung von Datensätzen ist es sinnvoll, die Wahrscheinlichkeit zu berechnen, dass ein Datensatz einen Term enthält, hierzu ist es sinnvoll die Anzahl der Terme je Datensatz zu berücksichtigen. Diese hat eine Verteilung, die im voraus ermittelt und gespeichert werden kann. Zum Beispiel kann die durchschnittliche Anzahl der Terme je Datensatz ermittelt werden. Aber auch eine genaue Berechnung ist möglich. Betrachtet man für das Beispiel mit 300 Datensätzen den Fall, dass 150 davon 5 Terme besitzen und weitere 150 davon 10 Terme. Die Wahrscheinlichkeit, dass eine Kombination von 5 Termen eine gegebenen Term zum Bei- spiel .blaues' enthält, lässt sich berechnen durch: 1 - (1 - ρ'χ)Λ5. Der Ausdruck in Klammern gibt die Wahrscheinlichkeit an, dass ein Term gerade nicht .blaues' ist. Die 5-te Potenz liefert, dann die Wahrscheinlichkeit, dass eine Kombination von 5 Termen, den Term .blaues' nicht enthält. Der gesamte Ausdruck liefert, dann die entsprechende Wahrscheinlichkeit, dass ein Datensatz der Länge 5 den Term enthält. Für Datensätze der Länge 10 ergibt sich der Ausdruck zu: 1 - (1 - ρ )Λ10. In dem Beispiel haben aber jeweils 150 Datensätze die Länge 5 und jeweils 150 Datensätze die Länge 10. Daraus folgt dann eine Gesamtwahrscheinlichkeit, dass ein beliebiger Datensatz den Term .blaues' enthält zu: , _ 150(l - (l - ^" )5) + 150(l - (l - ^' )10)
300
Daraus ergibt sich die modifizierte Wahrscheinlichkeit, dass ein Datensatz den Term .blaues' enthält zu: 0,14. Nach dem gleichen Verfahren werden die modifizierten Wahrscheinlichkeiten: p"y (=0,20)
und p"z (=0,26) berechnet. Anschließend wird im Schritt 27 eine Bewertung der Relevanz η der Datensätze d| für die Suchanfrage Q durchgeführt. Dabei wird für jeden Term tj der Teilmenge V geprüft, ob er in einem Datensatz d| vorkommt. Wenn ein Term tj der Teilmenge V in einem Datensatz d| vorkommt, erhält dieser Datensatz d| eine höhere Relevanz η als ein Datensatz dm, in dem der Term tj der Teilmenge V nicht vorkommt. Außerdem erhält ein Datensatz d|, in dem ein Term tj vorkommt, der eine niedrigere modifizierte Wahrscheinlichkeit p'j hat, eine höhere Relevanzbewertung η als ein Datensatz dm, in welchem ein Term tj vorkommt, der eine höhere modifizierte Wahrscheinlichkeit p'j hat. Außerdem wird die Relevanzbewertung η eines Datensatzes d| höher, wenn ein Term tj der Teilmenge V häufiger in diesem Datensatz d| vorkommt. Schließlich können die einzelnen Felder der Datensätze d| noch unterschiedlich gewichtet werden. Wenn ein Term tj in einem Feld eines Datensatzes d| vorkommt, kann dies zu einer höheren Relevanzbewertung η des Datensatzes d| führen, als wenn derselbe Term tj in einem anderen, weniger wichtigen Feld des Datensatzes d| vorkommt.
Die vorstehend beschriebene Relevanzbewertung η wird für alle Suchterme q, durchgeführt, wenn die Suchanfrage Q mehrere Suchterme q, enthält. In dem konkreten Beispiel wird somit auch eine Teilmenge V mit Termen tj für das Wort„Shirt" ermittelt. Wie vorstehend erläutert, kann diese Teilmenge V beispielsweise die Wörter„Shirt",„Shirts",„T-Shirt" enthalten. Danach wird, wie vorstehend beschrieben, die modifizierte Wahrscheinlichkeit p'j für jeden Term t dieser Teilmenge V zu dem Suchwort„Shirt" bestimmt. Es ergibt sich in diesem Fall beispielsweise für das Wort „Shirt" die modifizierte Wahrscheinlichkeit 0,05 (Wahrscheinlichkeit für das Wort „Shirt"), für das Wort „Shirts" dieser Teilmenge V die modifizierte Wahrscheinlichkeit 0,07 (Wahrscheinlichkeit für das Wort„Shirt" oder„Shirts") und für das Wort„T-Shirt" dieser Teilmenge V die modifizierte Wahrscheinlichkeit 0, 14 (Wahrscheinlichkeit für das Wort„Shirt",„T-Shirt" oder„Shirts"). Nun kann für die ursprüngliche Suchanfrage„blaues Shirt" eine Relevanzbewertung durchgeführt werden. Die Wahrscheinlichkeit dafür, dass ein Datensatz d| den Term„blaues Shirt" enthält, ist 0,007 und dies führt zu einer Relevanzbewertung von 2,14. Enthält ein Datensatz d| den Term„blaue Shirts", ergibt sich eine modifizierte Wahrscheinlichkeit von 0,015. (Dies ist das Produkt aus der modifizierten Wahrscheinlichkeiten für„blaue" (0,20) und ,,Shirts"(0,07)) Daraus ergibt sich eine Relevanzbewertung von 1 ,84 (der Absolutwert des Logarithmus von 0,015) für diesen Datensatz d|. Enthält ein Datensatz d| den Term„T-Shirt blau", ergibt sich eine modifizierte Wahrscheinlichkeit von 0,036. Dies führt zu einer Relevanzbewertung von 1 ,4 des Datensatzes d|. Schließlich ist es bei mehreren Suchtermen q, noch möglich, die Reihenfolge und die Positionen des Auftretens der Terme t der jeweiligen Teilmenge V in einem Datensatz d| zu berücksichtigen. Enthält die Suchanfrage Q die Suchterme q2 in dieser Reihenfolge, wird ein Datensatz d|, welcher Terme t der Teilmenge V, welche zu dem ersten Suchterm q^ gehören, als erstes und danach Terme tk der anderen Teilmenge V, die zu dem zweiten Suchterm q2 gehören, als zweites, führt dies zu einer höheren Relevanzbewertung, als wenn die Terme in umgekehrter Reihenfolge auftreten. Des Weiteren wird ein Datensatz d| mit einer höheren Relevanz bewertet, wenn die Terme tj der beiden Teilmengen nah beieinander auftreten. Eine besonders hohe Relevanzbewertung ergibt sich, wenn die Terme tj der beiden Teilmengen zu den beiden Suchtermen q^ und q2 aufeinanderfolgend, insbesondere in der richtigen Reihenfolge, auftreten. Je weiter die Terme tj der beiden Teilmengen zu den beiden Suchtermen voneinander entfernt in einem Datensatz d| auftreten, desto größer ist die Wahrscheinlichkeit, dass sie in unterschiedlichen sprachlichen Kontexten, zum Beispiel in der Produktbeschreibung, vorkommen, so dass das Auftreten der Terme tj dann zu einer niedrigeren Relevanzbewertung führt. Auch in diesem Fall kann dasselbe vorstehend beschriebene Prinzip angewandt werden, die Wahrscheinlichkeit für einen Datensatz zu ermitteln, der die Suchterme bzw. Terme tj der Teilmenge V in der gleichen oder einer besseren Lage enthält. Dabei wird angenommen, dass die Positionen der Terme tj in den Datensätzen d| unabhängige Zufallsvariablen sind. Nachdem für jeden Datensatz d| eine Relevanzbewertung η durchgeführt worden ist, wird im Schritt 28 eine Liste mit den Datensätzen du, dv, dw, ... erzeugt, welche die höchste Relevanzbewertung η haben. Diese Liste wird dann in der Reihenfolge der Relevanzbewertungen η ausgegeben.
Im Folgenden wird ein zweites Ausführungsbeispiel des erfindungsgemäßen Verfahrens beschrieben:
Das zweite Ausführungsbeispiel unterscheidet sich von dem vorstehend beschriebenen ersten Ausführungsbeispiel in der Gewichtungsverteilung X. Bei dem zweiten Ausführungsbeispiel ist die Wahrscheinlichkeitsverteilung X eine Sigmoid-Funktion. Bei der Sigmoid-Funktion ergibt sich ein stetiger Übergang zwischen den beiden Werten 0 und 1. Hierdurch wird erreicht, dass Terme tk der Teilmenge V, welche ein kleineres Ähnlichkeitsmaß A besitzen, aber deren Ähnlichkeitsmaße sich sehr nah bei dem Term tj befinden, für den die modifizierte Wahrscheinlich- keit p'j ermittelt wird, nicht - wie beim ersten Ausführungsbeispiel - unberücksichtigt bleiben, sondern noch mit einer geringeren Gewichtung berücksichtigt werden.
Terme tk, die ein sehr viel geringeres Ähnlichkeitsmaß A als der betrachtete Term t, haben, bleiben jedoch weiterhin praktisch unberücksichtigt, da die aus der Sigmoid-Funktion ermittelte Gewichtung nahe 0 ist.
Bei dem zweiten Ausführungsbeispiel wird die Gewichtung, mit der die Wahrscheinlichkeit pj eines zweiten Terms tk in die modifizierte Termwahrscheinlichkeit p"j eines ersten Terms tj eingeht, durch die Auswertung einer Sigmoid-Funktion bestimmt, wobei die Auswertungsstelle die Subtraktion des Ähnlichkeitsmaßes A des ersten Terms tj vom Ähnlichkeitsmaß Aik des zweiten Terms tk ist. Im Folgenden wird das am Beispiel des Suchterms (qi)„Sympathie" erläutert. Die Einrichtung 5 (Schritt 21) habe hierzu eine Menge von ähnlichen Termen (V) ermittelt, und die Einrichtung 6 und 7 (Schritt 22, 23) haben die zugehörigen Ähnlichkeiten und Termwahrschein- lichkeiten ermittelt.
Figure imgf000019_0001
Die Einrichtung 8 (Schritt 24) ermittelt die Gewichtungsverteilung nun anhand einer Sigmoid- funktion. Eine mögliche solche Funktion ist die kumulierte Gaußsche Normalverteilung. Im Folgenden werden die Ähnlichkeitsdifferenzen (mit der zugehörigen Gewichtung), wie sie die Einrichtung 8 berechnet dargestellt:
Figure imgf000020_0002
Die modifizierten Termwahrscheinlichkeiten ergeben sich nun durch Anwendung der Gewichtung auf die ursprünglichen Termwahrscheinlichkeiten:
Figure imgf000020_0003
Hierdurch ergibt sich die erfindungsgemäße Eigenschaft, dass Terme deren Ähnlichkeitsmaß größer ist, stärker in die modifizierte Termwahrscheinlichkeit eingehen, als Terme deren modifizierte Termwahrscheinlichkeit kleiner ist. Unter der Annahme, dass die Datenbank die gleiche Verteilung an Termen pro Datensatz, wie im vorherigen Ausführungsbeispiel hat, d.h. 150 Datensätze haben 5 Terme und 150 Datensätze haben 10 Terme, können die jeweiligen modifizierten Wahrscheinlichkeiten ρ^, ρ2', ρ3', p4', p5' durch die bereits ermittelte Formel berechnet (Schritt 26) werden.
Figure imgf000020_0001
300
Diese modifizierten Wahrscheinlichkeiten werden nun wie im vorherigen erfindungsgemäßen Ausführungsbeispiel an die Bewertungseinheit 9 übermittelt. Die vorstehend beschriebenen Verfahrensschritte können als Hardwarekomponenten oder als Software implementiert werden. Die Software kann auf einem Datenträger, d.h. auf einem Computerprogrammprodukt, gespeichert sein. Der in der Software enthaltene Programmcode ist zur Durchführung des vorstehend beschriebenen Verfahrens geeignet, wenn der Programm- code von einem Computer ausgeführt wird.

Claims

Patentansprüche Computerimplementiertes Verfahren zum Suchen in einer Vielzahl (D) von Datensätzen (d|), bei dem eine Suchanfrage (Q) mit mindestens einem Suchterm (q,) empfangen wird, aus einer Referenzmenge (T) eine Teilmenge (V) mit Termen (tj) ermittelt wird, die ähnlich oder identisch mit dem Suchterm (q,) sind, für jeden Term (tj) der Teilmenge (V) ein Ähnlichkeitsmaß (Aj) zu dem Suchterm (q,) bestimmt wird, die Wahrscheinlichkeit (pj) für das Auftreten des Terms (tj) bestimmt wird, eine von dem Term (tj) abhängige Gewichtungsverteilung (Xj) auf die Terme (tk) der Teilmenge (V) angewandt wird, wobei die Terme (tk), die ein höheres Ähnlichkeitsmaß (Ak) besitzen, stärker gewichtet werden als Terme (tk) mit einem niedrigeren Ähnlichkeitsmaß (Ak), und eine modifizierte Wahrscheinlichkeit (p'j, p"j) für den Term (tj) aus den gewichteten Wahrscheinlichkeiten der Terme (tk) der Teilmenge (V) bestimmt wird, die Datensätze (d|) im Hinblick auf ihre Relevanz (R) für die Suchanfrage (Q) bewertet werden, wobei geprüft wird, ob die Terme (tj) der Teilmenge (V) in dem Datensatz (d|) vorkommen, und, wenn ein Term (tj) der Teilmenge (V) in dem Datensatz (d|) vorkommt, eine niedrigere modifizierte Wahrscheinlichkeit (p'j, p"j) des Terms (tj) zu einer höheren Relevanzbewertung des Datensatzes (d|) führt, und zumindest eine Datensatzteilmenge in Abhängigkeit von ihrer Relevanzbewertung (R) ausgegeben wird. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Gewichtungsverteilung (Xj) so ausgebildet ist, dass bei der Bestimmung der modifizierten Wahrscheinlichkeit (p'j, p"j) eines Terms (tj) nur die Wahrscheinlichkeit (pj) des Terms (tj) selbst sowie die Wahrscheinlichkeit (pk) anderer Terme (tk) berücksichtigt werden, die ein höheres Ähnlichkeitsmaß (Ak) als der eine Term (tj) besitzen. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Gewichtung (Xj), mit der die Wahrscheinlichkeit (pk) eines zweiten Terms (tk) in die modifizierte Wahrscheinlichkeit (ρ',, p" ) eines ersten Terms (t,) eingeht, durch die Auswertung einer Sigmoid-Funktion bestimmt wird, wobei die Auswertungsstelle die Subtraktion des Ähnlichkeitsmaßes (Ak) des ersten Terms (tj) vom Ähnlichkeitsmaß (Aj) des zweiten Terms Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Gewichtungsverteilung (Xj) so ausgebildet ist, dass bei der Bestimmung der modifizierten Wahrscheinlichkeit (p'j, p"j) eines Terms (tj) ferner Wahrscheinlichkeiten (pk) von anderen Termen (tk) mit einer geringerer Gewichtung berücksichtigt werden, die ein niedrigeres Ähnlichkeitsmaß (Ak) besitzen, wobei die Gewichtung eines anderen Terms (tk) mit niedrigerem Ähnlichkeitsmaß von der Differenz des Ähnlichkeitsmaßes (Aj) des Terms (tj) für den die modifizierte Wahrscheinlichkeit (p'j, p"j) bestimmt wird, und des Ähnlichkeitsmaßes (Ak) des anderen Terms (tk) abhängt. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Bestimmung der modifizierten Wahrscheinlichkeit (p'j, p"j), ein Zwischenschritt eingefügt wird, bei dem die Verteilung der Anzahl der Terme je Datensatz berücksichtigt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sich die Bewertung eines Datensatzes (d|) aus dem Absolutbetrag des Logarithmus der modifizierten Wahrscheinlichkeit (p'j, p"j) des zugehörigen Terms (tj) ergibt. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Wahrscheinlichkeit (pj) eines Terms (tj) der Teilmenge (V) dadurch bestimmt wird, dass die dem Term (tj) zugeordnete Wahrscheinlichkeit (pj) vorab aus der Häufigkeit des Auftretens des Terms (tj) in der Referenzmenge (T) oder in den Datensätzen (d|) ermittelt und in einem Speicher (11) gespeichert wird und die gespeicherte Wahrscheinlichkeit (pj) für den Term (tj) aus dem Speicher (11) ausgelesen wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Relevanzbewertung der Datensätze (d|) ein Datensatz höher bewertet wird, wenn ein Term (tj) der Teilmenge (V) häufiger in diesem Datensatz vorkommt. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Datensätze (d|) jeweils mehrere Felder enthalten und dass die Relevanz (η) eines Datensatzes (d|) außerdem in Abhängigkeit davon bewertet wird, in welchem Feld ein Term (tj) der Teilmenge (V) in dem Datensatz (d|) vorkommt. 0. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Suchanfrage (Q) mehrere Suchterme (q,) enthält, dass für jeden Suchterm (q,) gesondert eine Teilbewertung bestimmt wird, dass eine weitere Teilbewertung für die aus den Suchtermen (q,) zusammengesetzte Suchanfrage (Q) bestimmt wird und dass die Bewertung (R) der Suchanfrage (Q) aus den Teilbewertungen bestimmt wird.
1. Computerprogrammprodukt mit Programmcode zur Durchführung des Verfahrens gemäß einem der Ansprüche 1 bis 10, wenn der Programmcode von einem Computer ausgeführt wird.
2. Suchmaschine, ausführbar von einem Computer, mit
einer Empfangseinheit (4) zum Empfangen einer Suchanfrage (Q) mit mindestens einem Suchterm (q,),
Mitteln (5) zum Ermitteln einer Teilmenge (V) mit Termen (tj), die ähnlich oder identisch mit dem Suchterm (q,) sind,
Mitteln (6 bis 8) zum Bestimmen der modifizierten Wahrscheinlichkeit (p'j, p"j) für jeden
Term (tj) der Teilmenge (V), mit denen
ein Ähnlichkeitsmaß (Aj) zu dem Suchterm (q,) bestimmbar ist,
die Wahrscheinlichkeit (pj) für das Auftreten des Terms (tj) bestimmbar ist, eine von dem Term (t,) abhängige Gewichtungsverteilung (X) auf die Terme (tk) der Teilmenge (V) anwendbar ist, wobei die Terme (tk), die ein höheres Ähnlichkeitsmaß (Ak) besitzen, stärker gewichtet werden als Terme (tk) mit einem niedrigeren Ähnlichkeitsmaß (Ak), und
die modifizierte Wahrscheinlichkeit (p'j, p"j) für den Term (tj) aus den gewichteten Wahrscheinlichkeiten der Terme (tk) der Teilmenge (V) bestimmbar ist, einer Bewertungseinheit (9) zum Bewerten von Datensätzen (d|) im Hinblick auf ihre Relevanz für die Suchanfrage (Q), wobei
prüfbar ist, ob die Terme (tj) der Teilmenge (V) in dem Datensatz (d|) vorkommen, und,
wenn ein Term (tj) der Teilmenge (V) in dem Datensatz (d,) vorkommt, eine niedrigere modifizierte Wahrscheinlichkeit (p'j, p"j) des Terms (tj) zu einer höheren Bewertung (η) des Datensatzes (d|) führt, und
einer Ausgabeeinheit (10) zum Ausgeben zumindest einer Datensatzteilmenge in Abhängigkeit von ihrer Relevanzbewertung (R).
Suchmaschine nach Anspruch 12,
dadurch gekennzeichnet, dass
die Suchmaschine einen Speicher (1 1) umfasst, in dem die Referenzmenge (T) mit Termen (tj) oder eine Menge mit den Termen (tj), die in den Datensätzen (d|) vorkommen, sowie die den Termen (tj) zugeordneten Wahrscheinlichkeiten (pj) gespeichert sind.
PCT/EP2011/064163 2010-08-25 2011-08-17 Verfahren zum suchen in einer vielzahl von datensätzen und suchmaschine Ceased WO2012025439A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013525253A JP5890413B2 (ja) 2010-08-25 2011-08-17 多数のデータレコードをサーチする方法及びサーチエンジン
RU2013112783/08A RU2013112783A (ru) 2010-08-25 2011-08-17 Способ поиска в большом количестве наборов данных и поисковая машина
BR112013004243A BR112013004243A2 (pt) 2010-08-25 2011-08-17 processo implementado por computador para a pesquisa em uma multiplicidade de conjuntos de dados, produto de programa de computador com código de programa, e, motor de pesquisa.
CN201180040712.0A CN103098052B (zh) 2010-08-25 2011-08-17 用于搜索多个数据记录的方法和搜索引擎
US13/818,180 US9087119B2 (en) 2010-08-25 2011-08-17 Method for searching in a plurality of data sets and search engine

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP10174043.9 2010-08-25
EP20100174043 EP2423830A1 (de) 2010-08-25 2010-08-25 Verfahren zum Suchen in einer Vielzahl von Datensätzen und Suchmaschine

Publications (1)

Publication Number Publication Date
WO2012025439A1 true WO2012025439A1 (de) 2012-03-01

Family

ID=42791041

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2011/064163 Ceased WO2012025439A1 (de) 2010-08-25 2011-08-17 Verfahren zum suchen in einer vielzahl von datensätzen und suchmaschine

Country Status (7)

Country Link
US (1) US9087119B2 (de)
EP (1) EP2423830A1 (de)
JP (1) JP5890413B2 (de)
CN (1) CN103098052B (de)
BR (1) BR112013004243A2 (de)
RU (1) RU2013112783A (de)
WO (1) WO2012025439A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3089097A1 (de) 2015-04-28 2016-11-02 Omikron Data Quality GmbH Verfahren zum erzeugen von prioritätsdaten für produkte

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9335885B1 (en) 2011-10-01 2016-05-10 BioFortis, Inc. Generating user interface for viewing data records

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0752676A2 (de) * 1995-07-07 1997-01-08 Sun Microsystems, Inc. Verfahren und Gerät, um Suchantworten in einem rechnergestützten Dokumentwiederauffindungssystem zu generieren
EP1072982A2 (de) * 1999-07-30 2001-01-31 Matsushita Electric Industrial Co., Ltd. Verfahren und System zum Extrahieren von ähnlichen Wörtern und zum Wiederauffinden von Dokumenten
EP1095326B1 (de) 1998-07-10 2002-01-30 Fast Search & Transfer ASA Ein suchsystem und verfahren zum zurückholen von daten und die anwendung in einem suchgerät
EP1622054A1 (de) 2004-07-26 2006-02-01 Google, Inc. Phrasen basiertes Suchen in einem System zur Informationsabfrage
EP1341009B1 (de) 1996-09-24 2006-04-19 Seiko Epson Corporation Beleuchtungsvorrichtung und diese verwendende Anzeigevorrichtung
US20060253427A1 (en) * 2005-05-04 2006-11-09 Jun Wu Suggesting and refining user input based on original user input
EP1459206B1 (de) 2001-12-20 2007-07-11 Endeca Technologies, Inc. Verfahren und vorrichtung für ähnlichkeitssuche und gruppenbildung
WO2007144199A1 (de) 2006-06-16 2007-12-21 Omikron Data Quality Gmbh Verfahren zum automatischen bewerten der ähnlichkeit von zwei zeichenketten, die in einem computer gespeichert sind
US20080077570A1 (en) * 2004-10-25 2008-03-27 Infovell, Inc. Full Text Query and Search Systems and Method of Use
US20080082511A1 (en) * 2006-08-31 2008-04-03 Williams Frank J Methods for providing, displaying and suggesting results involving synonyms, similarities and others
US20080114721A1 (en) * 2006-11-15 2008-05-15 Rosie Jones System and method for generating substitutable queries on the basis of one or more features
WO2008085637A2 (en) 2007-01-05 2008-07-17 Yahoo! Inc. Clustered search processing
WO2008137395A1 (en) 2007-05-02 2008-11-13 Yahoo! Inc, Enabling clustered search processing via text messaging
EP1208465B1 (de) 1999-05-10 2009-08-12 Fast Search & Transfer ASA Suchmaschine mit zweidimensionaler, linear skalierbarer paralleller architektur

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134588A (ja) * 1999-11-04 2001-05-18 Ricoh Co Ltd 文書検索装置
JP2005309760A (ja) * 2004-04-21 2005-11-04 Nippon Telegr & Teleph Corp <Ntt> 検索語ランキング算出方法及び装置及びプログラム
CN101535945A (zh) * 2006-04-25 2009-09-16 英孚威尔公司 全文查询和搜索系统及其使用方法
KR100931025B1 (ko) * 2008-03-18 2009-12-10 한국과학기술원 재현율의 저하 없이 정확도를 향상시키기 위한 추가 용어를이용한 질의 확장 방법

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0752676A2 (de) * 1995-07-07 1997-01-08 Sun Microsystems, Inc. Verfahren und Gerät, um Suchantworten in einem rechnergestützten Dokumentwiederauffindungssystem zu generieren
EP1341009B1 (de) 1996-09-24 2006-04-19 Seiko Epson Corporation Beleuchtungsvorrichtung und diese verwendende Anzeigevorrichtung
EP1095326B1 (de) 1998-07-10 2002-01-30 Fast Search &amp; Transfer ASA Ein suchsystem und verfahren zum zurückholen von daten und die anwendung in einem suchgerät
EP1208465B1 (de) 1999-05-10 2009-08-12 Fast Search &amp; Transfer ASA Suchmaschine mit zweidimensionaler, linear skalierbarer paralleller architektur
EP1072982A2 (de) * 1999-07-30 2001-01-31 Matsushita Electric Industrial Co., Ltd. Verfahren und System zum Extrahieren von ähnlichen Wörtern und zum Wiederauffinden von Dokumenten
EP1459206B1 (de) 2001-12-20 2007-07-11 Endeca Technologies, Inc. Verfahren und vorrichtung für ähnlichkeitssuche und gruppenbildung
EP1622054A1 (de) 2004-07-26 2006-02-01 Google, Inc. Phrasen basiertes Suchen in einem System zur Informationsabfrage
US20080077570A1 (en) * 2004-10-25 2008-03-27 Infovell, Inc. Full Text Query and Search Systems and Method of Use
US20060253427A1 (en) * 2005-05-04 2006-11-09 Jun Wu Suggesting and refining user input based on original user input
WO2007144199A1 (de) 2006-06-16 2007-12-21 Omikron Data Quality Gmbh Verfahren zum automatischen bewerten der ähnlichkeit von zwei zeichenketten, die in einem computer gespeichert sind
US20080082511A1 (en) * 2006-08-31 2008-04-03 Williams Frank J Methods for providing, displaying and suggesting results involving synonyms, similarities and others
US20080114721A1 (en) * 2006-11-15 2008-05-15 Rosie Jones System and method for generating substitutable queries on the basis of one or more features
WO2008085637A2 (en) 2007-01-05 2008-07-17 Yahoo! Inc. Clustered search processing
WO2008137395A1 (en) 2007-05-02 2008-11-13 Yahoo! Inc, Enabling clustered search processing via text messaging

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OH-WOOG KWON ET AL: "Query expansion using domain-adapted, weighted thesaurus in an extended Boolean model", CIKM 94. PROCEEDINGS OF THE THIRD INTERNATIONAL CONFERENCE ON INFORMATION AND KNOWLEDGE MANAGEMENT ACM NEW YORK, NY, USA, 1994, pages 140 - 146, XP002603538, ISBN: 0-89791-674-3 *
TUAN-QUANG NGUYEN ET AL.: "Query expansion using augmented terms in an extended Boolean model", JOURNAL OF COMPUTING SCIENCE AND ENGINEERING KOREAN INSTITUTE OF INFORMATION SCIENTISTS AND ENGINEERS SOUTH KOREA, vol. 2, no. 1, March 2008 (2008-03-01), pages 26 - 43, XP002603537
TUAN-QUANG NGUYEN ET AL: "Query expansion using augmented terms in an extended Boolean model", JOURNAL OF COMPUTING SCIENCE AND ENGINEERING KOREAN INSTITUTE OF INFORMATION SCIENTISTS AND ENGINEERS SOUTH KOREA, vol. 2, no. 1, March 2008 (2008-03-01), pages 26 - 43, XP002603537, ISSN: 1976-4677 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3089097A1 (de) 2015-04-28 2016-11-02 Omikron Data Quality GmbH Verfahren zum erzeugen von prioritätsdaten für produkte
WO2016174142A1 (de) 2015-04-28 2016-11-03 Omikron Data Quality Gmbh Verfahren zum erzeugen von prioritätsdaten für produkte
US11170428B2 (en) 2015-04-28 2021-11-09 Omikron Data Quality Gmbh Method for generating priority data for products

Also Published As

Publication number Publication date
US20130151499A1 (en) 2013-06-13
CN103098052A (zh) 2013-05-08
JP5890413B2 (ja) 2016-03-22
RU2013112783A (ru) 2014-09-27
US9087119B2 (en) 2015-07-21
BR112013004243A2 (pt) 2016-07-26
EP2423830A1 (de) 2012-02-29
CN103098052B (zh) 2017-05-24
JP2013536519A (ja) 2013-09-19

Similar Documents

Publication Publication Date Title
DE69904588T2 (de) Datenbankzugangswerkzeug
DE69230814T2 (de) Datenbankauffindungssystem zur Beantwortung natursprachlicher Fragen mit dazugehörigen Tabellen
DE69811066T2 (de) Datenzusammenfassungsgerät.
DE69426541T2 (de) Dokumentdetektionssystem mit Darstellung des Detektionsresultats zur Erleichterung des Verständnis des Benutzers
WO2021032824A1 (de) Verfahren und vorrichtung zur vorauswahl und ermittlung ähnlicher dokumente
DE102024206129A1 (de) Verfahren und vorrichtung zur ursachenanalyse von produktfehlern auf der grundlage eines wissensgraphen
DE102013209868A1 (de) Abfragen und Integrieren strukturierter und unstrukturierter Daten
DE102012221251A1 (de) Semantisches und kontextbezogenes Durchsuchen von Wissensspeichern
EP3948577B1 (de) Automatisiertes maschinelles lernen auf basis gespeicherten daten
DE112010004914B4 (de) Indexieren von Dokumenten
DE112021001743T5 (de) Vektoreinbettungsmodelle für relationale tabellen mit null- oder äquivalenten werten
DE112018002626T5 (de) Verfahren und Systeme zur optimierten visuellen Zusammenfassung von Sequenzen mit zeitbezogenen Ereignisdaten
CH712988A1 (de) Verfahren zum Durchsuchen von Daten zur Verhinderung von Datenverlust.
DE112010002620T5 (de) Ontologie-nutzung zum ordnen von datensätzen nachrelevanz
DE102012025350A1 (de) Verarbeitungn eines elektronischen Dokuments
WO2012025439A1 (de) Verfahren zum suchen in einer vielzahl von datensätzen und suchmaschine
DE10063514A1 (de) Verwendung einer gespeicherten Prozedur zum Zugriff auf Indexkonfigurationsdaten in einem fernen Datenbankverwaltungssystem
DE69129681T2 (de) Verfahren und Gerät zum Interpretieren und Organisieren von Zeitsteuerungsspezifikationsdaten
DE112019006523T5 (de) Satzstrukturvektorisierungsvorrichtung, satzstrukturvektorisierungsverfahren und satzstrukturvektorisierungsprogramm
DE102022128157A1 (de) Computerimplementiertes Verfahren zur Standardisierung von Teilenamen
DE112022006882T5 (de) Lerneinrichtung, verwaltungsblatterstellung-unterstützungseinrichtung, programm, lernverfahren und verwaltungsblatterstellung-unterstützungsverfahren
DE10221178A1 (de) Verfahren zur Generierung von Seiten in einer Auszeichnungssprache zur Auswahl von Produkten und Softwaretool
DE10160920B4 (de) Verfahren und Vorrichtung zur Erzeugung eines Extrakts von Dokumenten
DE102016217191A1 (de) Verfahren zum Auswählen und Bewerten von einer Vielzahl von Datensätzen aus zumindest einer Datenquelle
DE112014002696T5 (de) Verfahren und System für effizientes Sortieren in einer relationalen Datenbank

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180040712.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11748921

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13818180

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2013525253

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2013112783

Country of ref document: RU

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 11748921

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013004243

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112013004243

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20130222