Evaluando la eficacia de las búsquedas por palabra clave
A la hora de emprender una búsqueda de patentes asociadas a un campo técnico específico, el procedimiento más habitual consiste en seleccionar aquellos grupos de la Clasificación Internacional de Patentes (o de otras clasificaciones de patentes) que cubren dicho campo técnico. Otras opciones son: efectuar una búsqueda por palabras clave o, mejor aún, hacer una búsqueda combinada por clasificación y por palabra clave.
Puede darse el caso de que algunos campos técnicos transdisciplinares o emergentes no cuenten con grupos de clasificación adecuados, de tal forma que las patentes asociadas a dichos campos técnicos se encuentren desperdigadas por una multitud de grupos, lo cual dificulta en gran medida abordar una búsqueda por clasificación. Puede resultar en estos casos conveniente emplear una búsqueda por palabras clave, ya sea en solitario o, preferiblemente, acotándola dentro de un lugar amplio de la clasificación como una subclase o una clase.
¿Cómo realizar de forma eficaz una búsqueda por palabras clave? En 2013 se publicó en la revista World Patent Information un interesante artículo de investigación [1] que estudiaba este asunto. Los autores del artículo pretendían responder a dos cuestiones principales en relación con la eficacia de la búsqueda por palabras clave. La primera cuestión es qué partes del documento de patente (título, resumen, descripción, reivindicaciones) deberían utilizarse para la búsqueda. La segunda cuestión es cómo deberían seleccionarse las palabras clave.
Como criterio para evaluar la eficacia de la búsqueda, se utilizaron los siguientes conceptos:
- Captura (recall en inglés): número de documentos relevantes obtenidos en la búsqueda por palabra clave dividido por el número total de documentos relevantes (en porcentaje).
- Precisión: número de documentos relevantes obtenidos en la búsqueda por palabra clave dividido por el número total de documentos obtenidos en la búsqueda (en porcentaje).
- Error de tipo I: número de documentos relevantes no obtenidos en la búsqueda por palabra clave dividido por el número total de documentos relevantes (en porcentaje).
- Error de tipo II: número de documentos no relevantes obtenidos en la búsqueda por palabra clave dividido por el número total de documentos relevantes (en porcentaje).
Las búsquedas más eficaces serán aquellas que maximicen la captura y la precisión y que, por tanto, minimicen los errores de tipo I y de tipo II.
Se seleccionó, en concreto, el campo técnico de software de automoción para su estudio y se confirmaron las siguientes hipótesis:
1) Es más eficaz buscar por palabra clave en el título, el resumen y las reivindicaciones que solo en el título y el resumen, ya que disminuyen de forma apreciable los errores de tipo I.
2) Es más eficaz buscar por palabra clave en el título, el resumen y las reivindicaciones que en la descripción, ya que disminuyen de forma apreciable los errores de tipo II. Este resultado encuentra su explicación en la naturaleza clara y concisa de las reivindicaciones, siendo la descripción una fuente de información algo ruidosa.
3) Es más eficaz seleccionar palabras clave que igualen o superen un nivel mínimo de precisión (90% por ejemplo) y realizar la búsqueda de forma agregada con un grupo lo más amplio posible de dichas palabras clave.
Para poder estimar el nivel de precisión de las distintas palabras clave sería preciso llevar a cabo el siguiente procedimiento:
a) Seleccionar una muestra de documentos de patente potencialmente relevantes, acotada por medio de algún lugar amplio de la clasificación y un periodo temporal concreto, e identificar mediante inteligencia humana los documentos relevantes asociados al campo técnico en cuestión revisando todos los documentos uno a uno.
b) Seleccionar palabras clave a partir de diccionarios tecnológicos u otros medios y realizar las búsquedas con cada palabra, de forma individual, dentro de la muestra seleccionada, contabilizando el número de documentos relevantes obtenidos.
c) Evaluar la precisión de cada palabra clave dividiendo el número de documentos relevantes obtenidos en cada búsqueda individual por el número total de documentos obtenidos en cada búsqueda individual (en porcentaje).
En conclusión, los autores consideran que lo más eficaz es buscar por palabra clave en el título, el resumen y las reivindicaciones, utilizando de forma agregada un grupo lo más amplio posible de palabras clave que igualen o superen un nivel mínimo de precisión estimada.
[1] Zhongquan Xie, Kumiko Miyazaki, Evaluating the effectiveness of keyword search strategy for patent identification, World Patent Information, Volume 35, Issue 1, March 2013, Pages 20-30, ISSN 0172-2190, http://dx.doi.org/10.1016/j.wpi.2012.10.005.
Keywords: Patent identification; Keywords search; Effectiveness; Patent claims; Automotive software; Embedded software
Sí, es correcto. Las dos búsquedas tendrían el mismo error tipo II, tal y como está definido en el artículo. La primera búsqueda tendría una precisión del 50 %, mientras que la segunda búsqueda tendría una precisión del 99 %. Sin embargo, el tiempo desperdiciado por un examinador en mirar ese único documento irrelevante sería el mismo en ambas búsquedas. El error tipo II mide ese tiempo desperdiciado en relación con el número total de documentos relevantes. Como el número total de documentos relevantes es constante para todas las búsquedas, se puede así establecer una comparativa homogénea del tiempo desperdiciado en cada búsqueda, según los autores.
Muchas gracias por la aclaración. Si lo entiendo bien, una búsqueda con 1 documento relevante y 1 irrelevante tiene el error tipo II que otra búsqueda con 99 documentos relevantes y 1 irrelevante. En ese caso, no me parece muy relevante este «error tipo II» para juzgar la eficacia de una búsqueda.
Muchas gracias por las aclaraciones.
Efectivamente, tal y como se define en el artículo, el error tipo II puede ser superior al 100 %. Por ejemplo, en la tabla 5 de la página 28 del artículo, el último número de la primera línea indica un error de tipo II del 103.7 %. Una explicación de por qué se define el error tipo II de esta manera (que es lo que da lugar a que pueda ser superior al 100 %) se ofrece en la página 23 del artículo, en el segundo párrafo del epígrafe 4.1:
“However, there is slight weakness when recall and precision are used to measure the effectiveness of keyword search strategies for comparison. Different keyword search strategies may result in different retrieved patents. This indicates that both the numerator and denominator of precision are heterogeneous and it is not appropriate using the precision as a comparative indicator of the effectiveness of keyword search strategies.”
Es decir, no es adecuado utilizar la precisión como comparador indicativo, porque para cada búsqueda por palabra clave los documentos obtenidos son distintos. Si alternativamente se hubiese definido el error tipo II como la fracción complementaria de la precisión (esto es, como D/B), entonces búsquedas con un número muy distinto de documentos no relevantes obtenidos habrían aparecido con errores tipo II iguales y se considera que eso no representa adecuadamente la situación (aunque en este caso el error tipo II nunca podría ser superior al 100 %). Por ejemplo, supongamos que el número total de documentos relevantes (A) es 100, una primera búsqueda nos da un documento relevante y un documento no relevante (C1=1, D1=1), y una segunda búsqueda nos da 50 documentos relevantes y 50 documentos no relevantes (C2=50, D2=50). El error tipo II alternativo es para ambas del 50 % (D1/(C1+D1) o D2/(C2+D2)). Sin embargo, el error tipo II, tal y como está definido en el artículo, sería del 1 % para la primera búsqueda (D1/A), y del 50 % para la segunda búsqueda (D2/A).
Se considera, pues, que es preferible comparar el número de documentos no relevantes obtenidos de las distintas búsquedas (Dn) con respecto a un denominador común a todas ellas, que es el número total de documentos relevantes (A).
Creo que Francisco está en lo cierto. Pareciera que el error tipo II fuera superior a 100%
Interesante el artículo, pero no entiendo la manía de algunos científicos de complicarlo todo. Si cada vez que un examinador va a realizar una búsqueda tiene que pararse a pensar en esos fallos, etc, apaga y vamonos. Era de suponer que si se busca en reivindicaciones aumentaran los resultados relevantes. Otra cosa es que aumente el ruido. Si se busca en descripciones, el «ruido de fondo» que se puede generar es insoportable, aunque las búsquedas de texto completo son muy útiles si se dispone de una buena palabra clave y no muy común en el campo de la técnica de que se trate.
Palabra de examinador.
Una pregunta, según entiendo el artículo (quizás estoy equivocado), el error tipo II podría ser superior al 100%. ¿Tiene esto sentido?
Pongo el siguiente ejemplo.
Número total de documentos relevantes (A): 100
Número total de documentos obtenidos en la búsqueda (B):200
Número de documentos relevantes obtenidos en la búsqueda (C): 80
Número de documentos *relevantes no obtenidos* en la búsqueda (E): A-C=20
Número de documentos *no relevantes obtenidos* en la búsqueda (D): B-C=120
Entonces,
Captura (recall en inglés): C/A= 80%
Precisión: C/B=40%
Error de tipo I: E/A=20%
Error de tipo II: D/A=120%