Automated Collection of Open Source Intelligence

Bc. Ondřej Zoder

Master's thesis

Abstract:

Se stále rostoucím množstvím dat dostupných na internetu a šírokosáhlým využíváním sociálních sítí se z veřejně přístupných webových stránek stal zlatý důl cenných informací o jednotlivcích a společnostech. Open Source Intelligence, zkráceně OSINT, představuje veškeré informace, které lze získat legálně a eticky z veřejně dostupných zdrojů a splňují konkrétní požadavky. Zásluhou relativně snadné a levné integrace je OSINT praktickým řešením pro národní bezpečnost, kybernetickou bezpečnost a celou řadu dalších oborů. Tato práce představuje framework nazvaný Pantomath určený pro automatizovaný sběr OSINT, jenž využívá mnoho existujících nástrojů a služeb. Pantomath je modulární, poskytuje všechny funkce potřebné během zpracovávání OSINT, nabízí tři módy pro různé požadavky na anonymitu a prezentuje data ve formě strukturovaného výstupu. Zároveň poskytuje vyhodnocení věrohodnosti části shromážděných dat tak, aby měl uživatel možnost data analyzovat přesněji a efektivněji. Pantomath je porovnán se stávajícími nástroji pro automatizované shromažďování OSINT a jsou rozebrány nejdůležitější výhody a nevýhody jednotlivých nástrojů.

Abstract:

With the ever-growing amount of data available on the Internet and the wide-spread adoption of social media networks, publicly accessible websites have grown into a goldmine of valuable information about individuals and companies. Open Source Intelligence, shortly OSINT, is any information obtainable legally and ethically from publicly available sources addressing specific intelligence requirements. The relatively easy and cheap integration makes OSINT a practical solution for national security, cyber threat intelligence, and many other fields. This thesis presents a framework called Pantomath for an automated collection of OSINT that utilizes many existing tools and services. The framework is highly modular, provides all the functionality needed throughout the whole process of OSINT, offers three modes of operation for different anonymity requirements, and presents the data in a structured output. The reliability of some of the collected data is estimated to allow the user to analyze the data more efficiently and precisely. The framework is compared to existing OSINT automation tools, and the most notable advantages and disadvantages are discussed.

Keywords

OSINT, open-source intelligence, OSINT automation, military intelligence, social media intelligence, threat intelligence, Pantomath

Language used: English

Date on which the thesis was submitted / produced: 7. 1. 2021

Thesis defence

• Date of defence: 9. 2. 2021
• Supervisor: RNDr. Lukáš Němec
• Reader: doc. RNDr. Petr Švenda, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Informatics / Information Technology Security