Questo libro si concentra principalmente sull'uso di un'applicazione web crawler migliorata per estrarre informazioni rilevanti archiviate dai siti web senza funzionalità di esclusione dei robot, sia che si tratti di web pubblico che di dark web. La lentezza dei tempi di esecuzione e la complessità della maggior parte delle applicazioni web crawler esistenti sono state alcune delle principali sfide che i programmatori (utenti) hanno dovuto affrontare in questo campo nel corso degli anni. Questa nuova applicazione migliorata gestirà entrambi i problemi e fornirà un risultato pertinente all'input di ricerca dell'utente. L'applicazione include la conoscenza di tecnologie moderne come la programmazione informatica, l'apprendimento automatico, i big data, il data mining, il parsing dei dati e altro ancora.