hub_scrapper
Um Web Scrapper para extrair as soluções dos exercícios do Driven HUB com seus respectivos enunciados, convertendo-os para Markdown.
⚠️ ATENÇÃO: O código fonte dos exercícios é extraído do editor usando a área de transferência (clipboard) do sistema operacional. Assim, durante a execução do scrapper devem ser evitados recortes (Ctrl + X) ou cópias (Ctrl + C) para evitar qualquer interferência.
output.mp4
Setup
Para instalar o scrapper é necessário ter uma instalação do toolchain do Rust em sua maquina. Caso ainda não possua acesse https://www.rust-lang.org/tools/install e siga as recomendações para sua plataforma. É preciso também ter uma instalação do Chrome para que o scrapper funcione corretamente. Além disso, é necessário que o chromedriver
esteja em execução para controlar uma instancia do browser de forma automatizada. Para baixar o binário do chromedriver
para a sua plataforma e versão do Chrome correspondente, visite https://chromedriver.chromium.org/downloads e então siga os passos abaixo.
-
Execute o chromedriver
$ chromedriver # Starting ChromeDriver <CHROME_VERSION> on port 9515 # Only local connections are allowed. # Please see https://chromedriver.chromium.org/security-considerations for suggestions on keeping ChromeDriver safe. # ChromeDriver was started successfully.
Por padrão ele escutará na porta 9515. Caso essa porta já esteja em uso por outro programa, use a opção
--port
. -
Instale o scrapper com
$ cargo install --git https://github.com/davifeliciano/hub_scrapper
-
Teste a instalação e consulte opções de uso com
$ hub_scrapper --help