crawler in playground not extracting the content of all the sub pages
Hey I'm trying to extract the content of all these subpages and idk why is not working https://feverup.com/es/barcelona/when/this-weekend
Fever
Eventos y Planes en Barcelona este fin de semana | Fever
Descubre las experiencias más emocionantes en Barcelona este fin de semana con Fever. Conciertos, exposiciones, museos, restaurantes y mucho más.
2 Replies
Hi, @whY! Which subpages aren't working?
Firecrawl is likely unable to crawl certain pages because they are restricted in the website's
robots.txt file, which prevents crawlers from accessing specific parts of the site. You can check these rules by visiting https://feverup.com/robots.txti'd expect the crawler to go to each of these pages
"https://feverup.com/m/188786",
"https://feverup.com/m/192552",
"https://feverup.com/m/178909",
"https://feverup.com/m/254659",
"https://feverup.com/m/141556",
"https://feverup.com/m/159206",
"https://feverup.com/m/250706",
"https://feverup.com/m/255912",
"https://feverup.com/m/129534",
"https://feverup.com/m/265370",
"https://feverup.com/m/188787",
"https://feverup.com/m/127428",
"https://feverup.com/m/83175",
"https://feverup.com/m/92406",
"https://feverup.com/m/87519",
"https://feverup.com/m/97982",
"https://feverup.com/m/116130",
"https://feverup.com/m/188994",
and extract the content of each
Fever
Entradas para We call it Ballet Barcelona: Espectáculo de Danza y L...
We call it Ballet es un espectáculo único de ballet en Barcelona. 'La Bella Durmiente' cobra vida a través de la danza y la luz. ¡Consigue tus entradas!
Fever
SkyWalk 360º en Barcelona: recorrido a pie por el casco antiguo, vu...
Descubre Barcelona con SkyWalk 360º: tour a pie, vuelo en helicóptero y paseo en barco. ¡Elige tu fecha y reserva tu aventura ahora!
Fever
Tapas y aventura náutica en Barcelona | Fever
Embárcate en una aventura culinaria y marítima inolvidable. ¡Consigue ya tus entradas!
Fever
Entradas para Les Cols x Veraz: menú degustación de 6 platos | Fever
¡Disfruta de un menú degustación único en Les Cols x Veraz! 6 platos excepcionales creados por la chef Martina Puigvert. ¡Consigue ya tus entradas!
Fever
Entradas para Icebarcelona: Pack Romántico | Fever
❄️ Vive una experiencia en pareja única en Icebarcelona. Disfruta de un lugar único, dulces y cava junto a esa persona importante. ¡Consigue tus entradas!