Hey Leute!
Ich habe eine website wie “google”.
Um diese 24/7 up-to-date zu halten braucht man crawler.
Diese habe ich und nachdem sie das netz “gecrawled” haben erstellen diese eine .txt datei mit allen urls im netz
Diese will ich nun auf meine datenbank laden , geht aber i-wie nicht.
Habt ihr vllt einen tip?
Danke!