bantu saya membuat scrape website dari yandere dalam bentuk nodejs buat lah code yang bisa mendownload media dalam bentuk get url

Tentu! Berikut ini contoh code dalam Node.js untuk melakukan scrape website dari yande.re dan mendownload media dalam bentuk URL menggunakan HTTP GET request:

const https = require('https');
const fs = require('fs');

// Fungsi untuk mendownload media berdasarkan URL
function downloadMedia(url, path) {
  https.get(url, (response) => {
    response.pipe(fs.createWriteStream(path))
      .on('finish', () => {
        console.log(`File downloaded successfully: ${path}`);
      })
      .on('error', (err) => {
        console.error(`Failed to download file: ${err}`);
      });
  });
}

// Fungsi untuk melakukan scrape website dan mendapatkan URL media
function scrapeWebsite() {
  const url = 'https://yande.re/post';

  https.get(url, (response) => {
    let data = '';
    response.on('data', (chunk) => {
      data += chunk;
    });

    response.on('end', () => {
      const regex = /<a class="directlink smallimg" href="([^"]+)"/g;
      let match;
      while ((match = regex.exec(data)) !== null) {
        const imageUrl = match[1];
        const fileName = imageUrl.split('/').pop();
        const filePath = `./downloads/${fileName}`;
        downloadMedia(imageUrl, filePath);
      }
    });

    response.on('error', (err) => {
      console.error(`Failed to scrape website: ${err}`);
    });
  });
}

// Jalankan fungsi scrapeWebsite untuk memulai proses scrape dan download
scrapeWebsite();

Pastikan Anda telah menginstal package https dan fs sebelum menjalankan code di atas dengan menjalankan perintah berikut:

npm install https fs

Code di atas akan mengambil URL media dari halaman https://yande.re/post menggunakan regular expression, kemudian mengunduh media tersebut menggunakan fungsi downloadMedia. Media akan disimpan dalam folder ./downloads dengan nama file yang sesuai dengan nama URL. Anda dapat menyesuaikan folder penyimpanan dengan mengubah nilai variabel filePath.

Harap diingat bahwa scrape website harus dilakukan dengan etika dan izin pemilik website. Pastikan untuk mematuhi aturan dan kebijakan yang berlaku pada yande.re atau situs web lain yang ingin Anda scrape