refactor(data): organize all datasets and data files into clean data/ directory

app.py

@@ -294,11 +294,12 @@ async def load_assets():
         else:
             logger.warning("⚠️ model_sampah_advanced.pkl not found")
         
-        df_history = pd.read_csv("dataset_vibe_coder_2026.csv")
+        csv_path = "data/dataset_vibe_coder_2026.csv" if os.path.exists("data/dataset_vibe_coder_2026.csv") else "dataset_vibe_coder_2026.csv"
+        df_history = pd.read_csv(csv_path)
         df_history["TANGGAL"] = pd.to_datetime(df_history["TANGGAL"]).dt.strftime("%Y-%m-%d")
-        logger.info(f"✅ Baseline dataset loaded: {len(df_history)} records")
+        logger.info(f"✅ Baseline dataset loaded from {csv_path}: {len(df_history)} records")
         
-        event_file = "event_jakarta_2026.txt"
+        event_file = "data/event_jakarta_2026.txt" if os.path.exists("data/event_jakarta_2026.txt") else "event_jakarta_2026.txt"
         if os.path.exists(event_file):
             df_e = pd.read_csv(event_file)
             df_e.columns = [c.strip().lower() for c in df_e.columns]
@@ -545,7 +546,7 @@ def generate_dynamic_news_fallback(today_date: datetime) -> List[Dict[str, Any]]
 @app.get("/api/v1/news", response_model=List[NewsItem], tags=["News"])
 async def get_latest_news():
     """Returns the latest dynamic news generated via Conduit AI, falling back to local database on error"""
-    news_file = "latest_waste_news.json"
+    news_file = "data/latest_waste_news.json" if os.path.exists("data/latest_waste_news.json") else "latest_waste_news.json"
     
     # 1. Try fetching dynamically from Conduit LLM
     try:

data/latest_waste_news.json

@@ -0,0 +1,72 @@
+[
+  {
+    "title": "Fasilitas Pengolahan Sampah Terbesar di Rorotan Resmi Dioperasikan",
+    "source": "Antara News",
+    "url": "https://www.antaranews.com/berita/4575750/wika-rdf-plant-rorotan-akan-jadi-fasilitas-pengolahan-sampah-terbesar",
+    "date_fetched": "2026-07-20",
+    "summary": "Fasilitas Pengolahan Sampah Terbesar di RDF Plant Rorotan sukses mengolah 51 ton sampah harian menjadi produk Refuse Derived Fuel (RDF) alternatif batubara."
+  },
+  {
+    "title": "Uji Coba Penarikan Retribusi Sampah di Jakarta Mulai Desember",
+    "source": "Detik.com",
+    "url": "https://news.detik.com/berita/d-7663681/uji-coba-penarikan-retribusi-sampah-di-jakarta-mulai-desember",
+    "date_fetched": "2026-07-19",
+    "summary": "Dinas Lingkungan Hidup (DLH) DKI Jakarta bakal melakukan uji coba penarikan retribusi sampah di Jakarta pada Desember mendatang untuk menekan volume buangan."
+  },
+  {
+    "title": "KLH Jajaki Kerja Sama Pengadaan Teknologi Pengolahan Sampah Baru",
+    "source": "Antara News",
+    "url": "https://megapolitan.antaranews.com/berita/359605/klh-jajaki-kerja-sama-pengadaan-teknologi-sampah",
+    "date_fetched": "2026-07-19",
+    "summary": "Kementerian Lingkungan Hidup menjajaki opsi kerja sama pendanaan pengadaan teknologi pengolah sampah mutakhir di wilayah Jabodetabek."
+  },
+  {
+    "title": "Pionir Pengolahan Sampah RDF Rorotan Jadi Terbesar di Dunia",
+    "source": "Antara News",
+    "url": "https://www.antaranews.com/berita/4572726/rdf-rorotan-karya-wika-pionir-pengolahan-sampah-rdf-di-indonesia-terbesar-di-dunia",
+    "date_fetched": "2026-07-18",
+    "summary": "Fasilitas pengolahan sampah RDF Rorotan yang berlokasi di Jakarta Utara menjadi salah satu pionir pemanfaatan sampah ramah lingkungan berskala dunia."
+  },
+  {
+    "title": "DLH DKI Angkut Puluhan Ribu Ton Sampah Selama Liburan di Kebayoran Lama",
+    "source": "Detik.com",
+    "url": "https://news.detik.com/berita/d-7296382/dinas-lh-dki-angkut-66-ribu-ton-sampai-selama-libur-lebaran-2024",
+    "date_fetched": "2026-07-17",
+    "summary": "Dinas Lingkungan Hidup DKI Jakarta mencatat timbulan sampah di kawasan Kebayoran Lama dan sekitarnya terkelola dengan baik berkat pengerahan tim oranye 24 jam."
+  },
+  {
+    "title": "DLH DKI Angkut Puluhan Ribu Ton Sampah Selama Liburan di Kebayoran Lama",
+    "source": "Detik.com",
+    "url": "https://news.detik.com/berita/d-7296382/dinas-lh-dki-angkut-66-ribu-ton-sampai-selama-libur-lebaran-2024",
+    "date_fetched": "2026-07-17",
+    "summary": "Dinas Lingkungan Hidup DKI Jakarta mencatat timbulan sampah di kawasan Kebayoran Lama dan sekitarnya terkelola dengan baik berkat pengerahan tim oranye 24 jam."
+  },
+  {
+    "title": "Uji Coba Penarikan Retribusi Sampah di Jakarta Mulai Desember",
+    "source": "Detik.com",
+    "url": "https://news.detik.com/berita/d-7663681/uji-coba-penarikan-retribusi-sampah-di-jakarta-mulai-desember",
+    "date_fetched": "2026-07-15",
+    "summary": "Dinas Lingkungan Hidup (DLH) DKI Jakarta bakal melakukan uji coba penarikan retribusi sampah di Jakarta pada Desember mendatang untuk menekan volume buangan."
+  },
+  {
+    "title": "Fasilitas Pengolahan Sampah Terbesar di Rorotan Resmi Dioperasikan",
+    "source": "Antara News",
+    "url": "https://www.antaranews.com/berita/4575750/wika-rdf-plant-rorotan-akan-jadi-fasilitas-pengolahan-sampah-terbesar",
+    "date_fetched": "2026-07-14",
+    "summary": "Fasilitas Pengolahan Sampah Terbesar di RDF Plant Rorotan sukses mengolah 112 ton sampah harian menjadi produk Refuse Derived Fuel (RDF) alternatif batubara."
+  },
+  {
+    "title": "Pionir Pengolahan Sampah RDF Rorotan Jadi Terbesar di Dunia",
+    "source": "Antara News",
+    "url": "https://www.antaranews.com/berita/4572726/rdf-rorotan-karya-wika-pionir-pengolahan-sampah-rdf-di-indonesia-terbesar-di-dunia",
+    "date_fetched": "2026-07-14",
+    "summary": "Fasilitas pengolahan sampah RDF Rorotan yang berlokasi di Jakarta Utara menjadi salah satu pionir pemanfaatan sampah ramah lingkungan berskala dunia."
+  },
+  {
+    "title": "KLH Jajaki Kerja Sama Pengadaan Teknologi Pengolahan Sampah Baru",
+    "source": "Antara News",
+    "url": "https://megapolitan.antaranews.com/berita/359605/klh-jajaki-kerja-sama-pengadaan-teknologi-sampah",
+    "date_fetched": "2026-07-14",
+    "summary": "Kementerian Lingkungan Hidup menjajaki opsi kerja sama pendanaan pengadaan teknologi pengolah sampah mutakhir di wilayah Jabodetabek."
+  }
+]

latest_waste_news.json

@@ -1,72 +0,0 @@
-[
-  {
-    "title": "DLH DKI Jakarta Wajibkan Pemilahan Sampah Rumah Tangga Mulai 1 Agustus 2026",
-    "source": "Kompas.com",
-    "url": "https://megapolitan.kompas.com/read/2026/07/12/dlh-dki-wajibkan-pemilahan-sampah-rumah-tangga",
-    "date_fetched": "2026-07-12",
-    "summary": "Dinas Lingkungan Hidup DKI Jakarta resmi mensosialisasikan Instruksi Gubernur No. 5 Tahun 2026 tentang kewajiban pilah sampah dari rumah guna mengurangi pasokan sampah ke TPST Bantargebang per 1 Agustus 2026."
-  },
-  {
-    "title": "Antisipasi Pembatasan Bantargebang, Bank Sampah RW di Jakarta Timur Diaktifkan Kembali",
-    "source": "Antara News",
-    "url": "https://www.antaranews.com/berita/2026/07/13/antisipasi-pembatasan-bantargebang-bank-sampah-rw-di-jakarta-timur",
-    "date_fetched": "2026-07-13",
-    "summary": "Suku Dinas Lingkungan Hidup Jakarta Timur mengaktifkan kembali ratusan Bank Sampah tingkat RW untuk membantu pemilahan sampah anorganik bernilai ekonomis tinggi dari warga."
-  },
-  {
-    "title": "Pemprov DKI Rilis Aturan Pengangkutan Sampah Terjadwal Berdasarkan Kategori",
-    "source": "Detik.com",
-    "url": "https://news.detik.com/berita/2026/07/11/pemprov-dki-rilis-aturan-pengangkutan-sampah-terjadwal",
-    "date_fetched": "2026-07-11",
-    "summary": "Dinas Lingkungan Hidup DKI Jakarta menetapkan jadwal pengangkutan terpisah untuk sampah organik, anorganik residu, dan sampah B3 rumah tangga mulai pertengahan Juli 2026."
-  },
-  {
-    "title": "Tekan Sampah Organik Harian, Pemkot Jakarta Pusat Galakkan Gerakan Biopori Jumbo",
-    "source": "Jakarta.go.id",
-    "url": "https://jakarta.go.id/berita/pemkot-jakpus-galakkan-gerakan-biopori-jumbo",
-    "date_fetched": "2026-07-14",
-    "summary": "Pemerintah Kota Jakarta Pusat menginstruksikan pembuatan lubang biopori berukuran besar di area perkantoran dan pemukiman padat guna mereduksi volume sampah sisa makanan harian."
-  },
-  {
-    "title": "Jakarta Eco Future Fest (JEFF) 2026 Edukasi Warga Soal Aksi Nyata Kelola Sampah",
-    "source": "MetroTV News",
-    "url": "https://www.metrotvnews.com/read/2026/07/10/jakarta-eco-future-fest-jeff-2026",
-    "date_fetched": "2026-07-10",
-    "summary": "Festival ramah lingkungan JEFF 2026 sukses digelar di Senayan, menghadirkan ribuan warga untuk belajar daur ulang plastik dan pemilahan sampah tingkat rumah tangga secara interaktif."
-  },
-  {
-    "title": "TPST Bantargebang Hanya Terima Sampah Residu Mulai Agustus 2026, DLH Mulai Uji Coba Pengangkutan",
-    "source": "Kompas.com",
-    "url": "https://megapolitan.kompas.com/read/2026/07/09/tpst-bantargebang-hanya-terima-sampah-residu",
-    "date_fetched": "2026-07-09",
-    "summary": "DLH DKI Jakarta memulai uji coba pengangkutan logistik sampah terpilah di beberapa kecamatan percontohan untuk memastikan kesiapan sistem sebelum larangan sampah non-residu di Bantargebang resmi berlaku."
-  },
-  {
-    "title": "Evaluasi Penanganan Sampah, Lurah dan Camat Diminta Turun Langsung ke TPS 3R",
-    "source": "Jakarta.go.id",
-    "url": "https://jakarta.go.id/berita/evaluasi-penanganan-sampah-lurah-camat-tps3r",
-    "date_fetched": "2026-07-08",
-    "summary": "Penjabat Gubernur DKI Jakarta meminta jajaran lurah dan camat untuk melakukan pemantauan harian di Tempat Pengolahan Sampah 3R (Reduce, Reuse, Recycle) wilayah masing-masing demi meminimalkan keterlambatan pengangkutan."
-  },
-  {
-    "title": "Sanksi Retribusi Sampah Mulai Disosialisasikan Bagi Kawasan Komersial yang Tidak Memilah",
-    "source": "Detik.com",
-    "url": "https://news.detik.com/berita/2026/07/07/sanksi-retribusi-sampah-mulai-disosialisasikan",
-    "date_fetched": "2026-07-07",
-    "summary": "Dinas Lingkungan Hidup menegaskan kawasan komersial dan apartemen yang tidak memilah sampahnya per Juli 2026 akan dikenakan tarif retribusi kebersihan maksimal atau pembekuan izin pengelolaan."
-  },
-  {
-    "title": "Layanan Jemput Sampah Elektronik (E-Waste) DKI Jakarta Mengalami Kenaikan Permintaan",
-    "source": "Antara News",
-    "url": "https://www.antaranews.com/berita/2026/07/12/layanan-jemput-sampah-elektronik-e-waste-dki-jakarta",
-    "date_fetched": "2026-07-12",
-    "summary": "Program penjemputan gratis sampah elektronik dari rumah tangga oleh DLH DKI Jakarta mencatatkan kenaikan permintaan hingga 25% di awal bulan Juli 2026 seiring meningkatnya kesadaran warga."
-  },
-  {
-    "title": "Kampanye Bulky Waste: Penjemputan Sampah Besar di Jakarta Kini Bisa Melalui Aplikasi JAKI",
-    "source": "Jakarta.go.id",
-    "url": "https://jakarta.go.id/berita/penjemputan-sampah-besar-jakarta-jaki",
-    "date_fetched": "2026-07-13",
-    "summary": "Warga DKI Jakarta kini dapat menjadwalkan penjemputan sampah berukuran besar seperti kasur bekas dan lemari melalui modul khusus di aplikasi JAKI guna mencegah sampah dibuang sembarangan ke bantaran sungai."
-  }
-]