Skip to main content

Begini Cara Saya Mempersiapkan 10000+ Baris Dataset Untuk Sebuah Tugas Kuliah Menggunakan Python

 

Mau cerita dikit tentang beberapa minggu lalu sebelum UTS, dosen saya memberikan tugas untuk membuat aplikasi fuzzy menggunakan MATLAB, namun ia meminta seluruh mahasiswa untuk mengambil data real dari tempat sekitar kita

Beberapa ada yang mengambil datasets dari tempat dagangan orang tuanya, beberapa dari data presetasi sekolah, dll

Berhubung saya malas untuk mencari tahu hal semacam itu, akhirnya saya memutuskan untuk mengambil data dari Kaggle. Lah toh, bukankah itu fungsi utama dari Kaggle? Kita bisa mencari dataset dari manapun dari seluruh dunia tanpa harus keluar rumah

 Daftar Isi


Seputar Kaggle

Meskipun keabsahan dataset dari Kaggle sendiri masih dipertanyakan setidaknya kita ga perlu lagi nulis ribuan baris dan kolom untuk menganalisa, membuat model, dan prediksi dari data data tersebut

Saya pun mengambil data berikut untuk saya jadikan contoh dataset agar selanjutnya bisa digunakan pada aplikasi MATLAB. Kalian bisa klik ini untuk mendownnloadnya


 

Kenapa saya mengambil data diatas? karena lebih familiar di telinga orang awam (baca: dosen) dan lebih mudah apabila saya jabarkan kepada teman teman,

"Eh, lu pake data dari mana?"

"Dataset ecommerce gitu", jawab saya

Semuanya pilihan sih, kemarin saya perhatikan ada beberapa orang yang menggunakan data real dari dagangan di sekitar rumah mereka. Kalo saya jadi mereka mungking tugas ini ga bakal selesai, keburu saya kalah sama rasa malas saya xixixixi

Detail Tugas

Tugas yang diberikan sih sederhana kami diminta untuk membuat model matematis dari sistem fuzzy. Sistem fuzzynya sendiri sudah diajarkan di pertemuan sebelumnya dan di pertemuan ini kami hanya ditugaskan untuk mengganti datasetnya saja. Itu saja

Isi Materi Pertemuan Itu: Cara Membuat Program Fuzzy Menggunakan MATLAB. Studi Kasus: Persediaan dan Permintaan Penjualan Kambing

Jadi ga ada yang susah sebenarnya sampai pada akhirnya saya berhadapan dengan banyaknya data. 

Saya harus menganalisanya sendiri menggunakan python dan dan mencari tahu apa saja yang bisa saya gunakan

Saya harus membersihkan datanya dari kolom kolom string, dan melakukan labelling. Menyenangkan sebenarnya sampai terjadi error terus terusan

Sebenarnya menganalisa datasets seperti ini bukanlah termasuk bagian dari tugas. Apalagi dinilai, sebenarnya saya hanya ingin mencoba untuk menggali lebih dalam apa saja insight yang saya bisa dapatkan dari sebuah datasets

Kalo kalian membaca postingan saya sebelumnya, disana dijelaskan bahwa model fuzzy itu harus memiliki variabel dan parameter sebagai input-annya. Disini saya mencarinya secara manual dan menerapkan logika yang digunakan pada tabel itu

Kalian bisa melihat jerih payah saya melakukan codingan disini

Langkah Langkah

Saya harus mengimportnya menggunakan Pandas

Lalu menghilangkan kolom ID karena ia sama sekali tidak menggambarkan bagaimana kita membaca data data yang ada

Lalu saya juga memilah data data ini berdasarkan waktu bulan dan tahun

bulan dan tahun transaksi saya ambil dari tanggal invoice yang diterima. Menurut saya sah untuk mengasumsikan pembeli mendapatkan invoice pada bulan dan tahun yang sama pada pembelian

Setelah itu saya juga mengambil quantity pada tiap tiap bulan, karena apa? karena ini merupakan core dari prediksi model ini. Quantity berperan penting untuk menentukan berapakah prediksi untuk jumlah prediksi kedepannya


Lalu saya mencari jumlah penjualan yang terjadi pada tiap tiap bulan dengan menghitung ada berapa invoice yang terjadi pada setiap bulannya

Baca Juga: Membuat Program Fuzzy Dengan Python. Studi Kasus: Prediksi Penyakit Demam

Lalu jadilah tabel seperti berikut


Tentu saya harus memindahkan output print satu persatu ke dalam Google Sheets, saya belum menemukan cara untuk mengeksportnya secara otomatis

Lebih lengkapnya kalian bisa melihat kode yang saya tulis disini

Kesimpulan

Lain kali kalo disuruh bikin model machine learning dari dosen kalian. Apapun. Maka carilah datasets dari Kaggle lalu olah sendiri menggunakan Python yaitu dengan mengambil data data yang bisa dimanfaatkan dari sana

Comments

Popular posts from this blog

Cara Mengatasi Missing Value Pada Dataset

  Ketika kita ingin mengolah data untuk menjadi sebua model machine learning, maka data yang harus disajikan harus bersih dari field field kosong. Biasanya kita akan menjumpai filed field bernilai NaN yang artinya field tersebut kosong atau tak diketahui. Ini sangat berpengaruh hasil model data kita Inilah yang disebut Missing Value. Nilai yang hilang dari beberapa baris dataset Cara Mengetahui Bahwa Dataset Kita Terdapat Missing Value? Cara termudah adalah dengan menggunakan method method yang tersedia oleh package Pandas Dengan Pandas, tak hanya kita bisa mengetahui dataset terdapat Missing Value atau tidak, kita bisa mencari mean, median dan modus, mengisikan data data yang kosong tersebut, dan melihat hasil data tersebut dari beberapa range tertentu Pandas juga bisa membantu kita untuk memeriksa apakah dataset kita memiliki data yang kosong. Tak mungkinkan kita melihat satu persatu ratusan atau ribuan data. Maka dari itu kita membutuhkan method yang dikerjakan oleh python dalam pa

Cara Mengatasi Hang/Freeze Pada Laptop Asus TUF Gaming

  Ada beberapa kendala ketika membeli laptop. Seperti ada aplikasi yang tidak kompaktibel, ada yang hardwarenya crashed, dan bahkan memang harus dibawa ke manufakturnya untuk diktukar karena ada barang yang kita beli adalah miss saat quality control Terlepas dari semua kendala tersebut. Saya akan memberikan sekedar solusi yang bisa menjadi manfaat jika permasalahan itu sama dengan kalian. Yaitu, laptop yang suka freeze, hang, saat kita operasikan Sedikit Cerita Saya belum ada setahun menggunakan laptop Asus varian Tuf Gaming ini. Namun saat beberapa minggu pertama saya mencobanya, ada beberapa kendala yaitu laptop sering hang dan freeze tanpa sebab. Ini terjadi secara tiba tiba. Dan seumpamam saya bawa lagi ke outlet laptop ini berasal, saya gak bisa memberikan alasan yang jelas kenapa laptop ini bisa freeze dan hang. Karena memang terjadi tiba tiba saja.  Hingga beberapa bulan selanjutnya, laptop ini semakin sering hang. Baru beberapa menit dipakai freeze, saya force shut down lewat t

Kupas Tuntas Seputar Agile Dan Contoh Penerapannya

  Startup, perusahaan digital, atau bahkan programmer yang sedang melayani clientnnya untuk mengerjakan sebuah aplikasi memiliki metode.  Metode ini menjadi panduan baku yang kerap digunakan dimananpun dalam pengemabangan produk digital Lebih mudahnya saat kita membangun aplikasi mobile. Kita akan mempelajari bahasa pemograman apa saja yang dibutuhkan, juga serba serbi framework dan tool yang memudahkan segala prosesnya Metode yang baru saja saya ceritakan diatas dinamakan Agile . Sedangkan project yang menerapkan konsep tersebut dinamakan, Agile Project Apa Itu Agile dan Agile Project? Menurut Wikipedia .  Sekumpulan praktek yang bertujuan untuk menaikkan keefeketifan pengembangan suatu aplikasi secara profesional, tim dan terorganisir. Agile melibatkan pengembangan solusi melalui usaha secara kolaboratif dari sifat yang sudah terorganisir, fungsionalitas dan pelanggan Metode ini sangat mengandalkan kolaborasi. Mulai dari para engineer hingga product manager, semuanya harus melalui s