Skip to main content

Cara Membuat Natural Language Processing Sederhana Dari Kumpulan Tweet Dengan Python

 

Natural Languange Processing merupakan sebuah kemampuan machine learning untuk menebak dan menganalisa sebuah kalimat

Konsepnya sederhana dimana kita menjadikan tiap kata sebagai array lalu mencocokinya dengan kata kata yang memiliki konotasi negatif dan positif

Tentu metode sesederhana ini akan memberikan hasil yang sangat kasar, akan tetapi setidaknya kita bisa menerapkah langkah langkah NLP agar bisa memahami konsep NLP itu sendiri bekerja

Sebenarnya apa aja sih Langkah Langkah NLP ini?

NLP memiliki langkah langkah sebagai berikut

  • Tokenizing, mengubah kata kata menjadi array
  • Stemming, menghilangkan imbuhan dari kalimat
  • Lemmatization, menjadikan kata kata dasar menjadi bentukkata yang lebih mudah dianalisis
  • Parsing, mencocokkan tweets/kalimat dengan wordlist yang sudah diambil

Pertanyaannya bagaimana cara kita menerapkan langkah langkah di atas dalam bentuk codingan? Simak ya caranya dibawah

Case Study

Cari tahu apakah tweet dari Ridwan Kamil  memiliki sentimen negatif atau positif menurut langkah langkah di atas

Langkah Langkah

Pertama kita harus mengambil tweet dari Pak Ridwan Kamil. Kalian harus memiliki akun Twitter Developer dulu untuk memiliki api_key sehingga kalian bisa bebas mengambil tweet manapun.

Jika kalian sudah memiliki akun Twitter Developer, kalian bisa mencontek script yang sudah saya buat disini

Jangan lupa untuk menginstall package Python

pip install tweepy pandas configparser 

Buat file main.py dan tulis kode berikut

import configparser
import tweepy
import pandas as pd

config = configparser.ConfigParser()
config.read('config.ini')

api_key = config['twitter']['api_key']
api_key_secret = config['twitter']['api_key_secret']

access_token = config['twitter']['access_token']
access_token_secret = config['twitter']['access_token_secret']

# authenticate
auth = tweepy.OAuthHandler(api_key, api_key_secret)
auth.set_access_token(access_token, access_token_secret)

api = tweepy.API(auth)

tweets = api.user_timeline(screen_name='ridwankamil',
                           # 200 is the maximum allowed count
                           count=60,
                           include_rts = False,
                           # Necessary to keep full_text
                           # otherwise only the first 140 words are extracted
                           tweet_mode = 'extended'
                           )

with open('tweets.txt', 'w') as f:
    for info in tweets:
        f.write(info.full_text)
        print("\n")

buat file config.ini yang memiliki isi seperti berikut

[twitter]

api_key =
api_key_secret =
access_token =
access_token_secret =  

Masukkan apikey kalian disana

Jika sudah, maka jalankan perintah py main.py Lalu kalian akan menjumpai terdapat file tweets.txt yang merupakan hasil

 

Lalu buat file baru benama predict.py yang bertugas untuk memberikan hasil sentimen negatif dan positif. Kalia bisa melihat kode dibawah

from Sastrawi.Stemmer.StemmerFactory import StemmerFactory
factory = StemmerFactory()
stemmer = factory.create_stemmer()

def open_txt(txt):
    data = open(txt, 'r')
    return data.read()

def turn_to_array(text):
    tokenized = []
    
    if '\n' in text:
        for word in text.split('\n'):
            tokenized.append(word)
    else:     
        for word in text.split(' '):
            tokenized.append(word)

    return tokenized

def parsing_both_words(text, neg, pos):
    sentiment = {"negative": 0, "positive": 0}    
    for i in text:
        for j in neg:
            if i == j:
                sentiment["negative"] += 1
        for k in pos:
            if i == k:
                sentiment["positive"] += 1
                
    return sentiment

tweets = open_txt('tweets.txt')
neg_word = open_txt('wordlist/negative.txt')
pos_word = open_txt('wordlist/positive.txt')

# Stemming
stemmed_tweets   = stemmer.stem(tweets)

# Tokenization
tokenized_tweets = turn_to_array(stemmed_tweets)
tokenized_neg_words = turn_to_array(neg_word)
tokenized_pos_words = turn_to_array(pos_word)

# Parsing
counted_words = parsing_both_words(tokenized_tweets, tokenized_neg_words, tokenized_pos_words)

def please_percentage(count, neg, pos):
    total = round(count/count * 100)
    positive = round(pos/count * 100)
    negative = round(neg/count * 100)
    
    return {"total": f"{total}%","positive":f"{positive}%","negative":f"{negative}%"}
    
percentage = please_percentage(len(tokenized_tweets), counted_words['negative'], counted_words['positive'])

print("Tweet Pak Ridwan memiliki sentimen buruk" if percentage['negative'] > percentage['positive'] else "Tweet Pak Ridwan memiliki sentimen baik")

Jangan lupa juga untuk menginstall Sastrai dengan perintah berikut

pip install PySastrawi 

Lalu kalian juga harus memiliki wordlist yang berisi kata kata sentimen negatif dan positif yang bisa kalian download disini

Jika sudah kalian masukkan perintah py predict.py dan akan muncul tulisan berikut

 



  Sourcecode: Github

Comments

Popular posts from this blog

Cara Mengatasi Missing Value Pada Dataset

  Ketika kita ingin mengolah data untuk menjadi sebua model machine learning, maka data yang harus disajikan harus bersih dari field field kosong. Biasanya kita akan menjumpai filed field bernilai NaN yang artinya field tersebut kosong atau tak diketahui. Ini sangat berpengaruh hasil model data kita Inilah yang disebut Missing Value. Nilai yang hilang dari beberapa baris dataset Cara Mengetahui Bahwa Dataset Kita Terdapat Missing Value? Cara termudah adalah dengan menggunakan method method yang tersedia oleh package Pandas Dengan Pandas, tak hanya kita bisa mengetahui dataset terdapat Missing Value atau tidak, kita bisa mencari mean, median dan modus, mengisikan data data yang kosong tersebut, dan melihat hasil data tersebut dari beberapa range tertentu Pandas juga bisa membantu kita untuk memeriksa apakah dataset kita memiliki data yang kosong. Tak mungkinkan kita melihat satu persatu ratusan atau ribuan data. Maka dari itu kita membutuhkan method yang dikerjakan oleh python dalam pa

Cara Mengatasi Hang/Freeze Pada Laptop Asus TUF Gaming

  Ada beberapa kendala ketika membeli laptop. Seperti ada aplikasi yang tidak kompaktibel, ada yang hardwarenya crashed, dan bahkan memang harus dibawa ke manufakturnya untuk diktukar karena ada barang yang kita beli adalah miss saat quality control Terlepas dari semua kendala tersebut. Saya akan memberikan sekedar solusi yang bisa menjadi manfaat jika permasalahan itu sama dengan kalian. Yaitu, laptop yang suka freeze, hang, saat kita operasikan Sedikit Cerita Saya belum ada setahun menggunakan laptop Asus varian Tuf Gaming ini. Namun saat beberapa minggu pertama saya mencobanya, ada beberapa kendala yaitu laptop sering hang dan freeze tanpa sebab. Ini terjadi secara tiba tiba. Dan seumpamam saya bawa lagi ke outlet laptop ini berasal, saya gak bisa memberikan alasan yang jelas kenapa laptop ini bisa freeze dan hang. Karena memang terjadi tiba tiba saja.  Hingga beberapa bulan selanjutnya, laptop ini semakin sering hang. Baru beberapa menit dipakai freeze, saya force shut down lewat t

Kupas Tuntas Seputar Agile Dan Contoh Penerapannya

  Startup, perusahaan digital, atau bahkan programmer yang sedang melayani clientnnya untuk mengerjakan sebuah aplikasi memiliki metode.  Metode ini menjadi panduan baku yang kerap digunakan dimananpun dalam pengemabangan produk digital Lebih mudahnya saat kita membangun aplikasi mobile. Kita akan mempelajari bahasa pemograman apa saja yang dibutuhkan, juga serba serbi framework dan tool yang memudahkan segala prosesnya Metode yang baru saja saya ceritakan diatas dinamakan Agile . Sedangkan project yang menerapkan konsep tersebut dinamakan, Agile Project Apa Itu Agile dan Agile Project? Menurut Wikipedia .  Sekumpulan praktek yang bertujuan untuk menaikkan keefeketifan pengembangan suatu aplikasi secara profesional, tim dan terorganisir. Agile melibatkan pengembangan solusi melalui usaha secara kolaboratif dari sifat yang sudah terorganisir, fungsionalitas dan pelanggan Metode ini sangat mengandalkan kolaborasi. Mulai dari para engineer hingga product manager, semuanya harus melalui s