Di Indonesia kasus penyebaran hate speech terdapat sebanyak 3.325 pada tahun 2017, berdasarkan populernya meme dan banyaknya kasus hate speech di Indonesia penelitian ini akan membuat sebuah model image classification menggunakan model FixEfficientNet-L2 dengan tujuan agar dapat mengidentifikasi meme yang mengandung hate speech dan meme tidak mengandung hate speech. Penelitian ini menggunakan dataset yang disediakan oleh tim Facebook AI berjumlah 9.540 data dan akan dibagi menjadi tiga bagian training, validation dan testing data. Sebelumnya dilakukan tahap - tahap preprocessing pada data sehingga data dapat dipelajari oleh model. Hasil akurasi tertinggi yang didapatkan dari model FixEfficientNet-L2 dengan beberapa konfigurasi berbeda dalam mengklasifikasikan meme adalah 54,8% untuk validation dan 63% untuk testing, akurasi tersebut sudah mengalami peningkatan dari penelitian terdahulu sebanyak 2% untuk validation dan 10% untuk testing.