Apache Kafka, The Wonderfull Message broker, hemmm

Uncategorized

sudah pernah dengar tentang apcache kafka? hemm, sedikit aneh tapi menrutku nama yang baik..

simplenya apache kafka digunakan untuk stream data, dimana data akan di pusatkan di platform kafka dan dapat di konsumi oleh semua bagian, misal apps, DB, service dan ll, ilustrasi nya begini, kita lihat penjual gudeg di pinggir jalan solo depan lippo mall jogja, penjual gudeg di kerubungi banyak orang , ibaratkan orang2 tersbut adalah consumer(subcriber) dan penjualnya adalah broker/publiser, 1 penjual bisa memberikan gudegnya ke semua orang bahkan bisa dijual lagi, nah kira2 penjual itu ibaratkan platform kafka dan pembeli adalah apps2 yang ada, apps yang ada bisa mengkonsumsi data2 dari broker tersebut. nah gambaranya kira2 seperti itu.

Instalasi

Prerequisites

  1. ubuntu 18
  2. 4Gb ram
  3. Java

nah kira2 hanya itu yang perlu kita siapkan sebelum perang.
oke langsung aja install:

  1. delete.topic.enable = trueBuat user kafka
    • nah disini saya gunain ubuntu untuk install dan setting kafka, simplenya kalau pakai ubuntu kita bisa mangament user dengan mudah, oke langsung aja ketikan command seperti ini
      • $ sudo useradd kafka -m
      • $ sudo passwd kafka
      • $ sudo adduser kafka sudo
      • $ su -l kafka
  2. Download dan ekstak kafka
    • curl “http://www-eu.apache.org/dist/kafka/1.1.0/kafka_2.12-1.1.0.tgz” -o ~/Downloads/kafka.tgz
    • mkdir ~/kafka && cd ~/kafka
    • tar -xvzf ~/Downloads/kafka.tgz –strip 1
  3. konfigurasi kafka server
    • $ nano ~/kafka/config/server.properties
    • delete.topic.enable = true
  4. membuat system d untuk menjalankan kafka pada waktu system restart
    • $ sudo nano /etc/systemd/system/zookeeper.service
    • $ sudo systemctl start kafka
    • $ sudo journalctl -u kafka
    • $ sudo systemctl enable kafka
  5. Test instalasi
    • $ ~/kafka/bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic TutorialTopic
    • $ echo “Hello, World” | ~/kafka/bin/kafka-console-producer.sh –broker-list localhost:9092 –topic TutorialTopic > /dev/null
    • $ ~/kafka/bin/kafka-console-consumer.sh –bootstrap-server localhost:9092 –topic TutorialTopic –from-beginning
  6. Install KafkaT
    • sudo apt install ruby ruby-dev build-essential
    • sudo gem install kafkat
    • nano ~/.kafkatcfg
    • kafkat partitions
  7. Setting Multinode
  8. Restricting User kafka

Leave a Reply

Your email address will not be published. Required fields are marked *