Pengetahuan Dasar Amazon SageMaker, AWS Glue, dan Amazon Redshift

Salah satu hal penting dari mengembangkan fitur machine learning adalah mempersiapkan data training. Data wrangler adalah salah satu layanan yang disediakan AWS sebagai bagian dari Amazon SageMaker Data Studio yang merupakan IDE atau interactive development environment ditujukan untuk data scientist guna mempersiapkan data, melakukan pembuatan, training, hingga development machine learning. Mempersiapkan data secara umum merupakan hal yang banyak memakan waktu, bahkan lebih lama dibandingkan membuat machine learningnya sendiri. Hal ini terjadi karena data yang didapatkan tidak bersih sehingga perlu untuk mendapatkan perlakuan khusus.

Rata-rata seorang data scientist menghabiskan 60% waktunya untuk mempersiapkan data. Proses yang dilewati adalah data selection, data cleaning, fiture engineering, visualisasi, pembuatan prototipe model, dan model production. Hal yang biasa dilakukan adalah mengaudit data untuk mencari nilai yang hilang, mengganti atau menambah data yang hilang tersebut, serta mendeteksi outlier atau data aneh (anomali). Hal-hal itu dilakukan oleh data scientist dengan menulis kode tersendiri. Perlu diketahui bahwa kode spark cukup ramah untuk pandas. Dengan demikian proses mengubah data mentah menjadi data yang siap production banyak melakukan maju mundur. 

sumber: https://ap-southeast-1.console.aws.amazon.com/sagemaker/home?region=ap-southeast-1#/landing

Amazon SageMaker Data Wrangler adalah solusi dari mempersiapkan data lebih cepat melaui fitur, visualisasi interface yang membantu data scientist memilih serta mengqueri data, terdiri dari 100 lebih transformasi data yang built-in tanpa harus menulis kode (namun masih bisa diedit dengan PySpark, Pandas, dan SQL), dan data wrangler juga dapat membantu untuk memindahkan data yang sudah siap ke production. Cara menggunakan Amazon SageMaker Data Wrangler:

1. Buat S3 bucket
2. Upload data misalnya titanic ke bucket S3
3. Buka Amazon SageMaker
4. Pilih SageMaker Studio
5. Pada role pilih create new role > pilih any S3 bucket > create role
6. Beri nama profile
7. Pilih submit
8. Pastikan SageMaker Studio telah siap
9. Pilih Launch app > Studio
10. Tampilan console akan berubah menjadi tampilan Amazon SageMaker Studio
11. Pilih icon dengan nama SageMaker resources
12. Drop down kemudian pilih Data Wrangler
13. Pilih New flow
14. Rename data flow dengan klik kanan sesuai projek yang sedang dikerjakan misalnya titanic.flow
15. Karena data sebelumnya di letakkan di bucket S3 maka pilih import data dari Amazon S3
16. Pilih nama S3 bucket yang sebelumnya telah dibuat
17. Pilih tombol Import
18. Akan terbentuk flow yang akan digunakan untuk proses transformasi data
19. Untuk cek tipe data yang akan diimport klik tanda plus dan klik edit data types
20. Perbaiki data tipe yang diperlukan
21. Klik back to data flow
22. Untuk analisis, klik tanda plus dan klik add analysis
23. Lakukan analisa yang diperlukan, klik analisa maka akan muncul visualisasi data
24. Analisa tersebut juga bisa disimpan dengan menekan tombol save
25. Klik back to data flow
26. Untuk transformasi data, klik tanda plus dan klik add transform
27. Klik tombol add step, maka akan muncul pilihan transformasi data
28. Lakukan transformasi yang diperlukan
29. Klik back to data flow
30. Analisa kembali data yang telah ditransformasi, klik tanda plus dan klik add analysis
31. Pilih tipe analisa quick model, pilih labelnya, dan pilih preview
32. Klik tombol save setelah melakukan analisa
33. Setelah seluruh proses analisa dan transformasi selesai klik tab export
34. Pilih semua proses dalam flow, lalu klik export step
35. Ada beberapa bentuk dalam export step, misalnya python code
36. Maka python code sudah siap digunakan

Selain itu di Amazon SageMaker sudah terdapat 17 algoritma built-in yang siap digunakan untuk machine learning sehingga cukup untuk menyelesaikan beberapa kasus penggunaan. Ke 17 algoritma tersebut dibedakan menjadi 3 kategori penggunaan, yaitu:

1. Text data type
• Topic modeling
• LDA atau Latent Dirichlet Allocation
• NTM atau Neural Topic Modelling
• Object2Vec : embedding (proses representasi vektor numerik dan dimensional untuk memudahkan machine learning mengerti data yang dimiliki)
• BlazingText
• Urutan dari kata-kata atau token
• Sequence to Sequence : translasi audio ke teks
2. Numeric, table, or combination data type
• Factorization Machine : classification, regression
• Linear Learner
• K-Means : menemukan struktur dalam data
• XGBoost
• k-NN
• Teknik mereduksi dimensi dari data input untuk persipan data
• PCA atau Principal Component Analysis
• Mendeteksi
• Random Cut Forest : data anomali
• IP Insight : data anomali IPv4
• Waktu atau time series
• DeepAR : masalah peramalan atau forecasting
• Membuat fitur rekomendasi
• Object2Vec
• Factorization Machines
3. Computer Vision
• Image Classification : memberikan satu atau lebih label
• Object Detection : lebih akurat dengan lokasi objek
• Semantic Segmentation : klasifikasi dengan dasar pixel gambar

Perusahaan yang lebih modern tidak ingin karyawannya memikirkan infrastruktur tetapi lebih memilih agar karyawannya fokus pada bisnis yang sedang dijalani. Data Lake dapat disimpan di Amazon S3, kemudian query dapat dilakukan dengan Amazon Athena, untuk kemudian disajikan menggunakan Amazon EMR atau Amazon OpenSearch Service atau Amazon Redshift. Nah, untuk mengintegrasikan dan memindahkan data digunakan AWS Glue. Biasanya kegiatan ini dilakukan oleh Data Engineer, namun seringkali seorang data analyst dan data scientist juga mengambil peran. Cara menggunakan AWS Glue Studio:

1. Buka AWS Glue di console
2. Pilih Jobs
3. Pilih Blank Canvas > Create
4. Pilih Source > PostgreSQL sebagai sumber data
5. Pilih Transform > Filter
6. Setelah layar filter muncul kemudian pilih kolom apa yang akan difilter > add condition
7. Pilih tab Job details > isi nama > pilih IAM role > aktifkan fitur Glue AutoScalling
8. Klik tombol Save untuk menyimpan ETL job ke Glue Studio
9. Buka tab Event preview untuk melihat perilaku data
10. Pilih Transform > PII Transformation
11. Pilih Find in each data > pilih contohnya email address
12. Tentukan aksi jika menemukan email addres > misalnya mengganti 5 string menjadi bintang untuk melindungi pelanggan
13. Setelah Job selesai maka Save > pilih tombol Run
14. Di bagian tab Script telah tersedia data
15. Untuk melihat hasil Job maka lihat di Amazon Athena

Data menjadi hal yang fundamental namun juga dapat menjadi bersentimen negatif karena pergerakan bisnis yang begitu cepat maka data akan berjumlah besar atau biasa disebut big data. Data yang sangat besar memberikan keuntungan yaitu analisis yang lebih tepat karena data yang tersedia banyak sehingga lebih merepresentasikan keadaan. Proses analisis data yang besar membutuhkan infrastruktur yang besar atau dengan infrastruktur yang kecil tetapi proses pengolahan yang lama. Oleh sebab itu diperlukan gudang data atau data warehouse. Mungkin Amazon Redshift merupakan solusi. Modernisasi database dapat membuat biaya lebih kecil dan kecepatan lebih tinggi.

ref:

awsevents.com

Remote Access EC2 Instance AWS

Remote access adalah keunggulan dari cloud computing. Dengan adanya teknologi remote maka work anywhere menjadi possible, dengan syarat perangkat standar dan koneksi internet. Namun, cara remote setiap sistem operasi memiliki krakteristiknya tersendiri. Pada kesempatan kali ini akan digunakan cloud service platform AWS yang secara quick start memiliki 7 pilihan sistem operasi, yaitu Amazon Linux, macOS (harus dedicated host), Ubuntu, Windows, Red Hat, SUSE Linux, dan Debian. Perhatikan:

1. Pastikan telah memiliki akun AWS
2. Pada console ketik ec2
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/console/home?region=us-west-2#

  
  
3. Buat instance masing-masing untuk Amazon Linux, Ubuntu, Windows, Red Hat, SUSE Linux, dan Debian, khusus untuk macOS tidak bisa kecuali memiliki Dedicated Host yaitu hardware khusus yang tidak bisa diinterupsi oleh pelanggan lain
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/ec2/home?region=us-west-2#LaunchInstances:

  
  
4. Melakukan remote
• Amazon Linux
• Ada 4 cara untuk melakukan remote ke Amazon Linux, yaitu EC2 instance connect, session manager, SSH client, dan EC2 serial console, namun yang sering digunakan adalah SSH client:
• Copy key pair dan simpan dalam file dengan format .pem
• Ubah permission dengan chmod 400
• Lakukan ssh sesuai command
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/ec2/home?region=us-west-2#ConnectToInstance:instanceId=i-0f1dba194042c4823

  
  
• Ubuntu
• Sama seperti Amazon Linux untuk sistem operasi Ubuntu bisa dilakukan dengan 4 cara, namun yang sering digunakan adalah SSH client:
• Copy key pair dan simpan dalam file dengan format .pem
• Ubah permission dengan chmod 400
• Lakukan ssh sesuai command
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/ec2/home?region=us-west-2#ConnectToInstance:instanceId=i-0f4ae891920c4cefe

  
  
• Windows
• Ada 3 cara untuk melakukan remote ke Windows, yaitu session manager, RDP client, dan EC2 serial console, dan yang biasa digunakan melaui RDP client:
• Download remote desktop file
• Copy key pair dan pilih get password lalu lakukan decrypt
• Buka windows.rdp yang telah didownload lalu masukkan password yang telah di-decrypt dari key pair
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/ec2/home?region=us-west-2#ConnectToInstance:instanceId=i-0a9130dddb2d5ef2d

  
  
• Red Hat
• Sama seperti Amazon Linux dan Ubuntu, sistem operasi Red Hat bisa dilakukan dengan 4 cara, namun yang sering digunakan adalah SSH client:
• Copy key pair dan simpan dalam file dengan format .pem
• Ubah permission dengan chmod 400
• Lakukan ssh sesuai command
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/ec2/home?region=us-west-2#ConnectToInstance:instanceId=i-0138f16b0b2424e4a

  
  
• SUSE Linux
• Sama seperti Amazon Linux, Ubuntu, dan Red Hat, sistem operasi SUSE Linux bisa dilakukan dengan 4 cara, namun yang sering digunakan adalah SSH client:
• Copy key pair dan simpan dalam file dengan format .pem
• Ubah permission dengan chmod 400
• Lakukan ssh sesuai command
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/ec2/home?region=us-west-2#ConnectToInstance:instanceId=i-05071a4f11f86862e

  
  
• Debian
• Sama seperti Amazon Linux, Ubuntu, Red Hat, dan SUSE Linux, sistem operasi Debian bisa dilakukan dengan 4 cara, namun yang sering digunakan adalah SSH client:
• Copy key pair dan simpan dalam file dengan format .pem
• Ubah permission dengan chmod 400
• Lakukan ssh sesuai command
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/ec2/home?region=us-west-2#ConnectToInstance:instanceId=i-0c2ffedb450cc3547

  
  
5. Remote access berhasil dilakukan disetiap sistem operasi quick start kecuali macOS

Sistem remote access sangat baik untuk diimplementasikan pada perusahaan karena karakternya yang fleksibel dan praktis. Dengan adanya remote access kolaborasi dapat dilakukan dari berbagai tempat selama 2 syarat terpenuhi, yaitu hardware standar dan koneksi internet. Perlu dicatat bahwa untuk melakukan remote access ke EC2 instance di AWS harus sudah mengijinkan akses masuk atau inbound rules di security group, selama Network Access Control Limit masih default.

ref:

vocareum.com

aws.amazon.com

Meluncurkan EC2 Instance di AWS

Elastic Compute Cloud atau EC2 instance merupakan salah satu layanan compute dasar di AWS. Di atas EC2 instance dapat di deploy aplikasi atau database. EC2 instance di buat dalam sebuah subnet, dimana subnet berada dalam satu AZ, suatu AZ berada dalam satu VPC, dan suatu VPC berada dalam satu region. Langsung saja langkah dan penjelasan peluncuran EC2 instance:

1. Pastikan telah memiliki akun AWS
2. Pastikan telah membuat VPC yang dibutuhkan
3. Pada menu console ketik EC2 dan pilih EC2
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/console/home?region=us-west-2#

  
  
4. Pada EC2 dashboard pilih Launch instance
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/ec2/home?region=us-west-2#Home:

  
  
5. Launch an instance
• Name and tags : nama dari instance yang akan dibuat misalnya web-server
• Application and OS Images (Amazon Machine Image) : bahasa mudahnya adalah ringkasan aplikasi dan sistem operasi yang akan diluncurkan, AMI bisa berasal dari quickstart AMIs (standar yang biasa dipakai, yaitu Amazon Linux, macOS, Ubuntu, Windows, Red Hat, SUSE Linux, dan Debian), My AMIs (AMI buatan sendiri), AWS Marketplace (AMI modifikasi yang bersifat publik dari pihak ketiga), dan community AMIs (AMI modifikasi yang bersifat publik dari akun AWS), lalu setiap sistem operasi memiliki tipe-tipe sistem operasi yang lebih spesifik lagi misalnya ada tipe Deep Learning, serta perbedaan arsitektur 64-bit x86 (untuk struktur yang lebih kompleks) dan 64-bit Arm (untuk struktur yang lebih sederhana), selain itu juga perlu diperhatikan ENA atau elastic network adapter apakah enable atau tidak, dengan menggunakan ENA kecepatan jaringan dan EBS akan meningkat, nama lainnya adalah LAN card
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/ec2/home?region=us-west-2#LaunchInstances:

  
  
• Instance type : tipe instans sesuai kebutuhan dari pengguna seperti vCPU (jumlah CPU-nya) dan memory-nya, tentu berbeda kebutuhan antara data analisis dan video game
• Instance types : penamaan dari instance misalnya t3.large artinya t itu nama family, 3 itu nomor generation, dan large itu size
• General Purpose : a1, m4, m5, t2, t3 : contoh penggunaan web application
• Compute Optimized : c4, c5 : contohnya untuk pemodelan scientific dan game
• Memory Optimized : r4, r5, x1, z1 : contohnya untuk data mining
• Accelerated Computing : f1, g3, g4, p2, p3 : untuk machine learning
• Storage Optimized : d2, h1, i3 : untuk distribusi file sistem
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/ec2/home?region=us-west-2#LaunchInstances:

  
  
• Key pair (login) : kunci yang digunakan untuk login secara remote misalnya dari jaringan SSH, apabila belum dibuat maka bisa dibuat terlebih dahulu, tipe key pair ada dua yaitu RSA (enkripsi private dan public key) dan ED25519 (tidak mendukung instance dengan sistem operasi windows), sedangkan format key pair ada 2, yaitu .pem (untuk SSH) dan .ppk (untuk PuTTY)
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/ec2/home?region=us-west-2#LaunchInstances:

  
  
• Network settings : ini adalah pengaturan jaringan yang sebelumnya telah di buat yaitu VPC
• VPC : pilih VPC yang sebelumnya telah dibuat
• Subnet : pilih subnet yang akan diletakkan instance
• Auto-assign public IP : jika diletakkan di private subnet maka public IP tidak akan ada
• Firewall (security groups) : keamanan ini bersifat statefull, artinya secara default seluruh lalu lintas ditolak kecuali yang diatur
• TCP : protokol yang memastikan data terkirim dan diterima
• UDP : protokol yang hanya mementingkan data terkirim saja
• ICMP IPv4 : jaringan dengan IP address versi 4
• ICMP IPv6 : jaringan dengan IP address versi 6
• Custom protocol : protokol dengan konfigurasi khusus
• SSH : protokol secure shell yang biasa untuk remote dengan terenkripsi
• SMTP : protokol untuk email dari client ke server
• DNS : protokol berdasarkan DNS tertentu
• HTTP : protokol response-request dari web
• HTTPS : protokol response-request dari web terenkripsi
• POP3 : protokol untuk email dari server ke client
• IMAP : protokol untuk email dari server ke client tidak seluruh bagian tetapi hanya bagian header email
• LDAP : protokol untuk directory
• SMB : protokol file sharing yang diterapkan di sistem operasi Windows
• MSSQL : protokol untuk Microsoft SQL
• NFS : protokol file sharing yang asli untuk Unix/Linux
• MYSQL/Aurora : protokol database Amazon Aurora
• RDP : protokol untuk menghubungkan beberapa komputer secara remote
• Redshift : protokol unduk data warehouse Amazon Redshift
• PostgreSQL : protokol untuk database Postgre
• Oracle-RDS : protokol untuk database Oracle
• WinRM-HTTP : protokol untuk host berkomunikasi dengan PowerShell melalui protokol HTTP
• WinRM-HTTPS : sama dengan WinRM-HTTP hanya ini terenkripsi
• Elastic Graphics : untuk TCP dan port 2007, buatan AWS
• Source type : sumber data yang bisa masuk
• Anywhere : data dapat masuk darimana saja
• Custom : data dapat masuk sesuai pengaturan yang dilakukan, misalnya melalui security group tertentu
• My IP : data dapat masuk hanya dari IP address perangkat atau provider yang digunakan user
• Network interface : pemasangan LAN card pada instance sehingga memungkinkan terhubung dengan sumber daya lain
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/ec2/home?region=us-west-2#LaunchInstances:

  
  
• Configure storage : ini yang dimaksud elastic block store atau EBS yang menyimpan data pada level block, database disarankan dibuat di sini
• Size : ukuran dari store yang dinginkan, dalam bentuk Giga Byte
• Volume type : tipe dari penyimpanan seperti general purpose SSD (kebutuhan umum), provisione IOPS SSD (untuk tujuan di masa yang akan datang), Cold HDD (data jarang diakses), throghput Optimized HDD (data warehouse), dan magnetic (jarang diakses dan biaya rendah)
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/ec2/home?region=us-west-2#LaunchInstances:

  
  
• Advanced details : pengaturan yang lebih detail
• Purchasing option : memungkinkan permintaan spot instace, namun ini berarti akan memungkinkan terjadinya interupsi
• Domain join directory : menggabungkan instance ke directory di dalam AWS Directory Service
• IAM instance profile : untuk identitas dan pengelolaan akses
• Instance auto-recovery : otomatis memulihkan instance jika terjadi tidak sehat, by default memang akan terpulihkan
• Shutdown behavior : apa yang ingin dilakukan saat dilakukan shutdown, apakah stop atau terminate
• Stop - Hibernate behavior : menghentikan instance dan menyimpan konten dalam RAM ke root, by default ini berlaku enable
• Termination protection : mengamankan dari salah klik menterminasi
• Stop protection : mengamankan dari salah klik menghentikan
• Detail CloudWatch monitoring : memantau metrik dari instance, ini akan menimbulkan biaya apabaila di enable
• Elastic GPU : untuk mempercepat proses grafis, by default ini diaktifkan
• Elastic inference : untuk memungkinkan pemasangan akselerasi bertenaga GPU
• Credit specification : ini hanya tersedia untuk instance T2, T3, dan T3a, ketika terjadi burst atau penggunaan di atas kapasitas maka kemampuan instance akan menurun
• Placement group : membuat group instance
• Capacity reservation : menyiapkan instance di sebuah AZ spesifik
• Tenancy : Dedicated menjalankan instance terdedikasi artinya tidak berbagi dengan orang lain, sedangkan dedicated host artinya hardware tidak berbagi dengan yang lain
• RAM disk ID : mencakup drivers yang dibutuhkan untuk membuat kerja kernel terpilih
• Kernel ID : sistem kernel atau program komputer inti yang bisa digunakan
• License configurations : lisensi bahwa instance mematuhi peraturan
• Metadata accessible : menghentikan akses metadata dari instance
• Metadata version : versi metadata bisa menggunakan V1 dan V2 atau hanya V2
• Metadata response hop limit : angka maksimum dari jaringan hops atau paket data yang melewati segmen jaringan
• Allow tags in metadata : jika di-enable maka instance akan mengijinkan akses ke tag instance
• User data : ini diisi command script, misalnya pada saat instance di launce akan menjalankan perintah untuk meng-update linux:
• #!/bin/bash
• yum update -y
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/ec2/home?region=us-west-2#LaunchInstances:

  
  
6. Sebelum melakukan launching perhatingan summary
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/ec2/home?region=us-west-2#LaunchInstances:

  
  
7. Hati-hati dan perhatikan kembali apakah instance yang akan diluncurkan sudah sesuai kebutuhan, jika sudah pasti benar maka klik tombol Launch Instance

Setelah menekan tombol Launch instance maka proses yang dilewati untuk preparing sebelum dilakukan pemeriksaan.

sumber: https://us-west-2.console.aws.amazon.com/ec2/home?region=us-west-2#Instances:

Setelah itu akan dilakukan proses pemeriksaan sistem status dan instance status.

sumber: https://us-west-2.console.aws.amazon.com/ec2/home?region=us-west-2#Instances:

Apabila tidak ada masalah pada sistem status dan instance status maka tampilan akan seperti:

sumber: https://us-west-2.console.aws.amazon.com/ec2/home?region=us-west-2#Instances:

Jika proses pemeriksaan sudah seperti gambar di atas maka EC2 instance atau server virtual telah siap untuk digunakan. Cara mengakses server virtual tersebut ada beberapa cara, yaitu EC2 instance connect, session manager, dan SSH client. Yang paling sering digunakan adalah session manager dan SSH client. Apabila melalui protokol SSH maka diperlukan kemampuan linux shell scripting.

ref:

coach Reza

labs.vocareum.com

Cara Membuat Virtual Private Cloud di AWS

Perusahaan modern pasti akan memanfaatkan teknologi informasi untuk membuat perusahaannya dapat berkompetisi lebih baik, sebab dengan teknologi informasi akan diperoleh kecepatan bisnis. Misalnya dari sisi internal komunikasi antardepartemen seperti marketing, production, hingga human capital. Sedangkan pada sisi eksternal pelanggan dapat menjangkau informasi produk dari perusahaan lebih cepat melalui web. Sayangnya setiap teknologi informasi yang diterapkan akan memerlukan investasi yang besar pada perangkat keras. Selain biaya investasi, waktu untuk pemesanan dari perangkat keras juga kadang tidak menentu. Hal ini bisa diakibatkan produk yang memang harus dipesan terlebih dahulu atau memang produk habis di gudang.

Teknologi cloud memungkinkan ketersediaan infrastruktur dalam hitungan menit dan dengan sistem pembayaran pay-as-you-go atau membayar sesuai pemakaian. Salah satu perusahaan cloud yaitu AWS atau amazon web service tentu menyediakan berbagai layanan infrastruktur. Platform AWS yang paling dasar adalah Elastic Compute Cloud atau beberapa orang menyebut sebagai server virtual. Namun, sebelum membuat server tentu perlu ditentukan jaringannya, yaitu VPC atau virtual private cloud. Maksudnya ditentukan adalah menentukan IP address setiap area seperti CIDR, public subnet, private subnet, hingga NAT gateway. Perhatikan langkah dan penjelasan pembuatan VPC di bawah:

1. Pastikan telah memiliki akun AWS
• Untuk membuat akun diperlukan kartu debet atau kartu kredit
2. Pada menu console ketik VPC dan pilih
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/console/home?region=us-west-2#

  
  
3. Pada VPC dashboard klik tombol Create VPC
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/vpc/home?region=us-west-2#Home:

  
  
4. Buat VPC atau virtual private cloud
• Secara analogi ini mirip dengan jaringan tradisional
• VPC only
• Name tag : nama dari VPC agar mudah diidentifikasi
• IPv4 CIDR block : maksudnya adalah jarak IP address untuk VPC yang dibuat dan ukurannya harus /16 atau /28. Perhatikan bahwa IP address 0.0.0.0, nah, jika /16 maka jarak IP address menjadi 0.0.0.0 hingga 0.0.255.255, sedangkan /28 jarak IP address menjadi 0.0.0.0 hingga 0.0.0.15, untuk melakukan subnetting bisa digunakan https://solarwinds.com/free-tools/advanced-subnet-calculator
• IPAM-allocated IPv4 CIDR block : IP address manager pool merupakan kumpulan alamat IP terdekat sehingga memungkinkan untuk mengatur IP address menurut kebutuhan routing dan security, perlu dicatat bahwa tidak setiap region AWS memiliki IPv4 IPAM pool
• IPv6 CIDR block : ini untuk IP address versi 6 yang memiliki jarak alamat yang lebih lebar, IPv6 bisa diperoleh melalui 3 cara, yaitu IP address manager pool di region, yang disediakan langsung oleh Amazon, dan buatan sendiri
• Tenancy : digunakan untuk membedakan apaka VPC untuk memuat instance yang bersifat dedicated atau default, instance dedicated tentu costly karena memang infrastrukturnya dibuat khusus dan hanya bisa dipakai oleh orang yang memesan saja
• Tags : berisi key dan value, biasanya digunakan untuk memudahkan filtering saat memiliki banyak VPC
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/vpc/home?region=us-west-2#CreateVpc:createMode=vpcOnly

  
  
• VPC and more
• Number of Availability Zone : setiap VPC minimal terdiri atas 2 AZ yang berfungsi untuk fault tolerance, praktek terbaiknya dalam penerapan infrastruktur cloud adalah menggunakan minimal 2 AZ agar high availability
• Number of public subnets : subnet hanya berada dalam satu AZ, dan public subnet bisa terhubung langsung ke internet melalui IGW atau internet gateway
• Number of private subnets : subnet private tidak memiliki IP Public sehingga jika ingin berhubungan dengan internet diperlukan IP static yang bisa didapatkan melalui NAT (network address translation) gateway, dimana NAT gateway terletak di public subnet
• Subnet : untuk melakukan perhitungan subnetting bisa dikunjungi web solarwinds.com/free-tools/advanced-subnet-calculator
• NAT gateway : bisa dibuat dalam 1 AZ saja atau setiap AZ memiliki 1 NAT gateway, hal ini berpengaruh pada kecepatan
• VPC endpoints : alamat yang digunakan untuk membuat VPC terisolasi sehingga tidak perlu melewati internet, dan ini juga dapat menghindari biaya NAT gateway, perlu diingat bahwa NAT gateway pricing berdasarkan keluar masuk data internet
• DNS options : DNS hostname akan membuat instance yang diluncurkan pada VPC akan memiliki DNS yang terhubung ke IP address instance tersebut, sedangkan DNS resolution memberikan dukungan VPC atas Amazon DNS server
• Additional tags : tag name yang bisa digunakan untuk memudahkan filtering jika ada banyak VPC yang dibuat
• 
  

  

  sumber: https://us-west-2.console.aws.amazon.com/vpc/home?region=us-west-2#CreateVpc:createMode=vpcWithResources

  
  

Bisa dikatakan bahwa pembuatan VPC atau virtual private cloud di teknologi cloud merupakan hal paling mendasar. VPC dapat dianalogikan dengan pembuatan jaringan di teknologi tradisional. Hal paling fundamental dalam jaringan adalah IP address, karena dengan IP address paket data dapat dikirim sesuai yang dikehendaki. VPC only digunakan hanya untuk membuat VPC saja, artinya belum ada subnet, NAT gateway, serta internet gateway. Selain itu tentu saja belum dilakukan perutean. Perhatikan hasil pembuatan VPC only di bawah:

sumber: https://us-west-2.console.aws.amazon.com/vpc/home?region=us-west-2#vpcs:

Berbeda dengan VPC only, pada VPC and more telah dibuat internet gateway, public subnet, private subnet, hingga NAT gateway, dan tentu saja perutean di route table hingga subnet assosiation. Route table harus dibedakan antara public subnet dan private subnet, juga untuk AZ yang berbeda. Route table untuk public berupa:

• Routes:
• Destination IP address VPC, target local
• Destination 0.0.0.0/0, target IGW
• Subnet associations:
• Ceklis setiap subnet yang public dan dalam AZ yang sama, lalu save associations

Sedangkan route table untuk private berupa:

• Routes:
• Destination IP address VPC, target local
• Destination 0.0.0.0/0, target NAT gateway
• Subnet associations
• Ceklis setiap subnet yang private dan dalam AZ yang sama, lalu save associations

Perhatikan proses create otomatis VPC and more di bawah:

sumber: https://us-west-2.console.aws.amazon.com/vpc/home?region=us-west-2#vpcs:

Virtual private cloud telah berhasil dibuat atau dengan kata lain jaringan sederhana berhasil dibuat. Namun, dalam VPC ada beberapa lain yang perlu mendapat perhatian, seperti:

1. Egress-only internet gateways
• penskalaan horizontal, redundant, dan berketersediaan tinggi atas komponen VPC yang mengijinkan komunikasi keluar melalui IPv6 dari instance dalam VPC ke internet
2. Carrier gateways
• tujuannya ada 2, yaitu mengijinkan lalu lintas ke dalam VPC dari jaringan bawaan di dalam sebuah lokasi spesifik dan mengijinkan lalu lintas ke luar VPC dari jaringan bawaan dalan zona gelombang
3. DHCP option sets
• kepanjangan DHCP yaitu dynamic host configuration protocol yang menyediakan sebuah standar untuk konfigurasi informasi ke hosts di atas sebuah jaringan TCP/IP
4. Elastic IPs
• secara default IP address yang terattach ke instance atau sumber daya lain di cloud bersifat dynamic sehingga jika dilakukan penggantian sumber daya maka IP address akan berubah, dengan elastic IP maka dapat dibuat static alamat IP
5. Managed prefix lists
• sebuah prefix list adalah sekumpulan alamat IPv4 atau IPv6 sehingga dapat dikelola sesuai kebutuhan
6. Endpoints
• memungkinkan terjadinya koneksi antara VPC dan layanan yang tersedia di AWS tanpa menggunakan internet gateway, NAT, VPN connection atau direct connect sehingga akan meminimalkan biaya
7. Endpoints services
• dengan memanfaatkan AWS PrivateLink maka VPC akan tersedia untuk akun AWS lainnya, namun di endpoints services hanya tersedia untuk network load balancers dan gateway load balancers
8. Peering connections
• kalau endpoints adalah mengubungkan VPC dengan sumber daya lain, maka peering connection adalah menghubungkan antarVPC, sayangnya dalam satu region hanya 2 VPC yang bisa dihubungkan, jika hendak menghubungkan 3 VPC maka 1 VPC harus berada di region yang berbeda
9. Best practice
• buat 1 subnet per AZ
• bagi VPC network dalam seluruh AZ yang ada di region
• jangan mengalokasikan seluruh alamat jaringan dalam satu tempat
• buat VPC CIDR dan subnet yang mendukung pertumbuhan signifikan dari perkiraan beban kerja
• pastikanVPC CIDR tidak overlap dengan organisasi

Secara sederhana VPC menjadi fundamental sebelum membangun cloud computing. VPC membuat jaringan di dalamnya, namun ada juga kondisi ketika VPC perlu untuk berkomunikasi dengan VPC lain atau dengan sumber daya lain. Ketika satu VPC berkomunikasi dengan satu VPC lain maka perlu dilakukan konfigurasi VPC peering, sedangkan jika VPC ingin berkomunikasi dengan sumber daya on-premise maka diperlukan virtual private gateway yang terhubung ke VPN site-site baru ke on-premise. Kelemahan dari VPC peering adalah menghubungkan banyak VPC tidak pada 1 titik poin saja, nah, untuk membuat hubungan berbagai VPC menjadi ke satu titik poin diperlukan AWS Transit Gateway dan Elastic Network Interface. Perhatikan langkah membuat VPC peering:

1. Pada console ketik VPC
2. Pada panel sebelah kiri expand Virtual private cloud dan pilih Peering connections
3. Klik tombol Create peering connection
4. Pilih VPC requester: VPC yang meminta terhubung
5. Pilih VPC accepter: VPC yang menerima hubungan
6. Klik tombol Create peering connection
7. Pilih Peering connections yang baru saja dibuat
8. Klik tombol Actions kemudian klik Accept request
9. Konfigurasi route tables
• Pada route table milik VPC requester
• Public Route kemudian pilih edit Routes
• Destination: CIDR Block dari VPC accepter
• Target: Peering connection yang telah dibuat
• Pada route table milik VPC accepter
• Public Route kemudian pilih edit Routes
• Destination: CIDR Block dari VPC requester
• Target: Peering connection yang telah dibuat
10. Uji keterhubungan antara VPC requester dan VPC accepter

VPC peering sangat tidak direkomendasikan ketika menghubungkan ratusan atau lebih dari VPC. Untuk mengatasinya pertimbangkan penggunaan AWS Transit Gateway dan elastic network interface. Konfigurasi route table juga akan berubah, yaitu destinasinya adalah CIDR block dari VPC tersebut dan targetnya adalah ENI. Konfigurasi itu dilakukan untuk setiap VPC.

ref:

labs.vocareum

coach Reza

Pengenalan Tentang Network Infrastructure

Sama seperti bidang teknologi lainnya seperti programming, memungkinkan adanya perancangan atau design. Ada beberapa hal yang perlu diperhatikan untuk merancang infrastruktur jaringan. Jaringan dikatakan kecil ada 200 perangkat, ukuran sedang 200-1.000, dan ukuran besar lebih dari 1.000 perangkat. Perhatikan prinsip-prinsip teknik terstruktur di bawah:

• Hierarchy : memcah masalah desain jaringan yang kompleks menjadi area yang lebih kecil
• Modularity : memisahkan berbagai fungsi yang ada dalam jaringan ke dalam modul
• Resiliency : tersedia dalam kondisi normal maupun tidak normal
• Flexibility : kemampuan untuk memodifikasi jaringan

Flat topology adalah desain jaringan yang tidak berbentuk hirarki. Flat topology masih dapat digunakan untuk 5 device, namun ketika flat topology digunakan untuk membuat jaringan lebih dari ratusan device maka waktu respons akan menurun bahkan hingga membuat jaringan tidak dapat digunakan. Selain itu dibutuhkan hub dan switch lebih banyak. Sedangkan penerapan hirarki model akan ada 3 lapis, yaitu access (infrastruktur yang langsung terkoneksi langsung dengan end user, misalnya wireless), distribution (menghubungkan gedung yang satu dengan gedung lainnya, misalnya menggunakan fiber optic), dan core (kontrol pusat yang mengatur semua komunikasi yang ada).

Lebih detail mengenai access layer yang merupakan langsung terhubung dengan end user. Di access layer akan digunakan switch. Fungsi dari access layer server termasuk, peralihan lapisan 2, high availability, keamanan port, QoS classification and marking (contohnya komunikasi antara accounting dan marketing tidak boleh terhubung sehingga sehingga harus dibuat jaringan yang berbeda), address resolution protocol (ARP) inspection (mentranslate MAC address), virtual access control list (mekanisme virtual untuk membatasi akses), spanning tree, dan power over ethernet (PoE) (membuat supply power dari kebel data) & auxiliary VLANs for VoIP (telepon dengan IP).

Lebih detail mengenai distribution layer sudah menggunakan router atau switch multilayer sehingga dapat digunakan untuk mengelompokkan kelompok kerja dan mengisolasi masalah jaringan. Dengan demikian distribution layer berada pada lapisan 3. Yang disediakan di distribution layer adalah aggregation of LAN or WAN links, policy-based security in the form of access control list (ACLs) and filtering, routing services between LANs and VLANs and between routing domains (e.g., EIGRP to OSPF), redundancy and load balancing, a boundary for route aggregation and summarization configured on interfaces toward the core layer, dan broadcast domain control, because routers or multilayer switches do not forward broadcast (contohnya DHCP).

Lebih detail mengenai core layer yang harus bersifat redundant dan high availability. Core layer menggabungkan lalu lintas dari semua perangkat distribution layer, sehingga harus mampu meneruskan data dalam jumlah besar dengan cepat. Cirinya kabelnya banyak tapi logic-nya satu sehingga dapat memperbesar bandwidth. Yang termasuk core layer adalah providing high-speed switching (fast transport), providing reliability and fault tolerance, scaling by using faster, and not more, equipment, dan avoiding CPU-intensive.

sumber: https://www.ciscopress.com/articles/article.asp?p=2202410&seqNum=4

Arsitektur spine-leaf adalah topologi network yang terdiri atas 2 layer. Arsitektur ini biasanya sudah diterapkan di teknologi cloud. Arsitektur ini ada karena adanya perubahan data center. Mengapa ada perubahan data center?, karena adanya teknologi docker dan sebagainya. Dengan arsitektur 2 layer maka ketersediaan akan lebih tinggi namun akan ada delay. Arsitektur spine-leaf memungkinkan server yang sedang down berpindah ke server lain yang siap. Keuntungan dari arsitektur spine-leaf:

• Redundancy : tercegah adanya bottle neck
• Performance : avoiding traffic congestion
• Scalability : mudah jika terjadi penambahan device
• Lower latency : jarak yang dekat membuat lebih cepat
• Reduces spending : perangkat keras yang berbeda

Penggunaan cloud dan on-premise sangat bergantung dengan kebutuhan perusahaan. Jika perusahaan dapat hidup tanpa IT mungkin layanan cloud bisa dipertimbangakan.

ref:

coach Joko

Memahami Dasar Data Science

Bayangkan berapa story yang dilakukan oleh orang di seluruh dunia dalam 1 menit. Mungkin orang biasa akan menjawab beberapa ribu saja, namun pada kenyataannya platform seperti instagram dalam 60 detik melakukan 695.000 stories shared. Itu hanya untuk satu platform, sedangkan ada banyak platform yang digunakan masyarakat dunia. Data tersebut meningkat 28% setiap tahun sedangkan pekerja data berkompetensi hanya meningkat kurang lebih 5,7% setiap tahun. Pekerja data atau data engineer ada 2 tipe, yaitu data analyst dan data scientist. Perbedaan keduanya adalah waktu yang dianalisis. Seorang data analyst menganalisis data yang telah atau sedang terjadi, sedangkan seorang data scientist menganalisis data untuk tujuan yang akan datang.

Perlu dibedakan antara data science dan data scientist. Ilmu yang khusus mempelajari data disebut data science, sedangkan profesi yang bertugas membuat solusi dari sebuah permasalahan menggunakan data disebut data scientist. Secara sederhana dapat didefinisikan, a data scientist is someone who is better at statistics than any programmer and better at programming than any statistician. Seorang data scientist dapat memberikan rekomendasi antara beberapa tombol desain yang telah masuk lantai produksi. Misalnya, ternyata tombol dengan background biru berpotensi 23% lebih banyak diklik dibandingkan tombol dengan background silver. Pemilihan tersebut biasanya disebut A/B test. Contoh lain misalnya kategori konten yang lebih banyak dilihat user pria di website adalah politik dan agama, sedangkan konten yang lebih banyak dilihat user wanita di website adalah memasak dan fashion. Penilaian tersebut biasanya disebut observasi.

Seorang data scientist juga diharapkan mampu menggunakan mesin belajar atau machine learning untuk keperluan mengklasifikasikan (menentukan permohonan pinjaman diterima/ditolak atau deteksi transaksi fraud), meregresi (memprediksi harga produk berdasarkan spesifikasi dan lokasi), meramalkan (memprediksi jumlah transaksi pada bulan atau tahun ke depan), dan mengklaster (segmentasi user menjadi beberapa grup). Produk dari seorang data scientist misalnya object detection (mendeteksi objek melalui kamera), text summarization (mengubah gambar teks menjadi teks), route optimizer (menentukan rute perjalanan tercepat di peta digital), search engine (melakukan pencarian dengan cepat), dan recommender system (sistem yang merekomendasikan berdasarkan kebiasaan user).

sumber: https://pixabay.com/id/vectors/antarmuka-internet-program-peramban-3614766/

Biasanya seorang data scientist mengikuti model Gartner Analytic Ascendancy yang terdiri atas 4 analisis, yaitu descriptive, diagnostic, predictive, dan prescriptive. Dua analisis awal wajib dikuasi seorang data scientist, yaitu descriptive dan diagnostic analysis. Descriptive analytics menjelaskan apa yang terjadi, sedangkan diagnostic analytics menjelaskan mengapa dapat terjadi. Kedua analisis tersebut bersifat hindsight (melihat ke belakang) dan mengarah ke insight (wawasan). Sedangkan analisis lebih lanjut, yaitu diagnostic yang menjelaskan apa yang akan terjadi dan prescriptive yang menjelaskan apa yang harus dilakukan untuk membuat itu dapat terjadi. Kedua analisis tersebut bersifat insight (wawasan) dan mengarah ke foresight (tinjauan ke masa depan). Analisis tersebut mengalir dari descriptive hingga prescriptive yang awalnya berupa informasi menjadi optimisme. Tentu saja yang paling memiliki nilai dan yang paling tinggi tingkat kesulitannya adalah prescriptive analytics.

Misalnya diketahui data bahwa jumlah pengunjung web naik dalam satu tahun terakhir, namun jumlah yang melakukan komentar tetap tidak berbeda jauh, itu merupakan descriptive analytics. Kemudian diketahui adanya bot yang mengunjungi web, itu merupakan diagnostic analystics. Pada predictive analystics dibuatlah sistem yang mampu memprediksi apakah suatu pengunjung adalah bot. Hingga akhirnya di fase prescriptive analytics dilakukan restriksi atau pembatasan untuk pengunjung yang cukup memenuhi syarat dianggap sebagai bot. Nah, untuk melakukan semua itu diperlukan data. Kekuatan data cukup baik pada tingkat alasan. Inilah sedikit alasan mengapa Clive Humby mengatakan bahwa 'Data is the new oil'.

Data scientist perlu menguasai 5 skill utama, yaitu analytics, visualization, programming, statistics, dan machine learning. Ada banyak istilah pekerja terkait data, namun yang pasti data itu pada awalnya harus dibangun infrastrukturnya, kemudian digali insightnya, kemudian ditemukan solusi yang mungkin, dan diintegrasikan dengan aplikasi. Tentu saja produk utama dari data adalah machine learning atau mesin belajar. Model Dell untuk kedewasaan penggunaan data dapat diurutkan menjadi, data aware (kompilasi berbagai data menjadi standar report), data proficient (memproses data secara otomatis), data savvy (menggunakan data untuk mengambil keputusan), dan diakhiri dengan data driven (menggunakan seluruh data untuk proses bisnis). Pada akhirnya tidak boleh dibuat keputusan tanpa adanya data. Namun, keputusan berdasarkan data tanpa adanya acumen atau ketajaman pemahaman maka justru berakibat kurang baik, seperti solusi yang dibuat tidak relevan dengan masalahnya, solusi yang dibuat tidak terpakai, atau bahkan solusi yang dibuat justru menimbulkan masalah baru.

sumber: https://www.preplounge.com/en/case-interview-basics/case-cracking-toolbox/identify-your-case-type/profitability-case

Perusahaan sendiri tidak akan menerapkan sesuatu kecuali akan meningkatkan profit. Oleh sebab itu tujuan seorang data scientist adalah meningkatkan profit. Lalu bagaimana cara meningkatkan revenue?, caranya adalah menaikan price (harga) tanpa menurukan demand dan membuat pelanggan membeli lebih banyak atau lebih sering. Kedua hal tersebut perlu dilakukan secara hati-hati, jangan sampai revenue meningkat pada tahun ini namun karena ada hal yang tidak tertangkap membuat revenue menurun bahkan hilang di 3 atau 4 tahun mendatang. Selain itu dapat dilakukan penekanan biaya baik pada variable cost maupun fixed cost. Lalu bagaimana cara menurunkan cost?, caranya adalah dengan melakukan automation, optimisasi promo, dan marketing yang lebih sesuai target.

ref:

coach Hendra Hadhil Choiri

@lorilewis