Membangun Solusi Dengan Azure AI Document Intelligence

Banyak formulir dan dokumen yang digunakan dalam bisnis bersifat umum di berbagai sektor, seperti faktur dan tanda terima. Microsoft Azure AI Document Intelligence menyediakan model bawaan untuk menangani jenis dokumen umum dengan mudah. Sebuah perusahaan yang mengelola jajak pendapat untuk perusahaan swasta dan partai politik menerima tanggapan peserta dalam bentuk kertas atau PDF online. Untuk menyederhanakan entri data, teknologi ini dipertimbangkan sebagai solusi, dengan kebutuhan untuk memastikan bahwa model bawaan dapat mengekstrak data yang bermakna dari formulir yang digunakan.

Azure AI Document Intelligence menyediakan model bawaan untuk mengekstrak data dari berbagai dokumen bisnis umum seperti faktur, tanda terima, dan formulir pajak tanpa perlu pelatihan tambahan. Model bawaan meliputi ekstraksi data dari kartu identitas, laporan bank, slip gaji, dokumen hipotek, dan cek. Selain itu, tersedia model untuk dokumen dengan struktur lebih umum, seperti model pembacaan teks, model dokumen umum, dan model tata letak yang mengekstrak teks serta strukturnya.

Model bawaan dirancang untuk mengekstrak berbagai jenis data dari dokumen, termasuk teks dari tulisan tangan dan cetakan, pasangan kunci-nilai seperti Weight: 31 kg, entitas seperti nama dan tanggal, tanda pilihan seperti kotak centang, tabel dengan isi dan strukturnya, serta bidang spesifik dari formulir tertentu seperti CustomerName dalam faktur. Model ini cocok untuk dokumen umum, tetapi untuk formulir industri khusus atau unik, hasil yang lebih akurat dapat diperoleh dengan model khusus yang memerlukan pelatihan menggunakan contoh formulir agar dapat memprediksi data dengan lebih baik.

source: https://learn.microsoft.com/en-us/training/paths/extract-data-from-forms-document-intelligence/

Model dalam Azure AI Document Intelligence

1. Model Read
• Model Read mengekstrak teks cetak dan tulisan tangan dari dokumen serta mendeteksi bahasa yang digunakan. Model ini menjadi dasar bagi semua model bawaan lainnya. Selain itu, Read Model mendukung lebih banyak bahasa untuk teks cetak dibandingkan tulisan tangan dan dapat menganalisis rentang halaman pada file PDF atau TIFF. Model ini cocok untuk dokumen tanpa struktur tetap.
2. Model Dokumen Umum
• Model ini memperluas fungsi Read Model dengan menambahkan deteksi pasangan kunci-nilai, entitas, tanda pilihan, dan tabel. Satu-satunya model yang mendukung ekstraksi entitas, termasuk nama orang, organisasi, alamat, nomor telepon, email, URL, IP address, serta tanggal dan waktu.
3. Model Tata Letak
• Selain mengekstrak teks, model ini mengidentifikasi tanda pilihan dan tabel dalam dokumen. Model ini berguna untuk memahami struktur dokumen yang kompleks, termasuk tabel dengan sel yang digabung, tanpa header, atau sudut miring saat digitalisasi. Model ini mengekstrak teks dalam sel tabel, ukuran serta posisi bounding box, status header, dan indeks baris serta kolom.

source: https://learn.microsoft.com/en-us/training/wwl-data-ai/work-form-recognizer/media/how-optical-character-recognition-works.png

Azure Document Intelligence adalah layanan AI berbasis cloud yang menggunakan OCR dan model deep learning untuk mengekstrak teks, pasangan kunci-nilai, tanda pilihan, dan tabel dari dokumen. Teknologi OCR-nya mendeteksi struktur dokumen dengan membuat bounding box di sekitar objek yang terdeteksi, lalu mengembalikan data dalam format terstruktur yang mempertahankan hubungan dari file asli.

ref:

learn.microsoft

Menggunakan Fitur Advanced GitHub Copilot

GitHub Copilot merupakan asisten AI untuk programmer yang memberikan saran secara otomatis saat menulis kode. Copilot menganalisis file dan file terkait, menawarkan saran berdasarkan konteks kode yang telah ditulis, termasuk komentar, dan kemudian menyarankan baris kode atau bahkan fungsi lengkap. Sementara itu, GitHub Codespaces adalah lingkungan pengembangan berbasis cloud yang dapat dijalankan menggunakan Visual Studio Code. Saat GitHub Copilot diaktifkan maka ia akan memberikan saran berupa text yang disebut 'ghost text'. Ini dilakukan secara otomatis berdasarkan konteks file yang sedang dibuka. Namun, programmer dapat memberikan prompt dengan mengetik sesuatu yang berkaitan dengan kode agar lebih sesuai dengan konteks. Jika memang ada yang perlu untuk didiskusikan lebih lanjut dalam GitHub Copilot juga tersedia fitur chat terkait konteks dari file yang sedang dibuka. 

1. Inline Chat
• Ctrl + i
• Slash Commands
• /tests
• /docs
2. Copilot Chat
• Agents
• @terminal
• @workspace
3. Command Line
• gh copilot explain "sudo apt-get"

GitHub Copilot sendiri menyediakan robust support untuk bahasa seperti Python, JavaScript, TypeScript, Ruby, Go, C#, dan C++. Dalam memberikan sugesti biasanya ada auto dan multiple. 

source: learn.microsoft

Untuk membantu organisasi tetap mematuhi persyaratan hukum, GitHub Copilot menawarkan beberapa fitur, seperti IP indemnity pada paket bisnis dan enterprise yang memberikan perlindungan hukum terhadap klaim hak kekayaan intelektual terkait penggunaan saran Copilot. Jika saran Copilot terbukti melanggar hak IP pihak ketiga, GitHub akan mengambil tanggung jawab hukum, asalkan pengaturan "Matching public code" diblokir. Selain itu, GitHub menyediakan Data Protection Agreement (DPA) untuk menjamin perlindungan data dan kepatuhan terhadap regulasi privasi. GitHub Copilot Trust Center juga menyediakan informasi mendetail tentang keamanan, privasi, kepatuhan, dan perlindungan IP untuk memberikan transparansi dan memastikan penggunaan Copilot sesuai dengan praktik terbaik dan persyaratan hukum.

source: learn.microsoft

Untuk memblokir saran yang cocok dengan kode publik di GitHub Copilot, klik foto profil di sudut kanan atas, pilih "Your enterprises" atau "Your organizations", lalu pilih "Settings". Di sidebar kiri, pilih "Copilot", lalu di bawah "Suggestions", pilih "Matching public code" dan pilih "Block". Terakhir, klik "Save" untuk menyimpan pengaturan. Selanjutnya, lanjutkan dengan pengelolaan pengecualian konten dari perspektif internal. 

ref:

learn.microsoft

Prompt Engineering with GitHub Copilot

Prompt engineering bekerja berdasarkan bagaimana seseorang bercerita ke generative AI tentang kebutuhannya. Kualitas dari kode akan bergantung pada seberapa bersih dan akurat prompt yang disampaikan. Dengan demikian yang dimaksud dari prompt engineering adalah proses menyusun instruksi yang jelas untuk memandu sistem AI, seperti GitHub Copilot agar menghasilkan kode yang sesuai dengan konteks dan kebutuhan. Ada 4 prinsip untuk membuat prompt yang efektif yaitu:

1. Single
2. Specific
3. Short
4. Surround

Perhatikan contoh penerapan dari prinsip single and specific berikut:

source: jokourno

Perlu diperhatikan praktek-praktek terbaik dalam prompt engineering seperti sajikan kejelasan yang cukup, sajikan konteks dengan detail yang cukup, sajikan contoh untuk AI dapat belajar, dan yang terakhir ada kondisi-kondisi tertentu yang AI tidak cukup untuk memahami lebih detail sehingga perlu dilakukan iterasi secara terus-menerus. Untuk memahami mengapa itu termasuk pada praktek terbaik maka perlu juga diketahui bagaimana generative AI seperti GitHub Copilot belajar melalui prompt yang diberikan misalnya zero-shot learning, one-shot learning, dan few-shot learning. Maksudnya adalah tanpa contoh, dengan satu contoh, dan dengan beberapa contoh.

source: learn.microsoft

Proses GitHub Copilot dalam memproses permintaan pengguna dimulai dengan pengiriman prompt yang aman melalui HTTPS, menjaga kerahasiaan dan keamanan informasi pengguna. Setelah itu, Copilot mengumpulkan konteks dengan mempertimbangkan kode sebelum dan setelah posisi kursor, nama file, tipe file, serta informasi terkait struktur proyek dan bahasa pemrograman yang digunakan. Selanjutnya, prompt dan konteks ini diteruskan ke server proxy yang menyaring lalu lintas untuk melindungi sistem dari manipulasi. Copilot juga menyaring konten berbahaya seperti ujaran kebencian dan data pribadi sebelum melanjutkan ke tahap berikutnya. Akhirnya, prompt yang telah difilter dan dianalisis diteruskan ke model bahasa besar (LLM) untuk menghasilkan saran kode yang relevan, fungsional, dan sesuai dengan kebutuhan proyek pengguna.

source: learn.microsoft

Setelah model menghasilkan respons, Copilot melakukan post-processing dengan menyaring konten berbahaya atau ofensif menggunakan filter toksisitas. Selanjutnya, server proxy melakukan pemeriksaan terakhir untuk memastikan kualitas, keamanan, dan standar etika kode yang dihasilkan. Pemeriksaan ini meliputi deteksi bug atau kerentanannya, seperti cross-site scripting (XSS) atau SQL injection. Jika ada bagian yang mencurigakan atau mirip dengan kode publik yang ada di GitHub, saran tersebut akan dipotong atau dibuang. Hanya respons yang lolos semua pemeriksaan yang dikirim ke pengguna. Setelah itu, Copilot memulai feedback loop untuk memperbaiki pengetahuan berdasarkan saran yang diterima, modifikasi, atau penolakan saran, sehingga meningkatkan pemahaman dan kemampuan penghasilannya. Proses ini diulang setiap kali pengguna memberikan permintaan baru, dengan Copilot terus belajar dari interaksi untuk meningkatkan kualitas kode yang dihasilkan.

GitHub Copilot menggunakan Large Language Models (LLM), khususnya model OpenAI Codex, untuk menghasilkan saran kode otomatis berdasarkan perintah dalam bahasa alami yang diberikan pengguna. Copilot dilatih dengan data besar dari kode sumber di GitHub, memungkinkan model untuk memahami konteks kode yang sedang ditulis dan memberikan saran yang relevan. Proses ini melibatkan pemrosesan input dari pengguna, penyaringan untuk menjaga keamanan dan kualitas, serta terus belajar dari umpan balik untuk meningkatkan akurasi dan kegunaannya. Dengan LLM, Copilot membantu pengembang menulis kode lebih cepat, akurat, dan efisien. GitHub Copilot lebih mengandalkan teknik LoRA (Low-Rank Adaptation) daripada fine-tuning tradisional untuk menyesuaikan model seperti Codex pada tugas tertentu. LoRA memungkinkan Copilot untuk melakukan penyesuaian yang efisien dengan menambahkan matriks adaptasi berperingkat rendah pada model besar, tanpa mengubah parameter utama model secara langsung. 

ref: 
https://learn.microsoft.com