Menggunakan Fitur Computer Use GitHub Copilot untuk Mengotomatiskan Pekerjaan Desktop

GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.

Fitur Computer Use Memperluas Kemampuan GitHub Copilot

Peluncuran fitur Computer Use menghadirkan langkah baru dalam otomatisasi pekerjaan berbasis AI. Pada fungsi utamanya, GitHub Copilot sering digunakan untuk membantu penulisan kode. Melalui kemampuan terbaru, Copilot dapat berinteraksi pada aplikasi desktop menggunakan arahan yang diberikan pengguna. Teknologi tersebut memungkinkan AI mengamati elemen antarmuka, kemudian mengisi kolom sesuai kebutuhan pengguna. Dengan pendekatan tersebut, pekerjaan berulang dapat dikerjakan secara lebih efisien tanpa harus membuat otomatisasi manual.

Fitur interaksi komputer tersebut diperkenalkan melalui GitHub Copilot CLI dan aplikasi GitHub Copilot untuk komputer Windows maupun Mac. Saat pertama diperkenalkan, fitur tersebut berstatus public preview. Kondisi ini menunjukkan bahwa, fitur yang tersedia masih dapat berubah berdasarkan evaluasi teknis. Nilai tambah penting adalah kemampuan menangani perangkat lunak konvensional yang tidak memiliki antarmuka perintah. Pada lingkungan aplikasi tersebut, Copilot berpotensi memanfaatkan interaksi visual seperti navigasi menu untuk menjalankan alur operasional. Walaupun fleksibel, pengguna masih perlu memberikan izin akses yang sesuai.

Cara Mengaktifkan Computer Use pada Aplikasi GitHub Copilot

Sebelum menggunakan Computer Use, pengguna perlu memastikan bahwa perangkat telah memiliki aplikasi Copilot yang sesuai. Setelah aplikasi dibuka, buka menu pengaturan, kemudian temukan halaman Computer Use. Melalui panel yang tersedia, ubah menjadi aktif pilihan Enable Computer Use agar Copilot dapat meminta akses aplikasi. Pada pengaturan awal, fitur ini tidak langsung dihidupkan. Mekanisme aktivasi tersebut menyediakan kendali lebih besar kepada pengguna sebelum sistem menjalankan kendali antarmuka. Melalui proses tersebut, pengguna dapat menentukan kapan akses Computer Use diaktifkan.

Pada komputer Mac, pengaturan tambahan harus diberikan agar Computer Use mampu berinteraksi dengan program yang terpasang. Pengaturan keamanan yang dimaksud terdiri atas Accessibility dan Screen Recording. Melalui Accessibility, sistem dapat menjalankan tindakan pada tombol dan menu, sedangkan Screen Recording mendukung pembacaan tampilan. Pengguna dapat mengikuti langkah izin dari macOS. Untuk perangkat Windows, proses pengaktifan tersedia pada menu Computer Use tanpa persyaratan izin macOS tersebut. Meski Windows memiliki mekanisme tersendiri, akses terhadap aplikasi tetap mengikuti pengaturan izin.

Kontrol Otomatisasi Desktop Menggunakan GitHub Copilot CLI

Selain melalui aplikasi grafis, Computer Use tersedia melalui GitHub Copilot CLI. Pengguna yang terbiasa command line, pendekatan tersebut memberikan kendali melalui sesi percakapan terminal. Ketika membuka sesi Copilot CLI yang mendukung fitur tersebut, pengguna dapat mengetik perintah `/computer on` untuk menyalakan kemampuan interaksi desktop. Untuk mengetahui status fitur, gunakan perintah `/computer show`. Jika otomatisasi sudah tidak diperlukan, perintah `/computer off` memungkinkan pengguna mematikan kemampuan interaksi komputer. Berkat perintah sederhana tersebut, pengguna memiliki kendali status penggunaan alat sesuai kondisi sesi.

Setelah Computer Use aktif, pengguna dapat memberikan instruksi dalam bahasa alami. Dalam penggunaan praktis, pengguna dapat meminta Copilot untuk menjalankan program yang tersedia, kemudian memeriksa tampilan perangkat lunak. Apabila tugas melibatkan perubahan, Copilot dapat membantu navigasi antarmuka setelah izin yang diperlukan diberikan. Agar proses berjalan lebih terarah, sebutkan aplikasi yang terlibat secara spesifik. Misalnya, pengguna memiliki kesempatan menuliskan permintaan untuk merangkum informasi tanpa mengubah data dengan ruang lingkup tugas yang terukur. Instruksi terarah tersebut membantu mengurangi kesalahan tindakan.

Contoh Otomatisasi Pekerjaan Desktop dengan GitHub Copilot

Contoh penggunaan yang relevan adalah penyederhanaan aktivitas desktop yang mengandalkan perangkat lunak berbeda. Untuk aktivitas profesional, pengguna terkadang perlu memeriksa data secara manual. Dengan bantuan GitHub Copilot, beberapa langkah tersebut dapat dibantu AI. Dalam skenario penggunaan, Copilot memiliki kemampuan membantu membuka aplikasi laporan pengeluaran, kemudian merangkum informasi pada layar. Setelah mendapatkan otorisasi, sistem berpotensi menjalankan pemindahan data ke aplikasi lain. Berkat pengoperasian bertahap, proses yang dilakukan secara manual berpotensi menjadi lebih efisien.

Fitur ini juga bermanfaat bagi perusahaan dengan sistem internal khusus. Sebagian perangkat lunak bisnis memiliki integrasi MCP. Keterbatasan integrasi ini sering membuat pengembangan skrip lebih kompleks. Berkat interaksi berbasis antarmuka, Copilot mampu membantu menyelesaikan tugas melalui tombol dan menu. Dalam penerapan tertentu, pengguna dapat meminta untuk memperbarui informasi pada aplikasi desktop. Walaupun menawarkan fleksibilitas, kelancaran interaksi perlu mempertimbangkan kondisi jendela yang menjadi sasaran pekerjaan.

Pengawasan Pengguna Penting dalam Otomatisasi Berbasis AI

Meskipun Computer Use menawarkan kemudahan, pengendalian tindakan otomatis harus dipertahankan sebagai pertimbangan mendasar. Ketika Copilot berinteraksi program pada komputer, informasi yang terlihat mampu masuk dalam konteks pemrosesan AI. Sebagai langkah perlindungan, pengguna perlu meninjau ruang lingkup kontrol desktop. Sistem Computer Use meminta persetujuan sebelum mengendalikan aplikasi sesuai kebijakan penggunaan. Berkat proses persetujuan, pengguna bisa mengizinkan tindakan berdasarkan kebutuhan pekerjaan.

Di samping persetujuan setiap sesi, GitHub Copilot juga menawarkan pengaturan Always allow untuk aplikasi yang sering digunakan. Jika opsi ini diaktifkan, Copilot dapat menggunakan kembali aplikasi yang mendapat otorisasi pengguna tanpa mengulang seluruh proses persetujuan. Meski mempermudah penggunaan berulang, penggunaan Always allow perlu dilakukan dengan hati-hati, terutama untuk aplikasi keuangan. Melalui halaman Computer Use, pengguna bisa mengelola pengaturan Always allowed apps dan menghapus akses sesuai kebijakan organisasi. Tidak kalah relevan, proses otomatisasi yang berjalan memiliki mekanisme penghentian melalui tombol Stop atau tombol Esc sesuai dukungan sesi. Berkat pengawasan aktif, pengguna tetap memiliki kendali.

Fitur Computer Use Menghubungkan AI dengan Pekerjaan Komputer Sehari Hari

Kehadiran Computer Use memperlihatkan kemajuan baru GitHub Copilot dari asisten pemrograman menuju otomatisasi aplikasi desktop. Melalui kemampuan membaca elemen antarmuka, Copilot mampu mendukung navigasi menu menggunakan instruksi bahasa alami. Fitur tersebut memiliki potensi pada perangkat lunak lama yang membutuhkan interaksi manual. Walaupun memberikan kemudahan, penerapan sebaiknya disertai pengawasan tindakan agar proses berjalan secara terkendali.

Seiring kemajuan kecerdasan buatan, otomatisasi melalui antarmuka visual berpotensi menjadi pendekatan baru dalam pekerjaan kantor. Meski otomatisasi menjadi lebih mudah, risiko salah klik harus menjadi perhatian. GitHub sendiri menggarisbawahi bahwa computer use masih berada dalam public preview. Supaya otomatisasi lebih terarah, tentukan batasan pekerjaan dan tinjau perubahan yang dibuat. Apa pendapat Anda, apakah otomatisasi desktop berbasis AI mampu mengurangi pekerjaan berulang pada masa mendatang? Silakan bagikan pendapat Anda mengenai pemanfaatan GitHub Copilot.