Menggunakan Fitur Computer Use GitHub Copilot untuk Mengotomatiskan Pekerjaan Desktop
GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
Fitur Computer Use Memperluas Kemampuan GitHub Copilot
Kehadiran fitur Computer Use menghadirkan langkah baru dalam pemanfaatan GitHub Copilot. Sebelumnya, GitHub Copilot banyak dimanfaatkan untuk membantu penulisan kode. Melalui kemampuan terbaru, Copilot memiliki kemampuan bekerja pada program dengan antarmuka grafis menggunakan arahan yang diberikan pengguna. Fitur ini mendukung AI memahami konteks visual, kemudian menjalankan perintah keyboard sesuai tujuan pekerjaan. Dengan pendekatan tersebut, tugas yang melibatkan banyak langkah mampu disederhanakan tanpa harus membuat otomatisasi manual.
Computer Use diperkenalkan melalui GitHub Copilot CLI dan aplikasi GitHub Copilot untuk sistem operasi Windows dan macOS. Saat pertama diperkenalkan, fitur tersebut berstatus public preview. Kondisi ini menunjukkan bahwa, kemampuan dan perilakunya mungkin diperbarui berdasarkan perkembangan layanan. Salah satu manfaat utamanya adalah kemampuan menangani perangkat lunak konvensional yang tidak memiliki antarmuka perintah. Untuk perangkat lunak semacam ini, Copilot mampu menjalankan interaksi visual seperti navigasi menu untuk mendukung pekerjaan. Meski menawarkan kemudahan, fitur ini tetap membutuhkan pengawasan terhadap tindakan.
Langkah Awal Menggunakan Otomatisasi Desktop GitHub Copilot
Ketika ingin mencoba Computer Use, pengguna sebaiknya memeriksa bahwa aplikasi GitHub Copilot telah tersedia. Setelah aplikasi dibuka, pilih bagian pengaturan aplikasi, kemudian masuk ke Computer Use. Di dalam halaman pengaturan, ubah menjadi aktif pilihan Enable Computer Use agar Copilot dapat meminta akses aplikasi. Secara bawaan, fitur ini tidak langsung dihidupkan. Mekanisme aktivasi tersebut menghadirkan kendali lebih besar kepada pengguna sebelum sistem menjalankan kendali antarmuka. Dengan demikian, pengguna bisa mengatur kapan akses Computer Use diaktifkan.
Bagi pengguna macOS, persyaratan akses khusus perlu dipenuhi agar Computer Use bisa berfungsi dengan aplikasi lokal. Persyaratan akses ini terdiri atas Accessibility dan Screen Recording. Izin Accessibility memungkinkan berinteraksi dengan elemen antarmuka, sedangkan Screen Recording memungkinkan pemeriksaan konteks visual. Pengguna dapat mengikuti petunjuk yang ditampilkan aplikasi. Di sisi lain, proses pengaktifan dilakukan melalui menu Computer Use tanpa langkah pemberian izin Screen Recording khas macOS. Meski Windows memiliki mekanisme tersendiri, akses terhadap aplikasi tetap memerlukan otorisasi sesuai konfigurasi.
Menggunakan Perintah Computer Use melalui GitHub Copilot CLI
Sebagai alternatif aktivasi, Computer Use bisa diaktifkan melalui GitHub Copilot CLI. Untuk profesional yang bekerja dengan command line, pendekatan tersebut menawarkan kendali melalui sesi percakapan terminal. Setelah menjalankan sesi Copilot CLI yang mendukung fitur tersebut, pengguna perlu menjalankan perintah `/computer on` untuk memulai kemampuan interaksi desktop. Ketika perlu memastikan status fitur, masukkan perintah `/computer show`. Sementara itu, perintah `/computer off` memungkinkan pengguna menghentikan ketersediaan Computer Use. Berkat perintah sederhana tersebut, pengguna dapat mengatur kapan otomatisasi aktif sesuai kondisi sesi.
Ketika fitur sudah tersedia, pengguna dapat memberikan arahan tugas berbentuk percakapan. Dalam penggunaan praktis, pengguna bisa menginstruksikan Copilot untuk menjalankan program yang tersedia, kemudian memeriksa tampilan perangkat lunak. Jika instruksi mencakup pengolahan informasi, Copilot berpotensi melakukan perubahan isi kolom setelah akses aplikasi disetujui. Untuk memperoleh hasil terbaik, tentukan batasan pekerjaan secara terperinci. Sebagai ilustrasi, pengguna memiliki kesempatan menuliskan permintaan untuk merangkum informasi tanpa mengubah data dengan ketentuan pekerjaan yang ditentukan. Cara penggunaan tersebut berpotensi meminimalkan kesalahan tindakan.
Contoh Otomatisasi Pekerjaan Desktop dengan GitHub Copilot
Contoh penggunaan yang relevan adalah pengelolaan tugas berulang yang mengandalkan perangkat lunak berbeda. Untuk aktivitas profesional, pengguna sering harus memeriksa data secara manual. Berkat kemampuan interaksi antarmuka, sebagian pekerjaan berulang mampu disederhanakan. Sebagai contoh, Copilot memiliki kemampuan membantu membuka aplikasi laporan pengeluaran, kemudian membaca data yang tersedia. Setelah mendapatkan otorisasi, sistem dapat melanjutkan pengisian formulir. Dengan demikian, aktivitas administratif berulang berpotensi menjadi lebih efisien.
Computer Use turut relevan bagi perusahaan dengan sistem internal khusus. Sebagian perangkat lunak bisnis memiliki integrasi MCP. Situasi semacam ini dapat menyebabkan pengembangan skrip lebih kompleks. Dengan memanfaatkan konteks visual, Copilot dapat mencoba menjalankan tugas melalui tombol dan menu. Pada contoh pekerjaan, pengguna bisa mengarahkan untuk memperbarui informasi pada aplikasi desktop. Walaupun menawarkan fleksibilitas, keberhasilan otomatisasi perlu mempertimbangkan respons aplikasi yang digunakan.
Keamanan dan Izin Akses Menjadi Prioritas Computer Use
Walaupun otomatisasi desktop dapat meningkatkan produktivitas, perlindungan informasi pengguna merupakan pertimbangan mendasar. Apabila sistem otomatisasi menggunakan program pada komputer, konten aplikasi mampu masuk dalam konteks pemrosesan AI. Sebagai langkah perlindungan, pengguna harus memastikan aplikasi yang diberikan izin. Layanan otomatisasi tersebut meminta persetujuan sebelum menjalankan tindakan pada perangkat lunak sesuai aturan kontrol sesi. Melalui pengaturan ini, pengguna memiliki kesempatan membatasi tindakan berdasarkan risiko aktivitas.
Di samping persetujuan setiap sesi, GitHub Copilot memiliki opsi pengaturan Always allow untuk perangkat lunak tertentu. Dengan pengaturan izin tersimpan, Copilot berpotensi mengendalikan kembali aplikasi yang mendapat otorisasi pengguna tanpa memerlukan izin terpisah pada sesi berikutnya. Walaupun lebih praktis, penggunaan Always allow perlu dilakukan dengan hati-hati, terutama untuk aplikasi keuangan. Melalui halaman Computer Use, pengguna bisa mengelola otorisasi yang telah disimpan dan menghapus akses sesuai kebijakan organisasi. Sebagai tindakan penting, operasi yang sedang berlangsung bisa diinterupsi melalui tombol Stop atau tombol Esc sesuai petunjuk aplikasi. Berkat pengawasan aktif, otomatisasi dapat dihentikan ketika diperlukan.
Kesimpulan: Computer Use Memperluas Peran GitHub Copilot
Kehadiran Computer Use menunjukkan kemajuan baru GitHub Copilot dari alat bantu pengembangan perangkat lunak menuju otomatisasi aplikasi desktop. Berkat akses terhadap elemen antarmuka, Copilot mampu mendukung pengisian data menggunakan perintah percakapan. Kemampuan ini bermanfaat terutama untuk aplikasi tanpa API yang membutuhkan interaksi manual. Namun demikian, pengguna tetap perlu persetujuan akses agar hasil tetap sesuai kebutuhan.
Pada era otomatisasi digital modern, otomatisasi melalui antarmuka visual mampu menghadirkan pendukung aktivitas profesional. Meski otomatisasi menjadi lebih mudah, risiko salah klik harus menjadi perhatian. Pengembang fitur tersebut menjelaskan bahwa computer use dapat mengalami perubahan selama pengembangan. Untuk hasil terbaik, tentukan batasan pekerjaan dan evaluasi pekerjaan sebelum digunakan. Apa pendapat Anda, apakah Computer Use GitHub Copilot dapat membantu aktivitas lintas aplikasi pada masa mendatang? Anda dapat berbagi pengalaman mengenai pemanfaatan GitHub Copilot.
