GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
GitHub Copilot Memperkenalkan Computer Use untuk Otomatisasi Desktop
Pengenalan fitur Computer Use menjadi langkah baru dalam pemanfaatan GitHub Copilot. Sebelumnya, GitHub Copilot banyak dimanfaatkan untuk mendukung pengembangan perangkat lunak. Berkat perluasan fungsi tersebut, Copilot mampu menjalankan tindakan pada program dengan antarmuka grafis menggunakan instruksi bahasa alami. Teknologi tersebut membantu AI mengamati elemen antarmuka, kemudian mengisi kolom sesuai kebutuhan pengguna. Dengan pendekatan tersebut, aktivitas administratif dapat dikerjakan secara lebih efisien tanpa bergantung sepenuhnya pada pengoperasian pengguna.
Fitur interaksi komputer tersebut dapat digunakan pada GitHub Copilot CLI dan aplikasi GitHub Copilot untuk sistem operasi Windows dan macOS. Saat pertama diperkenalkan, fitur tersebut berstatus public preview. Dengan status tersebut, kemampuan dan perilakunya mungkin diperbarui berdasarkan evaluasi teknis. Salah satu manfaat utamanya adalah dukungan bagi aplikasi lama yang belum mendukung integrasi MCP. Dalam situasi tersebut, Copilot berpotensi memanfaatkan interaksi visual seperti navigasi menu untuk menjalankan alur operasional. Namun demikian, pengguna masih perlu memberikan instruksi yang tidak ambigu.
Cara Mengaktifkan Computer Use pada Aplikasi GitHub Copilot
Ketika ingin mencoba Computer Use, pengguna perlu memastikan bahwa aplikasi GitHub Copilot telah tersedia. Setelah aplikasi dibuka, pilih bagian pengaturan aplikasi, kemudian temukan halaman Computer Use. Pada bagian tersebut, nyalakan pilihan Enable Computer Use agar alat otomatisasi komputer dapat digunakan. Secara bawaan, fitur ini memerlukan aktivasi pengguna. Pendekatan tersebut menyediakan perlindungan tambahan kepada pengguna sebelum sistem menjalankan kendali antarmuka. Melalui proses tersebut, pengguna dapat menentukan kapan akses Computer Use diaktifkan.
Bagi pengguna macOS, izin sistem tertentu harus diberikan agar Computer Use bisa berfungsi dengan program yang terpasang. Pengaturan keamanan yang dimaksud mencakup Accessibility dan Screen Recording. Izin Accessibility memungkinkan mengoperasikan kontrol aplikasi, sedangkan Screen Recording mendukung pembacaan tampilan. Pengguna dapat mengikuti langkah izin dari macOS. Untuk perangkat Windows, pengaturan dasar dilakukan melalui menu Computer Use tanpa pengaturan Accessibility yang sama seperti Mac. Namun demikian, kendali atas perangkat lunak tetap memerlukan otorisasi sesuai konfigurasi.
Kontrol Otomatisasi Desktop Menggunakan GitHub Copilot CLI
Sebagai alternatif aktivasi, Computer Use tersedia melalui GitHub Copilot CLI. Pengguna yang terbiasa command line, cara ini menawarkan pengoperasian yang praktis. Ketika membuka sesi Copilot CLI yang mendukung fitur tersebut, pengguna dapat mengetik perintah `/computer on` untuk menyalakan kemampuan interaksi desktop. Untuk mengetahui status fitur, gunakan perintah `/computer show`. Sebaliknya, perintah `/computer off` dapat digunakan untuk menghentikan ketersediaan Computer Use. Berkat perintah sederhana tersebut, pengguna dapat mengatur status penggunaan alat sesuai jenis tugas yang sedang dijalankan.
Sesudah kemampuan desktop dinyalakan, pengguna bisa menuliskan instruksi dalam bahasa alami. Dalam penggunaan praktis, pengguna memiliki pilihan mengarahkan Copilot untuk menjalankan program yang tersedia, kemudian merangkum data di jendela aplikasi. Apabila tugas melibatkan perubahan, Copilot dapat membantu navigasi antarmuka setelah pengguna menyetujui tindakan yang diminta. Untuk memperoleh hasil terbaik, jelaskan tujuan akhir secara mudah dipahami. Misalnya, pengguna memiliki kesempatan menuliskan permintaan untuk memperbarui bagian tertentu dalam presentasi dengan ruang lingkup tugas yang terukur. Cara penggunaan tersebut membantu mengurangi perubahan di luar tujuan.
Pemanfaatan AI untuk Menjalankan Pekerjaan Lintas Aplikasi
Manfaat praktis Computer Use adalah otomatisasi pekerjaan administratif yang melibatkan beberapa aplikasi. Untuk aktivitas profesional, pengguna terkadang perlu memindahkan informasi. Dengan bantuan GitHub Copilot, sebagian pekerjaan berulang dapat dibantu AI. Sebagai contoh, Copilot memiliki kemampuan membantu mengakses program administrasi, kemudian membaca data yang tersedia. Apabila pengguna mengizinkan, sistem mampu membantu melakukan pengisian formulir. Melalui alur tersebut, pekerjaan yang biasanya membutuhkan banyak klik dapat membutuhkan lebih sedikit interaksi pengguna.
Kemampuan tersebut memiliki nilai tambah bagi pengguna aplikasi lama. Sebagian perangkat lunak bisnis mendukung otomatisasi melalui terminal. Kondisi tersebut berpotensi menjadikan pengembangan skrip lebih kompleks. Melalui kemampuan membaca layar, Copilot berpotensi menangani pekerjaan menggunakan elemen grafis. Pada contoh pekerjaan, pengguna memiliki pilihan memberikan tugas untuk memperbarui informasi pada aplikasi desktop. Meski mampu membantu pekerjaan GUI, keberhasilan otomatisasi perlu mempertimbangkan kondisi jendela yang sedang dibuka.
Cara Mengendalikan Akses GitHub Copilot ke Aplikasi Desktop
Walaupun otomatisasi desktop dapat meningkatkan produktivitas, pengendalian tindakan otomatis merupakan prioritas utama. Apabila sistem otomatisasi menggunakan perangkat lunak lokal, konten aplikasi berpotensi digunakan sebagai informasi yang dibaca sistem. Sebagai langkah perlindungan, pengguna harus memastikan jenis informasi yang dapat diakses. Sistem Computer Use menggunakan pengaturan otorisasi sebelum melakukan interaksi desktop sesuai aturan kontrol sesi. Dengan mekanisme tersebut, pengguna dapat menolak tindakan berdasarkan kebutuhan pekerjaan.
Tidak hanya menyediakan otorisasi langsung, GitHub Copilot mendukung pengaturan Always allow untuk aplikasi yang sering digunakan. Dengan pengaturan izin tersimpan, Copilot berpotensi mengendalikan kembali aplikasi yang sebelumnya telah disetujui tanpa memerlukan izin terpisah pada sesi berikutnya. Namun demikian, penggunaan Always allow perlu dilakukan dengan hati-hati, terutama untuk perangkat lunak bisnis sensitif. Pemilik komputer memiliki kesempatan memeriksa pengaturan Always allowed apps dan mengatur ulang daftar izin sesuai kebutuhan keamanan. Selain itu, operasi yang sedang berlangsung dapat dihentikan melalui tombol Stop atau tombol Esc sesuai petunjuk aplikasi. Berkat pengawasan aktif, AI tidak harus bekerja tanpa pengawasan.
Fitur Computer Use Menghubungkan AI dengan Pekerjaan Komputer Sehari Hari
Kehadiran Computer Use menunjukkan perkembangan penting GitHub Copilot dari pendukung penulisan kode menuju otomatisasi aplikasi desktop. Melalui kemampuan membaca konteks visual, Copilot mampu mendukung navigasi menu menggunakan perintah percakapan. Pendekatan otomatisasi tersebut memiliki potensi pada aplikasi tanpa API yang sulit diotomatisasi menggunakan cara konvensional. Walaupun memberikan kemudahan, penerapan sebaiknya disertai penjelasan tugas yang jelas agar proses berjalan secara terkendali.
Pada era otomatisasi digital modern, kemampuan AI berinteraksi dengan desktop mampu menghadirkan pendekatan baru dalam pekerjaan kantor. Walaupun kemampuan tersebut terus berkembang, kesalahan membaca antarmuka tetap perlu diperhitungkan. GitHub sendiri menjelaskan bahwa computer use belum keluar dari tahap pratinjau publik. Supaya otomatisasi lebih terarah, berikan instruksi yang spesifik dan tinjau perubahan yang dibuat. Apa pendapat Anda, apakah teknologi interaksi komputer otomatis dapat membantu aktivitas lintas aplikasi pada masa mendatang? Silakan bagikan pendapat Anda mengenai perkembangan otomatisasi berbasis AI.
