iWin Notes

Seorang client meminta saya untuk mengkonversi sebuah file database foxpro (.dbf) ke database MySQL.  Hal ini belum pernah saya lakukan sebelumnya, sehingga saya harus mencari-cari cara yang paling efisien dan terjangkau.  Saya tidak mungkin menggunakan Foxpro hanya untuk mendapatkan kenyataan bahwa Foxpro tidak menyediakan fasilitas export langsung ke perintah SQL.

Tool yang akhirnya saya gunakan adalah tool konversi CDBF for Linux dari White Town Software.  Hasilnya adalah file teks dengan ektensi .sql.   Proses menghasilkan file teks berukuran 650MB.  Ternyata ketika mencoba import ke MySQL data-data banyak yang ‘nyampah’ dan perlu ‘dibersihkan’.   Ini merupakan problem tersendiri, teks editor mana yang cocok untuk melakukan ‘cari dan ganti’ sebuah file teks sebesar 650MB.

Setelah saya analisa data asli, akhirnya saya memutuskan untuk memecah file teks tersebut menjadi beberapa file.  Caranya dengan melakukan filter di tool CDBF dan hasil filtering itulah yang di export ke file .sql.  Proses ini menghasilkan beberapa file dan ukurannya ber variasi dari cuma 128KB sampai 360MB.

Dari Blog’s

Untuk teks editor awalnya saya mencoba KWrite namun proses membuka dan proses search and replace membutuhkan waktu sangat lama dan CPU bekerja keras dengan beban hingga 90%-100% ( saya menggunakan Core 2 Duo 2,4GHz ) selama 2 jam untuk membuka dan lebih lama lagi untuk proses search and replace pada file sebesar 100MB.  Kemudian saya mencoba Vi Editor (Vim X11) dan ternyata proses tersebut bisa dilakukan jauh lebih cepat dan dengan beban CPU Maksimal 45%.

Dan waktu saya konversi file-file tersebut ke MySQL bahkan tidak sampai 1 menit Sayangnya saya lupa menyimpan tampilan layar saat proses berlangsung ( ah jadi basbang deh ).  Terakhir, file file teks tersebut saya kompress menjadi tar.gz dan file yang tadinya sebenar 100MB tinggal 1MB dan file sebesar 360MB tinggal 8MB.  Dan sekarang lagi dikirim via email ke client

7 Responses to “Konversi file .dbf ke MySQL”