Veri Bilimi Notları 1: Makine öğrenmesine giriş

Veri bilimi üzerine yazılmış epeyce yazı dizisi var. Amacım ne diye sorarsanız: bu notları yazarken kendi öğrendiklerimi tekrar etmiş oluyorum, bu benim yararıma. Aynı zamanda okuyan için de bir faydası olsun istiyorum. Amacı söyledikten sonra başlayabilirim. Bu arada dizide birlikte çalışacağımız konulara da göz atabilirsiniz.

Makine öğrenmesi, insanlar yaptığında zekice sayılacak şeyleri makineye yaptırma bilimidir.

Marvin Minsky

Önce makine öğrenmesi kavramına değinmek istiyorum. Makine öğrenmesi aslında istatistik biliminin tamamen içine geçmiş, sayısal analiz tekniklerinden sayamayacağınız kadar çok barındıran bir yöntemler bütünü diye adlandırılabilir. Veriyi tahmin etmek ve daha çeşitli bilgilere ulaşmak için makine öğrenmesini kullanıyoruz. Olasılık ve İstatistik dersinde öğrendiğimiz teorik bilgilerin daha geliştirilmiş sürümlerini bu yöntemlerde kullanacağız. Daha fazlasını öğrenmek isterseniz sorularınızı yorum olarak yazın; bildiğim kadarıyla kaynak önerisi ve bilgi paylaşabilirim. Makine öğrenmesi tekniklerinin hepsi başlangıçta bilgisayarlara ya da bilgisayar işlevi gören işlemcilere uygulanıyor. Bu kısım çok belirleyici değil, o yüzden önce makine öğrenmesindeki temel kavramlardan bahsedeceğim.

Veri: yorumlanmamış bilgidir. Örnek olarak, bir ilçenin gün boyunca sıcaklığını saniye saniye kaydettiğinizde yüz binlerce satırlık bilgi oluşuyor.

Veri seti: birbiriyle ilişkili olup olmadığı fark etmeksizin, birden fazla veri türünün bir araya gelmesiyle oluşan veri kaynağıdır. Örneğin yukarıdaki örneğe o gün o ilçede saniyede bir kaydedilen nem verisini de eklersek elimizde bir veri seti olur. Makine öğrenmesi uygulamalarında veri setlerini bölüyoruz.

Veri setleri neden bölünür?

Şöyle örnekleyebiliriz. Elimizde 12 aylık hava durumu verisi olduğunu ve bu veriyi kullanarak bir hava tahmini uygulaması yapmak, geleceği tahmin etmek istediğimizi düşünelim. Makine öğrenmesi algoritmaları kendilerini eğitmek için veriye ihtiyaç duyar. Şöyle düşünebilirsiniz: bir şehir hakkındaki fikirleriniz, o şehirden daha önce tanıdığınız insanlar üzerinden şekilleniyor. O insanların hangi özelliklere sahip olduğunu biliyorsunuz. Burada da durum aynı. Makine öğrenmesi uygulaması, o şehrin insanını anlayabilmek için bizden o şehrin insanlarına dair veri istiyor.

Ama iş bununla bitmiyor. Elimizdeki veri sınırlı ve algoritmanın doğru çalışıp çalışmadığını sınamamız gerekiyor. Diyelim ki tanıdığımız ve Hatay’da yaşayan insanların verisini algoritmaya girdik; bu sefer test edecek insan verimiz kalmıyor. Bu yüzden veriyi ikiye bölüyoruz. Bir kısmını Hatay’da yaşayan insanları tanıması için veriyoruz, kalanını algoritmayı sınamak için saklıyoruz. Veri seti genelde ikiye ayrılır.

Eğitim kümesi: makine öğrenmesi algoritmasının veriyi tanıması ve eğitim için tahminlerini bu veri üzerinde yapması amacıyla oluşturulan kümedir. Kısaca, belirli biçimlerde ön yargı kazandıran veri seti diyebiliriz.

Test kümesi: eğitim kümesiyle oluşturulan algoritmanın ne kadar doğru çalıştığını sınamak için önceden ayırdığımız veri setidir.

Bir sonraki yazıda temel makine öğrenmesi kütüphanelerinden başlayarak Python’a veri setinin nasıl ekleneceğini anlatacağım.

İyi çalışmalar.