Resmi gazete arşivlerinin büyük veri teknikleri ile analiz edilmesi
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Ankara Yıldırım Beyazıt Üniversitesi, Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği Anabilim Dalı, Türkiye
Tezin Onay Tarihi: 2018
Tezin Dili: İngilizce
Öğrenci: Yasemin CAN
Danışman: FATİH VEHBİ ÇELEBİ
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Günümüz dünyasının vazgeçilmezleri arasında ilk sıralara yükselen ve hızla gelişen teknoloji beraberinde hızla büyüyen ve karmaşıklaşan bir veri üretimini de tetiklemekte. Bu, baş döndürücü bir hızla büyüyen karmaşık yapılı verinin saklanması, işlenebilmesi ve içinde sakladığı anlamlı bilginin çıkarılması geleneksel veri tabanı yönetim sistemleri ve veri madenciliği yöntemleriyle verimli ve etkin bir şekilde gerçekleştirilememektedir. Bu eksikliğin giderilmesinin yanı sıra bu büyük hacimli ve düzensiz yapılı verinin işlenerek anlamlı çıkarımlarla ilgili olduğu sektöre değer katması amacıyla ortaya çıkan büyük veri kavramı ve teknolojileri birçok ülke yönetimi ve özel şirketlerce ciddi ve değer katan bir çalışma alanı olarak kabul edilmektedir. Büyük verinin 3V olarak başlayan ve günümüzde 5V olarak kabul gören hacim, hız, çeşitlilik, değer ve gerçeklik özellikleri kapsamına giren veriler sosyal ağlar, sensor kayıtları, mobil araçların ürettikleri, GPS verileri gibi çok çeşitli kaynaklardan gelmektedir. Belli bir formatta olmayan bu çok çeşitli verilerden anlamlı bilgilerin çıkarılması ile devletler yeni politikalar geliştirmekte, şirketler karlarını ve ürün kalitelerini artırmaktadırlar. Bu tez çalışmasında; öncelikle büyük veri kavramı ve ilişkili kavramlar açıklanmıştır, ayrıca büyük veri alanında güncel yaklaşımlar ve uygulama alanları konusu ile bilgi yönetimi ile olan ilişkilerine değinilmiştir. Sonrasında ise literatür taraması sonucu daha önce üzerinde bir metin analizi çalışması yapılmadığı sonucuna varılan T.C. Resmi Gazete ve TRT Haber sitesinde yayımlanan haber arşivleri düzensiz metin verisi yapısında olması nedeniyle büyük veri kaynağı olarak ele alınmış, çeşitli ön işleme ve veri temizleme sürecinden geçirildikten sonra Temmuz 2015 – Temmuz 2017 dönemine ait Resmi Gazete arşivinden yaklaşık 61.551.000 kelime içiren 714 dosya, TRT Haber web arşivinden yaklaşık 3.794.000 kelime içeren 542 dosya alınarak kütüphaneler oluşturulmuş, Apache Spark platformu ve Python dili ile kelime sıklığı işlemi ile analiz edilmiş olup, söz konusu döneme ait Resmi Gazete ve TRT Haber arşivinde geçen kelimelerin azalan sırada terim sıklığı matrisi çıkarılmış ve bunlardan kelime bulutları oluşturulmuştur. Daha sonra bu iki veri setinin benzerlik ilişkisini tespit etmek amacıyla Tf-IDF ve kosinüs benzerliği algoritmaları kullanılarak yıllık ve aylık olarak bölünmüş alt veri setleri üzerinde karşılaştırma çalışmaları yapılmıştır. Yapılan bu çalışma sonucunda yıllık olarak gruplanmış Resmi Gazete ve TRT Haber web arşivinden alınan aynı zaman aralığına ait içeriklerin kosinüs benzerliği 0,008 ile 0,03 aralığında bulunmuştur. Ayrıca, aylık olarak bölünmüş veri setleri üzerinde Resmi Gazete ve TRT Haber arşivlerinin birbirlerini nasıl etkilediklerini tesbit etmek amacıyla bir kosinüs benzerliği karşılaştırması yapılmış ve sonucunda ülke gündeminin yansıdığı TRT Haber arşivlerinin Resmi Gazete içerikleri üzerindeki etkisi, Resmi Gazete içeriğinin TRT Haber arşivi ve dolayısıyla ülke gündemi üzerine etkisinden daha yüksek olduğu sonucuna varılmıştır. Son olarak ise gelecekte üzerinde çalışmaya değer olarak görülen ve hukuk alanında çalışanların işini kolaylaştırabilecek büyük veri metin analizi yöntemleri kullanılarak geliştirilebilecek bir Mevzuat Tavsiye Motoru uygulaması ele alınmıştır.