Bir ilişkide bulunmuş herkesin size söyleyeceği gibi, insan duyguları karmaşık bir kavramdır. Bu, özellikle ürün veya hizmetlerinin niteliksel faydalarını - temel işlevselliğin ötesine geçen değeri - anlamaya çalışan pazarlamacılar için geçerlidir. Ürününüzün ne yaptığını anlamak zor değil ama tüketicilerinize nasıl hissettirdiğini biliyor musunuz?



Hedef kitlenizin filtrelenmemiş sosyal medya düşüncelerini eyleme geçirilebilir stratejik içgörülere dönüştürmek için sosyal dinleme duyarlılığı analizini kullanırsanız yapardınız. Tüm Twitter'da mevcut sosyal veriler olumlu, olumsuz ya da tarafsız duygular için kategorize etmek büyük bir girişimdir ve hiçbir iki yöntem eşit yaratılmaz. Bu nedenle HASHTAGS, iki temel yaklaşımı, Kural Listeleri ve Makine Öğrenimini birleştiren karma bir duyarlılık analizi sistemi oluşturdu.



Kural Listeleri

Duygu analizinin üstesinden gelmenin en basit yollarından biri, insan tarafından oluşturulan kuralları veya sözlükleri kullanmaktır. Bu yaklaşımla, sistem, belirli bir duygu ile doğrudan eşleşen bir kelime veya kelime öbeği listesine dayanır. Örneğin, 'çak bir beşlik' kelimesini içeren herhangi bir Tweet, pozitif olarak etiketlenirken, 'korkunç' kelimesini içeren bir Tweet olumsuz olabilir. Bunun gibi sistemler son derece özelleştirilebilir ve binlerce kelime ve kelime öbeği kuralını içerecek şekilde genişletilebilir.

55 melek sayısı anlamı

Olumsuz tarafı, kural sistemleri, 'Film beklediğim kadar korkunç değildi' gibi çelişen kurallara uyan Tweetlerle mücadele ediyor. Burada 'korkunç' negatif olarak adlandırılabilirken, 'beklenen' olumlu olabilir. Çelişkili kurallar Tweeti tarafsız olarak etiketlerken, bazı insan okuyucular onu biraz olumlu, diğerleri ise biraz olumsuz olarak yorumlar.

Kural tabanlı sistemlerin ek bir sınırlaması, insan çabası ve anlayışına güvenmektir. Dil hızla gelişir (özellikle Twitter'da) ve kurala dayalı bir sistem, birisinin yeni terimlerin ve ifadelerin sabit bir akışını sağlamasını gerektirir. Bir duyarlılık sistemini güncellemek her zaman en önemli öncelik değildir ve bir sistem hızla modası geçmiş hale gelebilir. Dikkatli bir izleme ile bile, değişen dil eğilimlerini belirlemek ve yeni kuralların ne zaman eklenmesi gerektiğini belirlemek zor olabilir.

Makine öğrenme

Daha gelişmiş duyarlılık analiz sistemleri kullanır Makine öğrenme (ML) teknikleri (bazen Yapay Zeka olarak da adlandırılır veya Doğal Dil İşleme ). Makine Öğrenimi, öğeleri etiketlemek için kullanılabilecek karmaşık kalıpları tanımlamak için istatistikleri ve olasılığı kullanan bir teknikler ailesidir.

Kural tabanlı sistemlerden farklı olarak makine öğrenimi sistemleri, bir insan tarafından hemen fark edilmeyen benzerlikleri tespit edecek kadar esnektir. Sistem, pek çok örneğe bakarak, tipik olarak olumlu, olumsuz veya tarafsız duygularla ilişkilendirilen kalıpları öğrenir.



Örneğin, bir makine öğrenimi duyarlılık analizi sistemi, 'yağmur' kelimesini içeren ve bir ünlem işaretiyle biten Tweetlerin negatif, 'yağmur' ve iki ünlem işaretli Tweetlerin olumlu olduğunu bulabilir. Bir insan bu modeli fark etmeyebilir veya neden oluştuğunu anlamayabilir, ancak bir makine öğrenimi sistemi bunu çok doğru tahminler yapmak için kullanabilir.

Makine Öğrenimi sistemleri harika sonuçlar üretebilse de, bazı eksiklikleri vardır. Dilde çok fazla çeşitlilik olduğunda, bir makine öğrenimi sisteminin kalıpları seçmek için gürültüyü gözden geçirmesi zor olabilir. Güçlü modeller mevcut olduğunda, daha az yaygın kalıpları gölgeleyebilir ve makine öğrenimi sisteminin ince ipuçlarını görmezden gelmesine neden olabilirler.

Sprout'un Yaklaşımı

Duygu analizi sistemimizi oluşturmak için, hem kurala dayalı hem de makine öğrenimi yaklaşımlarının en iyisini birleştiren karma bir sistem tasarladık. Makine öğrenimi modellerinin mücadele ettiği yerleri belirlemek için on binlerce Tweet'i analiz ettik ve bu eksikliklerin üstesinden gelmeye yardımcı olacak kural tabanlı stratejiler getirdik.



İstatistiksel modelleri insan anlayışı ile destekleyerek, çok çeşitli ortamlarda iyi performans gösteren sağlam bir sistem oluşturduk.

filiz duygu analizi

Doğruluk Hakkında Her Şey

Görünüşte, duyarlılık analizi oldukça basit görünüyor - sadece bir Tweetin olumlu mu, olumsuz mu yoksa nötr mü olduğuna karar verin. Yine de insan dili ve duyguları karmaşıktır ve bir Tweetteki duyguları tespit etmek bu karmaşıklığı yansıtır.

Bu Tweetleri düşünün. Olumlu mu, olumsuz mu yoksa tarafsız mı?

https://twitter.com/alex/status/917406154321420289

Cevaplarınıza güvenebilirsiniz, ancak herkesin sizinle aynı fikirde olmaması ihtimali yüksektir. Araştırmalar, insanların yalnızca Tweetlerin duyarlılığı konusunda hemfikir olduğunu gösterdi % 60-80 zamanın.

Şüpheci olabilirsiniz. Biz de öyleydik.

Test etmek için, Veri Bilimi ekibimizin iki üyesi aynı 1000 Tweet setini pozitif, negatif veya nötr olarak etiketledi. “Her gün Tweet'lerle çalışıyoruz; Muhtemelen ikimiz arasında mükemmele yakın bir anlaşma yapacağız. '

Sonuçları hesapladık ve ardından iki ve üç kez kontrol ettik. Araştırma noktasaldı - Tweetlerin sadece% 73'ü üzerinde anlaştık.

Duygu Analizindeki Zorluklar

Araştırma (küçük deneyimizle birlikte) duygu analizinin basit olmadığını gösteriyor. Neden bu kadar zor? En büyük zorluklardan birkaçının üzerinden geçelim.

Bağlam

Tweetler, zaman içinde küçük bir anlık görüntüdür. Bazıları tek başına dururken, Tweetler genellikle devam eden bir konuşmanın veya yalnızca yazarı tanıyorsanız anlam ifade eden referans bilgilerinin bir parçasıdır. Bu ipuçları olmadan bir yazarın duygularını yorumlamak zor olabilir.

İğneleyici söz

Alay tespiti, bağlam zorluğunun başka bir çeşididir. Ek bilgi olmadan, duyarlılık analiz sistemleri genellikle kelimelerin gerçek anlamıyla amaçlandıkları şekilde karıştırır. Alay, aktif bir akademik araştırma alanıdır, bu nedenle yakın gelecekte snark'ı anlayan sistemler görebiliriz.

Karşılaştırmalar

Tweetler karşılaştırma yaparken duyarlılık da zorlaşıyor. Sebzeler üzerine pazar araştırması yapıyorsam ve birisi 'Havuç kabaktan iyidir' diye Tweetlerse, bu Tweet olumlu mu yoksa olumsuz mu? Bakış açınıza bağlıdır. Benzer şekilde, birisi tweet atabilir, 'A Şirketi B Şirketinden daha iyidir' A Şirketi için çalışıyorsam, bu Tweet olumlu, ancak B Şirketinde isem olumsuz.

Emojiler

Emojiler kendi başlarına bir dildir . Emojiler oldukça açık bir duyguyu ifade ederken, diğerleri daha az evrenseldir. Duygu analizi sistemimizi oluştururken, insanların emojiyi nasıl kullandığına yakından baktık ve yaygın emojilerin bile kafa karışıklığına neden olabileceğini gördük. 'çok mutlu ağlıyorum' veya 'çok üzgünüm ağlıyorum' anlamlarına neredeyse aynı şekilde kullanılır. İnsanlar bir emojinin anlamı üzerinde anlaşamazlarsa, duygu analiz sistemi de aynı fikirde olamaz.

Tarafsızlığı Tanımlamak

'Nötr' duygu bile her zaman basit değildir. Trajik bir olay hakkında bir haber manşetini düşünün. Hepimiz olayın korkunç olduğu konusunda hemfikir olsak da çoğu haber manşetinin gerçek ve bilgilendirici ifadeler olması amaçlanmıştır. Duygu analizi sistemleri, okuyucunun tepkisini değil, içeriğin yazarının duygusunu tanımlamak için tasarlanmıştır. Kötü haberlerin 'tarafsız' olarak etiketlendiğini görmek garip görünse de, yazarın gerçek bilgileri iletme niyetini yansıtıyor.

Duygu analizi sistemleri ayrıca nötrün nasıl tanımlandığına göre değişir. Bazıları, sistemin olumlu veya olumsuz arasında karar veremediği tüm Tweetler için tarafsız bir kategori olduğunu düşünür. Bu sistemlerde 'tarafsız', 'emin değilim' ile eş anlamlıdır. Gerçekte ise, aşağıdaki örnekte olduğu gibi, duyguları ifade etmeyen birçok Tweet vardır.

Sistemimiz, belirsiz Tweetler için varsayılan bir etiket olarak nötr kullanmak yerine, duygusal olmayan Tweetleri açık bir şekilde nötr olarak sınıflandırır.

Duygu Analizini Değerlendirme

Duygu analizinde pek çok zorluk varken, yeni bir araca yatırım yapmadan önce ödevinizi yapmak karşılığını verir. Satıcılar, ürünlerinin doğruluğu ile ilgili istatistiklere odaklanarak karmaşıklıkların üstesinden gelmeye çalışırlar. Doğruluk her zaman elma ile elma karşılaştırması değildir. Doğruluğu bir ölçüm çubuğu olarak kullanmayı planlıyorsanız, işte sormanız gereken birkaç şey var.

Bildirilen doğruluk% 80'den fazla mı?
İnsanlar birbirleriyle zamanın yalnızca% 60-80'inde hemfikir olduklarından, herkesin 'doğru' duygu etiketlerini içerdiğini kabul edeceği bir test veri kümesi oluşturmanın bir yolu yoktur. Duygu söz konusu olduğunda, 'doğru' özneldir. Diğer bir deyişle, test doğruluğunda kullanılacak altın bir standart yoktur.

41 ne anlama geliyor

Bir duyarlılık analizi sisteminin doğruluğunun üst sınırı her zaman insan düzeyinde anlaşma olacaktır: yaklaşık% 80. Bir satıcı% 80'den fazla doğruluk iddia ederse, şüpheci olmak iyi bir fikirdir. Mevcut araştırmalar% 80 doğruluk oranının bile olası olmadığını göstermektedir; Bu alandaki en iyi uzmanlar tipik olarak 60'ların ortalarında ve üstlerinde doğruluk elde ederler.

Kaç duygu kategorisi tahmin ediliyor?
Bazı sağlayıcılar, tüm tarafsız Tweetleri hariç tutarak, yalnızca insan değerlendiriciler tarafından kesinlikle olumlu veya olumsuz olarak tanımlanan Tweetlerde doğruluğu değerlendirir. Bir sistemin doğruluğunun, güçlü duygusal Tweetlerle ve yalnızca iki olası sonuçla (olumlu veya olumsuz) çalışırken çok yüksek görünmesi çok daha kolaydır.

Vahşi doğada ise çoğu Tweet tarafsız veya belirsizdir. Bir sistem yalnızca olumlu ve olumsuz olarak değerlendirildiğinde, sistemin nötr Tweetlerle ne kadar iyi başa çıktığını bilmek imkansızdır - gerçekte göreceğiniz şeyin çoğu.

Test setlerine ne tür Tweetler dahildir?
Gerçek dünya koşullarını temsil eden Tweetler üzerinde bir duyarlılık analizi sistemi kurulmalı ve test edilmelidir. Bazı duyarlılık analiz sistemleri, bir sistemin anlaşılmasını mümkün olduğunca kolaylaştırmak için filtrelenmiş ve temizlenmiş alana özgü Tweetler kullanılarak oluşturulur.

Örneğin, bir satıcı, yalnızca hava yolu endüstrisi hakkında son derece duygusal Tweetler içeren, spam veya konu dışı Tweetlerin hariç tutulduğu önceden var olan bir veri kümesi bulmuş olabilir. Bu, doğruluğun yüksek olmasına neden olur, ancak yalnızca çok benzer Tweetlerde kullanıldığında. Farklı bir alanda çalışıyorsanız veya konu dışı veya spam Tweetler alıyorsanız, çok daha düşük doğruluk göreceksiniz.

Test veri kümesi ne kadar büyüktü?
Duygu analizi sistemleri, birçok farklı senaryoda sistemin performansını ölçmek için birkaç bin Tweet üzerinde değerlendirilmelidir. Bir sistem yalnızca birkaç yüz Tweet üzerinde test edildiğinde, bir sistemin doğruluğunun gerçek ölçüsünü alamazsınız.

Sprout'ta, modelimizi Twitter'dan rastgele bir örneklemden alınan 50.000 Tweetten oluşan bir koleksiyon üzerine kurduk. Tweetlerimiz alana özgü olmadığından, duyarlılık analizi sistemimiz çok çeşitli alanlarda iyi performans gösterir.

Ek olarak, pozitif, negatif ve nötr kategoriler için ayrı tahminler yapıyoruz; Diğer tahminler başarısız olduğunda sadece tarafsız davranmıyoruz. Doğruluğumuz, hiçbiri sistemi oluşturmak için kullanılmayan 10.000 Tweet üzerinde test edildi.

Sprout’un Duygu Analizini Dinleyicilerle Canlı Olarak Görün

Dünyadaki tüm araştırmalar, bir sistemi ilk elden değerlendirmenin yerini tutamaz. Yeni duyarlılık analizi sistemimize en yeni sosyal dinleme araç setimizde bir test sürüşü yapın, Dinleyiciler ve sizin için nasıl çalıştığını görün. Sonuç olarak, en iyi sosyal dinleme aracı, ihtiyaçlarınızı karşılayan ve sosyal medyadan daha fazla değer elde etmenize yardımcı olandır. Bugün başlamanıza yardımcı olalım.

Arkadaşlarınla ​​Paylaş: