SageMaker'da Model Barındırma Kalıpları: SageMaker'da modelleri test etme ve güncelleme konusunda en iyi uygulamalar

Amazon Adaçayı Yapıcı geliştiricilere ve veri bilimcilerine makine öğrenimi (ML) modellerini hızlı bir şekilde oluşturma, eğitme ve dağıtma yeteneği sağlayan, tam olarak yönetilen bir hizmettir. SageMaker ile makine öğrenimi modellerinizi barındırılan uç noktalara dağıtabilir ve gerçek zamanlı çıkarım sonuçları alabilirsiniz. Uç noktalarınıza ilişkin performans ölçümlerini kolayca görüntüleyebilirsiniz. Amazon Bulut İzleme, uç noktaları otomatik olarak ölçeklendir trafiğe göre güncelleyin ve üretimdeki modellerinizi kullanılabilirlik kaybı yaşamadan güncelleyin. SageMaker, kullanım durumunuza bağlı olarak, aşağıdaki yollardan herhangi biriyle çıkarım için ML modellerini dağıtmak üzere çok çeşitli seçenekler sunar:

• Milisaniye düzeyinde sunulması gereken eşzamanlı tahminler için SageMaker'ı kullanın. gerçek zamanlı çıkarım
• Trafik patlamaları arasında boşta kalan ve soğuk başlatmayı tolere edebilen iş yükleri için şunu kullanın: Sunucusuz Çıkarım
• 1 GB'a kadar büyük veri yükü boyutlarına, uzun işlem sürelerine (15 dakikaya kadar) ve neredeyse gerçek zamanlı gecikme gereksinimlerine (saniyelerden dakikalara kadar) sahip istekler için SageMaker'ı kullanın Eşzamansız Çıkarım
• Veri kümesinin tamamına ilişkin tahminler almak için SageMaker'ı kullanın toplu dönüştürme

Gerçek zamanlı çıkarım, gerçek zamanlı, etkileşimli, düşük gecikme gereksinimlerine sahip olduğunuz çıkarım iş yükleri için idealdir. Modelinizi SageMaker barındırma hizmetlerine dağıtırsınız ve çıkarım için kullanılabilecek bir uç noktaya sahip olursunuz. Bu uç noktalar, tam olarak yönetilen bir altyapı ve destek ile desteklenir otomatik ölçeklendirme. kullanarak birden fazla modeli tek bir uç noktada birleştirerek verimliliği ve maliyeti artırabilirsiniz. çok modelli uç noktalar or çok kapsayıcılı uç noktalar.

Performanslarını ölçmek, iyileştirmeleri ölçmek veya A/B testleri yürütmek için aynı modelin birden fazla varyantını üretime dağıtmak istediğiniz belirli kullanım durumları vardır. Bu gibi durumlarda, SageMaker çok değişkenli uç noktaları faydalıdır çünkü bir modelin birden çok üretim değişkenini aynı SageMaker uç noktasına dağıtmanıza olanak tanırlar.

Bu yazıda SageMaker'ın çok değişkenli uç noktalarını ve optimizasyona yönelik en iyi uygulamaları tartışıyoruz.

SageMaker gerçek zamanlı çıkarım seçeneklerini karşılaştırma

Aşağıdaki diyagram SageMaker ile gerçek zamanlı çıkarım seçeneklerine hızlı bir genel bakış sunmaktadır.

Tek modelli uç nokta, düşük gecikme ve yüksek aktarım hızı için özel örneklerde veya sunucusuz olarak barındırılan bir konteynere bir model dağıtmanıza olanak tanır. Bir model oluşturabilir ve geri almak a SageMaker destekli görsel TensorFlow, PyTorch, Scikit-learn ve daha fazlası gibi popüler çerçeveler için. Modeliniz için özel bir çerçeveyle çalışıyorsanız şunları da yapabilirsiniz: kendi konteynerini getir bu bağımlılıklarınızı yükler.

SageMaker ayrıca çok modelli uç noktalar (MME'ler) ve çok kapsayıcılı uç noktalar (MCE'ler) gibi daha gelişmiş seçenekleri de destekler. MME'ler, yüzlerce ila onbinlerce modelle çalıştığınızda ve her modeli ayrı bir uç nokta olarak dağıtmanızın gerekmediği durumlarda kullanışlıdır. MME'ler, bir bulut sunucusunda barındırılan paylaşılan bir sunum kapsayıcısını kullanarak aynı uç nokta içinde birden fazla modeli uygun maliyetli, ölçeklenebilir bir şekilde barındırmanıza olanak tanır. Temel altyapı (konteyner ve bulut sunucusu) aynı kalır ancak modeller, kullanıma ve uç noktada mevcut bellek miktarına göre ortak bir S3 konumundan dinamik olarak yüklenir ve kaldırılır. Düşük gecikme süreli, yüksek verimli çıkarım elde etmek için uygulamanızın bu uç noktaya hedef modelle birlikte bir API çağrısı eklemesi yeterlidir. Her model için ayrı bir uç nokta ödemek yerine, tek bir uç nokta fiyatına birçok modeli barındırabilirsiniz.

MCE'ler, tek bir uç noktada 15'e kadar farklı ML kapsayıcısını çalıştırmanıza ve bunları bağımsız olarak çağırmanıza olanak tanır. Maliyet tasarrufu için bu ML kapsayıcılarını aynı uç noktada çalıştırılacak farklı sunum yığınları (ML çerçevesi, model sunucusu ve algoritma gibi) üzerinde oluşturabilirsiniz. Kapları bir arada dikebilirsiniz seri çıkarım ardışık düzeni veya kabı bağımsız olarak çağırın. Farklı trafik düzenlerine ve benzer kaynak gereksinimlerine sahip birkaç farklı makine öğrenimi modeliniz olduğunda bu ideal olabilir. MCE'lerin ne zaman kullanılacağına ilişkin örnekler aşağıdakileri içerir, ancak bunlarla sınırlı değildir:

• Bir örneğin tam kapasitesini doyurmak için yeterli trafiğe sahip olmayan farklı çerçevelerdeki (TensorFlow, PyTorch ve Scikit-learn gibi) modelleri barındırma
• Farklı makine öğrenimi algoritmaları (öneriler, tahmin veya sınıflandırma gibi) ve işleyici işlevleriyle aynı çerçevedeki modelleri barındırma
• A/B testi gibi senaryolar için farklı çerçeve sürümlerinde (TensorFlow 1.x ve TensorFlow 2.x gibi) çalışan benzer mimarilerin karşılaştırmaları

SageMaker çok değişkenli uç noktaları (MVE'ler), üretim değişkenlerini kullanarak aynı uç noktanın arkasında birden fazla modeli veya model versiyonunu test etmenize olanak tanır. Her üretim çeşidi, bir makine öğrenimi modelini ve modeli barındırmak için dağıtılan kaynakları (sunum kapsayıcısı ve örneği gibi) tanımlar.

SageMaker çok değişkenli uç noktalarına genel bakış

Üretim ML iş akışlarında, veri bilimcileri ve ML mühendisleri, veri/model/kavram sapmasına dayalı yeniden eğitim, hiper parametre ayarlama, özellik seçimi, çerçeve seçimi ve daha fazlası gibi çeşitli yöntemlerle modelleri geliştirir. Yeni bir model ile üretim trafiğine sahip eski bir model arasında A/B testi gerçekleştirmek, yeni bir modelin doğrulama sürecinde etkili bir son adım olabilir. A/B testinde modellerinizin farklı varyantlarını test eder ve her bir varyantın birbirine göre nasıl performans gösterdiğini karşılaştırırsınız. Daha sonra, önceki modeli, önceki sürümden daha iyi performans sağlayan yeni bir sürümle değiştirmek için en iyi performans gösteren modeli seçersiniz. Üretim varyantlarını kullanarak bu ML modellerini ve farklı model sürümlerini aynı uç noktanın arkasında test edebilirsiniz. Bu ML modellerini farklı veri kümeleri, farklı algoritmalar ve ML çerçeveleri kullanarak eğitebilirsiniz; bunları farklı örnek türlerine dağıtın; veya bu seçeneklerin herhangi bir kombinasyonu. SageMaker uç noktasına bağlı yük dengeleyici, çağrı isteklerini birden fazla üretim varyantına dağıtma yeteneği sağlar. Örneğin, her bir varyant için trafik dağıtımını belirterek trafiği üretim varyantları arasında dağıtabilir veya her istek için doğrudan belirli bir varyantı çağırabilirsiniz.

Ayrıca otomatik ölçeklendirme politikasını, saniye başına istek sayısı gibi metriklere dayalı olarak varyantlarınızın ölçeğini otomatik olarak artıracak veya azaltacak şekilde de yapılandırabilirsiniz.

Aşağıdaki şema MVE'nin nasıl çalıştığını daha ayrıntılı olarak göstermektedir.

Bir MVE'yi dağıtmak da çok basittir. Tek yapmanız gereken, model nesnelerini görüntü ve model verileriyle birlikte tanımlamaktır. create_model SageMaker Python SDK'sından oluşturun ve kullanarak uç nokta yapılandırmalarını tanımlayın. production_variant Her biri kendi farklı modeline ve kaynak gereksinimlerine (örnek türü ve sayısı) sahip üretim değişkenleri oluşturmak için yapılar oluşturur. Bu, modelleri farklı bulut sunucusu türlerinde de test etmenize olanak tanır. Dağıtmak için şunu kullanın: endpoint_from_production_variant uç noktayı oluşturmak için yapı.

Uç nokta oluşturma sırasında SageMaker, uç nokta ayarlarında belirtilen barındırma örneğini sağlar ve üretim değişkeni tarafından belirtilen modeli ve çıkarım kapsayıcısını barındırma örneğine indirir. Container başlatılıp ping ile sağlık kontrolü yapıldıktan sonra başarılı bir yanıt alınırsa kullanıcıya uç nokta oluşturma işleminin tamamlandığını belirten bir mesaj gönderilir. Aşağıdaki koda bakın:

sm_session.create_model(
	name=model_name,
	role=role,
	container_defs={'Image':  image_uri, 'ModelDataUrl': model_url}
	)

sm_session.create_model(
	name=model_name2,
	role=role,
	container_defs={'Image':  image_uri, 'ModelDataUrl': model_url2 }
	)

variant1 = production_variant(
	model_name=model_name,
	instance_type="ml.c5.4xlarge",
	initial_instance_count=1,
	variant_name="Variant1",
	initial_weight=1
	)

variant2 = production_variant(
	model_name=model_name2,
	instance_type="ml.m5.4xlarge",
	initial_instance_count=1,
	variant_name="Variant2",
	initial_weight=1
	)

sm_session.endpoint_from_production_variants(
	name=endpoint_name,
	production_variants=[variant1,  variant2]
	)

Önceki örnekte, her biri kendi farklı modeline sahip iki değişken oluşturduk (bunların aynı zamanda farklı örnek türleri ve sayıları da olabilir). Biz bir ayarladık initial_weight Her iki değişken için de 1: bu, taleplerimizin %50'sinin Variant1ve geri kalan %50'si Variant2. Her iki varyanttaki ağırlıkların toplamı 2'dir ve her varyantın ağırlık ataması 1'dir. Bu, her varyantın toplam trafiğin %50'sini aldığı anlamına gelir.

Uç noktayı çağırmak, yaygın SageMaker yapısına benzer. invoke_endpoint; Uç noktayı verilerle doğrudan yük olarak arayabilirsiniz:

sm_runtime.invoke_endpoint(
	EndpointName=endpoint_name,
	ContentType="text/csv",
	Body=payload
	)

SageMaker aşağıdaki gibi ölçümler yayınlar: Latency ve Invocations CloudWatch'taki her değişken için. SageMaker'ın yayınladığı ölçümlerin tam listesi için bkz. Amazon CloudWatch ile Amazon SageMaker'ı izleyin. Çağrıların varsayılan olarak değişkenlere nasıl bölündüğünü görmek için değişken başına çağrı sayısını almak üzere CloudWatch'u sorgulayabilirsiniz.

Modelin belirli bir versiyonunu çağırmak için bir varyantı şu şekilde belirtin: TargetVariant çağrısında invoke_endpoint:

sm_runtime.invoke_endpoint(
	EndpointName=endpoint_name,
	ContentType="text/csv",
	Body=payload,
	TargetVariant="Variant1"
	)

Doğruluk, hassasiyet, geri çağırma, F1 puanı ve her bir varyant için eğrinin altındaki alıcı çalışma karakteristiği/alanı gibi ölçümleri inceleyerek her bir üretim varyantının performansını değerlendirebilirsiniz. Amazon SageMaker Model Monitörü. Daha sonra, her bir modele atanan ağırlıkları arayarak güncelleyerek trafiği en iyi modele artırmaya karar verebilirsiniz. Uç Nokta Ağırlıklarını Ve Kapasitelerini Güncelle. Bu, uç noktanızda güncelleme yapılmasına gerek kalmadan üretim varyantlarınızın trafik dağıtımını değiştirir. Yani ilk kurulumdaki trafiğin %50'si yerine trafiğin %75'ini şuraya kaydırıyoruz: Variant2 kullanarak her bir değişkene yeni ağırlıklar atayarak UpdateEndpointWeightsAndCapacities. Aşağıdaki koda bakın:

sm.update_endpoint_weights_and_capacities(
	EndpointName=endpoint_name,
	DesiredWeightsAndCapacities=[
	{
		"DesiredWeight": 25,
		"VariantName": variant1["VariantName"]
	},
	{
		"DesiredWeight": 75,
		"VariantName": variant2["VariantName"]
	}
] )

Bir varyantın performansından memnun olduğunuzda trafiğin %100'ünü bu varyanta yönlendirebilirsiniz. Örneğin ağırlığı ayarlayabilirsiniz. Variant1 0'a ve ağırlığına Variant2 1'e. SageMaker daha sonra tüm çıkarım isteklerinin %100'ünü şuraya gönderir: Variant2. Daha sonra uç noktanızı güvenli bir şekilde güncelleyebilir ve silebilirsiniz Variant1 uç noktanızdan. Ayrıca uç noktanıza yeni değişkenler ekleyerek yeni modelleri üretimde test etmeye devam edebilirsiniz. Ayrıca bu uç noktaları, uç noktaların aldığı trafiğe göre otomatik olarak ölçeklenecek şekilde de yapılandırabilirsiniz.

Çok değişkenli uç noktaların avantajları

SageMaker MVE'ler aşağıdakileri yapmanıza olanak sağlar:

• Aynı SageMaker uç noktasını kullanarak bir modelin birden fazla varyantını dağıtın ve test edin. Bu, üretimdeki bir modelin varyasyonlarını test etmek için kullanışlıdır. Örneğin, bir modeli üretime dağıttığınızı varsayalım. Yeni modele küçük bir miktar trafik (örneğin %5) yönlendirerek modelin bir varyasyonunu test edebilirsiniz.
• CloudWatch'taki her bir değişken için operasyonel ölçümleri izleyerek, trafiği kesintiye uğratmadan üretimdeki model performansını değerlendirin.
• Üretimdeki modelleri kullanılabilirliği kaybetmeden güncelleyin. Halihazırda üretime dağıtılmış modelleri hizmet dışı bırakmadan bir uç noktayı değiştirebilirsiniz. Örneğin, yeni model varyantları ekleyebilir, mevcut model varyantlarının ML işlem örneği yapılandırmalarını güncelleyebilir veya model varyantları arasındaki trafik dağıtımını değiştirebilirsiniz. Daha fazla bilgi için bakınız GüncelleUç Noktası ve Uç Nokta Ağırlıklarını Ve Kapasitelerini Güncelle.

Çok değişkenli uç noktaları kullanırken karşılaşılan zorluklar

SageMaker MVE'ler aşağıdaki zorluklarla birlikte gelir:

• Yük testi çabası – Her değişken için test etmek ve model matrisi karşılaştırmaları yapmak için makul miktarda çaba ve kaynak harcamanız gerekir. Bir A/B testinin başarılı sayılması için, istatistiksel olarak anlamlı bir sonuç olup olmadığını belirlemek amacıyla testten toplanan metriklerin istatistiksel analizini yapmanız gerekir. Düşük performans gösteren değişkenleri keşfetmeyi en aza indirmek zorlayıcı olabilir. Potansiyel olarak kullanabilirsiniz çok kollu haydut Çalışmayan denemelere trafik gönderilmesini önlemek ve test ederken performansı optimize etmek için optimizasyon tekniği. Yük testi için şunları da keşfedebilirsiniz: Amazon SageMaker Çıkarım Öneri Aracı Gecikme ve aktarım hızı, özel trafik kalıpları ve seçtiğiniz bulut sunucuları (10'a kadar) için üretim gereksinimlerine dayalı olarak kapsamlı karşılaştırmalar yapmak.
• Model değişkeni ile uç nokta arasında sıkı bağlantı – Uç noktanın updating güncellenen her üretim çeşidinin durumu. SageMaker ayrıca destekler dağıtım korkuluklarıÜretimdeki mevcut modelden yeni modele kontrollü bir şekilde kolayca geçiş yapmak için kullanabileceğiniz. Bu seçenek tanıtılıyor kanarya ve doğrusal trafik değiştirme modları sayesinde güncelleme sırasında trafiğin mevcut modelinizden yeni modele aktarılması üzerinde ayrıntılı kontrole sahip olabilirsiniz. Otomatik geri alma gibi yerleşik korumalar sayesinde sorunları erkenden yakalayabilir ve üretim üzerinde önemli bir etkiye neden olmadan önce otomatik olarak düzeltici eylemi gerçekleştirebilirsiniz.

Çok değişkenli uç noktalar için en iyi uygulamalar

SageMaker MVE'leri kullanarak modelleri barındırırken aşağıdakileri göz önünde bulundurun:

• SageMaker, yeni modelleri test etmek için mükemmeldir çünkü bunları kolayca bir A/B test ortamına dağıtabilir ve yalnızca kullandığınız kadar ödersiniz. Uç nokta çalışırken her bulut sunucusu için tüketilen bulut sunucusu saati başına ücretlendirilirsiniz. Testlerinizi tamamladığınızda ve uç noktayı veya varyantları artık kapsamlı bir şekilde kullanmadığınızda, maliyetten tasarruf etmek için onu silmelisiniz. Model, içinde saklandığı için tekrar ihtiyaç duyduğunuzda her zaman yeniden oluşturabilirsiniz. Amazon Basit Depolama Hizmeti (Amazon S3).
• Modelleri dağıtmak için en uygun bulut sunucusu türünü ve boyutunu kullanmalısınız. SageMaker şu anda şunları sunuyor: Makine öğrenimi işlem örnekleri çeşitli örnek ailelerde. Bir uç nokta örneği her zaman çalışıyor (örnek hizmetteyken). Bu nedenle doğru bulut sunucusu türünün seçilmesi, ML modellerinin toplam maliyeti ve performansı üzerinde önemli bir etkiye sahip olabilir. Yük testi Aşırı tedarikten ve ihtiyacınız olmayan kapasite için fazladan ödeme yapmaktan kaçınmak amacıyla, canlı uç noktanız için otomatik ölçeklendirme olsun veya olmasın, uygun bulut sunucusu tipini ve filo boyutunu belirlemek için en iyi uygulamadır.
• CloudWatch'ta model performansını ve kaynak kullanımını izleyebilirsiniz. Bir yapılandırabilirsiniz ProductionVariant kullanmak Uygulama Otomatik Ölçeklendirme. Bir ölçeklendirme ilkesine ilişkin metrikleri ve hedef değerleri belirlemek için, hedef izleme ölçeklendirme ilkesini yapılandırırsınız. Önceden tanımlanmış bir metriği veya özel bir metriği kullanabilirsiniz. İlke yapılandırma söz dizimi hakkında daha fazla bilgi için bkz. TargetTrackingScalingPolicyConfiguration. Otomatik ölçeklendirmeyi yapılandırma hakkında bilgi için bkz. Amazon SageMaker Modellerini Otomatik Olarak Ölçeklendirin. Bir değişkene yönelik hedef izleme ölçeklendirme politikasını hızlı bir şekilde tanımlamak için belirli bir CloudWatch metriğini seçebilir ve eşik değerlerini ayarlayabilirsiniz. Örneğin, metrik kullanın SageMakerVariantInvocationsPerInstance bir değişkene ilişkin her bir örneğin dakikada ortalama kaç kez çağrıldığını izlemek veya metrik kullanmak için CPUUtilization CPU tarafından gerçekleştirilen işin toplamını izlemek için. Aşağıdaki örnek şunu kullanır: SageMakerVariantInvocationsPerInstance Her örneğin bir değeri olacak şekilde değişken örneklerin sayısını ayarlamak için önceden tanımlanmış metrik InvocationsPerInstance 70'in ölçüsü:

{
	"TargetValue": 70.0,
	"PredefinedMetricSpecification":
	{
		"PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
	}
}

• Bir modeli dağıttıktan sonra model yapıtlarını değiştirmek veya silmek ya da çıkarım kodunu değiştirmek, öngörülemeyen sonuçlar doğurur. Modelleri üretime dağıtmadan önce, çıkarım kodu parçacıklarında (örneğin, model_fn, input_fn, predict_fn, ve output_fn) SageMaker dizüstü bilgisayar örneği veya yerel sunucu gibi yerel geliştirme ortamında. Model yapıtlarını değiştirmeniz veya silmeniz ya da çıkarım kodunu değiştirmeniz gerekiyorsa yeni bir uç nokta yapılandırması sağlayarak uç noktayı değiştirin. Yeni uç nokta yapılandırmasını sağladıktan sonra eski uç nokta yapılandırmasına karşılık gelen model yapıtlarını değiştirebilir veya silebilirsiniz.
• SageMaker'ı kullanabilirsiniz toplu dönüştürme üretim çeşitlerini test etmek. Toplu dönüşüm, büyük veri kümelerinden çıkarımlar elde etmek için idealdir. Her yeni model çeşidi için ayrı bir dönüştürme işi oluşturabilir ve test etmek için bir doğrulama veri kümesi kullanabilirsiniz. Her dönüştürme işi için Amazon S3'te çıktı dosyasına yönelik benzersiz bir model adı ve konumu belirtin. Sonuçları analiz etmek için şunu kullanın: çıkarım hattı günlükleri ve ölçümleri.

Sonuç

SageMaker, bir uç noktada birden fazla üretim varyantını çalıştırarak üretimdeki ML modellerini kolayca A/B testine tabi tutmanıza olanak tanır. Farklı eğitim veri kümeleri, hiperparametreler, algoritmalar veya ML çerçeveleri kullanılarak eğitilmiş modelleri test etmek için SageMaker'ın yeteneklerini kullanabilirsiniz; farklı bulut sunucusu türlerinde nasıl performans gösterdikleri; veya yukarıdakilerin hepsinin bir kombinasyonu. Bir uç noktadaki varyantlar arasındaki trafik dağıtımını sağlayabilirsiniz ve SageMaker, çıkarım trafiğini belirtilen dağıtıma göre varyantlara böler. Alternatif olarak, belirli müşteri segmentlerine yönelik modelleri test etmek istiyorsanız, bir çıkarım isteğini işlemesi gereken değişkeni aşağıdakileri sağlayarak belirtebilirsiniz: TargetVariant başlık ve SageMaker isteği belirttiğiniz değişkene yönlendirecektir. A/B testi hakkında daha fazla bilgi için bkz. Üretimdeki modelleri güvenle güncelleyin.

Referanslar

yazarlar hakkında

Deepali Rajale Amazon Web Services'ta AI/ML Uzmanı Teknik Hesap Yöneticisidir. En iyi uygulamalarla makine öğrenimi çözümlerinin uygulanması konusunda teknik rehberlik sağlayan kurumsal müşterilerle birlikte çalışır. Boş zamanlarında yürüyüş yapmaktan, film izlemekten ve ailesi ve arkadaşlarıyla takılmaktan hoşlanıyor.

Dhaval Patel AWS'de Baş Makine Öğrenimi Mimarıdır. Dağıtılmış bilgi işlem ve Yapay Zeka ile ilgili sorunlar üzerinde büyük kuruluşlardan orta ölçekli girişimlere kadar çeşitli kuruluşlarla çalıştı. NLP ve Computer Vision alanları dahil olmak üzere Derin öğrenmeye odaklanmaktadır. Müşterilerin SageMaker'da yüksek performanslı model çıkarımı yapmasına yardımcı olur.

Saurabh Trikande Amazon SageMaker Inference için Kıdemli Ürün Yöneticisidir. Müşterilerle çalışma konusunda tutkulu ve makine öğrenimini demokratikleştirme hedefiyle motive oluyor. Karmaşık makine öğrenimi uygulamaları, çok kiracılı makine öğrenimi modelleri, maliyet optimizasyonları ve derin öğrenme modellerinin dağıtımını daha erişilebilir hale getirmeyle ilgili temel zorluklara odaklanıyor. Saurabh boş zamanlarında yürüyüş yapmaktan, yenilikçi teknolojiler hakkında bilgi edinmekten, TechCrunch'ı takip etmekten ve ailesiyle vakit geçirmekten hoşlanıyor.