post

Uýnh con Quái vật

1.Không biết sao mà team Tam Quốc Chế lại chế ra cái ảnh này đúng lúc mình đang đọc cuốn Vương quốc sáng tạo. Mình đồ rằng cái ảnh này sẽ ít tương tác vì nó không có tính giải trí, nhưng cá nhân mình thích mê. Thích mấy bạn vẽ rất cẩn thận và chi tiết. Chi tiết ở cái chỗ nếu nhìn góc của Trương Phi và hai con ruồi thì sẽ lăn ra cười. Rồi nhìn cái câu “Còn quái vật là còn đi đúng hướng” mà nhắm mắt.

2.”Con Quái Vật đói khát và đứa bé xấu xí” là chương tiếp theo của chương “Sợ hãi và thất bại”. Chương này Ed Catmull viết về cách mà Pixar cùng ông đã đối mặt với sự thất bại, đã nuôi dưỡng thói quen thất bại như thế nào trong công ty. Ed cũng viết về lứa quản lý tầm trung vừa phải chọn lựa giữa việc đạt KPI đúng hạn với việc dành thời gian đào tạo nhân viên của mình – thường thì họ sẽ chọn đạt KPI.

Những nhân viên của bạn rất thông minh; đó là lý do vì sao bạn thuê họ. Vì vậy, hãy đối xử với họ theo cách đó. Họ biết khi nào thông điệp bạn đưa ra là một thông điệp quan trọng. Khi các quản lý giải thích kế hoạch là gì mà không có một lý do, mọi người sẽ phân vân những điều họ “thực sự” cần giải quyết là gì…

Khi chúng ta thành thực, mọi người sẽ biết điều đó.Ed Catmull

Con Quái Vật – đó có thể chính là một thất bại của Pixar, bộ phim Monster Inc.

3.Con Quái Vật của một công ty lớn cũng như con quái vật nhỏ trong lòng bạn – sự đói thành công – như một người nghiện cần tăng dope. Quái Vật không phải là xấu tuyệt đối – bạn không thể tiến lên nếu bạn không nuôi dưỡng khát khao thành công. Nhưng nuôi Quái Vật đồng nghĩa với việc bạn nuông chiều một thứ cực kỳ đắt đỏ, chiếm phần lớn chi phí của công ty. Rồi bạn phải đối mặt với việc mất cân bằng nghiêm trọng. Không phải công ty lớn đâu, chính bạn (hoặc mình) cũng có những con quái vật riêng của bản thân.

Và vậy mới nói, cái câu “Quái vật đánh mãi không hết, nhưng còn quái vật là còn đi đúng hướng” của ai đó đằng sau tấm hình ở trên mới đúng làm sao. Đúng lắm lắm luôn, cho tới một ngày bạn nhận ra bạn thiếu cân bằng trầm trọng – bạn thiếu những ý tưởng mới – bạn chỉ đang cố gắng làm theo thói quen nhưng lại rồi mong đợi thành công lớn hơn đến với mình. Rồi tệ hơn, bạn thấy hoá ra bạn có đầy ý tưởng mới, bạn chỉ thiếu cách để nuôi dưỡng các ý tưởng đó, bảo vệ nó, che khuất nó khỏi tầm mắt của con Quái Vật để nó có không gian riêng tự phát triển.

Chương ấy, kết bằng câu của Ego – nhà phê bình trong phim Chú chuột đầu bếp, một bộ phim vô cùng thành công của Pixar và cũng là đoạn mình thích nhất trong phim – đoạn ông nội phê bình ẩm thực khen ngợi tài năng của chú chuột. Ego nói thế này :

In many ways, the work of a critic is easy. We risk very little, yet enjoy a position over those who offer up their work and their selves to our judgment. We thrive on negative criticism, which is fun to write and to read. But the bitter truth we critics must face is that, in the grand scheme of things, the average piece of junk is probably more meaningful than our criticism designating it so. But there are times when a critic truly risks something, and that is in the discovery and defense of the new. The world is often unkind to new talent, new creations. The new needs friends.Ed Catmull
post

Kể chuyện bằng data : tránh huyễn hoặc bản thân

Bài này của Forbes khá hay (mặc dù ngắn). Note lại 3 điểm cho khỏi quên.

1.Đừng nghĩ cứ vẽ chart ra là ai cũng hiểu cái chart đó nói gì

Ví dụ trên, cùng một số liệu, cùng một cách trình bày chart (Pie) nhưng bên phải nêu rõ ràng sự khác biệt của Utah với phần còn lại. Tác giả nói vầy :

Every data story should convey or build up to a main point or idea. A data visualization fails to tell a story when your audience doesn’t clearly understand the central insight or idea that’s being conveyed.

While these charts may empower audiences to discover their own insights and data stories, they don’t tell a story.

2.Kể chuyện bằng data thì cứ vẽ chart ra là xong

Cái gì cũng phải có kịch bản, có dữ liệu, có cách thể hiện rõ ràng. Do vậy đừng có mơ là cứ vẽ một đống chart chả liên quan gì tới nhau là xong. Tác giả nói rằng :

A story is not just a bunch of pretty pictures—it is an account of a causally related or connected series of events. The narrative elements in a data story provide structure and help to create meaning from an assortment of data points that might otherwise feel quite random.

3.Kể chuyện phải có đầu bài, thân bài và kết luận

Èo, mình không định làm bài tập làm văn đúng không? Có rất nhiều cách kể chuyện khác nhau mà ở trên đây là một motive quen thuộc (Zero to Hero). Vì vậy, giống như phần 2, phải nắm rõ điều mình muốn nói, chọn lựa kịch bản phù hợp để trình bày.

post

Phân tích kết quả A/B test sử dụng kiểm định chi-square

1.Đặt vấn đề :

Banner A1 đang có performance bình thường (ví dụ CTR là 1,2%). Team mong muốn sửa đổi banner (ví dụ như sửa chữ Chơi ngay trên nút CTA thành Tải ngay). Sau khi sửa và chạy thử trong 3 ngày (gọi banner đã sửa là banner A2), kết quả thu được CTR là 1,5%. Vậy, performance của A2 có tốt hơn performance của A1 hay không?

Một vấn đề tương tự, giả sử mình là nhân viên sòng bạc. Mình nhận một con xúc xắc về và cần phải kiểm tra xem con xúc xắc này có đạt chất lượng hay không. Theo thống kê thông thường, đạt chất lượng tức là mình gieo nó 600 lần thì mỗi mặt sẽ phải hiện ra 100 lần. Tuy vậy, kết quả tương ứng lần lượt là 95-103-100-98-96-108. Vậy, mình nên kết luận con xúc xắc này không đạt chất lượng?

2.Kiểm định Chi-Square :

Kiểm định này ra đời năm 1900 bởi nhà toán học Karl Pearson. Mặc dù kiểm định này là một trong các kiểm định gây tranh cãi trong giới học thuật nhưng nó vẫn được sử dụng khá nhiều cho tới nay bởi tính đơn giản trong việc tính toán.

Tại sao phải tính? Đơn giản là do mình chỉ có kết quả thử nghiệm ở một số lượng mẫu nhỏ, không đại diện cho toàn bộ dân số (ở trường hợp xúc xắc là mình không tung xúc xắc cho tới vô tận lần tung nên không kết luận chính xác được).

Theo StatTrek, để thực hiện kiểm định này cần trải qua 4 bước sau đây :

Bước 1 - Nêu giả định

Trong bước này, cần đưa ra giả định vô hiệu (gọi là H0 – null hypothesis), ngược lại với giả thuyết ban đầu.

Ví dụ với xúc xắc ở trên, giả định là gieo xúc xắc 600 lần sẽ ra 100 lần đều ở 6 mặt. Do vậy, mình sẽ đưa ra giả định vô hiệu (H0) của giả định này nói rằng gieo 600 lần sẽ không ra được đều như vậy đâu. Mục tiêu của mình là phải xem với dữ liệu mình có, dữ liệu này có bác bỏ được giả thuyết vô hiệu hay không!

Bước 2 - Thiết lập các thông số để phân tích giả định

Trong bước này, cần đưa ra Significance level (giá trị từ 0 tới 1) còn được gọi là Hệ số ý nghĩa hay p-value. Hệ số này sẽ quyết định xem giả định H0 được chấp nhận hay không.

Thông thường, giá trị p-value sẽ được chọn =0,05. Ở đây, mình thử chọn p=0,05 theo khuyến cáo mặc định. [Read more…]

post

Customer Journey of Mobile Users

Nguồn bài viết : Business2Community

Trước đây sử dụng funnel truyền thống là Awareness – Interest – Desire – Action.

Hiện tại đề xuất : Loyal – Active – Lapsing – Inactive. Mô hình này bỏ qua các bước phía trên như Awareness/Interest mà tập trung nhiều hơn vào phần sau khi user đã cài app. Điều này dẫn tới việc re-engage user để user có thể tiếp tục sử dụng app là quan trọng. Re-engage có thể thực hiện bằng nhiều cách, từ in-app, bắn notification cho tới gửi email, chạy quảng cáo re-targeting.

Update 16Jul :

 

 

Một bài viết khác tới từ AdExchanger cũng khá hay.

Ironically, during my week in Cannes, I would argue that the five most spoken words were data, analytics, technology, programmatic and content.

To me, it makes perfect sense. Customers now have journeys that cascade through the entire marketing funnel. And these journeys are enabled by competencies in those five categories. Over the past year, I have spent a lot of time talking about how that funnel is expanding. The mid-funnel, which was the historical sweet spot for CRM tactics, had expanded up the funnel with programmatic and people-based marketing, and down the funnel with personalization. But as reality has unfolded, the opportunity has permeated throughout the funnel. From awareness to consideration through conversion and even loyalty, the entire funnel is delivering the personalized customer journey using data, technology, analytics, programmatic and content as the enablers.Craig Dempster

post

Phân tích dữ liệu cho game : bạn đang ở đâu?

Bài này ở Dataconomy nói khá rõ về những lần tiến hoá trong việc phân tích dữ liệu cho game. Cá nhân mình thì cho rằng mình đang ở giữa mức 1 và 2, có hơi hướng ở phần 3 khi có kết hợp công nghệ xử lý dữ liệu như Hadoop, Hive… 🙁 – khá buồn. Chuyện buồn này có thể xảy ra do mình đứng ở marketing-side của phần game-người-ta, không đi được cùng developer nhiều như các bạn làm marketing cho studio. Bạn đọc thêm để biết rõ nhé.

Over the last few years, there has been a significant shift in the games industry’s use of analytics. This evolution can be tracked across three distinct phases:

Analytics 1.0 – This was focused solely on game performance; dashboard reporting of what had happened in the game, but without providing the clarity that would enable developers to know where any issues may lie, or how to solve them.

Analytics 2.0 – This phase was about changing the game at the design level. Developers could see where the problems were, but could only implement broad-brush and one-size-fits-all changes to the game.

Analytics 3.0 – The most current approach. Deep Data – the combination of a large number of data points, incredibly fast database technology and multiple data sources – enables the gaming experience to be personalized for individual players within segments, based on their engagement and playing style.Dataconomy

In a recent deltaDNA survey of in-game advertising, 50% of games with 100k+ DAU (daily active users) said they provided different experiences to different non-paying players.Dataconomy
post

Box & Whisker – tránh bẫy trung bình

1.Bẫy trung bình rất là nguy hiểm (thì bẫy là phải nguy hiểm rồi, không sao bẫy được ai :D). Giả sử mình chạy 2 game với 3 channel khác nhau có được số liệu như sau (bạn có thể thay chữ game = mặt hàng, install = giá để bán một mặt hàng trong ngày)

Thế rồi, mình chỉ việc báo cáo với anh sếp “Anh, tuần này ok anh, giá trung bình mua install vẫn giữ nguyên 0.51$/install mà volume chỉ giảm có xíu xiu, chưa tới 10% anh.” Vậy là ăn ngon ngủ yên cho tới tiếp tận tuần sau. Thế nhưng nếu nhìn kỹ cái bảng này thì đâu có nhiều 0.5$ đúng không? có tận 0.7,0.8, 1.2 và cũng có tận 0.1,0.2 cơ mà?

2.Nếu muốn nhìn đơn giản thì cái gì nó cũng đơn giản. Nếu muốn nhìn phức tạp thì nó sẽ rất phức tạp. Nếu muốn nhìn cái phức tạp một cách đơn giản hơn thì sao? Vẽ chart. Vẽ lại cái bảng lúc nãy nhé.

Đường chấm đen ở giữa đại diện cho giá trị trung bình đã báo cáo với anh sếp đẹp trai. Tuy vậy, nếu nhìn biểu đồ box & whisker này, mình sẽ thấy đường này không đại diện cho những gì thực sự cần nói. Giá FB với Game1 cao hơn trung bình, GG với Game1 thấp… Ngoài ra, Game1 kênh FB có giá cao bất thường, GG thì có đột biến về giá (outlier). Vậy là phải hỏi TẠI SAO? [Read more…]

post

Xài Google Apps Script hỗ trợ build dashboard về traffic

 

Initial Prob :

Một ngày như mọi ngày, tự dưng thấy số game mình chạy bắt đầu tăng lên. Tự dưng ngày nào cũng phải tốn thời gian vào Adwords để lấy số liệu bằng tay, hên hên xui xui có khi mất cả 30-45p, phải hôm buồn ngủ thì paste số sai rồi mãi cuối tháng mới phát hiện. Tại sao công việc cứ lặp đi lặp lại mình không để máy làm? Tại sao đã để máy làm thì không ghép luôn số tiền burn với NRU thu được để ra CPA.

Take 1:

Sử dụng Google Adwords Script để lấy dữ liệu tự động về. Cái này bây giờ nằm trong phần Bulk Operations >>> Scripts. Trong phần này :

  • Duyệt qua các account đang chạy lấy thông số (Click, Imp, Cost, Conversion …)
  • Sử dụng SpreadsheetApp trong đó để ghi thông số lấy được vào file Google Spreadsheet.
  • Tính toán để report overview (ví dụ như tổng số tiền hôm qua burn là bao nhiêu), sau đó gửi email khi script chạy xong.
  • Đặt giờ để script chạy (có thể schedule Daily, Weekly …) theo giờ mình tuỳ chọn. Mình khoái đặt lúc 5-6h gì đó cho nó … vắng.

Cuối cùng chỉ việc đơn giản sáng đi uống cf thêm 30-45p, sau đó ở quán cf mở email ra coi là thấy Overview hàng ngày (đồng thời biết luôn script có chạy hay lỗi), nếu có prob gì thì mở file ra coi là xong. Khoẻ một tập. Đừng hỏi mình code như thế nào, cứ search “Google Adwords Script”, coi ví dụ, tự vọc là được, mình không chỉ đâu lolz.

Prob nâng cấp lần 1:

Cái này chỉ chạy được với Google, vậy thì với Facebook thì sao? Team FB không đi uống cf được hả? [Read more…]

post

Hiểu số để tăng/giảm số

Hôm rồi nhân sự kiện ra mắt cuốn Hiểu số để tăng số, mình có được tham dự với vai trò diễn giả chia sẻ quá trình sử dụng số/data trong quá trình làm việc từ Baomoi cho tới VNG/360Game. Ở trên là slide chia sẻ, dưới đây là một vài note về kinh nghiệm đau thương khi làm việc với số :

  • Số vô tình, người cũng vô tình. Vậy nên là rất hay rơi vào tình trạng Confirmation Bias : chỉ cố gắng tìm số/nghe những số gì mình muốn nghe để thuyết phục bản thân mình. Người làm số mà mang định kiến thì cũng vậy.
  • Làm game ở VNG – công ty 10 năm kinh nghiệm thì sẽ có rất nhiều rules of thumb, nhiều giả thuyết outdate trở thành chân lý. Phải kiên định (đương nhiên mà sếp ko ủng hộ thì kiên với định cũng thối đầu) để thay đổi.
  • Mình hạnh phúc vì may mắn đi lên từ dân Tech. Làm số bây giờ phải có tech support mới làm được (nhưng đừng có painful, nếu ko có thì đi tìm người support – không dễ nhưng không quá khó)
  • Nếu làm game mà chăm chăm nhìn vào install với giá thì fail có ngày không biết tại sao. Hiểu rõ flow, hiểu rõ cách thay đổi góc nhìn, có hệ thống support (+ tech team tài năng), có sếp support thì sẽ nhìn ra được nhiều vấn đề hơn (sao phải nhắc đi nhắc lại chuyện sếp support, từ CEO tới line manager suốt ngày chỉ cảm tính thì tốt nhất bạn nên nghỉ quách mà kiếm cty khác data-driven mà làm). Ví dụ trong slide, nếu chuyển góc nhìn sang Retention 7 và giá cho một user sau 7 ngày thì câu chuyện sẽ khác hẳn.
  • Noti5/Starbuzz bị chết rồi, nhưng câu chuyện vẫn còn. Làm Baomoi gom cho lắm dữ liệu vào, người đọc cũng chỉ đọc có 8-12 tiếng là tin tức bị cũ. Nhưng nếu gom nó vào để phân tích cho nhãn hàng thì cái đó không cũ. Làm dữ liệu cũng vậy, có cái cần phân tích nhanh, có cái phải để lâu mới phân tích được.
  • Lời khuyên của mình (sau buổi nói chuyện có được tiếp chuyện 3 bạn, cả 3 bạn đều struggle về đoạn này) – đi với bụt mặc áo cà sa, đi với ma mặc áo giấy. Đã biết data cần tech support thì hãy cố kiếm cách mà nói chuyện nhiều hơn với những người đang làm tech ở team (nếu bạn là người đưa ra logic phân tích) để hiểu cách họ translate logic của bạn với máy chủ, những khó khăn họ gặp … Phải thực hành, liên tục thực hành, làm dữ liệu có nhiều phần từ đi gom, làm sạch, phân tích, làm báo cáo … cái nào cũng phải thực hành hết.

 

Nhớ mua sách nhé. Tên sách là “Hiểu số để tăng số”. Các bạn bay bay nên đọc, các bạn đi bộ cũng nên đọc ^^

post

Remarketing vs Retargeting

Remarketing vs Retargeting

Bài của Fiksu khá hay, note lại cho khỏi quên. Điểm khác biệt :

  • Re-marketing : sử dụng cross platform (từ các kênh không phải mobile) để user có thể download. Hai ví dụ dễ nhất là target tới tập chơi webgame (FB) để acquire install mobile game và sử dụng email lấy từ web để acquire install mobile
  • Re-targeting : target tới tập đã cài app để giúp tăng retention, monetisation.
post

Cohort Analysis – đào sâu mới mong tìm được vàng

Src : https://amplitude.com/blog/2015/11/24/cohorts-to-improve-your-retention/

Note nhanh, viết lại sau :

  • Hai loại phân tích cohort : Acquisition Cohort – phân chia user theo thời điểm user đăng ký sử dụng app/Behavioral Cohort – phân chia user theo nhóm hành vi trong một khoảng thời gian nhất định. Phân tích cohort sâu hơn sẽ tránh nhiễu khi cào bằng chỉ số DAU/MAU.
  • Coi kỹ thêm video này : https://www.youtube.com/watch?v=ch7aps2h8zQ

Phải rất chú ý tới câu hỏi “Thực sự mình có thể làm được gì!”

The problem is that from just looking at acquisition cohorts, you don’t have any information about how you can improve the user experience to retain your users. You can’t isolate specific behaviors or user properties.

Acquisition cohorts are great for showing you trends and telling you when people are churning, but to understand why they are leaving you need to turn to another type of cohorts: behavioral cohorts.

Just because people who favorite songs and join communities churn less doesn’t mean that driving people towards these behaviors will magically make them stay with the app forever. A call-to-action getting them to join 20 communities immediately upon sign up will probably end badly.

That’s because favoriting songs and joining communities could be merely correlated with user engagement, not causing it.