Xây dựng nhắm mục tiêu theo ngữ cảnh dựa trên phân loại bằng cách sử dụng AWS Media Intelligence và Hugging Face BERT

Khi các quy định mới về quyền riêng tư dữ liệu như GDPR (Quy định bảo vệ dữ liệu chung, 2017) có hiệu lực, khách hàng chịu áp lực ngày càng tăng trong việc kiếm tiền từ tài sản truyền thông trong khi tuân thủ các quy tắc mới. Kiếm tiền từ phương tiện truyền thông trong khi tôn trọng các quy định về quyền riêng tư đòi hỏi khả năng tự động trích xuất siêu dữ liệu chi tiết từ các nội dung như tệp văn bản, hình ảnh, video và âm thanh trên quy mô internet. Nó cũng yêu cầu một cách có thể mở rộng để liên kết các tài sản truyền thông với các nguyên tắc phân loại trong ngành nhằm tạo điều kiện thuận lợi cho việc khám phá và kiếm tiền từ nội dung. Trường hợp sử dụng này đặc biệt có ý nghĩa đối với ngành quảng cáo vì các quy tắc bảo mật dữ liệu gây ra sự thay đổi từ việc nhắm mục tiêu theo hành vi bằng cách sử dụng cookie của bên thứ ba.

Cookie của bên thứ ba giúp bật quảng cáo được cá nhân hóa cho người dùng web và cho phép nhà quảng cáo tiếp cận đối tượng mong muốn của họ. Giải pháp truyền thống để phân phát quảng cáo mà không cần cookie của bên thứ ba là quảng cáo theo ngữ cảnh, đặt quảng cáo trên các trang web dựa trên nội dung được xuất bản trên các trang đó. Tuy nhiên, quảng cáo theo ngữ cảnh đặt ra thách thức trong việc trích xuất ngữ cảnh từ nội dung truyền thông trên quy mô lớn và tương tự như vậy khi sử dụng ngữ cảnh đó để kiếm tiền từ nội dung đó.

Trong bài đăng này, chúng tôi thảo luận về cách bạn có thể xây dựng giải pháp máy học (ML) mà chúng tôi gọi là Trình ánh xạ phân loại thông minh theo ngữ cảnh (CITM) để trích xuất ngữ cảnh từ nội dung kỹ thuật số và ánh xạ nó tới các phân loại tiêu chuẩn để tạo ra giá trị. Mặc dù chúng tôi áp dụng giải pháp này cho quảng cáo theo ngữ cảnh nhưng bạn có thể sử dụng nó để giải quyết các trường hợp sử dụng khác. Ví dụ: các công ty công nghệ giáo dục có thể sử dụng nó để ánh xạ nội dung của họ theo các nguyên tắc phân loại trong ngành nhằm tạo điều kiện học tập thích ứng nhằm mang lại trải nghiệm học tập được cá nhân hóa dựa trên nhu cầu cá nhân của học sinh.

Tổng quan về giải pháp

Giải pháp bao gồm hai thành phần: AWS Media Intelligence (AWS MI) để trích xuất ngữ cảnh từ nội dung trên trang web và CITM để ánh xạ nội dung một cách thông minh tới phân loại ngành. Bạn có thể truy cập vào giải pháp kho mã để có cái nhìn chi tiết về cách chúng tôi triển khai các thành phần của nó.

AWS Media Intelligence

Khả năng của AWS MI cho phép trích xuất siêu dữ liệu tự động nhằm cung cấp hiểu biết theo ngữ cảnh về nội dung của trang web. Bạn có thể kết hợp các kỹ thuật ML như thị giác máy tính, lời nói thành văn bản và xử lý ngôn ngữ tự nhiên (NLP) để tự động tạo siêu dữ liệu từ văn bản, video, hình ảnh và tệp âm thanh để sử dụng trong quá trình xử lý tiếp theo. Các dịch vụ AI được quản lý như Nhận thức lại Amazon, Phiên âm Amazon, Amazon hiểuvà Văn bản Amazon làm cho các kỹ thuật ML này có thể truy cập được bằng cách sử dụng lệnh gọi API. Điều này giúp loại bỏ chi phí cần thiết để đào tạo và xây dựng mô hình ML từ đầu. Trong bài đăng này, bạn sẽ thấy cách sử dụng Amazon Comprehend và Amazon Rekognition cho thông tin truyền thông cho phép trích xuất siêu dữ liệu trên quy mô lớn như thế nào.

Công cụ lập bản đồ phân loại thông minh theo ngữ cảnh

Sau khi trích xuất siêu dữ liệu từ nội dung đa phương tiện, bạn cần có cách ánh xạ siêu dữ liệu đó tới phân loại ngành để tạo điều kiện thuận lợi cho việc nhắm mục tiêu theo ngữ cảnh. Để thực hiện việc này, bạn xây dựng Trình ánh xạ phân loại thông minh theo ngữ cảnh (CITM), được hỗ trợ bởi trình biến đổi câu BERT từ Ôm mặt.

Trình biến đổi câu BERT cho phép CITM phân loại nội dung web bằng các từ khóa liên quan đến ngữ cảnh. Ví dụ: nó có thể phân loại một bài viết trên web về lối sống lành mạnh bằng các từ khóa từ phân loại ngành, chẳng hạn như “Nấu ăn và ăn uống lành mạnh”, “Chạy bộ và chạy bộ”, v.v., dựa trên văn bản được viết và hình ảnh được sử dụng trong bài viết. CITM cũng cung cấp khả năng chọn các thuật ngữ phân loại được ánh xạ để sử dụng cho quy trình đặt giá thầu quảng cáo dựa trên tiêu chí của bạn.

Sơ đồ sau minh họa quan điểm khái niệm về kiến ​​trúc với CITM.

Phân loại nội dung của IAB (Cục quảng cáo tương tác)

Đối với bài đăng này, chúng tôi sử dụng Phân loại nội dung của IAB Tech Lab làm phân loại tiêu chuẩn ngành cho trường hợp sử dụng quảng cáo theo ngữ cảnh. Theo thiết kế, phân loại IAB giúp người tạo nội dung mô tả chính xác hơn nội dung của họ và cung cấp ngôn ngữ chung cho tất cả các bên trong quy trình quảng cáo có lập trình. Việc sử dụng thuật ngữ phổ biến là rất quan trọng vì việc lựa chọn quảng cáo cho trang web mà người dùng truy cập phải diễn ra trong vòng một phần nghìn giây. Hệ thống phân loại IAB đóng vai trò như một cách tiêu chuẩn hóa để phân loại nội dung từ nhiều nguồn khác nhau, đồng thời cũng là một giao thức ngành mà các nền tảng đặt giá thầu theo thời gian thực sử dụng để lựa chọn quảng cáo. Nó có cấu trúc phân cấp, cung cấp chi tiết các thuật ngữ phân loại và ngữ cảnh nâng cao cho nhà quảng cáo.

Quy trình giải pháp

Sơ đồ sau minh họa quy trình giải pháp.

Các bước thực hiện như sau:

1. Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) lưu trữ phân loại nội dung IAB và nội dung web được trích xuất.
2. Amazon Comprehend thực hiện lập mô hình chủ đề để trích xuất các chủ đề phổ biến từ bộ sưu tập bài viết.
3. Amazon Rekognition API nhãn đối tượng phát hiện nhãn trong hình ảnh.
4. CITM ánh xạ nội dung theo phân loại tiêu chuẩn.
5. Theo tùy chọn, bạn có thể lưu trữ nội dung để ánh xạ phân loại trong kho siêu dữ liệu.

Trong các phần sau, chúng tôi sẽ hướng dẫn chi tiết từng bước.

Amazon S3 lưu trữ phân loại nội dung IAB và nội dung web được trích xuất

Chúng tôi lưu trữ văn bản và hình ảnh được trích xuất từ ​​một bộ sưu tập các bài viết trên web trong bộ chứa S3. Chúng tôi cũng lưu trữ phân loại nội dung IAB. Bước đầu tiên, chúng tôi ghép các bậc khác nhau trong phân loại để tạo ra các thuật ngữ phân loại kết hợp. Cách tiếp cận này giúp duy trì cấu trúc phân cấp của phân loại khi trình biến đổi câu BERT tạo các phần nhúng cho mỗi từ khóa. Xem đoạn mã sau:

def prepare_taxonomy(taxonomy_df):
    
    """
    Concatenate IAB Tech Lab content taxonomy tiers and prepare keywords for BERT embedding. 
    Use this function as-is if using the IAB Content Taxonomy
    
    Parameters (input):
    ----------
    taxonomy_df : Content taxonomy dataframe

    Returns (output):
    -------
    df_clean : Content taxonomy with tiers in the taxonomy concatenated
    keyword_list: List of concatenated content taxonomy keywords
    ids: List of ids for the content taxonomy keywords
    """
    
    df = taxonomy_df[['Unique ID ','Parent','Name','Tier 1','Tier 2','Tier 3']] 
    df_str = df.astype({"Unique ID ": 'str', "Parent": 'str', "Tier 1": 'str', "Tier 2": 'str', "Tier 3": 'str'})
    df_clean = df_str.replace('nan','')
    
    #create a column that concatenates all tiers for each taxonomy keyword
    df_clean['combined']=df_clean[df_clean.columns[2:6]].apply(lambda x: ' '.join(x.dropna().astype(str)),axis=1)
    
    #turn taxonomy keyords to list of strings a prep for encoding with BERT sentence transformer
    keyword_list=df_clean['combined'].to_list()
                       
    #get list of taxonomy ids
    ids = df_clean['Unique ID '].to_list()                  
            
    return df_clean, keyword_list, ids

taxonomy_df, taxonomy_terms, taxonomy_ids = prepare_taxonomy(read_taxonomy)

Sơ đồ sau đây minh họa phân loại ngữ cảnh của IAB với các cấp độ kết hợp.

Amazon Comprehend thực hiện lập mô hình chủ đề để trích xuất các chủ đề phổ biến từ bộ sưu tập bài viết

Với API lập mô hình chủ đề Amazon Comprehend, bạn phân tích tất cả văn bản bài viết bằng mô hình Phân bổ Dirichlet tiềm ẩn (LDA). Mô hình này kiểm tra từng bài viết trong kho dữ liệu và nhóm các từ khóa vào cùng một chủ đề dựa trên ngữ cảnh và tần suất chúng xuất hiện trên toàn bộ tuyển tập bài viết. Để đảm bảo mô hình LDA phát hiện các chủ đề có tính mạch lạc cao, bạn thực hiện bước tiền xử lý trước khi gọi API Amazon Comprehend. Bạn có thể dùng thư viện gensim CoherenceModel để xác định số lượng chủ đề tối ưu cần phát hiện từ bộ sưu tập bài viết hoặc tệp văn bản. Xem đoạn mã sau:

def compute_coherence_scores(dictionary, corpus, texts, limit, start=2, step=3):
    """
    Compute coherence scores for various number of topics for your topic model. 
    Adjust the parameters below based on your data

    Parameters (input):
    ----------
    dictionary : Gensim dictionary created earlier from input texts
    corpus : Gensim corpus created earlier from input texts
    texts : List of input texts
    limit : The maximum number of topics to test. Amazon Comprehend can detect up to 100 topics in a collection

    Returns (output):
    -------
    models : List of LDA topic models
    coherence_scores : Coherence values corresponding to the LDA model with respective number of topics
    """
    coherence_scores = []
    models = []
    for num_topics in range(start, limit, step):
        model = gensim.models.LdaMulticore(corpus=corpus, num_topics=num_topics, id2word=id2word)
        models.append(model)
        coherencemodel = CoherenceModel(model=model, texts=corpus_words, dictionary=id2word, coherence='c_v')
        coherence_scores.append(coherencemodel.get_coherence())

    return models, coherence_scores

models, coherence_scores = compute_coherence_scores(dictionary=id2word, corpus=corpus_tdf, texts=corpus_words, start=2, limit=100, step=3)

Sau khi nhận được số lượng chủ đề tối ưu, bạn sẽ sử dụng giá trị đó cho công việc lập mô hình chủ đề của Amazon Comprehend. Cung cấp các giá trị khác nhau cho tham số NumberOfTopics trong Amazon Comprehend StartTopicsDetectionJob hoạt động dẫn đến sự khác biệt trong việc phân bổ các từ khóa được đặt trong mỗi nhóm chủ đề. Giá trị được tối ưu hóa cho thông số NumberOfTopics biểu thị số lượng chủ đề cung cấp nhóm từ khóa mạch lạc nhất với mức độ liên quan theo ngữ cảnh cao hơn. Bạn có thể lưu trữ kết quả lập mô hình chủ đề từ Amazon Comprehend ở định dạng thô trong Amazon S3.

API nhãn đối tượng Amazon Rekognition phát hiện nhãn trong hình ảnh

Bạn phân tích từng hình ảnh được trích xuất từ ​​tất cả các trang web bằng cách sử dụng Hoạt động DetectLabels của Amazon Rekognition. Đối với mỗi hình ảnh, thao tác này cung cấp phản hồi JSON với tất cả các nhãn được phát hiện trong hình ảnh, cùng với điểm tin cậy cho mỗi hình ảnh. Đối với trường hợp sử dụng của chúng tôi, chúng tôi tùy ý chọn điểm tin cậy từ 60% trở lên làm ngưỡng để nhãn đối tượng sử dụng trong bước tiếp theo. Bạn lưu trữ nhãn đối tượng ở định dạng thô trong Amazon S3. Xem đoạn mã sau:

"""
Create a function to extract object labels from a given image using Amazon Rekognition
"""

def get_image_labels(image_loc):
    labels = []
    with fs.open(image_loc, "rb") as im:
        response = rekognition_client.detect_labels(Image={"Bytes": im.read()})
    
    for label in response["Labels"]:
        if label["Confidence"] >= 60:   #change to desired confidence score threshold, value between [0,100]:
            object_label = label["Name"]
            labels.append(object_label)
    return labels

CITM ánh xạ nội dung vào phân loại tiêu chuẩn

CITM so sánh siêu dữ liệu nội dung được trích xuất (chủ đề từ văn bản và nhãn từ hình ảnh) với các từ khóa trên phân loại IAB, sau đó ánh xạ siêu dữ liệu nội dung tới các từ khóa từ phân loại có liên quan về mặt ngữ nghĩa. Đối với nhiệm vụ này, CITM hoàn thành ba bước sau:

1. Tạo các phần nhúng thần kinh cho phân loại nội dung, từ khóa chủ đề và nhãn hình ảnh bằng cách sử dụng trình biến đổi câu BERT của Hugging Face. Chúng tôi truy cập mô hình biến đổi câu từ Amazon SageMaker. Trong bài đăng này, chúng tôi sử dụng diễn giải-MiniLM-L6-v2 mô hình ánh xạ các từ khóa và nhãn vào không gian vectơ dày đặc 384 chiều.
2. Tính điểm tương tự cosine giữa các từ khóa phân loại và từ khóa chủ đề bằng cách sử dụng phần nhúng của chúng. Nó cũng tính toán độ tương tự cosine giữa các từ khóa phân loại và nhãn đối tượng hình ảnh. Chúng tôi sử dụng độ tương tự cosin làm cơ chế tính điểm để tìm các kết quả trùng khớp về mặt ngữ nghĩa giữa siêu dữ liệu nội dung và phân loại. Xem đoạn mã sau:

def compute_similarity(entity_embeddings, entity_terms, taxonomy_embeddings, taxonomy_terms):
    """
    Compute cosine scores between entity embeddings and taxonomy embeddings
    
    Parameters (input):
    ----------
    entity_embeddings : Embeddings for either topic keywords from Amazon Comprehend or image labels from Amazon Rekognition
    entity_terms : Terms for topic keywords or image labels
    taxonomy_embeddings : Embeddings for the content taxonomy
    taxonomy_terms : Terms for the taxonomy keywords

    Returns (output):
    -------
    mapping_df : Dataframe that matches each entity keyword to each taxonomy keyword and their cosine similarity score
    """
    
    #calculate cosine score, pairing each entity embedding with each taxonomy keyword embedding
    cosine_scores = util.pytorch_cos_sim(entity_embeddings, taxonomy_embeddings)
    pairs = []
    for i in range(len(cosine_scores)-1):
        for j in range(0, cosine_scores.shape[1]):
            pairs.append({'index': [i, j], 'score': cosine_scores[i][j]})
    
    #Sort cosine similarity scores in decreasing order
    pairs = sorted(pairs, key=lambda x: x['score'], reverse=True)
    rows = []
    for pair in pairs:
        i, j = pair['index']
        rows.append([entity_terms[i], taxonomy_terms[j], pair['score']])
    
    #move sorted values to a dataframe
    mapping_df= pd.DataFrame(rows, columns=["term", "taxonomy_keyword","cosine_similarity"])
    mapping_df['cosine_similarity'] = mapping_df['cosine_similarity'].astype('float')
    mapping_df= mapping_df.sort_values(by=['term','cosine_similarity'], ascending=False)
    drop_dups= mapping_df.drop_duplicates(subset=['term'], keep='first')
    mapping_df = drop_dups.sort_values(by=['cosine_similarity'], ascending=False).reset_index(drop=True)
    return mapping_df
                                               
#compute cosine_similairty score between topic keywords and content taxonomy keywords using BERT embeddings                                               
text_taxonomy_mapping=compute_similarity(keyword_embeddings, topic_keywords, taxonomy_embeddings, taxonomy_terms)

3. Xác định các cặp có điểm tương đồng cao hơn ngưỡng do người dùng xác định và sử dụng chúng để ánh xạ nội dung tới các từ khóa liên quan đến ngữ nghĩa trên phân loại nội dung. Trong thử nghiệm của mình, chúng tôi chọn tất cả từ khóa từ các cặp có điểm tương đồng cosin từ 0.5 trở lên. Xem đoạn mã sau:

#merge text and image keywords mapped to content taxonomy
rtb_keywords=pd.concat([text_taxonomy_mapping[["term","taxonomy_keyword","cosine_similarity"]],image_taxonomy_mapping]).sort_values(by='cosine_similarity',ascending=False).reset_index(drop=True)

#select keywords with a cosine_similarity score greater than your desired threshold ( the value should be from 0 to 1)
rtb_keywords[rtb_keywords["cosine_similarity"]> 50] # change to desired threshold for cosine score, value between [0,100]:

Một thách thức chung khi làm việc với cách biểu diễn ngôn ngữ trên quy mô internet (chẳng hạn như trong trường hợp sử dụng này) là bạn cần một mô hình có thể phù hợp với hầu hết nội dung—trong trường hợp này là các từ trong tiếng Anh. Biến áp BERT của Hugging Face đã được đào tạo trước bằng cách sử dụng một lượng lớn các bài đăng trên Wikipedia bằng tiếng Anh để thể hiện ý nghĩa ngữ nghĩa của các từ trong mối quan hệ với nhau. Bạn tinh chỉnh mô hình được đào tạo trước bằng cách sử dụng tập dữ liệu cụ thể về từ khóa chủ đề, nhãn hình ảnh và từ khóa phân loại. Khi bạn đặt tất cả các phần nhúng trong cùng một không gian đặc trưng và trực quan hóa chúng, bạn sẽ thấy rằng BERT thể hiện một cách hợp lý sự tương đồng về ngữ nghĩa giữa các thuật ngữ.

Ví dụ sau đây trực quan hóa các từ khóa phân loại nội dung IAB cho lớp Ô tô được biểu thị dưới dạng vectơ sử dụng BERT. BERT đặt các từ khóa Ô tô trong phân loại gần với các thuật ngữ tương tự về mặt ngữ nghĩa.

Các vectơ đặc trưng cho phép CITM so sánh các nhãn siêu dữ liệu và từ khóa phân loại trong cùng một không gian đặc trưng. Trong không gian đặc trưng này, CITM tính toán độ tương tự cosine giữa từng vectơ đặc trưng cho từ khóa phân loại và từng vectơ đặc trưng cho từ khóa chủ đề. Trong một bước riêng biệt, CITM so sánh các vectơ đặc trưng phân loại và vectơ đặc trưng cho nhãn hình ảnh. Các cặp có điểm cosine gần nhất với 1 được xác định là giống nhau về mặt ngữ nghĩa. Lưu ý rằng việc ghép nối có thể là từ khóa chủ đề và từ khóa phân loại hoặc nhãn đối tượng và từ khóa phân loại.

Ảnh chụp màn hình sau đây hiển thị các cặp ví dụ về từ khóa chủ đề và từ khóa phân loại bằng cách sử dụng độ tương tự cosine được tính toán bằng cách nhúng BERT.

Để ánh xạ nội dung với các từ khóa phân loại, CITM chọn từ khóa từ các cặp có điểm cosin đáp ứng ngưỡng do người dùng xác định. Đây là những từ khóa sẽ được sử dụng trên nền tảng đặt giá thầu thời gian thực để chọn quảng cáo cho khoảng không quảng cáo của trang web. Kết quả là sự ánh xạ phong phú của nội dung trực tuyến tới phân loại.

Tùy chọn lưu trữ nội dung để ánh xạ phân loại trong kho siêu dữ liệu

Sau khi xác định các thuật ngữ phân loại tương tự theo ngữ cảnh từ CITM, bạn cần một cách để các API có độ trễ thấp truy cập thông tin này. Trong đặt giá thầu có lập trình cho quảng cáo, thời gian phản hồi thấp và tính đồng thời cao đóng vai trò quan trọng trong việc kiếm tiền từ nội dung. Lược đồ kho lưu trữ dữ liệu cần phải linh hoạt để chứa siêu dữ liệu bổ sung khi cần nhằm làm phong phú các yêu cầu giá thầu. Máy phát điện Amazon có thể phù hợp với các mẫu truy cập dữ liệu và yêu cầu vận hành cho một dịch vụ như vậy.

Kết luận

Trong bài đăng này, bạn đã tìm hiểu cách xây dựng giải pháp nhắm mục tiêu theo ngữ cảnh dựa trên phân loại bằng cách sử dụng Công cụ ánh xạ phân loại thông minh theo ngữ cảnh (CITM). Bạn đã học cách sử dụng Amazon Comprehend và Amazon Rekognition để trích xuất siêu dữ liệu chi tiết từ nội dung phương tiện của mình. Sau đó, bằng cách sử dụng CITM, bạn đã ánh xạ các nội dung theo phân loại tiêu chuẩn ngành để tạo điều kiện thuận lợi cho việc đặt giá thầu quảng cáo có lập trình cho các quảng cáo có liên quan đến ngữ cảnh. Bạn có thể áp dụng khung này cho các trường hợp sử dụng khác yêu cầu sử dụng phân loại tiêu chuẩn để nâng cao giá trị của tài sản truyền thông hiện có.

Để thử nghiệm CITM, bạn có thể truy cập kho mã và sử dụng nó với tập dữ liệu văn bản và hình ảnh mà bạn chọn.

Chúng tôi khuyên bạn nên tìm hiểu thêm về các thành phần giải pháp được giới thiệu trong bài đăng này. Khám phá thêm về AWS Media Intelligence để trích xuất siêu dữ liệu từ nội dung đa phương tiện. Ngoài ra, hãy tìm hiểu thêm về cách sử dụng Mô hình Ôm khuôn mặt cho NLP bằng Amazon SageMaker.

Về các tác giả

Aramide Kehinde là Kiến trúc sư giải pháp đối tác cấp cao tại AWS về Machine Learning và AI. Hành trình sự nghiệp của cô đã trải dài trên các lĩnh vực Business Intelligence và Advanced Analytics trên nhiều ngành. Cô làm việc để hỗ trợ các đối tác xây dựng các giải pháp bằng dịch vụ AI/ML của AWS nhằm phục vụ nhu cầu đổi mới của khách hàng. Cô cũng thích xây dựng sự giao thoa giữa AI và các lĩnh vực sáng tạo cũng như dành thời gian cho gia đình.

Anuj Gupta là Kiến trúc sư giải pháp chính làm việc với các công ty có tốc độ tăng trưởng cao trên hành trình dựa trên nền tảng đám mây của họ. Anh đam mê sử dụng công nghệ để giải quyết các vấn đề đầy thách thức và đã làm việc với khách hàng để xây dựng các ứng dụng có độ phân tán cao và độ trễ thấp. Anh đóng góp vào các giải pháp Serverless và Machine Learning mã nguồn mở. Ngoài công việc, anh ấy thích đi du lịch cùng gia đình và viết thơ cũng như blog triết học.